Ce que signifie réellement la « traçabilité des preuves »

01Un chiffre sans traçabilité est une affirmation, pas une preuve

« Fondé sur les preuves » est devenu une expression que les institutions accolent à presque tout rapport contenant un graphique. L'expression ne fait un vrai travail que lorsqu'elle désigne quelque chose de précis et de vérifiable. La traçabilité des preuves est cette chose précise : la capacité de rattacher tout chiffre affiché sur un tableau de bord à ses données sources, à la méthode utilisée pour les collecter et à chaque transformation appliquée en chemin.

La plupart des tableaux de bord échouent à ce test dès que quelqu'un leur pose une question directe. Un graphique apparaît à l'écran. Personne dans la salle ne peut dire d'où viennent les données sous-jacentes, comment elles ont été recueillies, ni ce qui leur est arrivé entre la collecte et le graphique. Cet écart n'est pas un problème cosmétique. C'est la différence entre une institution capable de défendre une décision sous examen et une institution qui devine avec assurance.

02Les quatre maillons de la chaîne

La traçabilité comporte quatre parties, et les quatre doivent tenir pour qu'un chiffre compte comme une preuve plutôt que comme une décoration.

La source. D'où proviennent les données brutes : une lecture de capteur, une réponse à une enquête, un enregistrement de transaction, un dépôt administratif ? Un chiffre sans source identifiable n'est pas traçable par définition.

La méthode de collecte. Comment a-t-il été recueilli, par qui et dans quelles conditions ? Un chiffre collecté par un enquêteur formé suivant un protocole documenté n'a pas le même poids qu'un chiffre tiré d'un flux tiers non vérifié, même si les deux produisent le même nombre sur un tableau de bord.

La transformation. Qu'est-il arrivé au chiffre entre la collecte et l'affichage ? A-t-il été agrégé, normalisé, ajusté pour l'inflation, dédoublonné, imputé là où il manquait ? Chaque transformation est un endroit où une erreur peut s'introduire ou un biais peut apparaître, et chacune doit être documentée, et non présumée.

La piste d'audit. Quelqu'un qui n'était pas dans la salle lorsque le chiffre a été produit peut-il reconstituer comment il y est arrivé, à partir de la seule documentation ? Si la reconstitution exige d'appeler le seul analyste qui s'en souvient, la traçabilité existe dans la mémoire d'une personne, et non dans la base de preuves de l'institution. Et cette personne finit par partir.

03Pourquoi cela compte plus que le volume de données

Les institutions sous pression de se moderniser répondent souvent en collectant plus de données : plus de capteurs, plus d'enquêtes, plus d'intégrations. La qualité des preuves est une variable distincte du volume de données, et c'est elle qui détermine réellement si une décision peut survivre à un audit. Dix points de données dotés d'une traçabilité complète produisent une décision plus défendable que dix mille points de données sans aucune traçabilité, parce que les dix mille ne peuvent pas répondre à la question de base d'un membre du conseil : comment savons-nous que c'est exact.

04Le test qui compte vraiment

Le test pratique de la traçabilité des preuves est simple à énoncer et inconfortable à appliquer : prenez n'importe quel chiffre sur n'importe quel tableau de bord qui éclaire actuellement une décision institutionnelle, et demandez à quelqu'un extérieur à l'équipe qui l'a construit de le rattacher à sa source, à sa méthode et à sa transformation, à partir de la seule documentation disponible. S'il n'y parvient pas, le chiffre n'est pas une preuve. C'est une affirmation qui porte le langage visuel de la preuve. Et tant qu'une institution ne peut pas réussir ce test de manière constante, davantage de tableaux de bord ne régleront pas le problème de fond.