Comment les ONG et les gouvernements prouvent leur impact à un bailleur sceptique
Un rapport de résultats et une allégation d'impact vérifiée ne sont pas le même document. Les bailleurs et les auditeurs distinguent de mieux en mieux l'un de l'autre, et les traiter comme interchangeables est le meilleur moyen de faire mal tourner une conversation de renouvellement.
01Les rapports d'activité ne sont pas des preuves d'impact
Un rapport de programme qui liste les ateliers tenus, les bénéficiaires atteints et les supports distribués documente qu'une activité a eu lieu. Il n'établit pas que l'activité a changé un résultat. Les bailleurs sont devenus plus habiles à repérer cette distinction, et un rapport qui confond les deux, présentant des comptages d'activités comme s'il s'agissait de preuves d'impact, se lit aujourd'hui comme moins crédible qu'il ne l'aurait été il y a cinq ans, et non davantage.
L'écart importe le plus précisément au moment où une organisation peut le moins se le permettre : une décision de renouvellement, une évaluation de programme ou un moment de redevabilité publique où une allégation précise est directement mise à l'épreuve.
02Là où les allégations d'impact s'effondrent habituellement sous l'examen
L'attribution est la défaillance la plus courante : un programme rapporte qu'un résultat s'est amélioré dans les zones où il a opéré, sans comparaison avec ce qui se serait produit de toute façon, ni avec des zones que le programme n'a pas atteintes. Sans cette comparaison, l'allégation est une corrélation déguisée en résultat. Les données de référence constituent la deuxième défaillance : affirmer une amélioration exige un point de départ documenté, collecté avec la même rigueur que la mesure du résultat, et non reconstruit rétroactivement une fois le programme déjà en cours et un bailleur demandant des preuves. Et la cohérence de la mesure est la troisième : des résultats suivis avec une méthode ou un échantillon différent à chaque période de reporting produisent des chiffres qui ne sont pas réellement comparables entre eux, même s'ils sont présentés sur le même graphique comme s'ils l'étaient.
Un seul de ces écarts suffit pour qu'un bailleur prudent écarte l'ensemble du rapport, et pas seulement l'allégation précise qu'il remet en cause.
03Ce qu'exige une base de preuves d'impact défendable
La même norme de traçabilité qui s'applique à toute allégation de qualité probante s'applique ici, avec un ajout propre à ce secteur : un plan de mesure préenregistré, défini avant le début du programme, indiquant ce qui sera mesuré, comment, et par rapport à quelle référence ou quel groupe de comparaison. Ce seul document fait plus pour établir la crédibilité que n'importe quelle quantité de visualisation de données a posteriori, parce qu'il démontre que l'organisation s'est engagée sur une norme de mesure avant de savoir quels seraient les résultats, l'inverse d'un ajustement de la méthodologie après coup pour coller à un récit.
Au-delà de cela : des données de référence collectées avec la même méthode documentée que les données de résultat, un énoncé clair de ce qui est attribuable au programme par opposition à ce qui lui est corrélé, et une mesure cohérente d'une période de reporting à l'autre pour que les tendances soient réellement des tendances et non des artefacts d'une méthodologie modifiée.
04Pourquoi cela devient incontournable, et pas seulement une bonne pratique
Les partenaires de développement et les bailleurs publics demandent de plus en plus explicitement cette norme de preuve, non pas parce que le reporting d'impact est devenu plus difficile, mais parce que trop de programmes ont avancé des allégations qui n'ont pas résisté à un examen attentif, et que tout le secteur porte désormais le coût de crédibilité de ce schéma. Une organisation capable de produire une base de preuves d'impact réellement défendable (attribution traitée, référence documentée, méthodologie cohérente) se différencie immédiatement dans précisément les conversations qui déterminent si le financement se poursuit.
L'alternative n'est pas la malhonnêteté. C'est généralement, tout simplement, une organisation qui n'a jamais intégré la discipline de mesure dès le départ et qui tente désormais de construire un récit défendable à partir de données qui n'ont jamais été conçues pour en soutenir un. C'est un problème plus difficile à corriger après coup qu'à bien concevoir dès le début du prochain cycle de programme.
Un problème lié ?
Engager la conversation→