La détection de fraude a besoin d'une piste d'audit, pas seulement d'un modèle

01Un signalement sans raison n'est pas un constat

Un modèle de détection de fraude qui produit un score de risque sans explication n'est pas une preuve de fraude. C'est un chiffre que l'on attend d'un responsable de la conformité qu'il y fasse confiance, qu'il agisse dessus et qu'il le défende devant un régulateur, un client ou un tribunal, souvent sans autre justification que « le modèle l'a signalé ». C'est dans cet écart entre un score et un constat défendable que les programmes de lutte contre la fraude s'exposent, généralement au moment où un client signalé conteste la décision et en demande la raison.

Les banques, les assureurs et les fintechs opérant sur des marchés réglementés n'ont pas la possibilité de traiter la sortie du modèle comme manifestement correcte. Chaque transaction signalée est une allégation et, comme toute autre allégation, elle doit répondre à la question de l'origine de la preuve, de la manière dont elle a été évaluée et de la raison pour laquelle cette transaction précise a franchi le seuil, et pas seulement du fait qu'elle l'a franchi.

02Ce qu'exige une piste d'audit que ne fournit pas un score de modèle

Un constat de fraude défendable a besoin de quatre éléments qu'un score brut ne fournit pas à lui seul : les intrants précis qui ont motivé le signalement, énoncés dans des termes qu'un réviseur non technique peut vérifier (vélocité inhabituelle des transactions, empreinte d'appareil non concordante, anomalie géographique), et pas seulement une probabilité. La logique de seuil qui a déterminé que cette transaction franchissait la limite, et la preuve que ce seuil a été fixé délibérément, et non hérité d'une valeur par défaut du fournisseur que personne n'a réexaminée. Une étape de révision humaine pour tout ce qui mène à une action sur un compte, avec le raisonnement du réviseur consigné aux côtés de celui du modèle, parce que « le modèle l'a dit » n'est pas une décision qu'une institution peut assumer lorsqu'elle est contestée. Et un registre de ce qu'il est advenu du signalement par la suite (confirmé, écarté, escaladé) qui alimente l'évaluation de la qualité réelle du calibrage des seuils du modèle, ou du fait qu'il ne produit qu'un volume confortable d'alertes.

03Pourquoi cela importe d'autant plus à mesure que les modèles s'améliorent

De meilleurs modèles de fraude ont tendance à produire des scores d'apparence plus assurée, et c'est précisément cette assurance dans la sortie qui rend les institutions moins enclines à demander le raisonnement qui la sous-tend. C'est l'inverse qui serait logique. Un modèle plus performant mérite davantage d'examen de sa piste d'audit, pas moins, parce que le coût d'un faux positif inexplicable (un client légitime privé d'accès à son compte sans explication claire) augmente à mesure que l'institution en vient à faire confiance sans réserve à la sortie du modèle.

Les régulateurs qui évaluent le programme de lutte contre la fraude d'une banque ou d'un assureur demandent de plus en plus à voir ce raisonnement directement, et pas seulement les statistiques agrégées de précision du modèle. Une institution qui ne peut produire qu'un tableau de bord de performance, sans piste d'audit au niveau des cas individuels derrière chaque décision, répond à une autre question que celle qui lui est posée.

04La norme de preuve, appliquée à la fraude

Le même test qui s'applique à tout tableau de bord s'applique ici : un dossier peut-il être tiré au hasard, et quelqu'un extérieur à l'équipe antifraude peut-il expliquer pourquoi il a été signalé, en s'appuyant uniquement sur le raisonnement documenté disponible ? Si la réponse honnête exige d'appeler l'analyste qui s'en souvient, ou d'accepter le score sans autre explication, le programme de lutte contre la fraude dispose d'un modèle. Il n'a pas encore de preuves.