Quand des données non vérifiées constituent un risque pour la sécurité des patients
Un modèle de fraude aux intrants défaillants produit un chiffre erroné. Un outil d'aide à la décision clinique aux intrants défaillants produit un traitement erroné. Le secteur de la santé a la tolérance la plus faible de tous les secteurs envers des preuves non vérifiées.
01Le coût de l'erreur n'est pas le même partout
Un modèle de prévision pour le commerce de détail qui se trompe produit une erreur de stock. Un modèle de fraude qui se trompe produit un faux positif qui contrarie un client. Un outil d'aide à la décision clinique qui se trompe peut produire le mauvais traitement, le mauvais dosage ou un diagnostic manqué. Les mêmes défaillances de qualité des preuves, qui ne sont que coûteuses dans d'autres secteurs, sont dangereuses dans la santé, et la norme de vérification doit refléter cette différence, et non traiter chaque jeu de données comme également indulgent.
Ce n'est pas une raison d'éviter les outils fondés sur les données dans la santé. C'est une raison d'être explicite sur ce que « vérifié » doit signifier avant que ces outils ne touchent à une décision clinique.
02Où des données non vérifiées pénètrent réellement dans les systèmes cliniques
Trois points sont ceux où l'écart s'ouvre habituellement. Les données d'appareils et de capteurs (suivi des constantes vitales, sortie d'équipements de diagnostic) n'arrivent fiables que si l'appareil est calibré et entretenu selon un calendrier documenté, et non présumé exact parce qu'il est numérique. Les données déclarées par les patients et saisies administrativement comportent des erreurs de transcription, des antécédents incomplets et un codage incohérent qu'un modèle en aval n'a aucun moyen de détecter, sauf si le pipeline de données les signale explicitement. Et les jeux de données de tiers ou agrégés, utilisés pour entraîner ou valider des outils prédictifs, portent les problèmes de qualité qui existaient dans la collecte d'origine, hérités silencieusement à moins que quelqu'un ne remonte la traçabilité avant de faire confiance à l'agrégat.
Chacun de ces éléments peut être identique en apparence à des données propres une fois qu'il atteint un tableau de bord ou une sortie de modèle. La différence n'apparaît que si quelqu'un a construit le pipeline pour la préserver et la faire ressortir.
03Ce que la vérification doit signifier dans ce contexte
La norme générale (source, méthode de collecte, transformation, piste d'audit) s'applique toujours, mais la santé ajoute une exigence dont la plupart des secteurs n'ont pas besoin : un réviseur clinique humain dans la boucle pour tout ce qui atteint une décision de traitement, avec son raisonnement consigné aux côtés de la sortie de l'outil, et non à sa place. Un outil prédictif qui signale un risque est un intrant au jugement clinique. Il ne le remplace pas, et le traiter comme tel est exactement le mode de défaillance qui transforme un outil utile en incident de sécurité des patients en attente d'être signalé.
Les exigences de piste d'audit sont également plus strictes ici, pour une raison précise : lorsque quelque chose va mal dans la santé, la reconstruction de ce que le système savait et du moment où il le savait est nécessaire à la fois pour l'examen clinique et, potentiellement, pour la responsabilité réglementaire ou juridique. Une équipe antifraude peut généralement s'accommoder d'une piste d'audit qui demande un jour à reconstituer. Un examen d'incident clinique ne le peut pas.
04Pourquoi cela importe d'autant plus à mesure que l'IA entre dans les flux cliniques
Les outils de diagnostic et d'aide à la décision assistés par l'IA sont adoptés dans les systèmes de santé africains à un rythme réel, souvent comme une véritable amélioration de l'accès, étendant le triage de niveau spécialisé à des contextes qui n'ont pas de spécialistes sur place. Cette promesse est réelle. C'est aussi exactement le scénario où des intrants non vérifiés font le plus de dégâts, parce que l'outil comble souvent un vide où aucun second avis clinique n'est immédiatement disponible pour rattraper une erreur.
La gouvernance avant l'échelle s'applique ici avec le moins de marge d'exception. Une institution qui déploie des outils cliniques assistés par l'IA a besoin de pipelines de données vérifiés, d'une calibration et d'une maintenance documentées pour tout appareil connecté, et d'une exigence claire de révision humaine intégrée avant que l'outil ne touche un vrai patient, et non ajoutée ensuite une fois la première erreur évitable apparue.
Un problème lié ?
Engager la conversation→