Les analystes actions d’une société de recherche financière étaient épaulés par un assistant d’IA capable de rédiger des sections de rapports, de résumer les documents déposés par les sociétés et de synthétiser les recherches de la base de connaissances interne de la société. L’outil avait considérablement réduit le temps consacré par les analystes aux premières versions, et son adoption au sein de l’équipe de recherche avait été rapide. Le processus de travail avait évolué de manière organique : les analystes demandaient un premier jet à l’IA, le relisaient, puis l’affinaient. En pratique, la relecture d’un brouillon d’IA bien rédigé était plus légère que celle d’un brouillon humain approximatif : la présentation soignée atténuait le signal cognitif qui appelle une relecture attentive. Un analyste a demandé à l’IA de rédiger la section consacrée au portefeuille de développement d’un rapport d’initiation de couverture sur une société pharmaceutique. L’IA a produit une section structurée, au ton faisant autorité, contenant des affirmations précises sur trois médicaments en développement, avec les calendriers des phases, des résumés des mécanismes d’action et des estimations de probabilité de succès. L’analyste, pressé par les délais, a relu la section et l’a trouvée bien structurée et conforme à sa connaissance générale de la société. Le rapport a été publié. Deux jours plus tard, un lecteur de la société pharmaceutique a contacté l’équipe conformité de la société de recherche pour signaler que deux des médicaments cités dans le rapport n’existaient pas : ce n’étaient pas des médicaments de la société, et les estimations de probabilité de succès citaient des données d’essais précises qui n’existaient pas. L’IA avait généré une recherche pharmaceutique d’apparence plausible à partir d’une combinaison de ses données d’entraînement et de sa tendance générative à produire un contenu assuré et structuré. Le résultat ressemblait à une recherche parce qu’il était structuré comme une recherche. Rien ne distinguait le contenu confabulé d’un contenu exact.
Qu’est-ce que la fuite de données dans les résultats de l’IA, au fond ?
Dans le contexte des produits d’IA d’entreprise, la fuite de données dans les résultats de l’IA recouvre deux dimensions de risque distinctes. La première correspond au sens traditionnel de la fuite de données : des données sensibles provenant du contexte de l’IA, de son corpus d’entraînement ou d’une base de connaissances connectée apparaissent dans des résultats accessibles à des tiers non autorisés. La seconde dimension, moins reconnue, est la fuite de contenus confabulés par l’IA dans les productions de l’entreprise : la tendance générative de l’IA produit un contenu assuré et plausible, factuellement faux mais structurellement indiscernable d’un contenu exact, et ce contenu entre dans les documents, décisions et communications de l’entreprise sans que les destinataires en comprennent l’origine.
Le risque de confabulation est la dimension la plus répandue et la moins bien comprise. Les grands modèles de langage génèrent du texte en prédisant la suite la plus probable d’un prompt d’après les schémas statistiques de leurs données d’entraînement. Interrogés sur des sujets pour lesquels leurs données d’entraînement sont limitées, obsolètes ou ambiguës, ils génèrent un contenu statistiquement plausible, structuré comme une information exacte, au ton assuré et cohérent avec le domaine en général, mais factuellement faux. Cette confabulation n’est ni un bogue ni un dysfonctionnement. Elle découle du fonctionnement même des modèles de langage. Tout LLM confabule dans une certaine mesure face aux requêtes pour lesquelles ses données d’entraînement sont insuffisantes.
Le problème de la parité de confiance amplifie le risque. Les résultats des LLM ne comportent pas de signal de confiance fiable permettant de distinguer une synthèse exacte d’une confabulation : les deux types de résultats sont produits avec la même aisance grammaticale, le même soin structurel et le même ton assuré. Les examinateurs humains qui appliquent des niveaux de vigilance différents à un contenu soigné et à un contenu brut examineront un résultat d’IA soigné moins attentivement qu’il ne le mérite. Le raccourci cognitif selon lequel une écriture soignée traduit une réflexion rigoureuse, souvent valable pour les textes humains, échoue pour les résultats des LLM, dont la présentation soignée est une propriété du processus de génération, indépendamment de l’exactitude factuelle.
Le problème de la limite de la base de connaissances est le risque propre à l’entreprise. Les assistants d’IA configurés avec un accès à la base de connaissances interne d’une entreprise en synthétisent correctement le contenu pour les requêtes qui relèvent de son périmètre. Pour les requêtes qui le dépassent, l’IA génère du contenu à partir de son entraînement général, qui peut ne pas contenir d’informations actuelles, exactes ou précises sur le sujet de la requête. Le passage de la synthèse de la base de connaissances à la génération à partir des données d’entraînement n’est pas visible dans le résultat. Les deux types de contenus apparaissent dans le même format, avec la même assurance.
Pourquoi c’est important
La fuite de données dans les résultats de l’IA est importante pour la TPRM car les produits d’IA que les fournisseurs déploient auprès des travailleurs du savoir des entreprises (assistants de recherche, outils de rédaction de documents, outils de communication client, accélérateurs d’analyse) créent un risque de confabulation systématique dans les productions de ces travailleurs. L’entreprise qui s’appuie sur l’assistant d’IA d’un fournisseur pour la recherche, l’analyse ou la communication hérite du risque de confabulation créé par les limites de la base de connaissances et les tendances génératives de l’IA.
Là où la plupart des équipes se trompent
L’échec le plus constant consiste à considérer la qualité des résultats de l’IA comme équivalente à son exactitude. La qualité des résultats (aisance grammaticale, cohérence structurelle, ton assuré) est une propriété du processus de génération. L’exactitude dépend de la couverture des données d’entraînement et de l’adéquation avec la base de connaissances. Dans sa forme, une confabulation de grande qualité est indiscernable d’une synthèse exacte.
- Qualité des résultats assimilée à l’exactitude
- Processus d’examen non adapté aux contenus produits avec l’aide de l’IA : examen plus léger pour les résultats soignés
- Limite de la base de connaissances non communiquée aux utilisateurs : ils ne savent pas quand l’IA extrapole
- Taux de confabulation du produit d’IA du fournisseur non évalué
- Exigences de citation et de sourçage non appliquées aux contenus générés par l’IA
À quoi ressemblent les bonnes pratiques
Les programmes matures de gestion des risques liés aux résultats de l’IA mettent en œuvre des exigences d’attribution des sources pour les contenus générés par l’IA, obligeant l’IA à citer les sources précises dont proviennent les informations, combinées à des indicateurs de limite explicites qui avertissent les utilisateurs lorsque l’IA génère un contenu au-delà de ce que couvre sa base de connaissances.
- Exigence d’attribution des sources : l’IA doit citer des sources précises pour ses affirmations factuelles
- Indicateurs de limite de la base de connaissances : notification explicite lorsque l’IA extrapole au-delà de la base de connaissances
- Protocole d’examen renforcé des contenus générés par l’IA, calibré sur le taux de confabulation de l’IA
- Évaluation du taux de confabulation : tests spécifiques du produit d’IA du fournisseur dans le domaine de l’entreprise
- Surveillance des résultats pour les types de contenus à fort risque de confabulation
Outils
Vérification des résultats de l’IA : Ragas, TruLens pour l’évaluation des systèmes RAG
Les cadres d’évaluation de la génération augmentée par récupération (RAG) mesurent l’exactitude des résultats de l’IA par rapport aux documents sources, en identifiant les cas où l’IA a généré un contenu non étayé par les sources récupérées. Pour les praticiens de la TPRM, demander si le produit d’IA du fournisseur utilise une évaluation RAG pour mesurer et suivre les taux de confabulation constitue une question précise sur l’exactitude des résultats.
Enjeux de gouvernance
Le défi de gouvernance posé par la fuite de données dans les résultats de l’IA est le risque de perturbation des processus de travail. Exiger l’attribution des sources et un examen renforcé des contenus générés par l’IA réduit le gain de productivité qu’apporte l’assistance de l’IA. La solution de gouvernance est un calibrage de l’examen fondé sur le risque, qui applique des exigences d’examen renforcé proportionnellement aux conséquences d’une confabulation dans le cas d’usage concerné.
- Exiger l’attribution des sources pour les affirmations factuelles dans les résultats de l’IA
- Mettre en place des indicateurs de limite de la base de connaissances
- Évaluer le taux de confabulation du produit d’IA du fournisseur dans le domaine de l’entreprise
- Calibrer les protocoles d’examen selon les conséquences du cas d’usage
- Former les utilisateurs au risque de confabulation et aux exigences d’examen
Si vous êtes une petite équipe
Pour tout produit d’IA d’un fournisseur utilisé pour produire des contenus destinés à des communications externes, à des dépôts réglementaires ou à des analyses publiées, appliquez une exigence : les affirmations factuelles générées par l’IA doivent comporter des citations de sources, et les examinateurs doivent vérifier un échantillon de ces citations. Cette exigence fait apparaître la confabulation : une affirmation confabulée citera une source qui ne contient pas l’information avancée, ou n’aura aucune citation. Elle fait aussi passer le processus d’examen d’une appréciation de la qualité des résultats à une vérification de leur exactitude.
- Exiger des citations de sources pour les affirmations factuelles dans les résultats de l’IA
- Vérifier un échantillon des citations comme norme d’examen
- Évaluer le taux de confabulation du produit d’IA du fournisseur dans votre domaine
- Appliquer un examen renforcé aux cas d’usage à fortes conséquences
Ce qu’il faut exiger
Demandez directement :
« Le taux de confabulation de votre produit d’IA a-t-il été évalué pour notre domaine précis, et votre produit indique-t-il les sources de ses affirmations factuelles afin que les examinateurs puissent vérifier le contenu généré par l’IA par rapport aux sources citées ? »
Preuves attendues
- Évaluation du taux de confabulation dans le domaine concerné
- Capacité d’attribution des sources
- Indicateurs de limite de la base de connaissances
- Méthodologie d’évaluation RAG
Un fournisseur qui confirme la qualité de son assistance à la recherche par l’IA doit être interrogé sur l’évaluation du taux de confabulation et l’attribution des sources. La qualité des résultats confirme que le processus de génération fonctionne. L’évaluation du taux de confabulation confirme à quelle fréquence ce qu’il génère est exact.
Comment le prouver
- Dossiers d’évaluation du taux de confabulation
- Mise en œuvre de l’attribution des sources
- Documentation du protocole d’examen renforcé
- Dossiers de formation des utilisateurs
À retenir
Deux médicaments en développement qui n’existaient pas. Des estimations de probabilité de succès citant des données d’essais qui n’existaient pas. Une confabulation assurée, bien structurée et adaptée au domaine pharmaceutique. L’examen avait été plus léger parce que le résultat était soigné. Rien ne distinguait la confabulation d’une synthèse exacte. Le résultat ressemblait à une analyse parce qu’il était structuré comme une analyse. La fuite de données dans les résultats de l’IA ne se limite pas aux données qui sortent : ce sont aussi des données confabulées qui entrent comme si elles étaient fiables. L’attribution des sources, les indicateurs de limite de la base de connaissances et l’évaluation du taux de confabulation sont les contrôles qui font la différence entre une exactitude assistée par l’IA et une erreur accélérée par l’IA.