Lutter contre la mésinformation générée par l'IA
Minimiser les risques et les conséquences de l'inférence faillible des modèles d'IA
La mésinformation générée par l'IA est en hausse et préoccupe de plus en plus. D'après des chercheurs de Google et de plusieurs organisations de vérification des informations, la quantité de contenu erroné produit par les modèles d'IA a considérablement augmenté depuis mi-2023.
La plupart d'entre nous sont impatients d'utiliser l'IA pour gagner en efficacité, favoriser l'innovation et renforcer la cybersécurité, parmi bien d'autres possibilités. Toutefois, nous devons être conscients de ce que l'IA est également capable de produire des informations erronées, dont les conséquences pour les individus, les entreprises et la société peuvent être très graves.
Quels types de mésinformation les modèles d'IA peuvent-ils produire ? Pourquoi génèrent-ils des informations inexactes ? Que devons-nous faire, en tant que responsables de la sécurité, pour préserver les intérêts organisationnels et publics ?
Certaines limites des modèles d'IA
Le problème de la mésinformation générée par l'IA découle en partie des limites actuelles des modèles d'IA. Nous entendons beaucoup parler de l'inférence de l'IA, c'est-à-dire la capacité des modèles d'IA à raisonner ou à tirer des conclusions à partir de nouvelles données, en direct. Comme je l'ai écrit précédemment, les modèles d'IA ne peuvent pas encore vraiment raisonner, et leur capacité à générer des informations significatives à partir de données réelles est loin d'être parfaite.
Ce que les modèles d'IA peuvent faire de manière très efficace, c'est fournir des réponses basées sur des faits. Si vous demandez à un grand modèle de langage (LLM) de vous indiquer l'année où Christophe Colomb a débarqué dans les Amériques, si le modèle a été correctement conçu et entraîné, il y a de fortes chances que la réponse soit correcte.
Cependant, un modèle d'IA peut également fournir une opinion comme s'il s'agissait d'un fait. Ainsi, si vous demandez si les Européens avaient le droit de coloniser les Amériques, un modèle d'IA peut fournir une opinion sans préciser qu'il s'agit d'une opinion. Dans un contexte commercial, le chatbot basé alimenté par l'IA d'une entreprise peut fournir aux clients des informations sur le produit qui proviennent davantage du contenu marketing que des faits.
Un modèle d'IA peut également présenter plusieurs opinions concurrentes, ce qui s'avère différemment inutile. Si vous interrogez un LLM tel que ChatGPT pour savoir qui est le plus grand joueur de baseball qui ait jamais vécu, il présentera plusieurs opinions, en avançant des arguments généraux pour chacun. Il se peut qu'aucun de ces opinions ou arguments ne soit réellement « erroné », mais le modèle pourrait ne pas distinguer correctement les meilleurs points de vue des plus mauvais.
Quelles sont les causes de la mésinformation générée par l'IA ?
Les réponses incorrectes, les opinions présentées comme des faits et opinions multiples présentées sur un pied d'égalité sont autant de formes de mésinformation. Cette mésinformation peut être intentionnelle ou non.
Intentionnelle
Les modèles d'IA peuvent être manipulés (ou « empoisonnés ») dans le but de produire des réponses spécifiques. Par exemple, un cyberacteur malveillant peut empoisonner les données utilisées par une certaine entreprise pour entraîner un LLM. L'acteur malveillant peut chercher à mettre en difficulté l'entreprise et à porter atteinte à sa réputation en manipulant le LLM afin qu'il produise de mauvaises réponses dans un chatbot IA ou une application basée sur l'IA.
Évidemment, l'empoisonnement des modèles n'est pas exclusivement l'œuvre de cyberacteurs malveillants. Les candidats politiques ou les gouvernements peuvent également être tentés de diffuser de la désinformation en introduisant intentionnellement des données dans des modèles d'IA ou en utilisant d'autres techniques de manipulation pour diffuser de fausses informations.
Un autre scénario est possible, selon lequel des individus ou une organisation pourraient manipuler intentionnellement des données ou des informations issues de leur modèle afin de renforcer leur point de vue particulier. Une chaîne de télévision d'actualités peut présenter un politicien sous un bon jour et exclure intentionnellement certaines données du modèle électoral afin de suggérer que le politicien a de bonnes chances de gagner.
Par exemple, le réseau peut choisir de manière sélective des points de données favorisant un politicien, en ignorant les données moins favorables. Le réseau peut construire des récits de manière similaire, en mettant en valeur des succès factuels ou des propositions politiques positives, tandis qu'il ignore les controverses ou les échecs d'un politicien.
Involontaire
La mésinformation peut également être involontaire. Une entreprise peut, à son insu, fournir des données biaisées à un modèle, et ainsi, conduire à des conclusions déformées. Prenons l'exemple du même réseau d'actualités télévisé : le réseau peut, par inadvertance, négliger certaines informations ou ajouter du poids à d'autres informations, sans intention malveillante. Il en résulterait toujours un modèle produisant des prédictions trompeuses. Dans de nombreux cas, les modèles fournissent des informations erronées simplement parce qu'ils ne disposent pas de données suffisantes. Vous n'avez peut-être pas collecté suffisamment de données pour fournir des réponses précises. En outre, la chronologie de la saisie des données dans le modèle peut également poser des problèmes si l'ordre des informations est important pour la prise de décision.
Il peut s'avérer très difficile de trouver la source de mésinformation (et de déterminer si ces informations sont dues à un acte délibéré), d'autant plus que les modèles d'IA existent souvent au sein d'un système opaque et fermé. Grâce à l'apprentissage automatique traditionnel, vous pouvez voir et comprendre les décisions qui sous-tendent le modèle. Avec les LLM, qui reposent sur des réseaux neuronaux, la logique de prise de décision est masquée dans des couches cachées. Les LLM résument les données et, du point de vue de l'utilisateur, déploient de la magie pour proposer des réponses. Les utilisateurs n'ont pas accès au processus de prise de décision. Par conséquent, elles ne peuvent pas facilement trouver la source de mésinformations potentielles.
Implications de la mésinformation par l'IA
Des individus peuvent prendre des décisions mal informées sur la base des résultats générés par l'IA. Par exemple, les réponses incorrectes d'un chatbot basé sur l'IA peuvent conduire à de mauvaises décisions en matière d'investissement, de santé, de droit ou d'emploi.
De la même manière, les dirigeants d'entreprise peuvent prendre de mauvaises décisions sur la base de la mésinformation générée par l'IA. Les modèles d'IA peuvent mettre en évidence les mauvais types de menaces de cybersécurité, ce qui pousse les responsables de la sécurité à ajuster leurs stratégies de mauvaise manière ou à mettre en œuvre des solutions imparfaites. Ou, plus généralement, les dirigeants peuvent faire confiance aux informations générées par l'IA par défaut de surveillance humaine suffisante. Les modèles d'IA peuvent ne pas tenir compte de divers facteurs humains ou de considérations éthiques.
Pire encore, ils peuvent totalement passer à côté d'une menace. Supposons que votre équipe soumette huit clés de registre dans le cadre d'un échantillon de logiciel malveillant . Votre modèle peut déterminer à tort qu'il s'agit d'un logiciel qui n'est pas malveillant. Pourquoi ? Parce qu'aucun logiciel malveillant que vous avez transmis précédemment ne comportait plus de huit clés de registre. Par conséquent, votre organisation est vulnérable à tout logiciel malveillant qui ne correspond pas à ce modèle précédent.
La mésinformation ne s'arrête pas à une seule personne ou une seule entreprise : elle peut avoir des conséquences très vastes. La diffusion d'informations erronées concernant les grandes sociétés cotées en bourse peut, par exemple, déstabiliser les marchés financiers. De la même manière, la désinformation concernant un pays peut affecter les relations géopolitiques ou la politique étrangère, et les modèles d'IA peuvent potentiellement exacerber ces problèmes.
Ajuster nos attentes
Le problème ne réside pas seulement dans le fait que les modèles d'IA produisent des informations erronées, mais aussi dans le fait que nous supposons que les réponses générées par l'IA sont toujours correctes. Lors de mes interactions avec les équipes de sécurité d'autres entreprises, j'ai remarqué que certaines personnes pensent que l'IA leur apportera les bonnes réponses et leur permettra de résoudre leurs problèmes ; ce qui est troublant.
Les modèles d'IA ne sont pas absolus. Elles n'apportent pas nécessairement une réponse unique et définitive. Prenons l'exemple des logiciels de cartographie. Si je demande à une application de cartographie de planifier un itinéraire automobile vers une destination particulière située à quelques États de là, plusieurs options s'offrent à vous. Le logiciel peut ne pas disposer de suffisamment de données pour calculer le chemin le plus rapide. Il peut également recommander un itinéraire rapide qui n'est pas sécurisé.
L'application peut également suggérer quelques options qui présentent des avantages et des inconvénients distincts. Il peut s'agir, par exemple, d'un itinéraire direct, mais en abrutissant, sur une autoroute. Et elle peut également suggérer un itinéraire plus sécurisé qui prend un peu plus de temps. Quelle solution est la meilleure ? Il n'existe pas de « bonne » réponse unique.
Nous nous attendons également à ce que les modèles d'IA puissent anticiper avec précision ce qui se passera à l'avenir. Les modèles peuvent prédire les résultats, mais ces prédictions reposent sur des événements et des données passés. À mesure que de nouvelles données plus pertinentes apparaissent, elles doivent être intégrées aux modèles existants. Même à ce moment-là, les modèles ne savent pas avec certitude ce qui va se passe. Ils ne peuvent pas anticiper les événements à venir avec une précision de 100 %.
Il est essentiel d'ajuster nos attentes en matière d'IA. Toutefois, nous devons évidemment continuer de faire notre maximum pour réduire la probabilité qu'ils génèrent des informations erronées.
Lutter contre la mésinformation
Il existe plusieurs stratégies qui peuvent nous aider à limiter les informations incorrectes générées par les modèles d'IA. Prises ensemble, ces stratégies nous permettront de réduire au minimum les erreurs d'inférence, même lorsque nous modérons nos attentes. Tandis que les gouvernements adoptent de nouvelles réglementations pour encadrer l'utilisation de l'IA (telles que l'AI Act de l'UE et l'exploitation AI Comply de la FTC aux États-Unis), il va devenir essentiel de mettre en œuvre des stratégies visant à lutter contre la mésinformation afin d'éviter les sanctions et autres réglementaires.
Collecter plus de données : en règle générale, les développeurs de modèles d'IA disposant d'un plus grand nombre de données sont mieux placés pour produire des réponses précises. Toutefois, la collecte des données ne constitue qu'une première étape. Les concepteurs de modèles et d'applications devront transformer ces données en fonctionnalités capables de résoudre des problèmes spécifiques.
Mettre en œuvre des mesures de qualité et d'intégrité des données: la mésinformation peut résulter d'une mauvaise gouvernance des données. Lorsque les modèles d'IA reposent sur des données incomplètes, inexactes, incohérentes, corrompues ou erronées/aberrantes, ils fournissent des réponses incorrectes. Nous devons effectuer des contrôles et des audits réguliers pour vérifier que les sources de données sont légitimes et n'ont pas été altérées.
Valider les résultats : en plus de valider les données d'entrée, nous devons filtrer ce que les LLM produisent, tout en surveillant les modèles d'utilisation et les requêtes. Les résultats de la validation nous permettent de repérer les informations erronées (intentionnelles ou non intentionnelles) avant d'utiliser ces informations erronées pour prendre une décision. Nous pourrions en fait utiliser des modèles d'IA pour valider les résultats (et les entrées) d'autres modèles d'IA. Ce faisant, nous nous assurons que les réponses se situent dans la plage des valeurs réellement exactes.
Le contrôle des accès aux modèles open source : l'IA fantôme (et notamment l'utilisation non autorisée de modèles d'IA publics et open source) peut amplifier les effets de la mésinformation au sein d'une entreprise. La surveillance de l'utilisation de ces modèles au sein d'une entreprise peut contribuer à éviter l'exposition d'informations sensibles et à limiter le risque de décisions mal informées par les employés s'appuyant sur des informations erronées.
Renforcer la sécurité des modèles internes : le verrouillage des modèles d'IA internes avec des contrôles d'accès stricts, le suivi des versions, le chiffrement et les certificats numériques peut contribuer à prévenir l'empoisonnement intentionnel et non intentionnel. Nous devons surveiller de près la manière dont les modèles sont utilisés et déployés pour détecter d’éventuelles tentatives de manipulation ou de vol.
Se préparer aux attaques de mésinformation : toutes les organisations doivent se préparer aux attaques de désinformation. Comme lors de la préparation à une attaque DDoS ou par un rançongiciel, nous devons disposer d'une offre pour détecter l'attaque, signaler les événements, contenir les dégâts et communiquer le problème aux clients, aux partenaires et au public. La majeure partie de cette planification doit être alignée sur les stratégies typiques de communication en période de crise.
Faire appel au jugement humain : nous devons distinguer ce qui est vrai de ce qui ne l'est pas, et cela devient de plus en plus difficile avec l'IA. Les « Deepfakes », par exemple, deviennent beaucoup plus réalistes et continueront à s'améliorer au fil du temps. Pendant ce temps, les particuliers et les organisations publient de nombreux faux articles, publications sur les réseaux sociaux et commentaires sur les publications tous générés par l'IA. Malheureusement, plus nous sommes confrontés à une idée ou à un prétendu fait, plus nous pensons qu'il est authentique, même si ce n'est pas le cas.
Le jugement humain sera essentiel pour décider si nous recevons des informations erronées ou de la désinformation. Nous n'avons pas besoin de connaître la bonne réponse à une question (s'il n'y a qu'une seule réponse correcte), il nous suffit de déterminer si une réponse est plausible, d'après notre expérience vécue. C'est comme lorsque quelqu'un exagère ou raconte une histoire extravagante ; à nous de déterminer ce qui est vrai de ce qui est une fiction. En créant un environnement de pensée critique, de transparence et d'apprentissage continu, nous pouvons atténuer les risques posés par la mésinformation générée par l'IA.
L'avenir de la mésinformation générée par l'IA
Il ne fait aucun doute que l'IA va jouer un rôle de plus en plus important dans notre quotidien et notre travail. Alors que nous nous préparons à un avenir proche et lointain avec l'IA, nous devons être conscients du risque de mésinformation générée par l'IA et trouver des moyens d'en limiter les conséquences.
La croissance de l'intelligence artificielle générale (AGI) pourrait nous aider à mieux identifier les problèmes potentiels affectant les modèles. Ce champ, qui tente de produire davantage d'informations, semblables à l'intelligence humaine, peut ouvrir le système fermé des modèles d'IA. Nous pouvons être en mesure de déterminer la manière dont un modèle est arrivé à une réponse particulière et imaginer si cette dernière peut être incorrecte.
Pour l'heure, toutefois, certains des outils les plus importants sont nos puissantes capacités de raisonnement humain. Nous devons être méfiants à l'égard de l'information. Ce n'est pas parce que nous lisons quelque chose ou que nous regardons une vidéo que cela correspond à la vérité. Le meilleur moyen de lutter contre la mésinformation consiste à faire preuve de bon sens, à l'ancienne.
Cet article fait partie de notre série consacrée aux nouvelles tendances et évolutions qui affectent les décideurs en matière de technologies aujourd'hui.
Approfondir le sujet
Découvrez comment développer, utiliser et sécuriser l'IA générative à grande échelle dans le guide Garantir des pratiques sûres concernant l'IA à l'intention des RSSI.
Auteur
Grant Bourzikas – @grantbourzikas
Chief Security Officer, Cloudflare
Conclusions essentielles
Cet article vous permettra de mieux comprendre les aspects suivants :
Les causes de la mésinformation par l'IA
Conséquences des décisions fondées sur l'inférence imparfaite des modèles d'IA
Comment lutter contre la mésinformation
Ressources associées
Se préparer à l'avenir de l'IA dans le secteur de la cybersécurité
La gouvernance de l'IA commence par la gouvernance des données