Les implications en matière de phishing des chatbots par IA

L'évolution du phishing à l'ère de l'IA avancée

Les réseaux de neurones profonds (un type de technologie d'apprentissage automatique utilisé pour mettre en œuvre l'intelligence artificielle, ou IA) monopolisent les gros titres depuis plusieurs années en raison de leur capacité à traduire des langues, à composer de la poésie et à générer des tweets, entre autres tâches créatives.

Plus récemment, GPT-4 et son prédécesseur, ChatGPT (deux modèles d'IA de conversation reposant sur l'apprentissage automatique) ont été reconnus comme des outils assurés de « changer la donne », qui vont « transformer la manière dont nous travaillons tous ». GPT-4 (Generative Pretrained Transformer-4, transformeur génératif pré-entraîné-4) et ChatGPT sont bien plus polyvalents que les chatbots traditionnels. Ils produisent non seulement des réponses textuelles plus humaines aux questions et aux demandes, mais peuvent également « comprendre » le contexte d'une requête de recherche ou d'une « conversation » écrite et interpréter l'intention à l'origine de la requête d'un utilisateur. Les fonctionnalités uniques de ChatGPT ont contribué à faire de ce modèle l'application grand public à la plus forte croissance de l'histoire.

Les chatbots par IA peuvent aider les utilisateurs à recueillir des réactions semblables à celles des humains voire à créer certaines applications, dans la mesure où leurs possibilités ont soulevé des préoccupations portant sur le fait qu'ils puissent être utilisés par des pirates afin de concevoir des campagnes de phishing.

Afin de mieux comprendre les implications de GPT-4 et de ChatGPT en matière de sécurité, il est important de comprendre de quelle manière ces IA peuvent être « formées » à rédiger des contenus destinés aux campagnes de phishing, ainsi que les différences entre les campagnes de phishing simples et les campagnes ciblées, hautement personnalisées.

Les acteurs malveillants ont toujours exploité les dernières tendances et les dernières technologies, des services de stockage cloud aux cryptomonnaies. À ce titre, l'émergence de l'IA générative AI rappelle aux entreprises qu'elles doivent impérativement s'assurer que leurs solutions de sécurité du courrier électronique sont bien capables de bloquer les campagnes de phishing avancées, indépendamment de l'identité (ou de la nature) de l'auteur du message.

Amener les machines à comprendre et à générer du texte

Les modèles soutenant les chatbots par IA d'aujourd'hui marquent de nouveaux jalons dans le domaine du traitement automatique du langage naturel (NLP, Natural Language Processing), une branche de l'IA permettant aux machines de « comprendre » et de réagir aux textes et à la parole d'une manière qui se rapproche beaucoup de celle des humains. Le NLP allie la modélisation du langage humain basée sur des règles à divers modèles afin d'aider les ordinateurs à comprendre ce qu'ils traitent.

Un certain nombre d'applications diverses (comme les outils de surveillance des réseaux sociaux et les assistants vocaux, tels que Siri) utilisent la technologie NLP depuis des années. Toutefois, en tant qu'outils nourris de milliards de paramètres textuels et visuels, ChatGPT et GPT-4 sont indéniablement plus avancés.

Chaque technologie représente un « grand modèle de langage », c'est-à-dire un modèle NLP basé sur un réseau de neurones, entraîné à prédire le mot le plus logique à suivre une expression donnée. Cette technique d'entraînement est reconnue pour produire des modèles NLP qui se révèlent tout aussi efficaces dans d'autres tâches.

La manière dont OpenAI (l'organisation à l'origine de ChatGPT et de GPT-4) a appliqué cette technique représente une étape considérable. OpenAI a poussé l'exercice plus loin que les autres applications, grâce à des techniques novatrices permettant d'incorporer des opinions humaines dans les images ou les textes produits, ainsi qu'à une forme d'entraînement permettant de suivre les instructions figurant dans les invites (prompts). Les modèles bénéficient par conséquent d'un réglage plus fin, leur permettant de générer des conversations plus nuancées et, par extension, plus humaines.

Les réponses articulées générées par ChatGPT et GPT-4 sont prévues pour diffuser le bien. Toutefois, les cybercriminels peuvent exploiter leurs fonctionnalités en tant qu'outil de développement de campagnes de phishing.

Abuser des chatbots par IA

Le phishing constitue la cause la plus commune de violations de données, ainsi qu'un point d'entrée courant pour les rançongiciels.

Comme les e-mails de phishing sont conçus (par ingénierie sociale) afin d'imiter des entités légitimes, ils peuvent s'avérer difficiles à identifier au premier coup d'œil. Historiquement, cependant, les éléments d'identification courants des messages de phishing (en particulier les messages générés par des criminels qui ne parlent/n'écrivent pas la langue natale de la victime) comprenaient les fautes de grammaire, les mots mal orthographiés ou mal utilisés, de même que les structures de phrases inappropriées.

En janvier 2023, l'entreprise Recorded Future, spécialisée dans les informations sur les menaces, a signalé que les cybercriminels pouvaient utiliser ChatGPT dans le cadre de leurs activités, comme la création de messages de phishing à l'aspect authentique.

Quelques semaines après le lancement de ChatGPT, Recorded Future a découvert que les acteurs malveillants officiant sur le dark web et les sources en accès spécial partageaient des conversations ChatGPT sur la validation de concept permettant le développement, l'ingénierie sociale et la désinformation vis-à-vis des logiciels malveillants.

Certains rapports ont également fait état d'acteurs malveillants cherchant à exploiter la popularité de ChatGPT et de GPT-4, comme les suivants :

• Des chercheurs ont découvert plusieurs cas dans lesquels le nom ChatGPT et des visuels provenant d'OpenAI étaient usurpés sur des sites de phishing afin de répandre des logiciels malveillants ou de dérober des informations de cartes bancaires.

• Il existe également de fausses applications ChatGPT, qui déploient des campagnes de phishing après leur téléchargement dans l'idée de voler les informations des utilisateurs.

• Immédiatement après le lancement de GPT-4, des escrocs ont commencé à envoyer des e-mails de phishing et à tweeter des liens de phishing concernant un jeton OpenAI falsifié.

Techniquement, OpenAI interdit l'utilisation de ses modèles pour la « génération de logiciels malveillants », les « activités présentant un risque élevé de préjudice économique », les « activités frauduleuses ou trompeuses » et toute autre activité illégale. Leurs modèles ne rédigeront pas d'e-mails frauduleux ni n'aideront à la création de faux sites web si un utilisateur le leur demande. En revanche, ils peuvent simplifier l'élaboration de campagnes de phishing pour les pirates. Au minimum, les chatbots par IA peuvent permettre à n'importe qui, y compris des acteurs malveillants, de perfectionner leurs compétences de rédaction en un temps record.

Placés dans les mauvaises mains, ChatGPT et GPT-4 pourraient être exploités afin de concevoir des sites web et des messages de phishing bien rédigés et d'apparence authentique, tout à fait capables d'échapper aux solutions traditionnelles de sécurité du courrier électronique ou de filtres anti-phishing.

Les chatbots par IA pourraient-ils créer des campagnes de phishing sur mesure ?

Les acteurs malveillants savent qu'ils ont juste besoin de tromper une seule victime afin de l'amener à cliquer ou à participer à une conversation afin de dérober des identifiants, des informations ou simplement de l'argent. Cet aspect est particulièrement évident dans les attaques de phishing au « faux poste » qui ciblent les demandeurs d'emploi, les escroqueries par usurpation de l'identité d'un organisme caritatif, qui s'attaquent aux donateurs et les fausses romances visant les célibataires en quête de rencontres en ligne.

Les réseaux de neurones les plus puissants à l'heure actuelle ne sont pas capables de « connaître » les informations personnelles des citoyens moyens ni la structure de communication (ou organisationnelle) d'une entreprise donnée. Toutefois, un acteur malveillant qui combinerait la puissance des chatbots par IA à des recherches suffisantes sur ses victimes prévues pourrait personnaliser ses messages de phishing à l'échelle, afin de rendre les e-mails malveillants encore plus difficiles à détecter par les utilisateurs.

Les cybercriminels mènent déjà des attaques par compromission du courrier électronique professionnel (Business Email Compromise, BEC) hautement ciblées et à faible volume afin de piéger les entreprises, avec succès. Les attaques BEC usurpent généralement l'identité d'un collaborateur ou d'un dirigeant spécifique avec lequel la victime correspond régulièrement. Autre forme d'attaque BEC, les attaques par compromission du courrier électronique avec les fournisseurs (Vendor Email Compromise, VEC) s'appuient sur la compromission des comptes d'un tiers de confiance (comme un fournisseur) et mettent en œuvre des répliques de messages déjà échangés par le passé. Comme les attaques BEC et VEC exploitent toutes deux les relations « de confiance », elles peuvent échapper aux solutions traditionnelles de passerelles e-mail sécurisées et d'authentification. Les attaques BEC ont déjà coûté plus de 43 milliards de dollars aux entreprises à travers le monde.

Bloquer le phishing sur l'ensemble des canaux grâce au Zero Trust

Les acteurs malveillants exploiteront toujours les nouvelles technologies à leur avantage. Heureusement, les innovations de sécurité peuvent identifier les messages malveillants qui parviennent à contourner les défenses traditionnelles ou à se soustraire à la vigilance des utilisateurs. Les modèles d'apprentissage automatique sophistiqués ont été créés et nourris au fil des ans afin d'examiner de nombreux signaux (au-delà des simples textes et images), dans l'optique de détecter et de bloquer le phishing.

Les e-mails contenant des quantités suffisantes d'informations supplémentaires dans l'en-tête et les champs de métadonnées, notamment des informations sur la provenance de l'e-mail, l'infrastructure du serveur d'origine et son parcours de transmission. Au-delà des en-têtes, les autres détails contenus dans un message (comme les URL et les liens spécifiques, les pièces jointes, les membres d'une liste de diffusion, le ton de voix et bien d'autres informations) doivent également être évalués.

La solution préventive de sécurité du courrier électronique de Cloudflare (proposée dans le cadre de sa plateforme Zero Trust), prend en considération de nombreux signaux générés par le contenu des e-mails, notamment via les processus suivants :

• L'analyse des sentiments, afin de détecter les changements dans les tendances et les comportements (habitudes d'écriture et expressions).

• L'analyse structurelle des en-têtes, du corps des messages, des images, des liens et des contenus à l'aide d'instruments heuristiques et de modèles d'apprentissage automatique spécialement conçus pour ces signaux.

• Les graphiques de confiance qui évaluent les graphes sociaux, l'historique d'expédition, ainsi que les cas d'usurpation potentielle de l'identité des partenaires.

Cloudflare met également à profit les informations issues des ~165 milliards de cybermenaces bloquées chaque jour et des 3,6 milliards de requêtes DNS quotidiennes (moyennes). Grâce à ces informations, les clients Cloudflare peuvent bloquer les domaines malveillants, isoler leurs utilisateurs du contenu web suspect, les empêcher de divulguer des identifiants sur des sites de phishing et arrêter les tentatives de phishing sur différents vecteurs d'attaque.

Ces techniques (et d'autres également) contribuent à empêcher les acteurs malveillants d'exploiter la confiance implicite des utilisateurs envers les communications professionnelles. L'approche globale, c'est-à-dire l'extension de la sécurité Zero Trust à la défense contre les menaces, est fondée sur trois principes fondamentaux :

• Supposer l'existence d'une violation : partez du principe que des campagnes de phishing sont toujours en train d'être lancées, sondez Internet de manière proactive à la recherche d'infrastructures employées par les acteurs malveillants et bloquez les attaques de phishing avant qu'elles n'atteignent la boîte de réception.

• Ne jamais faire confiance : ne faites pas confiance aux communications professionnelles uniquement parce qu'elles sont assorties à un système d'authentification des e-mails, qu'elles proviennent de domaines de confiance ou encore d'un expéditeur avec lequel l'utilisateur a déjà communiqué par le passé.

• Toujours vérifier : contrôlez constamment chaque requête et chaque utilisateur, même au sein du réseau de l'entreprise.

Les acteurs malveillants utiliseront indéniablement tous les outils à leur disposition, comme les nouveaux chatbots par IA, afin d'améliorer leurs techniques. Le fait de constamment jouer la défense ou d'attendre de déterminer si les nouvelles cybermenaces sont une réalité peut exposer les entreprises à des risques plus importants. À la place, veillez à « supposer l'existence d'une violation », à « ne jamais faire confiance » et à « toujours vérifier » afin de mieux vous protéger contre les campagnes de phishing.

Cet article fait partie de notre série consacrée aux nouvelles tendances et évolutions susceptibles d'affecter les décideurs en matière de technologies d'aujourd'hui.

Approfondir le sujet

Pour explorer plus en détail les types de campagnes de phishing détectées et bloquées par Cloudflare, n'hésitez pas à suivre la démonstration en autonomie de la sécurité du courrier électronique.

Points clés

Cet article vous permettra de comprendre les points suivants :

• La manière dont les chatbots de conversation basés sur l'IA génèrent du texte

• La manière dont les acteurs malveillants pourraient exploiter ChatGPT ou GPT-4 pour concevoir des campagnes de phishing

• Comment se protéger contre le phishing généré par IA

Ressources associées

• Démonstration en autonomie de la sécurité du courrier électronique

• Webinaire à la demande : Doit-on craindre l'imminence d'une « Apocalypse du phishing » ?

• Livre blanc : Simplifier la manière dont nous protégeons les applications SaaS