Comment les outils d'IA d'Anthropic ont servi d'armes à des cybercriminels

"Nous avons développé des mesures de sécurité sophistiquées pour prévenir toute utilisation abusive de nos modèles d'IA. Cependant, les cybercriminels et autres acteurs malveillants cherchent activement des moyens de les contourner". Anthropic, comme nombre de ses concurrents fait face à une montée croissante d'abus en matière d'utilisation de l'IA. Alors, dans un souci de transparence - et d'alerte - la start-up a publié un rapport sur les renseignements sur les menaces.

Ce dernier inclut plusieurs exemples récents d'utilisation abusive de Claude, notamment une opération d'extorsion à grande échelle utilisant Claude Code, un système d'emploi frauduleux en Corée du Nord et la vente d'un rançongiciel généré par l'IA par un cybercriminel ne possédant que des compétences de base en codage. Le premier cas est très certainement le plus impressionnant : un acteur cybercriminel a utilisé Claude Code pour automatiser des attaques d'extorsion de données à grande échelle, ciblant 17 organisations (gouvernements, santé, services d'urgence, institutions religieuses) en un mois.

Le vibe hacking, une méthode où l'IA est un acteur actif

Cette méthode qualifiée de "vibe hacking" (utilisation d'agents IA pour des opérations d'extorsion de données)  illustre un changement fondamental dans la cybercriminalité : l'IA passe du rôle d'outil à celui de co-attaquant actif. Son impact potentiel sur la sécurité mondiale, combiné à sa sophistication et à son adaptabilité, en fait une menace sans précédent.

Dans le cas cité, 17 organisations ont donc été ciblées et les données volées incluent dossiers médicaux, des informations financières, des identifiants gouvernementaux et des données personnelles sensibles. En outre, les demandes de rançon ont atteint jusqu'à 500 000 dollars en Bitcoin, avec des notes de rançon personnalisées et psychologiquement ciblées pour maximiser la pression sur les victimes.

Une utilisation passive de l'IA

Par comparaison, le cas de la fraude à l'emploi nord-coréen, bien qu'impressionnant, repose sur une utilisation passive de l'IA (simulation de compétences techniques). L'impact est surtout économique et lié à l'évasion des sanctions. De fausses identités ont été créées, (CV, expériences professionnelles), et les acteurs malveillants ont préparé et réussi des entretiens techniques, et effectué des tâches quotidiennes (codage, communication) qu’ils ne maîtrisent pas réellement.

L'objectif est de contourner les sanctions internationales et de financer les programmes d’armes nord-coréens en touchant des salaires élevés (une estimation faite parle de centaines de millions de dollars par an). Ce cas révèle une dépendance totale à l’IA : sans elle, ces opérateurs ne pourraient ni postuler ni travailler, car ils manquent de compétences techniques et linguistiques.

Des malwares développés à bas coût

Enfin, le dernier cas repose sur du ransomware-as-a-Service (RaaS). Ici, l'IA est utilisée pour développer des malwares, mais l'attaque elle-même reste classique (chiffrement de fichiers et demande de rançon). Un acteur basé au Royaume-Uni a utilisé Claude pour développer et vendre des ransomwares sur des forums clandestins (Dread, CryptBB, Nulled). Le prix des kits de ransomware variait entre 400 et 1200 dollars.

Dans ce type de cas, des acteurs peu qualifiés peuvent désormais créer et vendre des malwares sophistiqués, l'IA réduisant fortement les barrières techniques pour le développement de logiciels malveillants. L'innovation reste toutefois moindre comparée au "vibe hacking".

Des mesures prises pour détecter et contrer les abus

Face à ces cas évoqués, Anthropic a donc pris certaines mesures pour détecter et contrer ces abus. Sont ainsi cités l'interdiction des comptes malveillants avec identification et blocage des acteurs impliqués, l'amélioration des systèmes de détection (développement de classifieurs pour détecter les comportements abusifs) et la collaboration avec les partenaires via le partage d'indicateurs de compromission pour renforcer la sécurité collective.

Bien évidemment, cette lutte contre la "weaponization" de l'IA ne peut se faire seul. Anthropic recommande ainsi un renforcement des défenses avec l'intégration des frameworks de sécurité adaptés aux menaces liées à l'IA, une meilleure sensibilisation des équipes aux nouvelles tactiques de cybercriminalité et une collaboration internationale permettant de partager les informations sur les menaces pour une réponse collective.