Des modèles d’intelligence artificielle malveillants repérés sur la plateforme Hugging Face

Une équipe de chercheurs en cybersécurité du fournisseur de logiciels JFrog a découvert une centaine de modèles hébergés sur la plateforme open source Hugging Face présentant des fonctionnalités malveillantes. Dans un communiqué publié sur leur site le 27 février, les chercheurs expliquent que la charge malveillante pourrait permettre à un pirate informatique de prendre le contrôle des appareils des utilisateurs. Cela pourrait donner lieu à du vol de données et à de l’espionnage industriel.

Injection de code arbitraire et accès distant

Lancée en 2016, la société franco-américaine Hugging Face permet aux développeurs du monde entier de déposer des modèles de code et ensembles de données sur une plateforme, qui pourront ensuite être réutilisés ou améliorés. En août 2023, elle avait annoncé levé 235 millions de dollars, portant sa valorisation à 4,5 milliards de dollars, et revendiquait alors plus de 500 000 modèles.

Pour détecter ces 100 modèles malveillants, les chercheurs en cybersécurité ont analysé les frameworks de machine learning PyTorch et TensorFlow, hébergées sur Hugging Face. “Lorsque nous parlons de modèles malveillants, nous désignons ceux qui contiennent des charges utiles réelles et nuisibles, écrit le rapport. Ce décompte exclut les faux positifs, garantissant une véritable représentation de la répartition des actions visant à produire des modèles malveillants sur Hugging Face.”

Les résultats ont mis en évidence différents types de charges utiles, qui visent principalement à pirater l’appareil qui exécuterait le modèle, mais aussi à injecter du code arbitraire et créer des shells inversés. Cette dernière technique permet à un pirate situé sur un réseau distant d’accéder à un appareil sur un réseau local.

Les chercheurs prennent l’exemple d’un modèle PyTorch, téléchargé par un utilisateur nommé “Baller423”, et depuis supprimé de la plateforme. La charge malveillante utilisait une fonction du module de sérialisation d’objets “pickle” de Python pour exécuter du code arbitraire, lors du chargement du fichier de modèle. De cette manière, la charge malveillante ne pouvait pas être détectée.

Des techniques également utilisées par les chercheurs

Selon JFrog, les utilisateurs à l’origine de certains modèles malveillants seraient des chercheurs en intelligence artificielle, et non des pirates informatiques. Ils effectueraient des tentatives  “pour obtenir l’exécution de code à des fins apparemment légitimes”, et utilisent la plateforme comme “terrain de jeu”.

Hugging Face assure qu’elle met en œuvre de nombreuses mesures de sécurité, en analysant les malwares et en examinant les fonctionnalités de chaque modèle pour comprendre comment ils agissent. Pourtant, en décembre dernier, d’autres chercheurs avaient déjà découvert des failles de sécurité dans près de 1500 jetons API dans Hugging Face.

“Ces incidents rappellent de manière saisissante les menaces permanentes auxquelles sont confrontés Hugging Face et d’autres sites populaires tels que Kaggle, qui pourraient compromettre la confidentialité et la sécurité des organisations qui utilisent ces ressources”, conclut le rapport.