La Cnil et l'Anssi lancent PANAME pour auditer la confidentialité des modèles d'IA

C'est le top départ pour le projet inédit "PANAME", pour Privacy Auditing of AI Models. Piloté par la Commission nationale de l'informatique et des libertés (Cnil), il ambitionne de créer un outil pour tester si un modèle d'intelligence artificielle met en danger la confidentialité des données sur lesquelles il a été entraîné. En d'autres termes, il va permettre d'auditer la résistance des modèles aux attaques compromettant la confidentialité des données. 

Ce partenariat rassemble également l'Agence nationale de la sécurité des systèmes d'information (Anssi), le Pôle d’expertise PEReN (Pôle d’expertise de la régulation numérique) et le projet IPoP du Programme et équipement prioritaire de recherche "Cybersécurité" (lancé dans le cadre de France 2030). 

Se rapprocher des besoins du terrain

La problématique est la suivante : les chercheurs documentent les risques d'atteintes à la confidentialité des modèles. Mais ces travaux restent principalement académiques, souvent inadaptés à des déploiements en environnement industriel. Trois obstacles majeurs ont été identifiés par le consortium : une littérature dense et hétérogène difficile à maîtriser sans expertise avancée, des outils expérimentaux rarement prêts à l'emploi pour des cas d'usage concrets et l'absence de standardisation des tests de confidentialité. 

D'où l'idée de proposer un outil d'évaluation. Plus précisément, le projet PANAME prévoit de produire d'ici 18 mois une bibliothèque logicielle, en partie en open source, qui rassemblera des méthodes standardisées d'audit de confidentialité. Elle devra être exploitable par les équipes techniques des entreprises et des administrations publiques, même en l'absence d'expertise en cybersécurité. 

Le PEReN est responsable du développement de cette bibliothèque, l'Anssi de l'expertise sur les modèles de menace et les attaques réalistes. De son côté, le projet IPoP s'occupe de la direction scientifique et de la supervision méthodologique. A noter que des tests en conditions réelles seront menés avec des partenaires publics et privés pour garantir l'adéquation des outils aux besoins du terrain. 

S'assurer que le RGPD est bien respecté

Ce projet s'inscrit dans un contexte réglementaire marqué par un avis du Comité européen de la protection des données (CEPD) de décembre 2024. Il avait notamment rappelé que le RGPD s'applique, dans de nombreux cas, aux modèles d'IA entraînés sur des données personnelles, en raison de leur capacité de mémorisation.