"L'AI Act ne doit pas être un nouveau RGPD", d'après le Général Perrot, coordinateur IA à la gendarmerie nationale

L'Usine Digitale : La gendarmerie nationale a présenté il y a trois ans sa feuille de route, baptisée "CapIA", sur l'intelligence artificielle. Que pouvez-vous nous en dire ? 

Le Général Perrot : Il s'agit d'une stratégie construite autour de quatre piliers. Le premier pilier concerne l'acculturation et la formation. Tout d'abord, nous avons une revue d'acculturation "Cultur'IA" publiée tous les deux mois. Ont également été mises en place des formations courtes au profil des gendarmes et des dirigeants. Par ailleurs, la chaire "IA et sécurité" avec l'Institut supérieur d'électronique de Paris a été créée pour mettre l'IA dans le champ de la sécurité à un haut niveau d'expertise. 

Le deuxième pilier touche à tout ce qui relève de l'éthique et de la réglementation. Il y a trois ans, nous avons publié une charte éthique. Nous avons aussi travaillé sur l'AI Act en veillant à ce qu'il n'y ait pas d'asymétrie entre les possibilités criminelles et les capacités des forces de sécurité intérieure. C'est un enjeu déterminant : si nous voulons être capables de faire face à la sophistication technologique de la criminalité et l'accessibilité à des outils extrêmement sophistiqués, il faut qu'on ait les moyens de les contrer. Ce que permet l'IA. 

Le troisième pilier est relatif aux partenariats et à la valorisation. L'enjeu est d'expliquer au citoyen ce que l'on fait en matière d'IA, c'est-à-dire la finalité de nos outils, la maîtrise et le suivi. Je promeus beaucoup de développement interne. Cela ne veut pas dire que nous allons tout utiliser mais cela veut dire que nous avons connaissance de ce que font les systèmes d'IA en matière de possibilités, de limites et de réglages. Si nous sommes acheteurs d'une solution sans avoir la connaissance en IA, cela pose une vraie difficulté. 

Enfin, le dernier pilier est relatif à la recherche et au développement opérationnel avec cette idée de développer en interne nos propres outils. Cela peut être de la transcription automatique de la parole, l'analyse de vidéo de masse, le vieillissement et le rajeunissement des personnes ou encore de la classification d'images pédopornographiques. 

Comment fonctionne le développement de technologies en interne ?

Nous avons trois cas : les systèmes qui rentreront dans nos systèmes d'information à proprement parler avec un déploiement à grande échelle, des outils dédiés aux unités spécialisées et des travaux plus exploratoires pour anticiper la menace. Cela peut être du pur développement interne ou des outils achetés. C'est souvent de la technologie open source. 

Nous ne nous interdisons rien. En effet, il y a des systèmes d'IA, nous savons qu'on ne sera pas meilleurs qu'un industriel parce qu'il a des équipes de recherche, de la ressource... bien plus en nombre et voire plus qualifiés que nous. Par contre, avec nos moyens, nous allons quand même travailler sur le sujet de façon à ce que le jour où nous achetons un outil, nous comprendrons ce qu'il vend. 

Utilisez-vous des technologies vendues par des grandes entreprises technologies, telles que Microsoft ou Google ?

Non. Déjà, la gendarmerie est très open source. Vous le savez, Microsoft n'est pas chez nous. Nous avons quand même cette culture du logiciel libre. Après, ce ne sont surtout pas des ennemis et il ne faut pas les voir comme cela. Ce sont des partenaires avec qui nous pouvons discuter. Mais nous n'allons pas a priori acheter des solutions chez eux. Pourrait-on le faire ? Pourquoi pas mais si on le fait, cela sera extrêmement sécurisé et on saura ce que l'on a acheté. 

Concrètement, combien de temps s'écoule entre l'idée d'une technologie et son utilisation ? 

C'est très fluctuant en fonction de l'outil. Si nous voulons développer la technologie et la déployer auprès de tous les gendarmes, je dirais que cela prend entre 3 et 4 ans. Ce délai est en partie dû à la nécessité de faire une analyse d'impact relative à la protection des données (AIPD), en vertu du RGPD, qui prend environ 18 mois. Ce qui est un réel enjeu en matière d'IA : va-t-on pouvoir se permettre cela longtemps au rythme où l'IA va... Je ne suis pas sûr. Ainsi, l'AI Act ne doit pas être le nouveau RGPD car la donnée est très statique alors que l'IA est très évolutive. Les deux réglementations sont très bien mais ce sont des domaines différents donc il ne faut pas les réglementer de la même façon. 

Si je comprends bien, l'IA sert dans la majorité des cas d'aide à la décision. Existe-t-il des cas dans lesquels l'IA pourrait être utilisée seule ?

La notion d'autonomie de décision ne dépend que de l'humain. Si vous vous abandonnez à votre GPS, c'est votre GPS qui va vous guider. D'après nous, ce n'est pas la solution. En partenariat avec la direction interministérielle de la Transformation publique (DITP) et la direction interministérielle du numérique (Dinum), nous avons travaillé à l'outil "Albert" [outil d'intelligence artificielle générative capable de générer des réponses en fonction des demandes écrites de citoyens, ndlr]. Sur les questions de sécurité, a réponse est à la main du gendarme qui va la relire, qui va la changer ou la garder telle qu'elle. Ce que l'on ne veut pas, c'est que la réponse soit envoyée sans supervision humaine. 

Dans l'enquête judiciaire, c'est pareil. Lorsque nous utilisons une IA pour faire de la classification d'images pédopornographiques, nous avons toujours un humain derrière pour s'assurer que c'est une réelle image. En effet, dans le domaine de la sécurité intérieure, c'est trop sensible pour le laisser à la main de l'IA. L'IA peut avoir une autonomie de décision mais n'aura jamais conscience de sa décision. Ce qui veut dire que la responsabilité doit toujours être portée par l'humain. 

C'est pour cette raison que l'IA est particulièrement utile dans des domaines très spécialisés avec des experts qui ont l'habitude d'utiliser des outils scientifiques. Au fur et à mesure, cela pourrait être diffusé auprès de l'ensemble des gendarmes, d'où ce travail d'acculturation et de pédagogie. 

Passons du côté de la criminalité. En quoi l'intelligence artificielle – je suppose – a énormément modifié le paysage de la criminalité ? 

L'IA a rendu accessible beaucoup d'outils aux criminels. Aujourd'hui, il y a un changement de profil criminel : au départ cette délinquance sophistiquée s'adressait à des personnes impliquées dans la grande criminalité organisée, ensuite nous avons eu des geeks qui étaient capables de faire un certain nombre de choses et aujourd'hui c'est n'importe qui qui est capable d'utiliser des outils pour faire des attaques puissantes. Il n'y a plus besoin d'être un spécialiste de l'IA pour faire des deepfakes. 

Les cibles ont également changé. Avant, il s'agissait principalement de grands groupes. Aujourd'hui, nous voyons les hôpitaux qui sont attaqués. L'IA a aussi permis de mieux cibler les attaques. En effet, elle a la capacité de joindre le global et l'individu. Vous utilisez beaucoup de données et vous ciblez une personne ou une entreprise par rapport à ce que vous connaissez sur les réseaux ou sur un site web. 

Comment ne pas être en retard sur la sophistication de la criminalité rendue possible par l'IA ? 

A mon sens, nous n'avons pas le droit d'être en retard. D'emblée, il faut avoir une vision d'anticipation des phénomènes de délinquance. Ce n'est pas quand on est face au mur qu'il faut penser à sa course d'élan. Si on veut passer par-dessus le mur, il faut se préparer avant. Ainsi, nous travaillons avec le monde académique, avec les entreprises pour avoir les attaques de demain et les solutions. Egalement à l'international car nous savons que ce qu'il se passe dans les Balkans, aux Pays-Bas, aux Etats-Unis ou ailleurs nous intéresse. 

Nous avons tout ce travail de veille d'évolution de la menace. Je prends l'exemple des deepfakes : nous nous y sommes mis dès 2020 avec l'idée de développer un outil pour les contrer. Le fait d'avoir travaillé en amont, nous avions une solution avant que ce phénomène n'explose. Je crois que c'est vraiment ce qu'il faut faire : avoir cette vision d'anticipation. 

Dans un domaine comme l'IA, c'est essentiel vu la vitesse où ça va. Le futur de l'IA est dans 6 mois et non pas dans 5 ans. Quand je vois les vidéos générées avec Sora [modèle d'IA générative d'OpenAI, ndlr], on peut s'inquiéter dans le domaine pédopornographique. Nous devons être à la hauteur de ce challenge. C'est pour cela que nous sommes très attachés à la réglementation.