Comment France Travail s'appuie sur l'IA pour valider la conformité des offres d'emploi

On le connaissait mieux sous le nom de Pôle Emploi. Rebaptisé France Travail, l'établissement public à caractère administratif chargé de l'emploi en France n'a pas changé de mission. Toutefois, il semble que l'organisation passe un cap avec l'adoption progressive depuis plusieurs années de nouvelles technologies, notamment l'intelligence artificielle, comme l'affirme Agathe Ravilly, product manager chez France Travail : "Nous travaillons sur l'IA depuis dix ans".

Et à raison : avec 20 millions d'offres d'emploi publiées sur son site, 478 millions de visiteurs en ligne et 6,6 millions dans ses agences locales, l'établissement cherche par tous les moyens à faire gagner du temps à ses salariés et conseillers sur de nombreuses tâches, incluant la classification d'images entrantes, l'automatisation de l'analyse de CV, le traitement d'e-mails ou encore la garantie de la conformité des offres d'emploi avec les normes juridiques. Et c'est là-dessus que France Travail a choisi de se concentrer à travers son programme Intelligence Emploi orienté IA qui comporte une quinzaine de services d'IA en production.

Une solution open source vs une solution payante

L'organisation a donc développé une solution qui réponde à ce besoin baptisée LegO. Selon Agathe Ravilly, elle apporte plusieurs avantages, à savoir "se substituer à une solution de marché payante, améliorer la qualité des offres d'emploi publiées et réduire le temps passé par les conseillers à corriger les offres d'emploi". La plateforme développée on-premise (pour des raisons évidentes de sécurité) est par ailleurs open source et "pensée pour les data scentists", assure Agathe Ravilly.

Cependant, les équipes en charge du projet ont rencontré plusieurs défis pour arriver à cette solution : il a notamment fallu atteindre une bonne performance du modèle, entraîner efficacement des modèles à grande échelle mais aussi assurer la performance réelle de la production et contrôler le modèle en production. Pour répondre à ces défis, les équipes ont donc mis en place un cycle de vie complet de type MLOps "afin d'assurer un déploiement évolutif et sécurisé en production sur la base de notre plateforme AI et DevOps", complète Agathe Ravilly.

La sécurité et les performances en tête de liste

Côté sécurité, Agathe Ravilly assure que l'accès au data lake est sécurisé et que les données ne sont manipulées qu'à l'intérieur des systèmes de France Travail. "Aucune donnée n'est transférée sur un ordinateur portable personnel. La plateforme offre par ailleurs des capacités de calcul avec des ressources CPU et GPU, ressources qui réduisent considérablement le temps nécessaire à l'entraînement de modèles complexes", détaille Agathe Ravilly.

Dans le cas présent, l'équipe de data scientists a opté pour plusieurs modèles LSTM (Long Short-Term Memory) afin d'atteindre les performances demandées. Résultat : le temps d'entraînement est passé de 70 heures avec les CPU à 20 minutes avec les GPU. "Pour LegO, nous avons six modèles LSTM qui traitent les 22 critères de conformité que nous avons définis. Le premier modèle, par exemple, traite de la non-conformité en matière de sexe et d'âge", indique Agathe Ravilly.

Elle ajoute que les data scientists ont effectué un important travail de préparation. "Ils ont sélectionné un ensemble de données complet qui représente toutes les catégories de non-conformité et les scénarios susceptibles d'être rencontrés dans la vie réelle. Environ 50 000 offres ont été sélectionnées. Les données ont été prétraitées jusqu'à la segmentation des offres en phrases individuelles, afin qu'elles puissent être utilisées pour étiqueter les offres et pour entraîner le modèle avec plus de contexte.

Des premiers résultats tangibles

Le service LegO est donc entré en production en 2021. "Nous traitons 600 000 nouvelles offres d'emploi par mois dans notre système, et 20 % d'entre elles sont jugées non conformes à la loi par LegO", précise Agathe Ravilly, ajoutant que le modèle a atteint un taux de précision égal à 82%.

Elle note que les principaux critères de non-conformités identifiés sont par exemple la demande d'un bon état de santé, la demande de permis de conduire ou de biens tels qu'une voiture ou encore la discrimination fondée sur le genre. "Le service a été disponible 100 % du temps et son temps de réponse est d'environ 300 millisecondes, grâce à notre architecture. Nous pouvons donc dire que c'est un véritable succès", conclut-elle.

Bien évidemment, plusieurs défis restent à relever, notamment concernant l'interface utilisateur n'est pas adaptée à ce nouveau service d'IA. Autre point de blocage cité, le retour d'utilisation de la part des conseillers n'est pas automatique. Si ces derniers sont confrontés à des incohérences dans le traitement automatique des offres d'emploi, ils doivent encore le faire manuellement. "Aujourd'hui, le seul moyen de contrôler est de s'appuyer sur nos données de supervision. Nous organisons une phase de validation manuelle tous les six mois avec un pool de conseillers pour contrôler en différé si la prédiction a toujours été correcte ou non", indique Agathe Ravilly.

"Par exemple, une entreprise peut demander un permis de conduire et une voiture, parce qu'il n'y a pas de transport public pour se rendre sur le lieu de travail. Demander un permis de conduire et une voiture est considéré comme discriminatoire, mais savoir qu'il n'y a pas de transports publics est important. Les conseillers doivent donc adapter les offres d'emploi en fonction".