Le board d'OpenAI s'approprie les questions de sécurité et balaie les critiques d'anciens salariés

"La mission de l'OpenAI est de veiller à ce que l'intelligence artificielle générale profite à l'ensemble de l'humanité", peut-on lire en guise de biographie sur le compte X d'OpenAI. Pourtant, aujourd'hui la firme semble avoir quelque peu dévié de sa mission originale. La semaine dernière, nous apprenions en effet que l'entreprise a dissous son équipe de sécurité de l'IA chargée des risques à long terme, suite au départ des principaux responsables du sujet Ilya Sutskever et Jan Leike.

Cette semaine, OpenAI a – contre toute attente – annoncé former un comité de sûreté et de sécurité. Seulement, ce groupe manque quelque peu d'avis extérieurs et (plus) objectifs : le comité est, en effet, dirigé par Bret Taylor (président), Adam D'Angelo, Nicole Seligman et Sam Altman (actuel CEO de l'entreprise). Selon OpenAI, ce comité sera chargé de faire des recommandations à l'ensemble du conseil d'administration sur les décisions critiques en matière de sûreté et de sécurité pour les projets et opérations à venir de l'entreprise.

Le lancement d'un prochain modèle pousse à la création de ce comité

OpenAI a récemment commencé à entraîner ce qu'il nomme "son prochain modèle frontière" et affirme que les systèmes qui en résulteront représenteront une avancée vers le chemin de "l'intelligence artificielle générale". L'une des premières tâches du comité de sûreté et de sécurité sera d'évaluer et de développer davantage les processus et les garanties d'OpenAI au cours des 90 prochains jours.

À la date d'échéance, le comité de sûreté et de sécurité partagera ses recommandations avec l'ensemble du conseil d'administration – conseil lui-même composé des membres suivants : Sam Altman, Adam D'Angelo, Larry Summers, Bret Taylor, Sue Desmond-Hellmann, Nicole Seligman ainsi que Fidji Simo. Ainsi, pas moins de quatre des membres du board sont également membres du fameux comité de sûreté et de sécurité. Cela facilitera certainement la prise de décision… Enfin, l'étape finale du processus d'évaluation consiste – suite à l'examen complet du conseil d'administration – au partage public d'une mise à jour sur les recommandations adoptées d'une manière conforme à la sûreté et à la sécurité.

OpenAI précise qu'Aleksander Madry (responsable de la préparation), Lilian Weng (responsable des systèmes de sécurité), John Schulman (responsable de la science de l'alignement), Matt Knight (responsable de la sécurité) et Jakub Pachocki (chief scientist) seront également présents dans le Comité. En complément, la firme prévoit de consulter d'autres personnes, notamment d'anciens responsables de la cybersécurité, Rob Joyce, qui conseille OpenAI en matière de sécurité, et John Carlin.

OpenAI, toujours en quête de stabilité

Espérons que l'histoire nous donne tort et que la création de ce comité ne soit pas une manière pour OpenAI de se couvrir après la pluie de critiques que l'entreprise a essuyée suite à la dissolution de son équipe "Superalignment". Pour mémoire, celle-ci a été créée il y a moins d'un an pour garantir la sécurité des futurs systèmes d'IA, sera intégrée dans des efforts de recherche plus larges.

Jan Leike – ancien cadre responsable de la sécurité de l'entreprise – a invoqué des désaccords sur les priorités fondamentales de l'entreprise au moment de la quitter. Il a déclaré que la culture et les processus de sécurité avaient été relégués au second plan par rapport aux "produits brillants", et qu'OpenAI devait devenir une "entreprise AGI axée sur la sécurité". Jan Leike a participé au développement et à la supervision de plusieurs produits de la société, incluant InstructGPT.

Il a par ailleurs déclaré sur X que "construire des machines plus intelligentes que l’humain est une entreprise intrinsèquement dangereuse. OpenAI assume une énorme responsabilité au nom de l’humanité toute entière". Reste à savoir si l'entreprise assumera bel et bien cette responsabilité. En attendant, Jan Leike n'a pas perdu son temps et a annoncé rejoindre Anthropic, l'un des concurrents d'OpenAI. Il poursuivra "la mission de superalignement" et l'équipe qu'il dirige "travaillera sur la surveillance évolutive, la généralisation faible à forte et la recherche d'alignement automatisée".

Vous souhaitez être en veille sur l’actualité du secteur de l’intelligence artificielle ? Inscrivez-vous gratuitement à la newsletter IA Insider.