Meta regroupe ses divisions de recherche en IA et se vante d'avoir l'équivalent de 600 000 Nvidia H100

Meta accélère ses efforts en matière d'intelligence artificielle générative. Son fondateur et CEO, Mark Zuckerberg, a annoncé le 18 janvier dans la soirée que l'entreprise va intégrer sa division de recherche fondamentale (FAIR) aux équipes produit dédiées à l'IA générative qu'elle avait constituées en février 2023 (une division simplement baptisée "GenAI"). L'objectif affiché : mettre au point une "intelligence générale".

La course à "l'intelligence générale"

Le terme, généralement abrégé en AGI pour (artificial general intelligence), fait référence à un système automatisé capable d'effectuer des tâches non spécialisées. Cela veut dire qu'il pourrait aussi bien conduire une voiture que résumer les points importants d'une réunion, résoudre un puzzle et peindre un tableau. Mais surtout : il serait capable d'appliquer des capacités de raisonnement à des situations complètement nouvelles. Ce concept est sujet à débat dans le domaine de la recherche en intelligence artificielle, notamment car il est souvent associé à la notion d'une conscience artificielle équivalente à celle d'un être vivant.

Mark Zuckerberg rejoint donc d'autres grandes figures de la tech dans cette quête, dont notamment Sam Altman (OpenAI) ou Demis Hassabis (qui dirige les efforts de Google en la matière). Elon Musk est aussi obsédé par le sujet depuis près d'une décennie. Le patron de Meta précise dans son message qu'il entend distribuer largement et librement le résultat de ces recherches "de la façon la plus responsable possible". Meta est aujourd'hui l'une des seules grandes entreprises à tenir encore cette ligne de conduite, les autres s'étant tournés vers une approche propriétaire étant donné les profits potentiels à en tirer.

L'équivalent de 600 000 Nvidia H100

Au-delà de cette note d'intention, le message du CEO semble surtout destiné à attirer de nouveaux talents dans ce domaine, qui sont aujourd'hui extrêmement convoités. L'intérêt de Meta pour l'intelligence artificielle n'est nouveau : le premier laboratoire FAIR a été créé en 2013, et ses contributions à la recherche sont largement reconnues. Mais avec l'émulation qui agite aujourd'hui les entreprises du secteur, il faut redoubler d'attractivité pour rester compétitif.

Mark Zuckerberg vante les investissements colossaux qu'il réalise en matière d'infrastructure : "à la fin de l'année, nous aurons environ 350 000 Nvidia H100, et l'équivalent de près de 600 000 H100 si on inclut d'autres GPU." Les technologies d'IA générative de pointe reposent aujourd'hui sur la constitution de très grands modèles, comprenant des milliards de paramètres. Leur entraînement nécessite des capacités de calcul monstrueuses, ce qui limite le terrain de jeu à une poignée de grands acteurs du cloud. C'est notamment pour cette raison qu'OpenAI est inféodée à Microsoft, car ChatGPT ne pourrait pas exister sans Azure.

Llama-3 veut détrôner GPT-4

Il annonce également que Llama-3 arrive, et que l'objectif ne sera plus désormais d'être le meilleur LLM ouvert, mais le meilleur tout court. Un message qui sonne comme un défi lancé à la concurrence, et qui est d'autant plus remarquable que Meta ne commercialise pas d'offre cloud à date, ni vraiment de service d'IA, contrairement à Microsoft, Google ou Amazon. Peut-être n'est-ce qu'une question de temps.

Sur LinkedIn, Yann LeCun, Chief AI Scientist de Meta, s'est fait l'écho des annonces de son dirigeant. "La mission de FAIR est de développer la science et les technologies permettant la création d'assistants IA d'un niveau humain : des machines qui peuvent comprendre le monde, qui peuvent percevoir, se souvenir, planifier, et agir. Dans un futur pas si lointain, toutes nos interactions avec le monde numérique se feront par le biais d'assistants IA au travers de lunettes connectées et d'autres appareils."

La mention de lunettes connectées par le chercheur n'est pas anodine : les recherches de Meta en matière d'intelligence artificielle sont intimement liées à ses ambitions autour des technologies immersives. Mark Zuckerberg lui-même le répète systématiquement : cette double stratégie n'est pas nouvelle, et elle se poursuit à pleine vitesse. Le concept de métavers est même toujours d'actualité.

Fait notable : Yann LeCun a publiquement déclaré à plusieurs reprises l'année dernière que l'approche actuelle derrière les grands modèles de langage n'est pas pour lui une voie viable vers l'intelligence générale, allant jusqu'à déclarer que dans quelques années, quelqu'un entraînant un modèle de ce type sera considéré comme un fou. Il préconise à la place une approche inspirée du vivant et reposant sur la perception du monde. Un premier modèle basé dessus, baptisé I-JEPA, avait été publié en juin.