Avec Gemma 3, Google propose des modèles d'IA pour smartphone et ordinateur portable

Cela fait quelques mois que nous n'avions plus de nouvelles de la famille de modèles Gemma développée par Google. Cette semaine, la firme a fait parler d'elle avec la publication de sa famille Gemma 3, une collection de modèles (disponibles en plusieurs tailles, 1B, 4B, 12B et 27B) ouverts, légers, et de pointe conçus pour être exécutés sur un seul GPU ou TPU et, in fine, fonctionner sur des appareils tels que des téléphones, des ordinateurs portables et des stations de travail.

Le géant de la recherche affirme que la collection aidera les développeurs à créer des applications d'IA variées et sans barrière de la langue. En effet, Gemma 3 prend en charge nativement plus de 35 langues et plus de 140 langues grâce à une phase de pré-entraînement avec une fenêtre contextuelle de 128 000 jetons. Les modèles de cette famille sont capables d'analyser des images, du texte et de courtes vidéos. Les modèles sont également adaptés pour l'automatisation de tâches ou des fonctions agentiques. 

Des modèles moins coûteux

Les équipes de Google ayant planché sur le développement de cette famille de modèles précisent avoir combiné plusieurs techniques : "Les processus de pré-entraînement et de post-entraînement de Gemma ont été optimisés grâce à une combinaison de distillation, d'apprentissage par renforcement (RLH, RLMF, RLEF, ndlr) et de fusion de modèles. Cette approche améliore les performances en mathématiques, en codage et en suivi d'instructions". Gemma 3 a été entraîné sur des jetons 2T pour 1B, 4T pour 4B, 12T pour 12B et 14T pour 27B, sur des TPU Google utilisant le framework JAX.

Cette approche améliore par ailleurs les capacités de calcul, de codage et de suivi des instructions du modèle, "ce qui en fait le meilleur modèle compact ouvert de LMArena, avec un score de 1338", assure Google. La famille de modèles surpasse ainsi Llama-405B, DeepSeek-V3 et o3-mini lors des évaluations préliminaires réalisées dans le cadre de ce classement.

Le modèle est d'ores et déjà encensé par la communauté, décrit comme "le meilleur modèle ouvert de non-raisonnement sur LMSYS", à en croire Philipp Schmid, ancien de Hugging Face et ingénieur chez Google DeepMind.

Une disponibilité immédiate

La firme propose aux développeurs d'accéder dès à présent à Gemma 3 en y accédant via Google AI Studio, Kaggle ou Hugging Face. Notons que Gemma 3 est livré avec une base de code qui inclut des "recettes" pour un fine-tuning et une inférence efficaces. Plusieurs options de déploiement sont disponibles : Vertex AI, Cloud Run, l'API Google GenAI, les environnements locaux et d'autres plateformes.

Un travail a par ailleurs été réalisé avec Nvidia afin d'optimiser les modèles Gemma 3 pour ses GPU, incluant les dernières puces Blackwell. Gemma 3 est également optimisé pour les TPU Google Cloud et s'intègre aux GPU AMD via la pile open source ROCm.