Avec Gemma 2, Google fait de l'ombre à Llama 3

Lors de sa conférence annuelle Google I/O en mai dernier, le géant a fait part d'une myriade d'annonces en matière d'IA générative. La firme avait notamment dévoilé Gemma 2, seconde génération de sa famille de grands modèles de langage Gemma. Google avait alors fait étal des performances de son modèle, disponible dans une unique version à 27 milliards de paramètres.

Aujourd'hui, il semble qu'une seconde version ait été développée puisque le géant vient de mettre à disposition des chercheurs et développeurs Gemma 2 9B et Gemma 2 27B. Et le moins que l'on puisse dire c'est que la firme ne cache pas sa fierté : "Gemma 2 est plus performant et plus efficace en matière d'inférence que la première génération, avec des avancées significatives en matière de sécurité".

Deux versions capables de rivaliser avec celles de Llama 3

La version comportant 27 milliards de paramètres est qualifiée d'"alternative compétitive à des modèles plus de deux fois plus grands", un clin d'œil à la version Llama 3 70B de Meta. Google attribue cela à la possibilité de faire tourner ces modèles avec un seul GPU H100 Tensor Core, un A100 80Go ou un hôte TPU Google Cloud, ce qui réduit considérablement les coûts de déploiement. Par comparaison avec Llama 3 70B, la version 27B obtient un score de 75,2% sur le test MMLU (teste à la fois la connaissance du monde et la capacité à résoudre des problèmes) contre 79,5% pour la version de Meta. Sur le test de raisonnement BBH, Gemma 2 27B obtient 74,9% tandis que Llama 3 70B obtient 81,3%.

De son côté, le modèle 9B Gemma 2 offre également les meilleures performances de sa catégorie, assure Google, surpassant le Llama 3 8B et d'autres modèles ouverts dans sa catégorie de taille. Le tableau récapitulatif des tests réalisés montre que la version 9B est meilleure que Llama 3 8B sur le benchmark MMLU et GSM8K (test sur la résolution de problèmes de mathématiques). Les deux modèles obtiennent sensiblement le même score sur le test HellaSwag (évalue la compréhension avancée du langage naturel et le raisonnement de bon sens dans les modèles d'IA).

Des capacités d'inférence impressionnantes

Google promet une qualité d'inférence avec Gemma 2 telle que le modèle peut tourner sur toute une gamme de matériel, des ordinateurs portables de jeu aux ordinateurs de bureau haut de gamme, en passant par les configurations basées sur le cloud. La firme donne en exemple les ordinateurs équipés d'une carte graphique Nvidia RTX ou une GeForce RTX via Hugging Face Transformers.

Tout comme les modèles Gemma de première génération, Gemma 2 est disponible sous la licence commerciale Gemma afin que les développeurs et chercheurs puissent partager et commercialiser leurs productions. A noter qu'à partir du mois prochain, les clients de Google Cloud pourront déployer et gérer Gemma 2 sur Vertex AI.

Un modèle compact à venir

La firme compte poursuivre le développement de cette famille de modèles et indique qu'un "prochain modèle Gemma 2 de 2,6 milliards de paramètres, conçu pour combler le fossé entre l'accessibilité légère et les performances puissantes" verra bientôt le jour. Cette version a été entrainée sur 2 000 milliards de tokens, détaille la firme dans un rapport technique dédié. Par comparaison, les versions Gemma 2 27B et 9B ont respectivement été entraînées sur 13 mille milliards de jetons de données principalement anglaises et sur 8 mille milliards de jetons.

Précision qui a son importance : ces jetons proviennent de diverses sources de données, notamment des documents Web, du code et des articles scientifiques. Il ne s'agit pas de modèles multimodaux et ils ne sont pas spécifiquement entraînés pour les capacités multilingues de pointe.