Le modèle compact Phi-4 se mesure à Gemini Pro 1.5, Llama 3.3 et GPT-4o

A la manière d'un calendrier de l'avent, le monde des LLM voit chaque jour fleurir de nouveaux modèles. Alors qu'Amazon et Google se sont accaparé tous les regards, Microsoft tire son épingle du jeu avec Phi-4. Dernier membre de la famille Phi, il représente un bond en avant par rapport à ses prédécesseurs, incluant Phi-3.5 Mini doté de 3,8 milliards de paramètres.

Relativement compact par ses quelques 14 milliards de paramètres, il se fait remarquer sur certains tests, notamment dans le raisonnement complexe, les mathématiques, ainsi que dans le traitement conventionnel du langage. Ainsi, comparé à ses semblables, à savoir phi-3 14B, Qwen2.5 14B Instruct et GPT 4o-mini, il obtient des résultats supérieurs sur bon nombre de benchmarks, incluant MMLU, Math ou encore HumanEval+.

Un modèle compact qui fait rougir les plus gros

Phi-4 se révèle également performant par rapport à des modèles plus grands tels que Llama-3.3 70B Instruct, Qwen2.5 72B Instruct et GPT-4o. Sur les tests GPQA (questions-réponses de niveau universitaire en STEM) et MATH (compétitions de mathématiques), il obtient ainsi les meilleurs scores. Sur les autres évaluations, c'est le modèle d'OpenAI qui garde une longue d'avance.

Sur d'autres évaluations menées par les équipes qui ont développé Phi-4, le modèle bat même Claude 3.5 Sonnet, Gemini Flash 1.5 et Gemini Pro 1.5. Microsoft attribue cela "à des avancées dans l'ensemble du processus, notamment l'utilisation de jeux de données synthétiques de haute qualité, la collecte de données organiques de haute qualité et des innovations post-entraînement".

Bientôt disponible sur Hugging Face

Phi-4 est actuellement disponible sur Azure AI Foundry sous un contrat de licence de recherche Microsoft (MSRLA) et sera disponible sur Hugging Face la semaine prochaine. Les clients de Microsoft pourront par ailleurs tester très prochainement le dernier modèle de la famille Phi. A date, ils utilisent principalement Phi-3.5-mini optimisé pour les fameux PC Windows Copilot+.

Microsoft va-t-il couper les liens avec OpenAI ?

Au-delà de ces performances remarquables, le fait que Microsoft soit capable de se mesurer à OpenAI soulève un point intéressant. La firme de Redmond a-t-elle encore besoin du partenariat avec la start-up la plus en vogue dans le milieu ? Il y a quelques jours, nous évoquions justement les tensions accumulées entre les deux acteurs de la tech : l'un désireux de garder la main sur son investissement voit rouge alors que le second tente de s'émanciper de cette relation qu'il juge un peu trop encombrante.

OpenAI, qui a multiplié les annonces autour de ChatGPT et ses modèles GPT, n'a eu aucun mot pour son plus gros investisseur ces derniers mois. De son côté, Microsoft, au-delà de ses modèles Phi, tente une incursion sur le marché des fameux agents IA avec sa plateforme Copilot Studio. Celle-ci permet de créer des chabots de façon simplifiée et s'appuie sur sa propre technologie.