[MWC 2024] Qualcomm veut faciliter l'exécution de modèles d'IA générative sur smartphone

Tout le monde cherche à surfer sur la vague de l'intelligence artificielle générative au Mobile World Congress 2024, et Qualcomm n'échappe pas à la règle. L'entreprise de San Diego y a présenté le Qualcomm AI Hub, une bibliothèque logicielle regroupant des modèles d'IA pré-optimisés pour ses puces mobiles. Plus de 75 modèles sont inclus - IA générative ou non - dont Whisper, ControlNet, Stable Diffusion et Baichuan 7B.

Des modèles optimisés pour tourner en local

Ils ont été adaptés pour tirer parti de "l'AI Engine" des Systems-on-a-Chip de l'entreprise, qui s'appuient sur plusieurs composants (CPU, GPU, NPU) pour accélérer au maximum ces types de calcul. Il s'agit de son approche historique de "calcul hétérogène". Qualcomm parle d'un temps de calcul 4 fois moins élevé pour l'inférence avec ses modèles optimisés, mais sans détailler ce à quoi il se compare, ni dans quel contexte.

Pour séduire les développeurs, Qualcomm vante une "intégration transparente" des modèles dans leurs applications pour faire de l'IA en local. En plus du Qualcomm AI Hub, ces modèles optimisés sont librement disponibles sur GitHub et Hugging Face. L'entreprise promet par ailleurs d'en ajouter de nouveaux régulièrement à l'avenir.

Un processeur pour l'IA dans le modem Snapdragon X80

On retrouve aussi l'IA dans les nouveaux produits. Les smartphones bien sûr, au travers des partenaires (Honor Magic 6 Pro, Xiaomi 14 Pro, Oppo X7 Ultra), mais aussi la broche connectée de la start-up Humane. Mais Qualcomm ne s'arrête pas là et a intégré un accélérateur de tensors dans son nouveau modem, le Snapdragon X80. De quoi consommer moins d'énergie tout en améliorant la couverture réseau et diminuant la latence. Même la localisation GNSS en bénéficie.

Côté réseau, Qualcomm présente un assistant utilisant l'IA générative pour aider les ingénieurs réseaux à configurer des RANs, une application qui réduit la consommation énergétique du réseau, et un logiciel de gestion du cycle de vie des tranches 5G dans le cadre du "network slicing".

Enfin, l'entreprise met en avant quelques travaux de recherche, dont le "Large Language and Vision Assistant" (LLaVA), un modèle de langage multimodal de 7 milliards de paramètres qui peut accepter des requêtes sous forme de texte et d'images, et un prototype d'utilisation de Low Rank Adaptation (LoRA) sur un smartphone Android (avec Stable Diffusion).