Nvidia vient de publier Chat with RTX, qui permet de faire tourner un chatbot basé sur un grand modèle de langage en local sur un PC disposant d'une carte graphique suffisamment puissante. Trois modèles sont proposés par défaut : celui de Nvidia, entraîné par l'entreprise sur une vaste base de documents publics, Llama 2 13B, et Mistral 7B.
Faire tourner un LLM en local en toute simplicité
Faire tourner un modèle de ce type en local n'est pas nouveau (on pense notamment à LM Studio), mais Chat with RTX simplifie encore les choses en permettant aux utilisateurs de simplement sélectionner un répertoire rempli de documents texte pour entraîner le modèle dessus (les formats .txt, .pdf, .doc/.docx et .xml sont gérés).
Chat with RTX nécessite une carte graphique dotée d'une puce GeForce RTX 30 ou supérieure avec au moins 8 Go de RAM. Mieux vaut également avoir un bon CPU et 32 Go de RAM. Le système utilise la technique RAG (retrieval-augmented generation) pour l'entraînement des LLM avec les données de l'utilisateur. L'accélération se fait par le biais de TensorRT-LLM. Nvidia indique vouloir ouvrir le projet à terme notamment pour les entreprises désireuses de se l'approprier pour des d'usage spécifiques.
Une forte concurrence sur le marché
La concurrence est féroce sur le segment des générateurs de texte et chacun cherche à tirer son épingle du jeu. Selon Statista, le nombre d'utilisateurs d'outils d'IA générative devrait croître d'environ 250 millions cette année, à plus de 700 millions à la fin de la décennie.
Fin septembre 2023, le pionnier ChatGPT était logiquement en tête des parts de marché (près de 20%), suivi de près par Jasper Chat (13%), YouChat (12%), DeepL (12%) et Simplified (près de 10%), alors que plusieurs autres acteurs se partageaient le tiers restant du marché.
![[ÉNERGIES] Déployez vos projets IA à l’échelle, inspirez-vous du cas ENGIE Entreprises et Collectivités](https://cdn.webikeo.com/webinar_logo/2025-10-24-ac93013fcd6c2ea907b5a091f0e74c90.png){kind=logo}
