Nvidia publie Chat With RTX pour faire tourner un LLM sur son PC
Publié : 15 févr. 2024, 09:41
Rien à voir avec Unreal Engine et les jeux vidéo vous allez me dire, mais l'IA révolutionne tellement les pratiques qu'elles seront probablement à même de développer votre Blueprint ou votre code C++ dans les années à venir.
Plutôt que de s'appuyer sur des services cloud, Chat with RTX propose aux utilisateurs de traiter des données en local sur leur PC, sans avoir à les partager avec un tiers ou même disposer d'une connexion Internet. Parfait quand on sait que les grosses boites qui entretiennent le culte du secret ont interdit à leur personnel d'utiliser les AI pour éviter toutes fuites.
Nvidia vient de publier Chat with RTX, qui permet de faire tourner un chatbot basé sur un grand modèle de langage en local sur un PC disposant d'une carte graphique suffisamment puissante. Trois modèles sont proposés par défaut : celui de Nvidia, entraîné par l'entreprise sur une vaste base de documents publics, Llama 2 13B, et Mistral 7B.
Faire tourner un LLM en local en toute simplicité
Faire tourner un modèle de ce type en local n'est pas nouveau (on pense notamment à LM Studio), mais Chat with RTX simplifie encore les choses en permettant aux utilisateurs de simplement sélectionner un répertoire rempli de documents texte pour entraîner le modèle dessus (les formats .txt, .pdf, .doc/.docx et .xml sont gérés).
Chat with RTX nécessite une carte graphique dotée d'une puce GeForce RTX 30 ou supérieure avec au moins 8 Go de RAM. Mieux vaut également avoir un bon CPU et 32 Go de RAM. Le système utilise la technique RAG (retrieval-augmented generation) pour l'entraînement des LLM avec les données de l'utilisateur. L'accélération se fait par le biais de TensorRT-LLM. Nvidia indique vouloir ouvrir le projet à terme notamment pour les entreprises désireuses de se l'approprier pour des d'usage spécifiques.