Nvidia et Mistral AI lancent le nouveau modèle linguistique Mistral-NemMo-Minitron 8B
Nouveau modèle de langue Nvidia et Mistral AI : Mistral-NemMo-Minitron 8B
Nvidia et Mistral AI ont lancé un nouveau petit modèle de langue qui présente une précision “de pointe” dans un encombrement réduit. Le nouveau LM est connu sous le nom de Mistral-NemMo-Minitron 8B, une version miniaturisée de NeMo 12B qui a été réduite de 12 milliards à 8 milliards de paramètres. Ce nouveau petit modèle de langue de 8 milliards de paramètres a été réduit grâce à deux différentes méthodes d’optimisation d’IA, a déclaré Bryan Catanzaro, vice-président de la recherche en apprentissage profond chez Nvidia, dans un article de blog. L’équipe derrière le nouveau LM a utilisé un processus combinant l’élagage et la distillation. “L’élagage réduit la taille d’un réseau neuronal en supprimant les poids du modèle qui contribuent le moins à la précision. Pendant la distillation, l’équipe a retravaillé ce modèle élagué sur un petit ensemble de données pour améliorer significativement la précision, qui avait diminué lors du processus d’élagage.”
Optimisation pour réduction des coûts et amélioration des performances
Ces optimisations ont permis aux développeurs de former le modèle de langue optimisé sur une “fraction de l’ensemble de données original”, résultant en jusqu’à 40x d’économies de coûts en termes de calcul brut. Normalement, les modèles d’IA doivent jongler entre la taille du modèle et la précision, mais avec les nouvelles techniques d’élagage et de distillation de Nvidia et Mistral AI, les modèles de langue peuvent avoir le meilleur des deux mondes. Mistral-NeMo-Minitron 8B, équipé de ces améliorations, mène neuf benchmarks d’IA axés sur le langage de taille similaire.
La quantité de puissance de calcul économisée est suffisante pour que les ordinateurs portables et les PC de bureau puissent exécuter Minitron 8B localement, le rendant plus rapide et plus sécurisé à utiliser par rapport aux services cloud. Nvidia a conçu Minitron 8B autour du matériel informatique grand public.
Modèle AI optimisé pour la performance
Le LM est emballé en tant que microservice Nvidia NIM, et le modèle d’IA est optimisé pour une faible latence, ce qui améliore les temps de réponse. Nvidia propose son service de modèle personnalisé, AI Foundry, pour prendre Minitron 8B et le manipuler pour fonctionner sur des systèmes encore moins puissants, comme les smartphones. L’exactitude et les performances ne seront pas aussi bonnes, mais Nvidia affirme que le modèle resterait un LM de haute précision, nécessitant une fraction des données d’entraînement et de l’infrastructure de calcul qu’il aurait besoin autrement.
Source : www.tomshardware.com
