Découvrez QwQ-32B, le nouveau modèle open source révolutionnaire sur SambaNova Cloud
Découvrez dès aujourd’hui sur SambaNova Cloud, l’accès au meilleur modèle de calcul test-time en open source dévoilé par Alibaba : QwQ-32B-Preview. Le calcul test-time est un nouveau paradigme pour l’utilisation des grands modèles de langage (LLM) qui a été largement popularisé par OpenAI à travers leur modèle o1. Ces modèles fonctionnent en prenant leur temps pour réfléchir à une réponse (“test-time”) avant de générer la sortie finale. L’avantage principal de cette approche est que en produisant pas à pas le résultat avant de générer une réponse, les grands modèles de langage sont beaucoup plus susceptibles de produire une réponse précise.
Le défi de la rapidité
Le défi ? Ces modèles doivent produire beaucoup plus de tokens avant de fournir la sortie finale. En conséquence, les temps de réponse pour ces modèles sont en moyenne de 30 secondes. Alors qu’il existe des optimisations qui peuvent être réalisées pour améliorer la vitesse de la réponse comme ce qu’OpenAI a montré en réduisant le temps de réflexion en fonction de la complexité de la consigne, il y aura toujours de nombreuses consignes et cas d’utilisation qui nécessitent un grand nombre de tokens à générer, ce qui prendra du temps pour donner une réponse.
À propos de QwQ
QwQ-32B est un modèle de 32 milliards de paramètres, que nous proposons sur SambaNova Cloud avec une longueur de contexte de 8K. Ce modèle a démontré des performances supérieures sur des benchmarks spécifiques, surpassant les modèles de prévisualisation o1 et o1-mini d’OpenAI dans des tests tels que AIME et MATH, qui évaluent le raisonnement mathématique et les capacités de résolution de problèmes d’un modèle. Tout en montrant des résultats initiaux impressionnants préliminaires, ce modèle est principalement destiné à la recherche car il est encore en phase de prévisualisation et, par conséquent, tend à être en deçà dans d’autres benchmarks de qualité.
L’avantage de l’open source
Parce que QwQ est un modèle open source, nous sommes non seulement en mesure de l’optimiser pour notre matériel RDU, mais également, nous sommes en mesure de voir de manière transparente comment le modèle produit des tokens en test-time. Les alternatives closed source cachent intentionnellement la sortie du calcul test-time de la vue car elles craignent que la génération puisse être utile pour construire un modèle bien meilleur.
Sur SambaNova Cloud, les développeurs peuvent voir la sortie du test-time et l’utiliser pour construire de meilleurs modèles finement ajustés. Nous sommes impatients de voir l’écosystème exploiter cette opportunité pour développer des modèles de calcul test-time encore plus puissants qui peuvent fonctionner encore plus rapidement grâce à SambaNova.
Découvrez par vous-même notre démo Hugging Face développée en utilisant l’intégration SambaNova et Gradio.
À propos de SambaNova Cloud
SambaNova Cloud est disponible en tant que service pour permettre aux développeurs d’intégrer facilement les meilleurs modèles open source avec les vitesses d’inférence les plus rapides. Ces vitesses sont alimentées par notre puce d’IA de pointe, le SN40L. Que vous construisiez des agents d’IA ou des chatbots, des vitesses d’inférence rapides sont un MUST afin que vos utilisateurs finaux aient une expérience en temps réel fluide. Commencez en quelques minutes avec ces modèles et plus encore sur SambaNova Cloud gratuitement aujourd’hui.
Source : sambanova.ai
