Le test Windows Agent Arena de Microsoft dévoile la performance des assistants AI sur PC
L’avenir des assistants AI pour les utilisateurs Windows testé par Microsoft
Des tests visant à évaluer les performances des AI agents sur Windows
Microsoft a développé le benchmark Windows Agent Arena pour démontrer à quel point les assistants AI peuvent aider et soutenir les utilisateurs Windows dans leurs tâches. Ce benchmark teste explicitement les performances des AI agents sur les PC Windows. Il évalue à la fois la précision des tâches effectuées et la rapidité avec laquelle l’agent AI peut interagir avec les applications Windows couramment utilisées. Les éléments testés incluent les navigateurs Web Microsoft Edge et Google Chrome, les fonctions système telles que l’Explorateur, les applications telles que Visual Studio Code, Notepad, Paint et l’horloge. Le test comprend 150 opérations différentes.
Des agents AI qui n’ont pas encore convaincu
La technologie semble avoir besoin d’une évolution supplémentaire pour convaincre les utilisateurs Windows que les AI agents pour PC sont d’une grande aide. Microsoft Research, les développeurs du benchmark, ont mis au point l’agent Navi. L’agent AI a obtenu un score global de seulement 19,5 %, comparé à un taux de réussite humain de 74,5 %. L’Windows Agent Arena fournit aux développeurs d’AI agent un bon moyen d’évaluer les performances de leur dernière création.
Rogerio Bonatti, l’auteur principal de l’étude, a déclaré : “Windows Agent Arena offre un environnement réaliste et complet pour repousser les limites des AI agents. En rendant notre benchmark open-source, nous espérons accélérer la recherche dans ce domaine crucial au sein de la communauté AI.”
Une importance cruciale pour le développement d’AI agents performants
Le développement d’AI agents performants est également important pour Microsoft afin de stimuler les ventes décevantes des PC Copilot+. Les derniers modèles des fabricants de PC possèdent les capacités pour exécuter des applications AI. Cependant, pour que cela soit utile aux utilisateurs, les applications doivent également être performantes.
À lire aussi : Découvrez les nouveaux PC Copilot+ de Lenovo, Samsung, ASUS et Acer
Source : www.techzine.eu
