Des évaluations plus difficiles pour l’IA avancée: notre rapport complet
L’évaluation des capacités de l’intelligence artificielle a considérablement évolué au fil du temps. De nouveaux tests plus difficiles sont désormais nécessaires pour mesurer les progrès réalisés par les systèmes avancés. Ces évaluations, souvent appelées ‘evals’, permettent de révéler les limites des systèmes AI. De nouvelles évaluations complexes sont régulièrement mises en place par des entreprises, des organismes à but non lucratif et des gouvernements pour suivre le rythme des avancées rapides dans ce domaine.
Des défis toujours plus grands
Dans les premiers jours de l’IA, les capacités étaient mesurées en évaluant la performance des systèmes sur des tâches spécifiques, comme la classification d’images ou la résolution de jeux. Cependant, avec les progrès rapides, les systèmes AI dépassent régulièrement les performances humaines sur de nombreux tests populaires. La création de nouveaux ‘evals’ plus difficiles est essentielle pour évaluer précisément les capacités des systèmes AI avancés.
Les évaluations prennent différentes formes et leur complexité évolue en fonction des capacités des modèles. Les grands laboratoires d’IA effectuent maintenant des tests ‘red-team’ sur leurs modèles avant leur sortie, pour évaluer leur capacité à produire des résultats nocifs, contourner les mesures de sécurité ou se livrer à des comportements indésirables.
De nouveaux benchmarks
De nouveaux benchmarks plus sophistiqués voient le jour pour mesurer les capacités des systèmes AI avancés. Ces évaluations visent à identifier les capacités de raisonnement, de résolution de problèmes et d’adaptabilité des AI. A titre d’exemple, le benchmark MMLU évalue la compréhension du langage naturel des AI à travers environ 16 000 questions à choix multiples couvrant différentes disciplines académiques.
Un autre benchmark, appelé “Humanity’s Last Exam”, est en préparation pour inclure un plus grand nombre de questions couvrant des domaines variés comme la physique, la biologie et l’ingénierie électrique. Ces nouvelles évaluations sont essentielles pour s’assurer de la fiabilité des modèles AI avancés.
Alors que les systèmes AI réussissent brillamment aux tests existants, ils continuent à rencontrer des difficultés avec des tâches qui seraient simples pour un être humain. L’évaluation des capacités des AI est un enjeu de taille pour assurer la sécurité et le contrôle des systèmes futurs.
Source : time.com
