OpenAI développe un nouvel outil pour rendre les chatbots plus fiables et précis
OpenAI développe un nouveau modèle pour former des IA plus intelligentes
Une des clés ayant contribué au succès fulgurant de ChatGPT était une armée de formateurs humains ayant guidé le modèle d’intelligence artificielle derrière le bot sur ce qui constitue des sorties bonnes ou mauvaises. OpenAI affirme désormais qu’ajouter encore plus d’IA dans le processus, pour aider les formateurs humains, pourrait rendre les assistants AI plus intelligents et fiables.
En développant ChatGPT, OpenAI a été précurseur dans l’utilisation de l’apprentissage par renforcement avec des retours humains, ou RLHF. Cette technique utilise les retours des testeurs humains pour peaufiner un modèle d’IA de sorte que ses sorties soient jugées plus cohérentes, moins controversées et plus précises. Les évaluations des formateurs alimentent un algorithme qui guide le comportement du modèle. Cette technique s’est avérée cruciale pour rendre les chatbots plus fiables et utiles, tout en les empêchant de mal fonctionner.
OpenAI a développé un nouveau modèle en affinant son offre la plus puissante, GPT-4, pour aider les formateurs humains chargés d’évaluer du code. La société a découvert que le nouveau modèle, nommé CriticGPT, pouvait repérer des bugs que les humains auraient pu manquer, et que les juges humains trouvaient ses critiques du code meilleures 63 % du temps. OpenAI envisage d’étendre cette approche à d’autres domaines à l’avenir.
Le chercheur de chez OpenAI, Nat McAleese, mentionne que cette approche peut encore comporter des erreurs de hallucination, mais elle pourrait contribuer à rendre les modèles d’OpenAI ainsi que des outils comme ChatGPT plus précis en réduisant les erreurs dans la formation humaine. Elle pourrait également s’avérer cruciale pour aider les modèles d’IA à devenir beaucoup plus intelligents, car elle pourrait permettre aux humains d’aider à former une IA qui dépasse leurs propres capacités.
Implications sur le développement des IA
Cette nouvelle technique s’inscrit dans un ensemble de développements visant à améliorer les grands modèles de langage et à en exploiter davantage les capacités. Elle fait également partie d’un effort visant à garantir que les IA se comportent de manière acceptable, même en devenant plus capables.
Plus tôt ce mois-ci, Anthropic, concurrent d’OpenAI fondé par d’anciens employés d’OpenAI, a annoncé une version plus performante de son propre chatbot, appelé Claude, grâce à des améliorations dans le régime d’entraînement du modèle et dans les données qui lui sont fournies. Anthropic et OpenAI ont tous les deux récemment vanté de nouvelles façons d’inspecter les IA pour comprendre comment elles parviennent à leurs sorties afin de mieux prévenir les comportements indésirables tels que la tromperie.
Source : www.wired.com
