Les nouvelles classifications de Gemini – Analyse approfondie des émissions NewPropos recents de IA.
Classification de la programmation d’une chaîne d’actualités
Gemini fait face à des résultats changeants
La semaine dernière, nous avons utilisé Gemini pour classifier une décennie de titres d’émissions EPG sur une seule chaîne d’actualités télévisées en tant que nouvelles/non nouvelles. Il a été souligné qu’au moins cinq d’entre eux ne semblaient pas être des programmes liés à l’actualité. En relançant Gemini sur cette liste de cinq titres plusieurs fois une semaine plus tard, les résultats changent à chaque fois. En relançant la liste complète des 1 498 titres de programmes EPG uniques, nous obtenons des résultats très différents de la dernière fois. Quelque chose d’autre émerge également. La semaine dernière, Gemini 1.5 Pro a filtré les 1 498 titres de programme uniques et a retourné une liste de 837 titres qu’il a déterminés être des nouvelles. Une revue de cette liste révèle une découverte surprenante: sur ces 837 titres, plus de la moitié était des répétitions incorrectes de titres par Gemini, avec Gemini retournant en fait seulement 343 titres uniques parmi cette liste de 837 entrées. En relançant la liste originale des 1 498 titres une semaine plus tard, Gemini retourne 242 titres “uniques”, dont 181 sont effectivement uniques, ce qui suggère que cette duplication aléatoire pendant les tâches de filtrage est endémique. Pis encore, la semaine dernière, Gemini a retourné 202 titres de programmes uniques comme étant des nouvelles qu’il a marquées comme non nouvelles cette fois-ci, alors qu’il a ajouté 40 titres cette fois-ci comme nouvelles qu’il avait marqués comme non nouvelles la dernière fois. Cela soulève des préoccupations existentielles sur la façon dont les LLM peuvent être utilisés pour des tâches de classification comme celle-ci, qui nécessiteront une enquête plus approfondie.
Liste de programmes non liés à l’actualité
Voici une liste de cinq programmes non liés à l’actualité, mais que Gemini avait signalés la semaine dernière comme des nouvelles:
Recherche sur la classification de Gemini
Essayons de comprendre pourquoi Gemini a sélectionné ces programmes comme étant des nouvelles:
Lifestyles – NEWS
Brain Health – NEWS
Jalen Jacoby – NEWS
True Crime 2023 Who Stole My Life – NEWS
Analyse des programmes non liés à l’actualité
Alors que revenant sur les entrées de Brain Health et Lifestyles, aucune mention n’est faite de Jalen Jacoby et True Crime:
Nous aurions tort de considérer que ces programmes ne sont pas des actualités. En réalité, les titres “Brain Health” et “Lifestyles” pourraient potentiellement être utilisés pour des programmes liés à l’actualité, mais ils sont beaucoup plus susceptibles d’être les titres de programmes:
Pour être considéré comme une actualité, un programme aurait typiquement pour but de:
- Relater des événements actuels: Les programmes d’actualités se concentrent sur ce qui se passe dans le monde en ce moment.
- Présenter des informations factuelles: Ils visent à fournir des informations précises et impartiales.
- Inclure des interviews avec des experts et des témoins: Ils recueillent souvent les perspectives des personnes directement impliquées dans les histoires qu’ils couvrent.
Sans plus de contexte, il est impossible de dire de manière définitive si “Brain Health” et “Lifestyles” sont des programmes d’actualités. Ils pourraient l’être, mais ils sont plus susceptibles d’être autre chose.
Conclusion
En somme, Gemini fait face à des défis dans la classification des programmes d’actualités, ce qui soulève des questions sur l’efficacité des LLM dans de telles tâches. Les résultats fluctuants et les nombreux doublons indiquent un besoin d’examiner de plus près comment les outils d’IA sont utilisés dans des applications critiques comme la classification des programmes de télévision.
Source : blog.gdeltproject.org
