Étude : ChatGPT dépasse Gemini dans les examens de radiologie.

Étude : ChatGPT vs. Gemini dans l’interprétation radiologique

Une étude publiée le 20 mars dans Cureus a révélé que ChatGPT a légèrement surpassé Gemini dans la réalisation d’examens de formation en radiologie, mais que les deux grands modèles de langage ont eu du mal avec l’exactitude de l’interprétation des images.

Les chercheurs du Morsani College of Medicine de l’USF Health à Tampa, en Floride, ont analysé les performances de ChatGPT-4o d’OpenAI et de Gemini Advanced de Google DeepMind lors de l’examen en radiologie diagnostique de l’American College of Radiology de 2022.

Résultats clés de l’étude

Voici cinq points à retenir:

1. Contenu de l’examen : L’examen DXIT nécessitait une analyse du contenu écrit et basé sur des images couvrant plusieurs sous-spécialités radiologiques. L’examen comportait 106 questions à choix multiples.

2. Précision globale : Bien que ChatGPT-4o ait affiché une précision globale plus élevée de 69,8 % par rapport à 60,4 % pour Gemini Advanced, la différence n’était pas statistiquement significative, ont déclaré les chercheurs. ChatGPT-4o a montré une précision accrue dans les sous-spécialités de radiologie cardiaque et nucléaire.

3. Précision sur les questions basées sur le texte : Les deux ChatGPT-4o et Gemini Advanced ont montré une précision similaire sur les questions basées sur le texte, à 88,1 % et 85,7 % respectivement.

4. Précision sur les questions basées sur les images : La précision de ChatGPT-4o sur les questions basées sur les images était de 57,8 %, supérieure à 43,8 % pour Gemini Advanced.

5. Besoin de formation supplémentaire : Les deux modèles ont montré une meilleure précision sur les questions écrites, soulignant le besoin d’une formation supplémentaire sur l’interprétation des images, ont indiqué les auteurs de l’étude.

Vous pouvez consulter l’intégralité de l’étude ici.

Source : www.beckershospitalreview.com