Comment Escrocs Utilisent ChatGPT-4o Pour Voler des Comptes Bancaires
La vulnérabilité des IA comme ChatGPT-4o face aux escroqueries et autres fraudes
Des chercheurs ont montré qu’il est possible de manipuler l’API vocale en temps réel d’OpenAI pour ChatGPT-4o, un chatbot LLM avancé, afin de mener des escroqueries financières avec des taux de réussite faibles à modérés.
ChatGPT-4o est le dernier modèle d’IA d’OpenAI qui apporte de nouvelles améliorations, telles que l’intégration de textes, de voix et de données visuelles en entrée et en sortie.
Les risques potentiels des nouvelles fonctionnalités
En raison de ces nouvelles fonctionnalités, OpenAI a intégré divers dispositifs de sécurité pour détecter et bloquer tout contenu nuisible, comme la réplication de voix non autorisées.
Les escroqueries basées sur la voix posent déjà un problème de plusieurs millions de dollars, et l’émergence de la technologie de deepfake et des outils de synthèse de parole alimentés par l’IA ne font qu’empirer la situation.
Les outils technologiques actuels et le manque de protection
Comme l’ont démontré les chercheurs de l’UIUC, les nouveaux outils technologiques actuellement disponibles sans restrictions ne comportent pas suffisamment de dispositifs de sécurité pour se protéger d’une utilisation abusive par des cybercriminels et des fraudeurs.
Ces outils peuvent être utilisés pour concevoir et effectuer des opérations d’escroquerie à grande échelle sans intervention humaine en couvrant le coût des jetons pour les événements de génération vocale.
Les résultats de l’étude
Le document des chercheurs explore divers types d’escroqueries comme les virements bancaires, l’exfiltration de cartes-cadeaux, les transferts de cryptomonnaies et le vol d’identifiants pour les comptes de médias sociaux ou Gmail.
Les agents d’IA qui réalisent les escroqueries utilisent des outils d’automatisation de chat vocal ChatGPT-4o pour naviguer sur les pages, saisir des données, et gérer les codes d’authentification à deux facteurs et des instructions spécifiques relatives aux escroqueries.
Les taux de réussite se situaient entre 20 et 60 %, avec chaque tentative nécessitant jusqu’à 26 actions sur le navigateur et durant jusqu’à 3 minutes dans les scénarios les plus complexes.
Les coûts pour exécuter ces escroqueries sont relativement bas, chaque cas réussi coûtant en moyenne 0,75 $. Par exemple, l’escroquerie sur les virements bancaires, plus complexe, coûte 2,51 $.
La réponse d’OpenAI et les mesures prises
OpenAI a déclaré à BleepingComputer que son dernier modèle, o1 (actuellement en prévisualisation), qui prend en charge le “raffinement avancé,” a été conçu avec de meilleures défenses contre ce type d’abus.
OpenAI a également noté que des articles comme celui-ci de l’UIUC les aident à améliorer ChatGPT pour prévenir les utilisations malveillantes, et ils enquêtent toujours sur comment renforcer sa robustesse.
o1-preview obtient des scores significativement plus élevés selon l’évaluation de sécurité par jailbreak d’OpenAI, qui mesure la capacité du modèle à résister à la génération de contenu non sécurisé en réponse à des sollicitations adverses, obtenant un score de 84 % contre 22 % pour GPT-4o.
Lorsqu’il est testé avec un ensemble de nouvelles évaluations de sécurité plus exigeantes, les scores de prévisualisation o1 étaient nettement plus élevés, 93 % contre 71 % pour GPT-4o.
En fin de compte, à mesure que des LLM plus avancés et offrant une meilleure résistance aux abus deviendront disponibles, les anciens modèles seront progressivement abandonnés.
Source : www.bleepingcomputer.com
