AI chatbots leak explicit user interactions: an alarming revelation.
A la découverte de contenus choquants sur des chatbots NSFW
Des fuites préoccupantes
Un nouveau rapport de la société de sécurité UpGuard révèle que certains sites de chatbot NSFW laissent échapper des contenus de discussions explicites sur le web ouvert – et le contenu de ces discussions peut être troublant. L’enquête d’UpGuard s’est concentrée sur 400 services d’IA “exposés”, tous construits sur un protocole d’IA open source appelé llama.cpp. Les chercheurs d’UpGuard ont pu déterminer que 117 adresses IP connectées à ces services mal conçus fuyaient les invites des utilisateurs dans le monde numérique, et que trois de ces systèmes fuyaient des données provenant d’interactions sexuellement explicites avec des chatbots érotiques. En 24 heures, UpGuard a collecté près de 1 000 discussions d’utilisateurs divulguées. De manière inquiétante, cinq d’entre elles portaient sur des scénarios d’abus sexuel sur mineurs.
Des révélations inquiétantes
Le rapport d’UpGuard est alarmant à plusieurs niveaux. En apparence, le fait que des interactions sexuellement intimes avec des chatbots IA dérivent vers le web ouvert pose un énorme problème de confidentialité. Dans le même temps, ces failles de confidentialité révèlent certains des coins les plus sombres de l’IA générative, où les gens utilisent des services d’IA non réglementés pour se livrer à des fantasmes sexuels abusifs – et alarmant accessibles – de manière générale. Selon Greg Pollock, vice-président du produit chez UpGuard et auteur du rapport, les grands modèles de langage “sont utilisés pour produire en masse, puis abaisser la barrière à l’interaction avec les fantasmes d’abus sexuel sur mineurs”.
La lutte contre les abus
Il s’agit loin d’être la première fois que l’IA générative est utilisée pour créer ou consommer de la pornographie infantile ou se livrer à des fantasmes pédophiles. Récemment, une autre exposition dans une startup sud-coréenne de génération d’images AI a révélé un troublant trésor de deepfakes sexuels générés par IA, y compris des images synthétiques sexuelles de célébrités rajeunies pour ressembler à des enfants. En ce qui concerne les services de chatbot basés sur des personnages en particulier, une enquête a révélé que la startup Botify AI hébergeait des versions de chatbots de femmes célèbres sexualisées et rajeunies, tandis qu’une investigation de Futurism l’année dernière a révélé que la startup Character.AI – actuellement engagée dans deux poursuites pour protection de l’enfance – hébergeait des chatbots spécifiquement conçus pour abuser d’utilisateurs mineurs.
Source : futurism.com
