Les chatbots IA incapables de résumer avec précision les actualités, selon le BBC

Les chatbots IA et les inexactitudes dans les résumés d'actualités

Une récente étude menée par la BBC révèle que quatre principaux chatbots d'intelligence artificielle (IA) ne parviennent pas à résumer avec précision les actualités. Les chatbots concernés incluent ChatGPT d'OpenAI, Copilot de Microsoft, Gemini de Google et Perplexity AI. La BBC a fourni à ces outils du contenu provenant de son site web et a ensuite posé des questions sur les nouvelles.

Les réponses obtenues contenaient des inexactitudes significatives et des distorsions. Deborah Turness, la PDG de BBC News et Current Affairs, a souligné que l'IA offrait des opportunités infinies, mais que les entreprises développant ces outils "jouaient avec le feu". Elle s'interroge sur le temps qu'il faudra avant qu'un titre déformé par l'IA ne cause des dommages réels.

Les résultats de l'étude

Dans le cadre de cette étude, la BBC a demandé aux chatbots de résumer 100 histoires d'actualités et a évalué chaque réponse. Des journalistes experts dans les sujets abordés ont été sollicités pour évaluer la qualité des réponses fournies par les assistants IA. Les résultats ont montré que 51 % des réponses des IA avaient des problèmes significatifs.

De plus, 19 % des réponses des IA qui citaient du contenu de la BBC contenaient des erreurs factuelles, y compris des déclarations incorrectes, des chiffres erronés et des dates inexactes. Dans son blog, Mme Turness a exprimé le souhait d'ouvrir un nouveau dialogue avec les fournisseurs de technologie IA pour collaborer à la recherche de solutions.

Appel à la prudence

Elle a exhorté les entreprises technologiques à "retirer" leurs résumés d'actualités générés par IA, à l'instar de ce qu'Apple a fait après des plaintes concernant Apple Intelligence. Parmi les inexactitudes relevées par la BBC, on trouve que Gemini a déclaré à tort que le NHS ne recommandait pas le vapotage pour arrêter de fumer.

ChatGPT et Copilot ont affirmé que Rishi Sunak et Nicola Sturgeon étaient toujours en fonction alors qu'ils avaient quitté leurs postes. Perplexity a mal cité la BBC dans un article sur le Moyen-Orient, affirmant que l'Iran avait initialement fait preuve de "retenue".

Problèmes de différenciation

En général, les chatbots Copilot de Microsoft et Gemini de Google ont présenté des problèmes plus importants que ChatGPT d'OpenAI et Perplexity, qui a Jeff Bezos parmi ses investisseurs. Bien que la BBC bloque normalement son contenu pour les chatbots, elle a ouvert son site pour la durée des tests en décembre 2024.

Le rapport a également noté que les chatbots avaient des difficultés à distinguer entre opinion et fait, à éditorialiser, et souvent à inclure un contexte essentiel. Pete Archer, directeur du programme de l'IA générative de la BBC, a déclaré que les éditeurs devraient avoir le contrôle sur l'utilisation de leur contenu et que les entreprises d'IA devaient démontrer comment leurs assistants traitent les nouvelles.

Conclusion

Cette étude met en lumière les risques associés à l'utilisation des chatbots IA pour résumer des informations. Les inexactitudes relevées soulignent l'importance d'une collaboration entre les médias et les fournisseurs de technologie pour garantir une diffusion d'informations précises et fiables. La prudence est de mise alors que ces technologies continuent d'évoluer.