Pour s'informer, les IA comme ChatGPT ne sont pas dignes de confiance, selon une étude

Confusion entre info et chronique d'humour, mauvaises dates, détails inventés: les assistants d'intelligence artificielle (IA) comme ChatGPT font des erreurs presque une fois sur deux quand ils sont interrogés sur l'actualité, selon une vaste étude publiée mercredi par les radios et télévisions publiques européennes.

Ce test a porté sur quatre assistants IA largement utilisés dans le monde pour s'informer: ChatGPT (de la société OpenAI), Copilot (Microsoft), Gemini (Google) et Perplexity.

Globalement, 45% de leurs réponses comportaient "au moins un problème important", quelle que soit la langue ou le territoire, selon l'étude coordonnée par l'Union européenne de radio-télévision (UER) et basée sur de précédents travaux de la BBC.

Une réponse sur cinq contenait même "des erreurs majeures", avec des informations obsolètes, voire "des détails inventés".

Des quatre, Gemini a eu les plus mauvais résultats: il y avait des "problèmes importants" dans trois quarts de ses réponses, soit "plus du double des autres assistants", principalement à cause de ses "performances médiocres" pour citer correctement la source d'une information.

Vingt-deux médias publics de dix-huit pays, la plupart européens, ont participé à l'étude. Entre fin mai et début juin, chaque média a posé les mêmes questions d'actualité aux assistants IA, en leur demandant de chercher les réponses dans ses contenus.

Sur 3.000 réponses, les informations obsolètes ont été l'un des problèmes les plus fréquents.

A la question "Qui est le pape?", la réponse donnée par ChatGPT au groupe public finlandais Yle ainsi que par Copilot et Gemini aux médias néerlandais NOS et NPO a été "François". Pourtant, il était déjà mort et son successeur Léon XIV déjà en fonction.

Interrogé par le groupe français Radio France sur le présumé salut nazi d'Elon Musk lors de l'investiture de Donald Trump en janvier aux Etats-Unis, Gemini a écrit que le milliardaire avait eu "une érection du bras droit". Cet assistant IA avait pris au premier degré une chronique satirique de l'humoriste Charline Vanhoenacker.

"Les assistants IA ne sont toujours pas une manière fiable de consommer l'information", concluent dans l'étude Jean Philip De Tender, directeur général adjoint de l'UER, et Pete Archer, chargé de l'IA à la BBC.

Pourtant, ces assistants IA sont de plus en plus utilisés pour s'informer, en particulier par les jeunes. Selon un rapport mondial publié en juin par l'institut Reuters, 15% des moins de 25 ans s'en servent chaque semaine pour se faire résumer l'actualité.

L'étude publiée mercredi est la "première d'une telle ampleur", a déclaré à l'AFP Matthieu Beauval, directeur chargé de l'innovation à Radio France.