L'UE enquête sur la nouvelle perte de contrôle d'agents d'OpenAI, impliquant un site allemand

La Commission européenne a indiqué lundi qu'elle examinait un nouvel incident révélé vendredi, impliquant des milliers d'agents d'intelligence artificielle OpenAI, qui ont désobéi à leurs instructions et pris le contrôle d'un site internet allemand en mai, plusieurs mois avant l'intrusion non autorisée sur la plateforme Hugging Face.

"Ce n'est pas la première perte de contrôle (d'agents d'IA)", mais "nous prenons l'affaire très au sérieux et nous surveillons la sitation de très près", a déclaré à des journalistes Thomas Regnier, un porte-parole de l'exécutif européen.

"Nous avons reçu une déclaration d'incident de la part d'OpenAI" et la Commission est "en contact étroit" avec cette entreprise, a ajouté le porte-parole, rappelant que Bruxelles disposait depuis le mois d'août de nouveaux pouvoirs pour réguler les fournisseurs d'IA, en vertu de la loi européenne sur l'intelligence artificielle (l'AI Act).

Selon le rapport publié vendredi sur l'incident de mai, des milliers d'agents d'IA d'OpenAI ont pris d'assaut un "wiki", un site collaboratif dédié aux développeurs informatiques allemands, sur lequel les utilisateurs peuvent créer et modifier des pages.

A la différence de juillet, lorsque des agents d'OpenAI sont sortis de leur milieu théoriquement confiné pour faire spontanément intrusion sur la plateforme Hugging Face, ces agents avaient cette fois-ci autorisation de se rendre sur internet, mais uniquement à des fins de consultation, pas pour poster du contenu ou en modifier.

Ils ont collaboré et trouvé un moyen d'y remédier, en présentant de fausses données pour tromper le dispositif de sécurité. Ils ont ensuite posté environ 18.000 messages pour trouver des astuces liées au programme auquel ils étaient soumis, dont les chercheurs n'ont pu déterminer s'il s'agissait de développement ou d'évaluation.

Ils ont aussi caché des instructions et se sont fait passer pour un modérateur du site. Une fois découverts, ils ont créé des pages pour remplacer celles qui étaient détruites progressivement par les modérateurs.

Les incidents liés à des agents, dépassant leurs prérogatives pour accomplir la mission qui leur a été confiée, se sont multipliés ces derniers mois, Anthropic ou le chinois Alibaba ayant connu des débordements similaires.