IA : Mythos 5 d'Anthropic crée de fausses identités lors d'un test au Royaume-Uni

L'institut britannique de sécurité de l'IA (AISI) a dit avoir rencontré un "incident sérieux" lors d'une évaluation de routine au cours de laquelle Mythos 5 d'Anthropic a créé de fausses identités en ligne pour écrire à des développeurs afin de les convaincre d'intégrer du code malveillant.

Cette information, qui provient d'un rapport publié mardi par cet organisme qui dépend du gouvernement britannique, intervient après une série d'incidents aux Etats-Unis qui ont vu les modèles les plus puissants d'OpenAI (GPT-5.6 Sol) et d'Anthropic (Mythos 5) s'introduire sans autorisation chez d'autres entreprises.

Lors de l'évaluation britannique, menée avec un accès à internet ouvert et certains filtres de sécurité désactivés, des agents d'IA ont mené "des actions dirigées contre des personnes et des organisations réelles", explique l'AISI dans un compte rendu publié sur son site internet.

Les tentatives des modèles d'IA "n'ont pas abouti et nos investigations n'ont mis en évidence aucun dommage dans le monde réel", précise l'organisme.

"Mais c'est la première fois que nous voyons des risques liés à l'autonomie et à un comportement de dissimulation se manifester aussi clairement, sans sollicitation spécifique, dans le monde réel."

La semaine dernière, Anthropic avait déjà indiqué que ses modèles avaient "obtenu un accès non autorisé" à trois organisations lors de tests pourtant censés les empêcher d'accéder à des systèmes "réels".

Cette annonce était intervenue quelques jours seulement après que son rival OpenAI a révélé que deux de ses modèles étaient sortis, de leur propre initiative, du milieu confiné dans lequel ils étaient testés pour attaquer le site Hugging Face.

L'incident britannique, détecté et rapidement contenu le 28 juillet, a visé la plateforme destinée aux développeurs GitHub.

"Il a pour origine une seule évaluation, au cours de laquelle des agents se sont vu confier la tâche de résoudre un défi en cybersécurité", à plusieurs reprises, a précisé l'AISI.

Les incidents détectés l'ont été presque exclusivement avec Mythos 5 et, de façon plus marginale, avec GPT-5.6 Sol.

"Il ne s'agit pas d'un cas où un modèle se serait échappé de son environnement de test sécurisé" car "nous avions intentionnellement autorisé l’accès à internet" et désactivé des sécurités, "des conditions qui ne reflètent pas la manière dont les modèles de pointe sont mis à la disposition du public", insiste l'AISI.

Cet incident "met en évidence la nécessité d'un débat plus large sur la manière d'évaluer en toute sécurité des agents d'IA de plus en plus capables", a réagi Anthropic dans une déclaration transmise à l'AFP.

"Les tests indépendants sont essentiels pour comprendre le comportement de modèles de plus en plus performants", a pour sa part estimé OpenAI, disant vouloir travailler avec les différents acteurs du secteur "pour mener des évaluations en toute sécurité".