Anthropic révèle que son IA a accédé sans autorisation aux systèmes d'autres organisations

La start-up américaine d'intelligence artificielle (IA) Anthropic a affirmé jeudi dans un communiqué que ses modèles avaient "obtenu un accès non autorisé" à trois organisations lors de tests pourtant censés les empêcher d'accéder à des systèmes "réels".

Cette annonce intervient quelques jours seulement après que son rival OpenAI a révélé que deux de ses modèles étaient sortis, de leur propre initiative, du milieu confiné dans lequel ils étaient testés pour attaquer le site Hugging Face.

Anthropic a analysé plus de 141.000 tests et a constaté que trois versions différentes de son modèle Claude avaient accédé aux systèmes de trois organisations, dont les noms n'ont pas été divulgués.

Contrairement à l'incident impliquant OpenAI, les modèles d'Anthropic ont eu accès à Internet "en raison d'un malentendu entre nous et notre partenaire d'évaluation", Irregular, a expliqué le groupe dans le communiqué.

Néanmoins, Claude a eu recours à "des techniques élémentaires, telles que l'exploitation de mots de passe faibles et de points de terminaison non authentifiés", a-t-il poursuivi.

L'ancien modèle "a poursuivi son attaque même après avoir obtenu la preuve qu'il s'exécutait sur l'Internet public" alors que le modèle le plus récent s'est arrêté, selon Anthropic.

"Dans aucune de ces situations, Claude ne s'est échappé ni n'a délibérément tenté de s'échapper de son environnement de test", a-t-il ajouté.

Parmi les modèles concernés figurait l'un de ses plus puissants, Mythos 5, qui n'a été mis à disposition que d'un nombre limité de partenaires.

Anthropic travaille actuellement avec Irregular pour examiner la situation et a contacté ou tenté de contacter les trois organisations concernées.

Concurrent d'Anthropic, OpenAI (créateur de ChatGPT) avait annoncé la semaine passée que ses modèles d'IA avancés s'étaient emballés lors de tests de sécurité, piratant de leur propre initiative Hugging Face, une bibliothèque de code en ligne.

Quelques jours plus tard, le groupe avait déclaré avoir découvert des incidents supplémentaires.

Le patron d'OpenAI, Sam Altman, a révélé dans un podcast mis en ligne cette semaine qu'après avoir eu connaissance de l'attaque, l'entreprise avait suspendu ses tests "pour comprendre comment réussir à confiner notre espace" dédié, censé être isolé d'internet.

Pétition

Cet incident a également donné lieu à une pétition signée par plus d'un millier d'employés d'entreprises à la pointe de l'IA, appelant le gouvernement américain à contribuer à ralentir le déploiement des modèles d’IA les plus avancés.

Intitulée "Pacing the Frontier", cette pétition demande "que le gouvernement américain soutienne une initiative internationale visant à mettre au point les outils techniques et de gouvernance nécessaires pour réguler de manière réfléchie les limites du développement de l'IA automatisée".

Dario Amodei, patron d'Anthropic, figure parmi les signataires.

Bien qu'il n'ait pas signé, Sam Altman a reconnu que  "nous pourrions devoir ralentir la cadence de développement de l'IA pour donner suffisamment de temps à la société pour faire face à ses nouvelles capacités".

L’administration Trump a invoqué cette année des préoccupations de sécurité nationale pour empêcher OpenAI et Anthropic de lancer leurs modèles les plus récents, mais a finalement indiqué qu’elle était satisfaite des garanties apportées quant à leur sûreté, ce qui a conduit à leur mise sur le marché.

En juin, Trump a signé un décret créant un cadre volontaire en vertu duquel les développeurs d’IA partageront leurs modèles avancés avec le gouvernement avant leur mise à disposition du public.

Dans le cadre de ce dispositif, des développeurs tels qu’OpenAI, Anthropic et Google donneraient au gouvernement accès à leurs modèles les plus puissants jusqu’à 30 jours avant leur sortie prévue.