Mistral dernier d'un classement sur la gestion des risques IA, juge la méthodologie discutable

Mistral arrive dernier d'un classement semestriel établi par le centre de réflexion Future of Life Institute sur la gestion des risques associés à l'intelligence artificielle (IA), derrière plusieurs sociétés chinoises, mais le groupe français estime la méthodologie inadaptée.

Cette classification est déterminée par un panel de sept chercheurs et spécialistes de gouvernance, qui s'appuient sur des données publiques et les informations communiquées par les sociétés concernées.

Elle comprend six catégories distinctes, notamment l'évaluation des risques, les mesures de sécurité ou les problèmes posés actuellement par ces systèmes.

Les risques comprennent le possible détournement d'un modèle pour effectuer une cyberattaque ou réaliser des tâches potentiellement nuisibles à des humains.

Intégré pour la première fois à ces évaluations, Mistral arrive neuvième et dernier, derrière les Chinois DeepSeek (8e), Alibaba Cloud (6e) et Z.ai (5e), mais aussi xAI (7e).

A l'autre bout du classement, Anthropic reste le mieux noté, suivi par OpenAI, Google DeepMind et Meta.

Sollicité par l'AFP, Mistral a fait valoir que la nomenclature d'évaluation était conçue pour les modèles dits fermés, c'est-à-dire qui ne partagent rien de leur code de programmation ou de la façon dont ils ont été entraînés.

Or Mistral publie beaucoup de modèles dits "open-weight", c'est-à-dire téléchargeables et modifiables par leur utilisateur.

Pour le champion français de l'IA, le classement "pénalise les modèles open-weight", car ils impliquent que "les entreprises décident comment ils sont calibrés et déployés, et peuvent bâtir les contrôles de sécurité spécifiques que nécessite leur contexte".

DeepSeek, Alibaba et Z.ai publient également de nombreux modèles "open-weight".

"Traditionnellement, l'Europe est aux avant-postes en matière de sécurité de l'IA, avec tout leur travail sur le règlement européen" adopté en mars 2024, a commenté, auprès de l'AFP, le président du Futur of Life Institute (FLI), Max Tegmark.

"Je m'attendais vraiment à ce que Mistral ait fait davantage" dans ce domaine, a-t-il ajouté.

"Nous nous conformons" au règlement européen sur l'IA, a assuré Mistral.

Selon son président, le FLI a contacté la start-up française "de nombreuses fois", mais "Mistral a décidé de ne même pas répondre à notre questionnaire, à la différence de la plupart des entreprises".

La question de la sécurité et des risques posés par l'IA a bénéficié d'un coup de projecteur à la faveur de la saga Mythos, le modèle le plus avancé d'Anthropic.

Début avril, la start-up californienne a choisi de ne donner accès à Mythos qu'à une poignée d'organisations, pour leur donner le temps de combler des milliers de failles identifiées par Anthropic lors de tests préalables et d'empêcher des attaques.

Début juin, le gouvernement américain a enjoint à Anthropic de n'autoriser aucun ressortissant étranger à utiliser le modèle pour des raisons de sécurité nationale, ce qui a poussé l'entreprise à mettre Mythos hors ligne.

L'administration Trump a finalement levé cette interdiction fin juin.

"Cela a alerté les gouvernements du monde entier sur le fait que l'IA est désormais assez puissante pour produire des cyberattaques", selon Max Tegmark. "On en parlait depuis longtemps, (...) mais cela semblait lointain. Aujourd'hui, c'est une réalité."