A l'occasion de la Game Developers Conference (GDC) de San Francisco, Ubisoft a présenté ses 'NEO NPCs', son premier prototype d'IA générative (GenAI) qui transforme la manière dont les joueurs et joueuses interagissent avec les personnages non-jouables (PNJ) dans les jeux vidéo. Cette réalisation ouvre de nouvelles voies pour un 'gameplay' intégrant nativement des fonctionnalités d'IA générative.

Les NEO NPCs sont le résultat d'une initiative de R&D du studio Ubisoft Paris, soutenue par le département Technologies de Production d'Ubisoft. Cette initiative place la créativité et la narration au coeur de l'expérience des joueurs et joueuses et explore l'utilisation de la GenAI comme une fonctionnalité centrale de jeu par le biais de personnages plus intelligents, mais aussi bien plus interactifs et engageants. Les NEO NPCs présentent des capacités interactives sans précédent car méliorés avec de nouveaux systèmes cognitifs : dialogues non scriptés, émotions et animations en temps réel, de la mémoire, une conscience du contexte, et une prise de décision collaborative.

Pour les équipes créatives d'Ubisoft chargées de donner vie à ces PNJ, l'utilisation de la GenAI permet d'élever le niveau du travail créatif nécessaire à la conception narrative bien au-delà de ce qui est habituellement requis pour des interactions de PNJ traditionnellement scriptées. Chaque détail -personnalités, histoires, opinions et émotions- doit être minutieusement pensé et programmé dans le modèle de chaque NEO NPC. Chaque conversation avec un PNJ devient alors unique et réagit aux joueurs et à leurs actions, ce qui donne lieu à des expériences entièrement personnalisées et immersives.

Lors d'une démonstration à la GDC, Ubisoft a présenté le potentiel de cette nouvelle génération de PNJ intelligents. Les joueurs et joueuses doivent atteindre leurs objectifs de jeu en engageant une conversation de vive-voix avec les NEO NPCs. Les PNJ reconnaissent leurs intentions, s'adaptent émotionnellement et peuvent réagir à la discussion en temps réel, débloquant de nouveaux éléments d'histoire ou allant jusqu'à générer de nouvelles quêtes à la volée. La capacité des NEO NPCs à percevoir leur environnement donne également aux joueurs la faculté de réagir dynamiquement à des "points d'intérêt", tels que des événements survenant dans le jeu.

Les NEO NPCs sont nés d'une étroite collaboration entre les créateurs d'Ubisoft et des partenaires technologiques de premier plan sur l'IA générative : Nvidia et Inworld AI. La technologie d'Inworld et leur modèle de langage (LLM) permettent à l'équipe narrative d'Ubisoft de créer une identité, un style de conversation et une base de connaissance complète pour chaque PNJ, tandis que la solution Audio2Face de Nvidia ACE est utilisée pour permettre l'animation faciale des personnages en temps réel pour la première fois.