OVHcloud choisit SambaNova pour optimiser son service d'inférence AI Endpoints

OVHcloud, acteur mondial et leader européen du cloud, annonce retenir SambaNova, un leader des infrastructures IA de nouvelle génération, comme élément clé pour compléter son portefeuille de solutions d'inférence avec pour objectif l'inférence à très faible temps de latence. Pour OVHcloud, les organisations travaillant sur les futures charges de travail IA sont confrontées à des contraintes croissantes. En effet, les appels LLM séquentiels créent des goulots d'étranglement qui alourdissent la latence, alors que les applications orientées utilisateur exigent des réponses quasi immédiates. Parallèlement, les pipelines opérationnels doivent pouvoir traiter des millions d'inférences tout en garantissant des niveaux de performance stricts, tant sur le délai avant le premier token (time to first token) que sur le temps de génération de chaque token (time per output token).

Le partenariat entre OVHcloud et SambaNova ouvre ainsi la voie à un large éventail de cas d'usage où chaque milliseconde compte. Dans des secteurs tels que le trading financier, la cybersécurité, l'automatisation industrielle, l'optimisation logistique, la supervision et bien d'autres encore, une inférence lente peut se traduire par des opportunités manquées, des zones d'ombre opérationnelles ou une expérience utilisateur dégradée.

Le service OVHcloud AI Endpoints optimisé par la plateforme SambaStack de SambaNova, permet au Groupe d'enrichir ses endpoints de capacités de niveau production, caractérisées par des performances exceptionnelles, une inférence rapide, une efficacité énergétique élevée ainsi qu'une disponibilité garantie par un SLA d'uptime de 99,8%.