Muse : L'IA de Microsoft pour le développement de jeux

Microsoft a récemment dévoilé un nouveau modèle d'intelligence artificielle nommé Muse, destiné à révolutionner le développement de jeux vidéo. En collaboration avec Teachable AI Experiences et Ninja Theory des Xbox Games Studios, ce projet promet d'aider les développeurs dans leur créativité.

Mais que peut faire Muse exactement ? Ce modèle innovant génère des visuels de jeu et des actions de contrôleurs en se basant sur une compréhension 3D du jeu. Avec un entraînement sur 1,6 milliard de paramètres et 1 milliard d'images et d'actions de contrôleurs, il a accumulé l'équivalent de sept ans de gameplay humain continu, en utilisant des données du jeu Bleeding Edge de Ninja Theory.

Les données utilisées pour le modèle proviennent de sessions de jeu de joueurs qui ont consenti à partager leurs données. Muse travaille avec des visuels et des actions de contrôleurs enregistrées à une résolution de 300 x 180px, permettant ainsi de générer des séquences de jeu allant jusqu'à 2 minutes. En mode World Model, le modèle prédit également l'évolution du jeu, montrant des démonstrations qui réussissent à intégrer des changements de caméra, des choix de parcours et même des personnages entièrement nouveaux, tout en respectant la physique du jeu.

Quel est l'apport de Muse dans le développement actuel des jeux ? Microsoft affirme qu'il utilise déjà ce modèle pour créer des IA jouables en temps réel, formées sur d'autres jeux. Cela aide les développeurs à expérimenter de nouveaux concepts et à envisager même d'étendre des titres existants.

Une autre application intéressante serait la facilitation de la mise en œuvre de jeux rétro qui fonctionnent sur du matériel ancien. Ce modèle d'IA pourrait ainsi redonner vie à d'anciens classiques sur des machines modernes.

Les poids du modèle Muse, les données d'échantillonnage et le WHAM (World and Human Action Model) sont désormais disponibles sur Azure AI Foundry. De courtes démonstrations de jeux interactives basées sur l'IA devraient également être accessibles via Copilot Labs d'ici la fin de l'année. Pour découvrir quelques-unes de ces démonstrations, consultez le lien source ci-dessous.