Aller au contenu principal
ACE-Brain-0.5 : un modèle fondation incarné unifié pour l'IA physique à base d'agentsIllustration générée par IA
RecherchearXiv cs.RO 

ACE-Brain-0.5 : un modèle fondation incarné unifié pour l'IA physique à base d'agents

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de recherche présente ACE-Brain-0.5, un modèle de fondation embarqué unifié pour l'IA physique agentique, dans un article publié sur arXiv début juillet 2026. Le système s'appuie sur un backbone unique de 8 milliards de paramètres qui assure quatre fonctions simultanées : ancrage des objets et des affordances dans la scène, raisonnement spatial en 3D et en vue égocentrique, décomposition d'instructions en sous-objectifs, génération d'actions de navigation et de manipulation, et estimation de la progression pour vérifier ou corriger l'exécution. Une cinquième fonction, l'auto-amélioration, repose sur un cadre externe qui met à jour les schémas de tâches, la mémoire spatiale et les cas de récupération d'échec à partir des données de déploiement. Le modèle s'appuie sur un prédécesseur, ACE-Brain-0, et introduit une méthode nommée SSR+ (Scaffold-Specialize-Reconcile avec une étape de Réactivation après fusion des vecteurs de tâches) pour combiner ces capacités sans qu'elles n'interfèrent entre elles. Sur quinze bancs d'essai, ACE-Brain-0.5 surpasse son prédécesseur sur 14 des 18 tests de perception spatiale et d'ancrage, tout en restant compétitif en navigation et manipulation.

Cette approche illustre une tendance de fond dans la robotique humanoïde et les agents physiques : le passage de politiques bout-en-bout, souvent dépourvues de raisonnement spatial explicite, vers des architectures qui unifient perception, planification, action et auto-évaluation dans une représentation partagée. C'est un pari différent de celui des modèles VLA généralistes type Pi-0 ou GR00T N2, qui privilégient l'apprentissage direct d'une politique d'action : ici, l'accent est mis sur la boucle fermée complète, avec vérification et récupération d'erreur intégrées, un point souvent négligé dans les démonstrations spectaculaires mais peu robustes du secteur.

Le papier ne précise pas de partenariat industriel ni de déploiement sur plateforme commerciale à ce stade : il s'agit d'un travail de recherche fondamentale, positionné comme une étape vers une IA physique agentique plus générale, sans calendrier de mise en production annoncé.

À lire aussi

LAW : unifier langage, action et modèle du monde pour une intelligence physique à base d'agents
Illustration générée par IA
1arXiv cs.RO 

LAW : unifier langage, action et modèle du monde pour une intelligence physique à base d'agents

LAW, pour Language, Action and World modeling, est un framework en boucle fermée publié sur arXiv (2610.23334) qui associe un modèle vision-langage (VLM) et un modèle monde-action (WAM, world-action model, capable de prédire conjointement les actions et les états futurs du monde). Le VLM de 2 milliards de paramètres planifie les sous-tâches restantes, estime la valeur des actions proposées par le WAM et les fusionne, puis évalue de façon asynchrone l'état d'exécution pour décider de poursuivre ou de passer à la sous-tâche suivante. Côté WAM, une architecture Mixture-of-Transformer Experts combine calcul spécifique à chaque modalité et calcul partagé pour modéliser conjointement vidéo et actions. Une mémoire visuelle hiérarchique à double flux fournit le contexte temporel aux deux modèles. Sur le benchmark simulé RoboTwin (50 tâches), LAW atteint 94,21 % de réussite moyenne, et 95,56 % avec le backbone OpenWAM-alpha, ce que les auteurs présentent comme un nouvel état de l'art open source. Sur trois tâches longues sur robot réel, il obtient 65 % de réussite moyenne, contre 28,33 % pour pi-0.5 et 25 % pour Fast-WAM. L'intérêt pour l'industrie tient à la manière dont le résultat est obtenu : la planification sémantique est confiée à un petit VLM, qui surpasse des variantes équipées d'Embodied-R1.5 et de GPT-5.5 High. Cela suggère que, pour le pilotage de tâches longues, un modèle spécialisé et léger peut valoir un très grand modèle généraliste, avec des implications sur la latence et le coût d'embarquement. L'apprentissage de valeur par sous-tâche, qui conserve la supervision des préfixes réussis de trajectoires ayant échoué, répond aussi à un problème pratique : exploiter les données d'échec plutôt que les jeter. À nuancer toutefois : RoboTwin est un benchmark simulé, saturé autour de 95 %, et l'évaluation réelle ne porte que sur trois tâches, sans précision ici sur le nombre d'essais ni sur les plateformes. L'écart de 65 % contre 28 % face à pi-0.5 est net, mais reste une comparaison de laboratoire, loin d'un déploiement en production. Ce travail s'inscrit dans la convergence entre modèles VLA (vision-langage-action) comme pi-0.5 de Physical Intelligence et modèles monde-action, qui apprennent à prédire la vidéo future pour guider le contrôle, à l'image de Fast-WAM. Le débat porte sur la meilleure répartition entre raisonnement symbolique, prédiction du monde et génération d'actions. LAW propose une architecture hiérarchique où le langage sert de pivot, une approche proche de celles des systèmes à double vitesse de Figure (Helix) ou de NVIDIA (GR00T). Il s'agit d'un preprint non évalué par des pairs. Les prochaines étapes à surveiller sont la publication du code et des poids, des tests sur davantage de tâches et de plateformes, et une reproduction indépendante.

RecherchePaper
1 source
ACE-Brain-0.6 : passage à l'échelle de l'ancrage spatial pour les modèles fondation physiques
Illustration générée par IA
2arXiv cs.RO 

ACE-Brain-0.6 : passage à l'échelle de l'ancrage spatial pour les modèles fondation physiques

ACE-Brain-0.6 est un modèle de « grounding » spatial décrit dans un preprint arXiv (2610.27040) : il s'agit de relier une instruction ou une description à l'endroit précis où agir dans une scène visuelle. Les auteurs ont affiné Qwen3.5-9B, un modèle multimodal ouvert de 9 milliards de paramètres, sur environ 1,5 million d'échantillons issus d'un pipeline de données unifié. Ce pipeline combine des enregistrements de manipulation robotique, annotés automatiquement, avec des données visuelles complémentaires de sources variées. Le tout est converti en supervision de grounding « vérifiable », c'est-à-dire que chaque réponse peut être contrôlée automatiquement. Sur sept benchmarks publics de grounding, ACE-Brain-0.6 devance GPT-6 Astra sur quatre, avec une moyenne globale de 75,41 contre 73,68. À configuration de fine-tuning identique, la performance agrégée progresse à mesure que les versions successives du jeu de données couvrent davantage de scénarios. L'intérêt tient à l'écart qui se resserre entre un petit modèle ouvert et un modèle généraliste fermé sur une compétence que les auteurs jugent centrale pour la manipulation. Leur analyse suggère que la polyvalence de modèles comme GPT-6 Astra et Claude Opus 5.5 en robotique repose en partie sur une bonne perception spatiale, notamment la capacité à localiser l'objet pertinent malgré des éléments visuels parasites. Un modèle de 9 milliards de paramètres, déployable à moindre coût et modifiable, qui égale ou dépasse un modèle frontière sur ce volet, intéresse les intégrateurs qui ne veulent pas dépendre d'API distantes pour la couche perception. Les résultats portent toutefois sur des benchmarks de grounding, pas sur des taux de réussite de tâches physiques. Aucune mesure en boucle fermée sur robot n'est mentionnée, et l'avance moyenne reste modeste (moins de deux points). Le modèle perd sur trois des sept tests, ce qui nuance la portée du résultat. Le passage du grounding statique à une manipulation fiable reste à démontrer. Ce travail s'inscrit dans la tendance des modèles de fondation physiques, où la recherche se demande si la perception ou le raisonnement de haut niveau doit être renforcé en priorité avant de coupler le tout à une politique d'action de type VLA (vision-langage-action). L'approche privilégie la mise à l'échelle de données diverses et vérifiables plutôt que l'architecture, en concurrence avec les modèles généralistes fermés et avec les modèles robotiques ouverts ou propriétaires du secteur. Le suffixe « 0.6 » indique une version intermédiaire d'une série. Les auteurs évoquent des « data releases » successives, ce qui laisse attendre de nouvelles itérations avec une couverture élargie. Le preprint n'a pas encore été relu par des pairs, et la disponibilité publique des poids et du jeu de données n'est pas précisée dans le résumé.

RecherchePaper
1 source
Magic-W0 : un modèle fondation monde-action structuré pour l'intelligence physique
Illustration générée par IA
3arXiv cs.RO 

Magic-W0 : un modèle fondation monde-action structuré pour l'intelligence physique

Magic-W0, un modèle de fondation « monde-action » (WAM, world-action model), est présenté dans un preprint arXiv (2609.39870v1) dont les auteurs ne sont pas précisés dans le résumé. Le modèle code chaque interaction comme une « Structured World Transition » en trois blocs. L'état courant associe le contexte vision-langage à une géométrie 3D de la scène. La transition est décrite par un mouvement 3D qui capture les changements tridimensionnels induits par l'action. L'état futur est exprimé sous forme de sémantique décrivant le résultat attendu de la tâche. L'architecture aligne couche par couche la prédiction du monde et la génération d'actions continues : les hypothèses d'action en cours conditionnent la prédiction de transition, et les représentations prédites alimentent en retour la génération d'actions. Le pré-entraînement combine manipulation humaine égocentrique, données UMI (interface de collecte par préhenseur portable), données de robots réels et simulation. La supervision porte sur des représentations latentes (géométrie, mouvement 3D, sémantique future) issues de modèles visuels préentraînés. Sur le benchmark RoboDojo-Sim, Magic-W0 obtient un score moyen de 27,10, le plus élevé parmi les WAM comparés. Les auteurs annoncent aussi de bonnes performances sur plusieurs tâches sur robot réel après un fine-tuning avec peu de données. L'intérêt tient à la critique que formule le papier : la plupart des WAM prédisent des images futures ou des latents génériques, peu exploitables pour le contrôle, et pas forcément liés à l'action. Magic-W0 propose une représentation explicitement géométrique et orientée contrôle. Des tests d'intervention à l'inférence montrent que ces représentations réagissent de façon systématique aux changements d'action candidate, et que l'information d'action circule via les représentations 3D jusqu'aux prédictions sémantiques. C'est un argument de causalité plus solide que la simple qualité visuelle. Pour un intégrateur, la promesse est une adaptation rapide à de nouvelles tâches avec peu de données, point critique du coût de déploiement. Il faut toutefois relativiser. Le score de 27,10 n'a de sens que par rapport aux WAM comparés, sans valeur absolue ni écart précisé dans le résumé. Les tâches réelles ne sont pas détaillées : ni taux de réussite, ni volume de données de fine-tuning, ni plateforme robotique. On reste donc au stade du résultat de recherche, sans produit livré ni déploiement. Ce travail s'inscrit dans la montée des modèles VLA (vision-langage-action) et de leurs extensions « monde », qui cherchent à doter les politiques d'une dynamique de l'environnement conditionnée par l'action, au-delà de la simple imitation. Le recours massif aux vidéos humaines égocentriques et aux données UMI reflète la tendance à contourner le coût de la téléopération robot. Magic-W0 se positionne face aux autres WAM et aux politiques fondées sur la reconstruction vidéo, dont le résumé ne cite pas les noms. Les prochaines étapes à surveiller sont la publication du code et des poids, une évaluation indépendante de RoboDojo-Sim, et surtout des résultats détaillés sur robot réel, seuls capables de dire si la structure 3D apporte un gain tangible face aux approches VLA génériques.

RecherchePaper
1 source
EmbodiedGen V2 : un moteur de monde 3D à base d'agents, prêt pour la simulation, pour l'IA incarnée
Illustration générée par IA
4arXiv cs.RO 

EmbodiedGen V2 : un moteur de monde 3D à base d'agents, prêt pour la simulation, pour l'IA incarnée

Une équipe de recherche a publié EmbodiedGen V2 sur arXiv (2607.07459v1), un moteur génératif de mondes 3D destiné à produire des environnements de simulation directement exploitables pour l'entraînement de robots. Le problème visé est concret : générer des assets 3D "sim-ready" est devenu rapide, mais les assembler en environnements de tâches réellement utilisables pour l'apprentissage reste largement manuel, ce qui limite le passage à l'échelle de l'apprentissage en boucle fermée. EmbodiedGen V2 propose une représentation unifiée qui relie assets compatibles multi-simulateurs, affordances d'interaction, mondes orientés tâches, scènes multi-pièces à grande échelle, et un système de "Vibe Coding" avec état, le tout dans un pipeline génératif, éditable et réutilisable. Les environnements produits couvrent la manipulation, la navigation, la manipulation mobile, le déploiement cross-simulateur et l'entraînement de politiques robotiques. Sur le plan chiffré, le pipeline de génération d'assets atteint 96,5% d'acceptation humaine et 98,6% de réussite de détection de collisions, et 83,3% des mondes orientés tâches sont directement utilisables en simulation sans retouche manuelle. L'intérêt principal tient aux résultats de transfert obtenus grâce à ces environnements générés. Un entraînement par renforcement en ligne fait passer le taux de succès en simulation de 9,7% à 79,8%, et ces gains se transfèrent à des robots réels avec un taux de succès en tâche réelle passant de 21,7% à 75,0%. Pour un secteur où l'écart entre démonstration simulée et comportement réel reste un obstacle majeur à la commercialisation de robots humanoïdes ou mobiles pilotés par des politiques apprises, ce type de résultat constitue un argument concret en faveur de la génération procédurale de mondes comme infrastructure d'entraînement, plutôt qu'une simple preuve de concept de génération d'assets visuels. Le travail s'inscrit dans la lignée des efforts récents de génération de scènes 3D et d'assets simulables pour l'IA incarnée, où la difficulté ne portait plus tant sur la qualité visuelle des objets générés que sur leur intégration fonctionnelle dans des tâches robotiques complètes et transférables entre simulateurs. Le papier ne mentionne pas de partenariat industriel ni de déploiement sur robot commercial identifié, et se positionne comme une contribution d'infrastructure de recherche, dont l'adoption dépendra de sa reproductibilité et de son intégration par d'autres laboratoires travaillant sur l'apprentissage par renforcement pour la robotique.

RechercheActu
1 source