RecherchearXiv cs.RO 21 octobre 2026

ACE-Brain-0.6 : passage à l'échelle de l'ancrage spatial pour les modèles fondation physiques

2 sources couvrent ce sujet·Source originale ↗·

Résumé IASources croisées · 2Impact UE

Egalement couvert par :TechNode ↗

ACE-Brain-0.6 est un modèle de « grounding » spatial décrit dans un preprint arXiv (2610.27040) : il s'agit de relier une instruction ou une description à l'endroit précis où agir dans une scène visuelle. Les auteurs ont affiné Qwen3.5-9B, un modèle multimodal ouvert de 9 milliards de paramètres, sur environ 1,5 million d'échantillons issus d'un pipeline de données unifié. Ce pipeline combine des enregistrements de manipulation robotique, annotés automatiquement, avec des données visuelles complémentaires de sources variées. Le tout est converti en supervision de grounding « vérifiable », c'est-à-dire que chaque réponse peut être contrôlée automatiquement. Sur sept benchmarks publics de grounding, ACE-Brain-0.6 devance GPT-6 Astra sur quatre, avec une moyenne globale de 75,41 contre 73,68. À configuration de fine-tuning identique, la performance agrégée progresse à mesure que les versions successives du jeu de données couvrent davantage de scénarios.

L'intérêt tient à l'écart qui se resserre entre un petit modèle ouvert et un modèle généraliste fermé sur une compétence que les auteurs jugent centrale pour la manipulation. Leur analyse suggère que la polyvalence de modèles comme GPT-6 Astra et Claude Opus 5.5 en robotique repose en partie sur une bonne perception spatiale, notamment la capacité à localiser l'objet pertinent malgré des éléments visuels parasites. Un modèle de 9 milliards de paramètres, déployable à moindre coût et modifiable, qui égale ou dépasse un modèle frontière sur ce volet, intéresse les intégrateurs qui ne veulent pas dépendre d'API distantes pour la couche perception. Les résultats portent toutefois sur des benchmarks de grounding, pas sur des taux de réussite de tâches physiques. Aucune mesure en boucle fermée sur robot n'est mentionnée, et l'avance moyenne reste modeste (moins de deux points). Le modèle perd sur trois des sept tests, ce qui nuance la portée du résultat. Le passage du grounding statique à une manipulation fiable reste à démontrer.

Ce travail s'inscrit dans la tendance des modèles de fondation physiques, où la recherche se demande si la perception ou le raisonnement de haut niveau doit être renforcé en priorité avant de coupler le tout à une politique d'action de type VLA (vision-langage-action). L'approche privilégie la mise à l'échelle de données diverses et vérifiables plutôt que l'architecture, en concurrence avec les modèles généralistes fermés et avec les modèles robotiques ouverts ou propriétaires du secteur. Le suffixe « 0.6 » indique une version intermédiaire d'une série. Les auteurs évoquent des « data releases » successives, ce qui laisse attendre de nouvelles itérations avec une couverture élargie. Le preprint n'a pas encore été relu par des pairs, et la disponibilité publique des poids et du jeu de données n'est pas précisée dans le résumé.

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

ACE-Brain-0.5 : un modèle fondation incarné unifié pour l'IA physique à base d'agents

Une équipe de recherche présente ACE-Brain-0.5, un modèle de fondation embarqué unifié pour l'IA physique agentique, dans un article publié sur arXiv début juillet 2026. Le système s'appuie sur un backbone unique de 8 milliards de paramètres qui assure quatre fonctions simultanées : ancrage des objets et des affordances dans la scène, raisonnement spatial en 3D et en vue égocentrique, décomposition d'instructions en sous-objectifs, génération d'actions de navigation et de manipulation, et estimation de la progression pour vérifier ou corriger l'exécution. Une cinquième fonction, l'auto-amélioration, repose sur un cadre externe qui met à jour les schémas de tâches, la mémoire spatiale et les cas de récupération d'échec à partir des données de déploiement. Le modèle s'appuie sur un prédécesseur, ACE-Brain-0, et introduit une méthode nommée SSR+ (Scaffold-Specialize-Reconcile avec une étape de Réactivation après fusion des vecteurs de tâches) pour combiner ces capacités sans qu'elles n'interfèrent entre elles. Sur quinze bancs d'essai, ACE-Brain-0.5 surpasse son prédécesseur sur 14 des 18 tests de perception spatiale et d'ancrage, tout en restant compétitif en navigation et manipulation. Cette approche illustre une tendance de fond dans la robotique humanoïde et les agents physiques : le passage de politiques bout-en-bout, souvent dépourvues de raisonnement spatial explicite, vers des architectures qui unifient perception, planification, action et auto-évaluation dans une représentation partagée. C'est un pari différent de celui des modèles VLA généralistes type Pi-0 ou GR00T N2, qui privilégient l'apprentissage direct d'une politique d'action : ici, l'accent est mis sur la boucle fermée complète, avec vérification et récupération d'erreur intégrées, un point souvent négligé dans les démonstrations spectaculaires mais peu robustes du secteur. Le papier ne précise pas de partenariat industriel ni de déploiement sur plateforme commerciale à ce stade : il s'agit d'un travail de recherche fondamentale, positionné comme une étape vers une IA physique agentique plus générale, sans calendrier de mise en production annoncé.

RechercheOpinion

1 source

2arXiv cs.RO

GroundingPI : un modèle fondation d'ancrage pour l'intelligence physique, fondé sur des primitives visuelles

GroundingPI est un modèle de fondation de 4 milliards de paramètres dédié au « grounding » visuel, c'est-à-dire la capacité de désigner précisément l'objet visé et de le localiser, y compris dans un environnement encombré ou pour de très petits objets. Il génère des points et des boîtes englobantes sous forme de coordonnées quantifiées, intégrées à un vocabulaire partagé avec le texte. L'entraînement combine préentraînement multimodal et spatial, fine-tuning supervisé, puis apprentissage par renforcement avec GRPO, à partir de jeux de données publics et de « data engines » dédiés. Sur 34 benchmarks couvrant 11 capacités perceptives, face à 44 modèles de référence, il atteint 73,68 % en moyenne, contre 71,54 % pour GPT-6 Astra, pourtant plus gros. En aval, utilisé comme backbone visuel, il bat tous les backbones courants testés sur RoboTwin 2.0 dans les quatre scénarios hors distribution, jusqu'à 24,8 % en relatif face au meilleur d'entre eux. Sur RoboCasa-GR1, il entraîné avec 50 % des démonstrations dépasse les références entraînées avec 75 %. Sur nuScenes, il obtient une erreur L2 moyenne en boucle ouverte de 0,296 m. Pour les équipes qui développent des politiques VLA (vision-langage-action) ou des modèles monde-action, le résultat s'attaque à un point faible peu discuté : la perception de ces systèmes provient de backbones généralistes de vision-langage ou de génération vidéo, qui échouent justement sur les objets minuscules, les scènes denses et les contraintes de latence du contrôle en boucle fermée. Le gain de 25 % de données de démonstration sur RoboCasa-GR1 est le chiffre le plus parlant pour un intégrateur, car la collecte de démonstrations reste le principal poste de coût de l'apprentissage par imitation. L'étude suggère aussi que la perception gagne à être préentraînée séparément, avec des effets d'échelle observés à la fois en manipulation et en conduite autonome. Elle relève enfin l'intérêt du grounding dense et le rôle de l'OCR comme catalyseur de l'apprentissage perceptif. Les réserves habituelles s'appliquent : il s'agit de benchmarks de simulation (RoboTwin, RoboCasa) et d'une évaluation de conduite en boucle ouverte, qui prédit mal le comportement en boucle fermée. Aucune démonstration sur robot réel ni mesure de latence n'est rapportée dans le résumé. Ces travaux s'inscrivent dans la tendance qui consiste à greffer sur des VLA, comme Pi-0 ou GR00T, des encodeurs issus de modèles de vision-langage généralistes, dont les limites spatiales sont connues. Le choix d'un modèle de 4 milliards de paramètres répond à la contrainte d'embarquement et de vitesse. L'étude reste un preprint arXiv, sans mention de calendrier de publication des poids ni de déploiement industriel. La suite logique serait de confirmer ces gains sur matériel réel et de voir si les développeurs de VLA adoptent un backbone de perception dédié plutôt que des modèles généralistes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

RoboJEPA : passage à l'échelle des modèles du monde latents pour la robotique

RoboJEPA, un modèle du monde latent publié sur arXiv (2610.10515), repose sur l'architecture JEPA (Joint Embedding Predictive Architecture) et compte 8 milliards de paramètres. Ses auteurs le présentent comme le plus grand prédicteur JEPA entraîné à ce jour. Il a été entraîné sur un jeu de données à grande échelle couvrant 12 embodiments robotiques différents, issu de données de robots réels. Le résultat central est que l'« imagination error », c'est-à-dire l'erreur accumulée par les déroulés (rollouts) du modèle dans l'espace latent, suit une loi de puissance de second ordre en fonction du calcul. Cette loi permet de prédire la qualité du modèle bien au-delà de l'échelle sur laquelle elle a été ajustée. Les performances de planification en aval progressent elles aussi de façon prévisible avec le calcul. Enfin, le modèle a été déployé en zero-shot sur du matériel réel : il planifie vers une unique image-but pour résoudre des tâches à horizon long. Les checkpoints, le code d'entraînement et le code de déploiement sont publiés. L'intérêt tient moins à la performance brute qu'à la méthode. Jusqu'ici, les lois d'échelle étaient bien établies pour les modèles de langage, mais pas pour les modèles du monde robotiques, ce qui obligeait les équipes à investir à l'aveugle en paramètres, données et GPU. Si l'imagination error est effectivement corrélée de façon forte à la réussite de la planification, elle devient un indicateur peu coûteux pour évaluer un modèle sans passer par des essais sur robot réel, longs et difficiles à reproduire. Pour les intégrateurs et les décideurs B2B, cela rapproche la robotique d'une logique d'ingénierie où l'on chiffre à l'avance le gain attendu d'un budget de calcul. Il faut cependant rester prudent : il s'agit d'un preprint sans relecture par les pairs, les tâches réelles ne sont pas détaillées dans le résumé (taux de réussite, durée, diversité des scènes), et une extrapolation de loi d'échelle ne garantit pas la robustesse en environnement industriel ouvert. Ce travail s'inscrit dans la lignée des approches JEPA promues par Yann LeCun et Meta, qui privilégient la prédiction dans un espace de représentation abstrait plutôt qu'au niveau du pixel, en opposition aux modèles génératifs vidéo et aux politiques VLA (vision-langage-action) entraînées par imitation. Il se positionne face aux modèles du monde de type Cosmos de NVIDIA et aux modèles génératifs de Google DeepMind, ainsi qu'à V-JEPA 2 de Meta, qui avait déjà montré une planification robotique à partir d'une image-but. La publication ouverte des poids et du code laisse attendre des reproductions et des extensions par d'autres laboratoires. Les prochaines étapes à surveiller sont la validation des lois d'échelle à des tailles supérieures à 8 milliards de paramètres, leur confirmation par des équipes indépendantes, et une évaluation sur des tâches industrielles réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

RynnValue : faire passer à l'échelle les modèles fondation de valeur robotique par la distance temporelle

RynnValue s'attaque au goulot d'étranglement des modèles de récompense pour l'apprentissage robotique en remplaçant les ancrages classiques (préférences, progression normalisée) par la distance temporelle : le coût-à-parcourir dirigé entre une observation et un objectif spécifié en langage naturel. Comme ces étiquettes se déduisent directement des horodatages, le modèle open source s'entraîne sur plus de 7 000 heures et environ 3 millions de clips conditionnés par instruction, sans annotation de préférence ni de progression. Trois techniques stabilisent l'apprentissage à cette échelle : échantillonnage temporel aléatoire, mélange de l'ordre temporel et attention à isolation de valeur, qui empêchent le modèle de trouver des raccourcis insensibles aux échecs et régressions. Résultat : un Kendall's tau_a moyen de 0,675 sur le benchmark RBM-EVAL-OOD, devant l'état de l'art entièrement supervisé par préférences (0,655) et plus du double d'un équivalent entraîné uniquement sur la progression (0,292), avec généralisation zero-shot à des tâches, embodiments et points de vue inédits. Converti en récompense dense via un potential-based shaping, il fait grimper le taux de succès de politiques robotiques réelles de 52,5% à 72,5% en ligne, et de 63,8% à 82,5% hors ligne. Pour les intégrateurs et décideurs robotique, ce résultat pèse dans le débat sur le passage à l'échelle des modèles VLA : il suggère qu'un signal de supervision dérivé automatiquement des timestamps peut remplacer l'annotation manuelle coûteuse (préférences, jugements de progression) tout en généralisant mieux à des robots et environnements jamais vus à l'entraînement. C'est une preuve concrète que le goulot d'étranglement des reward models, souvent cité comme frein au reinforcement learning robotique à grande échelle, peut être contourné par un signal purement temporel plutôt que par plus d'annotation humaine. L'amélioration mesurée du taux de succès en conditions réelles, et pas seulement sur benchmark hors ligne, distingue ce travail d'une simple démonstration académique et le rend directement pertinent pour qui cherche à industrialiser des politiques génératives de contrôle robotique. RynnValue s'inscrit dans la lignée des modèles de fondation pour la robotique de type VLA (vision-langage-action), aux côtés d'approches comme Pi-0 ou GR00T N2, qui cherchent toutes à exploiter des corpus hétérogènes multi-embodiments pour généraliser au-delà d'un seul robot ou d'une seule tâche. Contrairement aux méthodes appuyées sur des préférences annotées ou une progression normalisée par tâche, difficilement transférables entre plateformes et sources de données, RynnValue mise sur un signal universel et bon marché à produire. Le fait que le modèle et vraisemblablement son code soient publiés en open source (arXiv, août 2026) facilite sa reproduction et son intégration par des laboratoires tiers pour du reward shaping en apprentissage par renforcement. Les prochaines étapes attendues concernent l'extension à davantage d'embodiments et de tâches en conditions réelles, ainsi que la comparaison avec d'autres modèles de récompense émergents dans un secteur où la fiabilité du reward model conditionne directement la vitesse d'entraînement des politiques.

RecherchePaper

1 source