Aller au contenu principal
GroundingPI : un modèle fondation d'ancrage pour l'intelligence physique, fondé sur des primitives visuellesIllustration générée par IA
RecherchearXiv cs.RO 

GroundingPI : un modèle fondation d'ancrage pour l'intelligence physique, fondé sur des primitives visuelles

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

GroundingPI est un modèle de fondation de 4 milliards de paramètres dédié au « grounding » visuel, c'est-à-dire la capacité de désigner précisément l'objet visé et de le localiser, y compris dans un environnement encombré ou pour de très petits objets. Il génère des points et des boîtes englobantes sous forme de coordonnées quantifiées, intégrées à un vocabulaire partagé avec le texte. L'entraînement combine préentraînement multimodal et spatial, fine-tuning supervisé, puis apprentissage par renforcement avec GRPO, à partir de jeux de données publics et de « data engines » dédiés. Sur 34 benchmarks couvrant 11 capacités perceptives, face à 44 modèles de référence, il atteint 73,68 % en moyenne, contre 71,54 % pour GPT-6 Astra, pourtant plus gros. En aval, utilisé comme backbone visuel, il bat tous les backbones courants testés sur RoboTwin 2.0 dans les quatre scénarios hors distribution, jusqu'à 24,8 % en relatif face au meilleur d'entre eux. Sur RoboCasa-GR1, il entraîné avec 50 % des démonstrations dépasse les références entraînées avec 75 %. Sur nuScenes, il obtient une erreur L2 moyenne en boucle ouverte de 0,296 m.

Pour les équipes qui développent des politiques VLA (vision-langage-action) ou des modèles monde-action, le résultat s'attaque à un point faible peu discuté : la perception de ces systèmes provient de backbones généralistes de vision-langage ou de génération vidéo, qui échouent justement sur les objets minuscules, les scènes denses et les contraintes de latence du contrôle en boucle fermée. Le gain de 25 % de données de démonstration sur RoboCasa-GR1 est le chiffre le plus parlant pour un intégrateur, car la collecte de démonstrations reste le principal poste de coût de l'apprentissage par imitation. L'étude suggère aussi que la perception gagne à être préentraînée séparément, avec des effets d'échelle observés à la fois en manipulation et en conduite autonome. Elle relève enfin l'intérêt du grounding dense et le rôle de l'OCR comme catalyseur de l'apprentissage perceptif. Les réserves habituelles s'appliquent : il s'agit de benchmarks de simulation (RoboTwin, RoboCasa) et d'une évaluation de conduite en boucle ouverte, qui prédit mal le comportement en boucle fermée. Aucune démonstration sur robot réel ni mesure de latence n'est rapportée dans le résumé.

Ces travaux s'inscrivent dans la tendance qui consiste à greffer sur des VLA, comme Pi-0 ou GR00T, des encodeurs issus de modèles de vision-langage généralistes, dont les limites spatiales sont connues. Le choix d'un modèle de 4 milliards de paramètres répond à la contrainte d'embarquement et de vitesse. L'étude reste un preprint arXiv, sans mention de calendrier de publication des poids ni de déploiement industriel. La suite logique serait de confirmer ces gains sur matériel réel et de voir si les développeurs de VLA adoptent un backbone de perception dédié plutôt que des modèles généralistes.

À lire aussi

Magic-W0 : un modèle fondation monde-action structuré pour l'intelligence physique
Illustration générée par IA
1arXiv cs.RO 

Magic-W0 : un modèle fondation monde-action structuré pour l'intelligence physique

Magic-W0, un modèle de fondation « monde-action » (WAM, world-action model), est présenté dans un preprint arXiv (2609.39870v1) dont les auteurs ne sont pas précisés dans le résumé. Le modèle code chaque interaction comme une « Structured World Transition » en trois blocs. L'état courant associe le contexte vision-langage à une géométrie 3D de la scène. La transition est décrite par un mouvement 3D qui capture les changements tridimensionnels induits par l'action. L'état futur est exprimé sous forme de sémantique décrivant le résultat attendu de la tâche. L'architecture aligne couche par couche la prédiction du monde et la génération d'actions continues : les hypothèses d'action en cours conditionnent la prédiction de transition, et les représentations prédites alimentent en retour la génération d'actions. Le pré-entraînement combine manipulation humaine égocentrique, données UMI (interface de collecte par préhenseur portable), données de robots réels et simulation. La supervision porte sur des représentations latentes (géométrie, mouvement 3D, sémantique future) issues de modèles visuels préentraînés. Sur le benchmark RoboDojo-Sim, Magic-W0 obtient un score moyen de 27,10, le plus élevé parmi les WAM comparés. Les auteurs annoncent aussi de bonnes performances sur plusieurs tâches sur robot réel après un fine-tuning avec peu de données. L'intérêt tient à la critique que formule le papier : la plupart des WAM prédisent des images futures ou des latents génériques, peu exploitables pour le contrôle, et pas forcément liés à l'action. Magic-W0 propose une représentation explicitement géométrique et orientée contrôle. Des tests d'intervention à l'inférence montrent que ces représentations réagissent de façon systématique aux changements d'action candidate, et que l'information d'action circule via les représentations 3D jusqu'aux prédictions sémantiques. C'est un argument de causalité plus solide que la simple qualité visuelle. Pour un intégrateur, la promesse est une adaptation rapide à de nouvelles tâches avec peu de données, point critique du coût de déploiement. Il faut toutefois relativiser. Le score de 27,10 n'a de sens que par rapport aux WAM comparés, sans valeur absolue ni écart précisé dans le résumé. Les tâches réelles ne sont pas détaillées : ni taux de réussite, ni volume de données de fine-tuning, ni plateforme robotique. On reste donc au stade du résultat de recherche, sans produit livré ni déploiement. Ce travail s'inscrit dans la montée des modèles VLA (vision-langage-action) et de leurs extensions « monde », qui cherchent à doter les politiques d'une dynamique de l'environnement conditionnée par l'action, au-delà de la simple imitation. Le recours massif aux vidéos humaines égocentriques et aux données UMI reflète la tendance à contourner le coût de la téléopération robot. Magic-W0 se positionne face aux autres WAM et aux politiques fondées sur la reconstruction vidéo, dont le résumé ne cite pas les noms. Les prochaines étapes à surveiller sont la publication du code et des poids, une évaluation indépendante de RoboDojo-Sim, et surtout des résultats détaillés sur robot réel, seuls capables de dire si la structure 3D apporte un gain tangible face aux approches VLA génériques.

RecherchePaper
1 source
ACE-Brain-0.6 : passage à l'échelle de l'ancrage spatial pour les modèles fondation physiques
Illustration générée par IA
2arXiv cs.RO 

ACE-Brain-0.6 : passage à l'échelle de l'ancrage spatial pour les modèles fondation physiques

ACE-Brain-0.6 est un modèle de « grounding » spatial décrit dans un preprint arXiv (2610.27040) : il s'agit de relier une instruction ou une description à l'endroit précis où agir dans une scène visuelle. Les auteurs ont affiné Qwen3.5-9B, un modèle multimodal ouvert de 9 milliards de paramètres, sur environ 1,5 million d'échantillons issus d'un pipeline de données unifié. Ce pipeline combine des enregistrements de manipulation robotique, annotés automatiquement, avec des données visuelles complémentaires de sources variées. Le tout est converti en supervision de grounding « vérifiable », c'est-à-dire que chaque réponse peut être contrôlée automatiquement. Sur sept benchmarks publics de grounding, ACE-Brain-0.6 devance GPT-6 Astra sur quatre, avec une moyenne globale de 75,41 contre 73,68. À configuration de fine-tuning identique, la performance agrégée progresse à mesure que les versions successives du jeu de données couvrent davantage de scénarios. L'intérêt tient à l'écart qui se resserre entre un petit modèle ouvert et un modèle généraliste fermé sur une compétence que les auteurs jugent centrale pour la manipulation. Leur analyse suggère que la polyvalence de modèles comme GPT-6 Astra et Claude Opus 5.5 en robotique repose en partie sur une bonne perception spatiale, notamment la capacité à localiser l'objet pertinent malgré des éléments visuels parasites. Un modèle de 9 milliards de paramètres, déployable à moindre coût et modifiable, qui égale ou dépasse un modèle frontière sur ce volet, intéresse les intégrateurs qui ne veulent pas dépendre d'API distantes pour la couche perception. Les résultats portent toutefois sur des benchmarks de grounding, pas sur des taux de réussite de tâches physiques. Aucune mesure en boucle fermée sur robot n'est mentionnée, et l'avance moyenne reste modeste (moins de deux points). Le modèle perd sur trois des sept tests, ce qui nuance la portée du résultat. Le passage du grounding statique à une manipulation fiable reste à démontrer. Ce travail s'inscrit dans la tendance des modèles de fondation physiques, où la recherche se demande si la perception ou le raisonnement de haut niveau doit être renforcé en priorité avant de coupler le tout à une politique d'action de type VLA (vision-langage-action). L'approche privilégie la mise à l'échelle de données diverses et vérifiables plutôt que l'architecture, en concurrence avec les modèles généralistes fermés et avec les modèles robotiques ouverts ou propriétaires du secteur. Le suffixe « 0.6 » indique une version intermédiaire d'une série. Les auteurs évoquent des « data releases » successives, ce qui laisse attendre de nouvelles itérations avec une couverture élargie. Le preprint n'a pas encore été relu par des pairs, et la disponibilité publique des poids et du jeu de données n'est pas précisée dans le résumé.

RecherchePaper
1 source
LAW : unifier langage, action et modèle du monde pour une intelligence physique à base d'agents
Illustration générée par IA
3arXiv cs.RO 

LAW : unifier langage, action et modèle du monde pour une intelligence physique à base d'agents

LAW, pour Language, Action and World modeling, est un framework en boucle fermée publié sur arXiv (2610.23334) qui associe un modèle vision-langage (VLM) et un modèle monde-action (WAM, world-action model, capable de prédire conjointement les actions et les états futurs du monde). Le VLM de 2 milliards de paramètres planifie les sous-tâches restantes, estime la valeur des actions proposées par le WAM et les fusionne, puis évalue de façon asynchrone l'état d'exécution pour décider de poursuivre ou de passer à la sous-tâche suivante. Côté WAM, une architecture Mixture-of-Transformer Experts combine calcul spécifique à chaque modalité et calcul partagé pour modéliser conjointement vidéo et actions. Une mémoire visuelle hiérarchique à double flux fournit le contexte temporel aux deux modèles. Sur le benchmark simulé RoboTwin (50 tâches), LAW atteint 94,21 % de réussite moyenne, et 95,56 % avec le backbone OpenWAM-alpha, ce que les auteurs présentent comme un nouvel état de l'art open source. Sur trois tâches longues sur robot réel, il obtient 65 % de réussite moyenne, contre 28,33 % pour pi-0.5 et 25 % pour Fast-WAM. L'intérêt pour l'industrie tient à la manière dont le résultat est obtenu : la planification sémantique est confiée à un petit VLM, qui surpasse des variantes équipées d'Embodied-R1.5 et de GPT-5.5 High. Cela suggère que, pour le pilotage de tâches longues, un modèle spécialisé et léger peut valoir un très grand modèle généraliste, avec des implications sur la latence et le coût d'embarquement. L'apprentissage de valeur par sous-tâche, qui conserve la supervision des préfixes réussis de trajectoires ayant échoué, répond aussi à un problème pratique : exploiter les données d'échec plutôt que les jeter. À nuancer toutefois : RoboTwin est un benchmark simulé, saturé autour de 95 %, et l'évaluation réelle ne porte que sur trois tâches, sans précision ici sur le nombre d'essais ni sur les plateformes. L'écart de 65 % contre 28 % face à pi-0.5 est net, mais reste une comparaison de laboratoire, loin d'un déploiement en production. Ce travail s'inscrit dans la convergence entre modèles VLA (vision-langage-action) comme pi-0.5 de Physical Intelligence et modèles monde-action, qui apprennent à prédire la vidéo future pour guider le contrôle, à l'image de Fast-WAM. Le débat porte sur la meilleure répartition entre raisonnement symbolique, prédiction du monde et génération d'actions. LAW propose une architecture hiérarchique où le langage sert de pivot, une approche proche de celles des systèmes à double vitesse de Figure (Helix) ou de NVIDIA (GR00T). Il s'agit d'un preprint non évalué par des pairs. Les prochaines étapes à surveiller sont la publication du code et des poids, des tests sur davantage de tâches et de plateformes, et une reproduction indépendante.

RecherchePaper
1 source
Vers les limites cognitivo-physiques de l'intelligence incarnée : un agent de course autonome centré sur un modèle du monde
Illustration générée par IA
4arXiv cs.RO 

Vers les limites cognitivo-physiques de l'intelligence incarnée : un agent de course autonome centré sur un modèle du monde

Une équipe de recherche publie sur arXiv (article 2608.10618v1) un système baptisé agent de course autonome centré sur un modèle du monde, conçu pour sonder les limites conjointes cognitives et physiques de l'intelligence incarnée. Les données d'entraînement proviennent d'essais réels sur véhicule, où le système embarqué a maintenu une localisation et une perception robustes jusqu'à 256,3 km/h, avec une accélération latérale de pointe de 26,8 m/s². Le framework construit un état du monde, raisonne de manière anticipative sur les événements futurs, et pilote le véhicule près de ses limites physiques dans une boucle de raffinement fermée, en apprenant à la fois des réussites et des échecs proches de la limite. En simulation complète de course, l'agent entraîné atteint un taux de réussite d'interaction de 88,3% sur un ensemble de scénarios de course simulés jugés difficiles. L'enjeu dépasse la course automobile : la plupart des systèmes d'IA incarnée sont aujourd'hui évalués avec des marges de sécurité conservatrices, ce qui laisse mal comprises leurs limites réelles de capacité en conditions extrêmes. La course autonome sert ici de banc d'essai exigeant, combinant perception haute fréquence, interactions adversariales et dynamique du véhicule quasi saturée, un cadre plus contraignant que les tests habituels en robotique ou en conduite autonome. Le résultat suggère qu'un modèle du monde peut aider un agent à représenter et affiner en continu ses frontières de capacité plutôt que de se contenter de les éviter par prudence, une piste potentiellement transférable à d'autres systèmes robotiques ou véhicules autonomes où la marge entre performance et sécurité reste mal quantifiée. Le travail se positionne face aux systèmes de course autonome existants, qui repoussent les performances à haute vitesse sans modéliser conjointement les limites cognitives et physiques ni les affiner de manière couplée. Il s'agit à ce stade d'un article de recherche déposé sur arXiv, sans précision sur un véhicule commercial, un partenaire industriel ou un calendrier de déploiement : aucune indication n'est donnée sur une application produit ou un pilote à venir. Les auteurs présentent le raffinement en boucle fermée du modèle du monde et de la politique de contrôle comme une piste pour améliorer la récupération après échec et la généralisation à des circuits inédits, posant les bases d'une méthodologie consciente des limites pour un déploiement plus sûr des agents incarnés dans le monde réel.

RecherchePaper
1 source