IA physiquearXiv cs.RO 9 juillet 2026

Modèle vision-langage-action pour la génération compositionnelle de mouvements à partir de démonstrations avec champs neuronaux centrés sur l'objet

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (identifiant 2607.07129, soumission de type "new", juillet 2026) un framework d'apprentissage par démonstration pour la génération de mouvement robotique compositionnel. La méthode combine des représentations neuronales centrées objet, des neural fields canoniques associés à des déformations conditionnées par une variable latente, pour rendre des scènes en capturant variations de position et de géométrie de façon lisse et interprétable. Pour la génération de mouvement, un mélange d'experts temporel (temporal mixture-of-experts) utilise un mécanisme de gating qui combine dans le temps des primitives de mouvement conditionnées par objet, produisant des trajectoires complètes. En simulation, le modèle accomplit des tâches de manipulation à long horizon avec significativement moins de données d'entraînement que les méthodes de référence basées sur l'image. Des expériences en conditions réelles confirment la robustesse au bruit, une généralisation au niveau catégoriel grâce à des modèles de segmentation pilotés par le langage, et la capacité d'opérer directement sur des représentations de scène en 3D.

Cette approche s'attaque à un problème central de l'apprentissage par démonstration en robotique: généraliser au-delà des configurations de scène vues à l'entraînement sans faire exploser les besoins en données. En ancrant le mouvement dans une structure visuelle explicite plutôt que dans des pixels bruts, la méthode promet une efficacité data nettement supérieure, un enjeu critique pour les intégrateurs industriels qui ne disposent pas des volumes de démonstrations que collectent les grands laboratoires spécialisés en modèles vision-langage-action. Si ces résultats se confirment à plus grande échelle, cette compositionnalité spatio-temporelle pourrait réduire le coût de déploiement de bras manipulateurs dans des environnements variés, sans réentraînement complet à chaque nouvelle configuration.

Le travail s'inscrit dans la double lignée des "movement primitives", qui structurent le mouvement en briques réutilisables, et des neural fields appliqués à la robotique, qui représentent la géométrie de façon compacte. Il se positionne comme alternative modulaire et interprétable face aux modèles VLA end-to-end à grande échelle, généralement plus gourmands en données mais plus généralistes. L'article, validé en simulation et par des expériences réelles limitées, ne mentionne aucun déploiement industriel ni partenariat commercial: il s'agit à ce stade d'une contribution académique dont la suite logique serait une évaluation sur des plateformes robotiques partagées et des benchmarks standardisés.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

StellaVLA : démonstration structurée en contexte pour des modèles vision-langage-action généralisables

StellaVLA est un framework pour les modèles Vision-Language-Action (VLA) qui s'adapte a des situations inédites a partir d'une seule démonstration récupérée au moment de l'inférence, sans finetuning. Une pipeline automatisée convertit chaque trajectoire brute en démonstration structurée (plan de tache, sous-objectifs, mouvement 3D verbalise) sans annotation humaine, puis un entrainement dual conjoint action-langage internalise ce raisonnement, l'inférence n'utilisant que l'expert d'action pour un contrôle temps réel sans latence ajoutée. Sur le classement VLA-Arena du 1er aout 2026, StellaVLA arrive premier avec un score de 0,63, contre 0,44 pour pi-0.5 et 0,22 pour LingBot-VLA. Il atteint aussi 98,8% de réussite sur LIBERO et 85,1% sur LIBERO-Plus, et des tests sur robot réel confirment l'usage de démonstrations humain/robot et humain-vers-robot captées en réalité étendue (XR). Le résultat cible un point faible connu des VLA : leurs performances s'effondrent des que la scene, le point de vue ou l'objet différent de l'entrainement, ce qui obligeait jusque-la a recollecter des données et refinetuner pour chaque cas. En rendant la démonstration transférable entre robot réel, main humaine et capture XR, StellaVLA laisse entrevoir une adaptation par simple exemple contextuel plutôt qu'un cycle complet de collecte-entrainement, ce qui intéressé les intégrateurs cherchant a réduire le cout de reconfiguration en usine ou en entrepôt. L'écart revendique face a pi-0.5 (Physical Intelligence) et LingBot-VLA sur un classement tiers reste toutefois, a ce stade, un résultat de preprint sur benchmarks simules et un échantillon limite de robot réel, non un déploiement industriel vérifie indépendamment. Le travail s'inscrit dans la vague des VLA généralistes lancée ces deux dernières années par les modèles pi de Physical Intelligence et par des systèmes comme GR00T N2 de NVIDIA ou Helix de Figure AI, tous confrontes au même écart entre démonstration et usage réel. En choisissant de se comparer directement a pi-0.5 et LingBot-VLA sur VLA-Arena, les auteurs positionnent StellaVLA comme concurrent de ces approches récentes plutôt que comme variante académique isolée. Publie en aout 2026 sur arXiv, l'article ne mentionne ni partenariat industriel ni calendrier de déploiement : il s'agit pour l'instant d'une contribution de recherche destinée a être reproduite avant toute intégration commerciale.

IA physiqueActu

1 source

2arXiv cs.RO

GIF : génération à base d'agents de compositions d'objets interactifs et fonctionnels pour l'apprentissage des robots

Des chercheurs ont publié sur arXiv, sous la référence 2609.05927 (version 2, qui remplace une publication antérieure), un système baptisé GIF, conçu pour générer automatiquement des scènes d'objets fonctionnels et interactifs destinées à l'entraînement et à l'évaluation de modèles de manipulation robotique en simulation. Le pipeline découpe le problème en deux étapes distinctes : un module nommé CoGen reconstruit des maillages 3D séparés par instance avec des poses initiales grossières, en combinant les forces des modèles génératifs 2D et 3D existants, puis un second module, GPRM, affine la pose relative entre les objets sous une double contrainte géométrique et physique. Un vérificateur basé sur un modèle vision-langage (VLM) sélectionne ensuite, parmi les candidats produits, celui qui correspond le mieux à la spécification structurée demandée. Les auteurs ont construit un benchmark couvrant huit classes représentatives de géométries de contact et ont comparé GIF à des générateurs de scènes considérés comme état de l'art. Résultat : le système améliore à la fois la qualité des objets générés et la justesse des relations spatiales entre eux, tout en faisant chuter le taux de collision sous la barre de 1%. Les données produites ont ensuite servi à entraîner des politiques de manipulation, avec une progression des performances observée à mesure que la diversité des scènes augmente, aussi bien en simulation qu'en déploiement réel. Cette contribution vise un maillon précis, et souvent négligé, de la chaîne d'entraînement des modèles de manipulation de type VLA : la génération de scènes. Les méthodes existantes se limitaient surtout à des agencements grossiers d'objets, sans modéliser la façon dont ils s'emboîtent ou interagissent physiquement, ce qui limite leur utilité pour des tâches fines comme ouvrir un couvercle ou insérer une pièce. En automatisant la production de compositions à faible taux de collision, GIF s'attaque directement au goulot d'étranglement des données d'entraînement pour la manipulation robotique, un enjeu central pour les équipes qui cherchent à réduire l'écart entre démonstrations en simulation et comportements robustes en conditions réelles. L'observation d'une montée en performance liée à la diversité des scènes, confirmée à la fois en simulation et sur robot réel, constitue l'élément le plus significatif pour les intégrateurs, car elle appuie l'hypothèse selon laquelle davantage de données synthétiques bien construites profite au transfert vers le monde réel. Ce travail s'inscrit dans la lignée des recherches sur la génération automatique de scènes de simulation pour la robotique, un domaine qui a jusqu'ici privilégié le placement grossier d'objets plutôt que la composition fine de leurs relations fonctionnelles et de contact. Les auteurs positionnent explicitement GIF face aux générateurs de scènes existants sans toutefois nommer d'acteur commercial concurrent, l'article restant à ce stade une contribution de recherche publiée sur arXiv plutôt qu'un produit déployé. La suite annoncée par les auteurs porte sur l'extension de cette génération de données synthétiques à plus grande échelle pour l'entraînement de politiques de manipulation, avec des premiers résultats de transfert vers le monde réel déjà rapportés, mais sans calendrier ni partenaire industriel précisé.

IA physiquePaper

1 source

3arXiv cs.RO

Champs d'action neuraux implicites : des points de passage discrets aux fonctions continues pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié en mars 2026 sur arXiv (2603.01766) une méthode baptisée Neural Implicit Action Fields (NIAF), qui reformule la génération des commandes motrices dans les modèles VLA (Vision-Language-Action). La pratique dominante consiste aujourd'hui à prédire des "action chunks" : des séquences de waypoints discrets prélevés à fréquence fixe, héritage de la collecte de données robotiques et du paradigme token-par-token des LLM. NIAF remplace cette représentation par des fonctions d'action continues dans le temps, synthétisées via un modulateur spectral hiérarchique appuyé sur un LLM vision-langage et un prior de mouvement appris. L'architecture produit une variété d'action échantillonnable à résolution temporelle arbitraire et supporte la différentiation analytique pour superviser explicitement vitesse et dérivées d'ordre supérieur. Sur les benchmarks de manipulation CALVIN et LIBERO, NIAF obtient de bonnes performances sur plusieurs backbones. Des tests en conditions réelles confirment la compatibilité avec le contrôle d'impédance stable. L'enjeu est structurel. Les waypoints discrets génèrent des artefacts de quantification et ne fournissent pas les dérivées continues (vitesse, accélération, jerk) requises par les contrôleurs temps-réel industriels. Le contrôle d'impédance, standard dans les cobots et les cellules d'assemblage, exige précisément cette continuité pour adapter la force en temps réel. En supervisant ces grandeurs durant l'entraînement, NIAF réduit le besoin de filtrage post-traitement et améliore potentiellement le transfert simulation-réalité, point critique pour tout déploiement industriel. Pour un intégrateur ou un COO, des politiques apprises directement exploitables sur du matériel réel changent la donne. NIAF s'inscrit dans un champ très concurrentiel : Physical Intelligence (Pi-0, Pi-0.5), NVIDIA (GR00T N2), Google DeepMind (RT-2) et des startups comme Covariant développent tous des VLA confrontés au même problème de discrétisation, inhérent à leur architecture. Les approches par diffusion (DDPM) et flow matching avaient déjà cherché à l'atténuer du côté génératif ; NIAF l'attaque du côté de la représentation fonctionnelle. Aucun déploiement ni partenariat industriel n'est annoncé : les résultats restent limités aux benchmarks simulés et à quelques tests réels, et la validation à grande échelle reste à démontrer.

IA physiqueOpinion

1 source

4arXiv cs.RO

H-VLA : modèle vision-langage-action hiérarchique avec raisonnement par actions clés et planification de mouvement dans un espace d'action unifié

Une équipe de recherche présente H-VLA, un modèle vision-langage-action hiérarchique pour la manipulation robotique, publié le 22 septembre 2026 sur arXiv (2609.22895). Contrairement aux VLA classiques, qui traduisent langage et images en actions continues et deviennent fragiles si la position des objets, la scène ou la caméra changent, H-VLA sépare le raisonnement de haut niveau de la génération du mouvement. L'architecture combine un Key-Action Model, qui prédit le sous-objectif de manipulation suivant, un Motion Planning Model, qui génère les actions denses correspondantes, et un espace d'action unifié centré sur la caméra. L'entraînement se fait en deux étapes: raisonnement sur les actions clés au pré-entraînement, puis génération de mouvement dense au fine-tuning. Sur le simulateur SimplerEnv, H-VLA atteint 91% de réussite sur Google Robot en configuration standard, 84% en variantes, et 81% sur WidowX; sur robot réel Agilex, il dépasse la meilleure référence de 10, 47 et 16 points selon que les conditions sont connues, la position d'objet est inédite, ou la scène et les objets sont inédits. Ces résultats visent le point faible des VLA en usage réel: la chute de performance quand un objet bouge ou que la caméra change. Le gain de 47 points en généralisation de position sur robot réel est le chiffre le plus parlant pour les intégrateurs, cet écart entre démonstration contrôlée et production freinant aujourd'hui l'adoption industrielle des VLA. Si cette approche hiérarchique, séparer quoi faire et comment le faire, se confirme au-delà des bancs d'essai internes, elle pourrait réduire le réentraînement nécessaire à chaque nouveau site, un enjeu de coût central pour les décideurs B2B. H-VLA s'inscrit dans la lignée des VLA existants, RT-2 et OpenVLA en recherche, Pi-0 de Physical Intelligence, GR00T de NVIDIA, Helix de Figure AI, tous confrontés au même problème de généralisation spatiale que H-VLA attaque par découplage hiérarchique plutôt que par mise à l'échelle des données. L'article, non encore revu par les pairs, limite les essais réels à la plateforme Agilex, sans partenariat industriel annoncé. Reste à voir si l'architecture sera reprise ailleurs et si les gains tiennent sur des tâches plus longues et des robots variés.

IA physiqueOpinion

1 source