Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Comment vision-langage-action doivent-ils utiliser l'état proprioceptif ?
RecherchearXiv cs.RO 

Comment vision-langage-action doivent-ils utiliser l'état proprioceptif ?

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un nouvel article de recherche publié sur arXiv (2608.03052, début août 2026) s'attaque à une question que la littérature sur les modèles Vision-Language-Action (VLA) a longtemps traitée par à-coups : comment un robot doit-il intégrer son état proprioceptif, c'est-à-dire les positions et vitesses articulaires mesurées en interne. Les auteurs relèvent que la quasi-totalité des VLA récents exploitent cette information, mais de manière incohérente d'un système à l'autre : sérialisée en texte dans le prompt, projetée dans le préfixe vision-langage, ou injectée directement dans l'expert d'action, et presque toujours limitée à une seule frame instantanée. Pour trancher, l'équipe a mené des expériences contrôlées sur un VLA à flow-matching, en figeant le backbone, les données d'entraînement, la représentation d'action et le protocole d'évaluation. Cinq interfaces ont été comparées à égalité d'implémentation (prompt d'état discret, préfixe VLM, préfixe d'action, expert d'état dédié, modulation de features), testées sur 45 tâches atomiques réparties en trois familles plus 20 tâches composites, avec un balayage de la longueur d'historique d'état de 1 à 96 frames.

L'enjeu dépasse le détail d'ingénierie : à mesure que les VLA se généralisent en robotique industrielle, chaque laboratoire bricole sa propre façon de câbler l'état proprioceptif sans base comparative rigoureuse, ce qui rend les gains rapportés difficiles à attribuer. Cette étude cherche à isoler ce qui relève d'un réel bénéfice temporel de ce qui n'est qu'un surcroît de capacité de conditionnement, une distinction cruciale pour les équipes qui doivent arbitrer entre complexité d'architecture et performance en boucle fermée sur des tâches réelles.

Le papier s'inscrit dans un paysage VLA en pleine consolidation, dominé par des architectures comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, dont les choix d'intégration proprioceptive restent largement empiriques et non justifiés publiquement. L'abstract ne détaille pas les principes de conception retenus, seulement la méthodologie : les résultats précis et leur portée pratique restent à vérifier dans le corps de l'article.

Dans nos dossiers

IA physique & VLANVIDIA GR00TPhysical Intelligence — π0arXiv cs.RO

À lire aussi

LaMP : apprentissage d'une politique vision-langage-action avec flux de scène 3D comme a priori de mouvement latent
1arXiv cs.RO 

LaMP : apprentissage d'une politique vision-langage-action avec flux de scène 3D comme a priori de mouvement latent

Des chercheurs présentent LaMP, un framework de manipulation robotique combinant deux modules experts. Le premier, le "Motion Expert", génère en une seule étape un flux de scene 3D partiellement debruite via une méthode de flow-matching; ses états caches conditionnent ensuite un second module, l'"Action Expert", charge de prédire les actions du robot, via une attention croisée filtrée. Contrairement aux VLA classiques qui déduisent les actions directement de features visuelles 2D, LaMP intègre ainsi un a priori de mouvement 3D explicite sans reconstruction complète multi-étapes. Le système a été évalué sur les bancs d'essai de simulation LIBERO, LIBERO-Plus et SimplerEnv-WidowX, ainsi que sur des expériences réelles. Selon les auteurs, LaMP dépasse systématiquement les références VLA testées, avec les meilleurs taux de réussite moyens a budget d'entrainement égal, et un gain moyen de 9,7% de robustesse sur les perturbations hors distribution de LIBERO-Plus par rapport a la meilleure référence existante. Ce travail cible un point faible connu des politiques VLA: leur difficulté a généraliser a des dynamiques spatiales non vues pendant l'entrainement, un écart souvent qualifie de "sim-to-real" ou de "demo vs reality gap". En forçant les modèles a apprendre implicitement la physique 3D a partir de simples features 2D, les architectures actuelles, dans la lignée de RT-2, Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, restent fragiles des que l'environnement s'écarté du jeu d'entrainement. Pour les intégrateurs et décideurs B2B, la robustesse hors distribution sépare une démonstration convaincante d'un déploiement industriel fiable: c'est souvent le vrai goulot d'étranglement, plus que la réussite brute sur des taches déjà vues. Le papier, publie sur arXiv en version 2, s'inscrit dans un débat plus large sur la meilleure façon d'injecter des priors physiques 3D dans des backbones visuels pré-entraines en 2D, face a des alternatives comme les nuages de points ou les politiques de diffusion conditionnées par la profondeur. Il s'agit d'une contribution académique, sans affiliation industrielle affichée ni indication de déploiement au-delà des benchmarks; les prochaines étapes attendues concernent le passage a l'échelle en conditions réelles et une comparaison directe avec des politiques VLA déjà commercialisées comme Pi-0 ou GR00T N2.

RechercheActu
1 source
Penser par proprioception : une sélection de tokens visuels ancrée sur l'état pour les modèles VLA
2arXiv cs.RO 

Penser par proprioception : une sélection de tokens visuels ancrée sur l'état pour les modèles VLA

Des chercheurs présentent ThinkProprio, une nouvelle architecture pour les modèles vision-langage-action (VLA) qui pilotent les robots. Contrairement aux approches classiques où la proprioception, c'est-à-dire l'état interne du robot comme la position de ses articulations, n'intervient qu'en toute fin de traitement comme simple signal de conditionnement passif, ThinkProprio discrétise cette information en tokens compatibles avec le vocabulaire du modèle de vision-langage. Ces tokens sont ensuite utilisés conjointement avec l'instruction textuelle pour filtrer les patches visuels avant même que le calcul du VLM ne démarre. Résultat clé des expériences menées sur les bancs d'essai CALVIN et LIBERO ainsi qu'en manipulation réelle : ne conserver qu'environ 12% des tokens visuels suffit à dépasser les performances d'une baseline utilisant l'intégralité des tokens sur le protocole CALVIN ABC vers D, tout en réduisant la latence d'inférence de bout en bout. L'apport est significatif pour le secteur car il renverse une hypothèse répandue : ajouter la proprioception comme simple signal supplémentaire ne change quasiment rien aux performances, contrairement à ce qu'on pourrait attendre. La valeur n'apparaît que lorsque l'état du robot sert de requête active, en sélectionnant en amont quelles informations visuelles méritent d'être traitées. Pour les intégrateurs et équipes robotique confrontées au goulot d'étranglement de la latence d'inférence lors du déploiement de VLA sur du matériel réel, cette piste ouvre une voie concrète pour accélérer l'exécution sans sacrifier la précision des actions. Cette contribution s'inscrit dans une tendance de fond de la recherche en VLA, où des modèles comme GR00T N2, Pi-0 ou Helix intègrent généralement la proprioception de façon tardive et peu exploitée architecturalement. Face à la pression pour rendre ces modèles exécutables en temps réel embarqué, l'efficacité de l'inférence devient un axe de recherche aussi central que la précision des tâches. Les auteurs valident leur approche par des ablations systématiques montrant la supériorité des tokens de vocabulaire VLM sur des projecteurs appris, ouvrant la voie à une adoption potentielle par les laboratoires développant des modèles fondation pour la robotique embarquée.

RechercheActu
1 source
Hermite curves comme a priori de trajectoire pour les modèles vision-langage-action
3arXiv cs.RO 

Hermite curves comme a priori de trajectoire pour les modèles vision-langage-action

Une équipe de recherche présente les "Hermite trajectory priors", une méthode qui structure explicitement les trajectoires générées par les modèles Vision-Language-Action (VLA) pour la manipulation robotique. Le problème identifié : les VLA actuels découpent chaque "chunk" d'action en commandes point par point, ce qui produit des mouvements saccadés et des discontinuités aux frontières entre segments lors de l'exécution physique. La solution proposée paramétrise la trajectoire comme une courbe cubique d'Hermite par morceaux, définie par les positions et vitesses aux points de contrôle, pour imposer mathématiquement la fluidité. Trois variantes sont testées : les Hermite Tokens (prédiction autorégressive des variables de frontière quantifiées), le Hermite Scaffold (décomposition en trajectoire de base plus résidus) et la Hermite Regularization (contrainte ajoutée uniquement comme objectif d'entraînement auxiliaire). Cette dernière s'avère la plus performante des trois. Appliquée au modèle π0.5, elle fait passer le taux de succès de 95,9 % à 98,7 % sur le benchmark LIBERO, de 85,7 % à 90,9 % sur LIBERO-plus, et de 63,4 % à 90,0 % sur quatre tâches réelles exécutées sur robot physique, sans surcoût de calcul à l'inférence. Ce résultat pèse dans un débat central du secteur : celui de l'écart entre démonstration et réalité pour les modèles VLA. Beaucoup de systèmes affichent des scores élevés en simulation mais se dégradent nettement lors du transfert vers un robot réel, notamment à cause de la gigue de mouvement générée par le découpage naïf en chunks. En montrant qu'une contrainte de lissage purement géométrique, ajoutée pendant l'entraînement et retirée à l'inférence, améliore les performances réelles sans coût supplémentaire, les auteurs suggèrent que la structuration explicite des trajectoires agit comme un biais inductif d'apprentissage plutôt que comme une contrainte d'exécution en temps réel. Le travail s'inscrit dans la lignée des architectures VLA récentes comme π0, GR00T N2 ou Helix, qui cherchent toutes à généraliser le contrôle robotique à partir de données multimodales massives. La méthode, agnostique à l'architecture, pourrait s'intégrer à d'autres pipelines VLA existants ; les auteurs ne précisent toutefois pas de calendrier de déploiement industriel ni de partenariat avec un fabricant de robots.

RechercheActu
1 source
Raisonnement continu pour les modèles vision-langage-action (VLA)
4arXiv cs.RO 

Raisonnement continu pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (2606.00229) une architecture appelée Continuous Reasoning for VLA, qui remplace le langage naturel comme médium de raisonnement pour les politiques robotiques par un espace latent gaussien continu. Le problème est fondamental : le texte opère à la granularité d'une tâche entière, tandis qu'une politique VLA (Vision-Language-Action) doit sélectionner des actions à une échelle temporelle bien plus fine. Le modèle génère d'abord un ensemble structuré de "pensées continues" sous forme de vecteurs gaussiens, puis les réutilise comme contexte partagé pour la génération d'actions par chunks. L'entraînement repose sur un objectif de vérification croisée : un teacher EMA (exponential moving average) doit consommer le raisonnement du modèle étudiant pour prédire les actions cibles, forçant le latent à rester transférable et vérifiable entre instances. Sur robots réels, l'architecture améliore le taux de succès moyen par sous-tâche de 40,4 % sur TX-G2 (variante compatible AgiBot G2) et de 26,3 % sur HSR (Human Support Robot de Toyota), comparé à π0.5 de Physical Intelligence. Ces résultats contredisent une hypothèse répandue : ajouter des tokens de raisonnement textuel via chain-of-thought ou sous-objectifs explicites améliore le contrôle robotique. Les auteurs montrent que ce raisonnement textuel devient facilement un raccourci interne au modèle, efficace sur les comportements vus en entraînement mais peu généralisable. Un médium de raisonnement utile doit être partageable entre instances de modèle et vérifiable via l'amélioration du contrôle aval, deux propriétés que le texte satisfait mal à l'échelle de l'action. La comparaison directe avec π0.5 positionne ce travail en réponse à Physical Intelligence, acteur de référence dans l'espace VLA. Les plateformes testées (AgiBot G2 et HSR) couvrent la robotique de service et industrielle légère, pas uniquement les humanoïdes à fort investissement comme Figure 03 ou Optimus Gen 3. D'autres architectures concurrentes, dont GR00T N2 de NVIDIA et Helix de Figure AI, misent sur des représentations latentes pour améliorer le transfert sim-to-real, mais restent davantage orientées production que recherche fondamentale. Il s'agit pour l'instant d'un résultat académique, sans annonce de pilote commercial ni de déploiement industriel.

RechercheOpinion
1 source