RecherchearXiv cs.RO 27 octobre 2026

Loi vers action en monde ouvert : a priori vision-langage et toucher pour des pièces à la physique cachée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent Open-World Law-to-Action (L2A), un cadre qui permet à un robot de manipuler dans un foyer inconnu des pièces mobiles (portes, tiroirs, couvercles, robinets) dont la physique n'est pas visible sur une image. Un modèle vision-langage (VLM) propose pour chaque pièce ses mouvements possibles, les termes de sa loi de mouvement et ce qui peut la bloquer. Chaque proposition devient un a priori avec un plancher de probabilité, de sorte que le toucher puisse toujours l'infirmer. Le robot identifie ensuite la loi de chaque pièce en ligne, par régression linéaire bayésienne avec évidence en forme close, pour des pièces à un ou deux modes de mouvement, tout en conservant l'hypothèse qu'une pièce ou un mouvement non vu verrouille la cible. Tous les essais sont en simulation, avec un développement sur certaines scènes et une exécution unique sur des scènes réservées. Dans de nouvelles cuisines, le robot réussit 80 % des tâches à partir des seules propositions du VLM, contre 98 % lorsque toutes les pièces sont connues. Sur les objets exigeant des termes inédits, les propositions de physique font passer le succès de 353 à 378-383 épisodes sur 400. Un second regard fait monter le succès en scènes mixtes de 284 à 329 tâches sur 366. Un robot mobile qui ne tire rien du simulateur accomplit 70 requêtes sur 100 en scènes nouvelles, contre 62 quand le simulateur indique quelle pièce est quelle boîte.

L'intérêt tient à la manière dont le travail traite un angle mort des modèles vision-langage-action : les consignes du type « ouvre le tiroir à moitié, doucement » dépendent de grandeurs invisibles (course, résistance, verrouillage). Les auteurs montrent que le toucher seul ne peut pas exclure l'hypothèse d'un verrou caché, dérivent un critère indiquant quand un second regard vaut son coût, et établissent qu'une charge constante et un frottement restent indiscernables tant que la pièce ne bouge que dans un sens. Ces résultats théoriques sont plus utiles à un intégrateur que le score brut. L'écart de 80 % contre 98 % chiffre ce que coûte l'ignorance des pièces en environnement ouvert. En revanche, il faut rester prudent : aucune expérience sur robot réel n'est rapportée, et la comparaison à 70 % contre 62 % intervient après une modification entre deux tests réservés, ce qui fragilise sa valeur de preuve. Le fait que le robot sans information du simulateur dépasse celui qui en reçoit est un signe d'intérêt, mais pas une démonstration de robustesse.

Ce travail s'inscrit dans l'effort pour sortir la manipulation domestique des scènes entièrement connues, où les VLM servent de source de connaissance a priori sur les objets, et où les approches par apprentissage de bout en bout peinent à inférer des propriétés physiques latentes. Il se distingue en traitant explicitement l'incertitude, avec un a priori borné qui évite qu'une erreur du VLM ne devienne irréversible. Le papier ne cite ni déploiement ni calendrier de pilotes. Les prochaines étapes évidentes sont la validation sur matériel réel, avec capteurs de force et bruit de contact, et la mesure sur des foyers non simulés. Pour les acteurs de la manipulation mobile, y compris européens, l'enjeu sera de savoir si ces garanties tiennent hors simulation.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA

À lire aussi

1arXiv cs.RO

Flux proposition-vers-action calibré par le monde pour les modèles vision-langage-action (VLA)

Des chercheurs publient ProAct, un cadre pour les politiques Vision-Language-Action (VLA) à flow matching, décrit dans l'article arXiv 2610.02323. Les VLA à flow génèrent des séquences d'actions (« action chunks ») en transportant des échantillons issus d'une source gaussienne isotrope, indépendante de la tâche. ProAct remplace cette source par une source calibrée. Un « Proposal Expert » léger convertit les actions récentes en hypothèse tenant compte de la scène. Il le fait en une seule étape de flow matching ancrée sur le mouvement, ce qui place l'initialisation près de la variété des actions démontrées. Un « World Expert » prédictif traite ensuite cette hypothèse comme un a priori de mouvement souple et prédit le futur latent cohérent avec la tâche. À partir de cette compatibilité, le modèle construit une source anisotrope centrée sur la proposition. Une amplitude bornée par pas limite l'écart autorisé. Une géométrie de bas rang à trace normalisée, sous budget de nombre de conditionnement, répartit le raffinement entre translation, rotation et pince. Face à π0.5 (Physical Intelligence), ProAct améliore les résultats en simulation et en conditions réelles. Il réduit de 50 % le nombre d'étapes de débruitage, de jusqu'à 25,8 % la latence d'inférence, et augmente le débit de jusqu'à 34,8 %. Le résumé ne donne ni taux de succès chiffrés, ni robot, ni liste de tâches. L'enjeu est double : qualité et coût d'inférence. Dans les VLA actuels, le point de départ du bruit ignore le mouvement qui vient d'être exécuté. La politique doit donc reconstruire la continuité de la trajectoire à chaque chunk, ce qui coûte des étapes de débruitage. En rendant la source prédictible, ProAct vise des trajectoires plus continues avec moins de calcul. Pour un intégrateur, la latence et le débit déterminent la fréquence de contrôle atteignable sur du matériel embarqué, donc la fluidité d'exécution de tâches de manipulation. Le travail suggère aussi que les représentations prédictives du monde servent mieux la génération d'actions si elles en fixent le point de départ, la déviation permise et les directions d'expansion, plutôt que de seulement conditionner la dynamique de transport. Ces gains restent des affirmations de résumé. Ils supposent de vérifier les benchmarks, l'ampleur des gains de réussite et la part de tests réels. Aucun déploiement ni produit n'est annoncé, il s'agit de recherche académique. Ce travail s'inscrit dans la lignée des VLA à flow matching popularisés par π0, puis par π0.5, devenu une référence de comparaison. Il suit aussi un courant qui ajoute des modèles du monde aux politiques d'action pour anticiper l'évolution de la scène. Le principal angle de recherche concurrent consiste à réduire le nombre d'étapes de débruitage par distillation ou par flows en une étape. D'autres approches rendent les chunks plus continus par chevauchement temporel, mais conservent une source de bruit générique. ProAct attaque le même problème par l'initialisation. La suite dépendra de la publication du code et des poids, d'une reproduction indépendante et d'un test sur d'autres architectures, comme GR00T ou Helix, ou sur des robots humanoïdes où la latence est critique.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Étude empirique et banc d'essai ouvert pour le réglage fin fédéré des modèles vision-langage-action

Une équipe de recherche publie sur arXiv (papier 2609.22973) une étude empirique sur le fine-tuning fédéré de modèles Vision-Language-Action (VLA), ces politiques combinant vision, langage et commande robotique. Trois modèles VLA pré-entraînés modernes ont été testés sur les 40 tâches simulées du benchmark de manipulation LIBERO, puis sur six tâches réelles réparties en deux expériences avec des robots physiques, les démonstrations ayant été collectées respectivement sur deux et trois sites distincts. L'étude compare plusieurs périmètres de paramètres fédérés et trois algorithmes d'agrégation, et évalue la robustesse des modèles sous changement de distribution des données. Les auteurs publient en open source l'outil ayant servi à ces essais, baptisé DecentVLA, agnostique au modèle et à l'environnement d'exécution. Le sujet touche un vrai point de friction pour l'industrie: des flottes de robots déployées chez différents clients ou sites génèrent des démonstrations locales aujourd'hui cloisonnées ou perdues, faute de moyen fiable de les mutualiser sans centraliser les données brutes, un enjeu de confidentialité et de bande passante. Premier enseignement pour les intégrateurs: le choix du périmètre de paramètres fédérés pèse plus sur la performance que l'algorithme d'agrégation retenu. Second constat, plus critique: sur robots réels, l'hétérogénéité entre sites dépasse ce que les simulations reproduisent, rendant plus difficile d'égaler un entraînement centralisé, un rappel utile face aux extrapolations trop rapides à partir de résultats obtenus en simulation. À l'inverse, l'apprentissage fédéré peut égaler le centralisé sur données hétérogènes, rester au moins aussi robuste aux changements de distribution, et permettre une personnalisation par site en ne fédérant qu'une partie de la politique tout en gardant le reste local. Le travail s'inscrit dans un contexte où les modèles VLA pré-entraînés sur de vastes jeux de données multi-robots sont devenus la base par défaut des politiques généralistes ensuite affinées localement, sans qu'il existe jusqu'ici de benchmark reproductible pour comparer les méthodes de fine-tuning fédéré. Il s'agit d'une contribution de recherche méthodologique, pas d'une annonce produit: aucun partenaire industriel, site pilote ou calendrier commercial n'est cité. La suite naturelle est l'adoption de DecentVLA par d'autres équipes pour reproduire et étendre ces comparaisons à d'autres familles de modèles et de robots.

RecherchePaper

1 source

3arXiv cs.RO

ThermoAct : modèles vision-langage-action (VLA) sensibles à la thermique pour la perception et la décision en robotique

ThermoAct est un cadre de type Vision-Language-Action (VLA) qui ajoute la perception thermique aux entrées visuelles et textuelles pour l'exécution de tâches robotiques. Il a été déposé sur arXiv en mars 2026 (référence 2603.25044), et la version 3 vient d'être publiée. L'architecture repose sur un modèle vision-langage (VLM) qui joue le rôle de planificateur de haut niveau. Il interprète des consignes complexes en langage naturel et les décompose en sous-tâches plus simples, que la politique d'action exécute ensuite. Les auteurs affirment que cette décomposition facilite la collecte de données et rend le raisonnement plus robuste sur les opérations complexes. Grâce aux données thermiques, le robot peut percevoir des propriétés physiques invisibles à la caméra, comme une surface chaude, et assurer de lui-même la sécurité de son environnement. La validation repose sur des scénarios réels, mais le résumé ne donne ni taux de succès, ni nombre d'essais, ni description du matériel (capteur thermique, bras, DOF). Il s'agit donc d'un travail de recherche, sans produit ni déploiement industriel. L'intérêt tient à une lacune réelle : la plupart des VLA actuels, qu'ils soient académiques ou industriels, s'appuient quasi exclusivement sur la vision. Dans les environnements de collaboration homme-robot, comme la cuisine, l'atelier ou la logistique avec manipulation de plaques chaudes ou de pièces fraîchement usinées, un humanoïde qui ne « sent » pas la chaleur reste limité sur la sécurité. Pour un intégrateur ou un responsable HSE, l'idée de brancher une modalité bon marché sur un modèle fondation est séduisante. Les conclusions restent toutefois prudentes : les auteurs parlent de « faisabilité » et de « potentiel » d'amélioration par rapport aux systèmes visuels, sans quantification publique dans le résumé. Il est donc impossible d'en tirer un gain de sécurité démontré. Le contexte est celui d'une course aux VLA généralistes, où les acteurs américains et chinois enrichissent surtout leurs modèles en données visuelles, tactiles ou proprioceptives. La modalité thermique reste, de l'aveu même des auteurs, peu explorée. La suite logique serait une évaluation chiffrée face à des bases de référence uniquement visuelles, puis un test sur des plateformes mobiles ou humanoïdes. Une page projet est disponible pour suivre ces développements, mais aucun calendrier de commercialisation n'est annoncé.

RecherchePaper

1 source

4arXiv cs.RO

Hermite curves comme a priori de trajectoire pour les modèles vision-langage-action

Une équipe de recherche présente les "Hermite trajectory priors", une méthode qui structure explicitement les trajectoires générées par les modèles Vision-Language-Action (VLA) pour la manipulation robotique. Le problème identifié : les VLA actuels découpent chaque "chunk" d'action en commandes point par point, ce qui produit des mouvements saccadés et des discontinuités aux frontières entre segments lors de l'exécution physique. La solution proposée paramétrise la trajectoire comme une courbe cubique d'Hermite par morceaux, définie par les positions et vitesses aux points de contrôle, pour imposer mathématiquement la fluidité. Trois variantes sont testées : les Hermite Tokens (prédiction autorégressive des variables de frontière quantifiées), le Hermite Scaffold (décomposition en trajectoire de base plus résidus) et la Hermite Regularization (contrainte ajoutée uniquement comme objectif d'entraînement auxiliaire). Cette dernière s'avère la plus performante des trois. Appliquée au modèle π0.5, elle fait passer le taux de succès de 95,9 % à 98,7 % sur le benchmark LIBERO, de 85,7 % à 90,9 % sur LIBERO-plus, et de 63,4 % à 90,0 % sur quatre tâches réelles exécutées sur robot physique, sans surcoût de calcul à l'inférence. Ce résultat pèse dans un débat central du secteur : celui de l'écart entre démonstration et réalité pour les modèles VLA. Beaucoup de systèmes affichent des scores élevés en simulation mais se dégradent nettement lors du transfert vers un robot réel, notamment à cause de la gigue de mouvement générée par le découpage naïf en chunks. En montrant qu'une contrainte de lissage purement géométrique, ajoutée pendant l'entraînement et retirée à l'inférence, améliore les performances réelles sans coût supplémentaire, les auteurs suggèrent que la structuration explicite des trajectoires agit comme un biais inductif d'apprentissage plutôt que comme une contrainte d'exécution en temps réel. Le travail s'inscrit dans la lignée des architectures VLA récentes comme π0, GR00T N2 ou Helix, qui cherchent toutes à généraliser le contrôle robotique à partir de données multimodales massives. La méthode, agnostique à l'architecture, pourrait s'intégrer à d'autres pipelines VLA existants ; les auteurs ne précisent toutefois pas de calendrier de déploiement industriel ni de partenariat avec un fabricant de robots.

RechercheActu

1 source