RecherchearXiv cs.RO 4 août 2026

Interpréteur vision-langage ancré pour la planification bimanuelle de tâches et mouvements à long horizon

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Le laboratoire de recherche Omron Sinic X a publié une version mise à jour sur arXiv d'un article présentant ViLaIn-TAMP, un système hybride de planification pour robots bimanuels. Le framework combine trois briques : un interpréteur vision-langage (ViLaIn, dérivé d'un travail antérieur) qui convertit des entrées multimodales en spécifications structurées au format PDDL, un moteur de planification tâche-et-mouvement (TAMP) qui transforme ces spécifications en séquences de trajectoires concrètes en vérifiant leur faisabilité géométrique et symbolique avant exécution, et un module de planification corrective (CP) qui récupère les retours d'échec moteur et les réinjecte comme contraintes pour affiner la spécification initiale. Les chercheurs ont conçu des tâches de manipulation bimanuelle complexes dans un contexte de cuisine pour évaluer le système. Résultat : ViLaIn-TAMP dépasse de 17,5 points le taux de réussite moyen d'une approche de référence où un modèle vision-langage sert directement de planificateur, et le module correctif ajoute 32,9 points supplémentaires. Le framework a aussi été testé sur un robot physique à deux bras.

L'enjeu dépasse la simple performance chiffrée. La quasi-totalité des travaux existants sur la planification pilotée par le langage se limite à des tâches de préhension-dépose à un seul bras, laissant la manipulation bimanuelle, où les sous-tâches sont étroitement interdépendantes et où les collisions inter-bras doivent être gérées explicitement, largement inexplorée. Les modèles vision-langage seuls agissent en boîte noire, sans garanties de sécurité vérifiables, tandis que les planificateurs symboliques classiques offrent ces garanties mais exigent une expertise poussée pour être configurés. En combinant les deux, ViLaIn-TAMP vise à répondre à un besoin concret pour les intégrateurs industriels : obtenir un comportement robotique interprétable et vérifiable avant déploiement, plutôt qu'une démonstration qui échoue silencieusement en conditions réelles.

Le travail s'inscrit dans la continuité d'un ViLaIn antérieur, adapté ici pour la planification tâche-et-mouvement complète plutôt que la seule interprétation de scène. Il se positionne explicitement contre les approches où un modèle vision-langage fait office de planificateur de bout en bout, une tendance qui gagne du terrain mais que ces résultats questionnent en matière de fiabilité sur tâches longues et bimanuelles. Le code et les démonstrations sont disponibles sur la page du projet hébergée par Omron Sinic X.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Planification de tâches et de mouvements guidée par la preuve avec des modèles vision-langage

EAFG (Evidence Acquisition and Feasibility Gating), publié sur arXiv le 20 août 2026 (2608.20084v1), est un framework de planification de tâches et de mouvements (TAMP) pilotée par des modèles vision-langage (VLM) pour robots manipulateurs. Face à une instruction longue, comme cuisiner un plat, le VLM peut halluciner la présence d'objets jamais observés et bâtir des sous-objectifs sur ses connaissances a priori plutôt que sur la perception réelle, causant des échecs d'exécution. EAFG fait d'abord explorer le robot, via des sous-objectifs générés par le VLM et exécutés par TAMP, pour recueillir des preuves visuelles ; une porte de faisabilité décide ensuite de planifier, d'explorer davantage, ou d'arrêter. Sur des tâches culinaires à usage d'objets ambigu, EAFG améliore la complétion des recettes en découvrant les objets pertinents avant de planifier, et réduit les tentatives inutiles quand un objet requis est absent, sans chiffres précis publiés. Cette approche cible un point de friction concret pour l'industrialisation des robots manipulateurs pilotés par VLM : l'écart entre la compréhension sémantique d'une instruction et la vérification géométrique et perceptive de sa faisabilité réelle. Pour les intégrateurs opérant en environnement partiellement observable, un robot qui agit sur des suppositions non vérifiées représente un risque opérationnel, en temps perdu ou en échecs silencieux. En séparant explicitement planifier, explorer et arrêter, EAFG remet en question l'hypothèse implicite de nombreux pipelines VLM+TAMP selon laquelle une seule perception de la scène suffit avant de planifier une tâche longue, une piste utile face au fossé persistant entre démonstrations contrôlées et déploiement fiable. EAFG s'inscrit dans la lignée des travaux combinant VLM et planification robotique, un courant structuré notamment autour d'approches comme SayCan, qui traduisent des instructions en langage naturel en séquences d'actions exécutables. Il s'agit ici d'une contribution académique : aucun robot commercial ni déploiement en production n'est mentionné, et le résumé ne précise pas si les expériences culinaires ont été menées sur un robot physique ou en simulation. La suite logique pour ce type de recherche serait une validation sur des tâches plus longues, dans des environnements moins contrôlés que la cuisine, et une comparaison directe avec d'autres pipelines VLM+TAMP sur des benchmarks partagés.

RecherchePaper

1 source

2arXiv cs.RO

PHR-VLA : raisonnement à horizon de planification pour les modèles vision-langage-action

Des chercheurs présentent PHR-VLA (Planning Horizon Reasoning for Vision-Language-Action Models), décrit dans un preprint arXiv publié fin août 2026 (arXiv:2608.27609). Le système ajoute aux modèles vision-langage-action une tête auxiliaire légère, activée uniquement à l'entraînement, qui aligne les représentations internes du modèle avec la dynamique future de la tâche extraite d'observations à venir. Une supervision locale et centrée sur le contact, au niveau des patchs d'image issus de la caméra de poignet, fait passer le taux de réussite sur le benchmark simulé LIBERO de 84,1% à 88,4%, et sur des tâches réelles de désassemblage de 63,3% à 82,5%. Une supervision équivalente via une caméra à la troisième personne améliore aussi légèrement les résultats sur Meta-World, de 56,70% à 57,8%. Le travail cible une limite connue des VLA actuels, qui conditionnent généralement l'action sur la seule observation présente sans anticiper l'évolution de la tâche, un manque pénalisant pour les manipulations fines et riches en contacts comme l'assemblage ou le désassemblage. Le gain le plus net apparaît justement sur une tâche réelle de désassemblage, plus proche des besoins industriels que les benchmarks simulés, ce qui limite le risque d'un résultat purement académique. L'écart entre le fort gain obtenu via la caméra de poignet et le gain marginal via la troisième personne (+1,1 point sur Meta-World) suggère que la dynamique locale près du point de contact compte plus que le contexte global de la scène. Pour un intégrateur, l'argument clé est que cette tête auxiliaire n'intervient qu'à l'entraînement et n'alourdit donc pas le temps d'inférence en production. PHR-VLA s'inscrit dans la lignée des modèles VLA généralistes comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui transforment instruction en langage naturel et flux vidéo en actions robotiques. À la différence d'approches fondées sur des modèles du monde générant explicitement des vidéos futures, coûteuses en calcul, la méthode se limite à un alignement de représentations latentes, plus économe. Il s'agit pour l'instant d'un travail de recherche en preprint, sans déploiement industriel annoncé ni implication d'acteur français ou européen du secteur, la suite logique étant une éventuelle intégration de cette technique d'entraînement dans des piles VLA commerciales existantes.

RechercheOpinion

1 source

3arXiv cs.RO

FurnitureVLA : un modèle vision-langage-action pour l'assemblage de meubles bimanuel à long horizon

Une équipe de recherche présente FurnitureVLA, décrite comme la première étude systématique de l'assemblage de meubles en bimanipulation à échelle réelle pilotée par un modèle vision-langage-action (VLA). Jusqu'ici, les travaux sur l'assemblage robotique de meubles se limitaient à des maquettes miniatures ou à des bras uniques. Les chercheurs ont construit un pipeline de simulation scalable pour générer des données expertes et évaluer les performances, ainsi qu'un système de téléopération en réalité virtuelle permettant à un seul opérateur de contrôler les deux bras simultanément pour collecter des démonstrations réelles de haute qualité. Pour gérer des tâches extrêmement longues, jusqu'à 7 sous-tâches et 1550 pas de contrôle, ils proposent un VLA "progress-enhanced", affiné sur des sous-tâches sémantiquement définies, qui prédit à la fois les actions et un signal de progression continu, permettant des transitions automatiques entre sous-tâches et limitant l'accumulation d'erreurs. En simulation, FurnitureVLA fait passer le taux de succès moyen de 48% à 80% par rapport aux méthodes de référence, sur trois types de meubles différents, avec un gain supplémentaire de 21% obtenu grâce à l'étude de facteurs de conception liés à la perception et au contrôle. Sur un bras robotique réel Kinova Gen3, la dégradation de performance reste limitée à 16% sur la tâche la plus difficile. Ce résultat s'attaque à un angle mort connu du secteur : la plupart des démonstrations de VLA généralistes (type GR00T, Pi-0 ou Helix) portent sur des tâches de manipulation courtes et à un seul bras, alors que l'assemblage de meubles exige coordination bimanuelle, précision millimétrique et enchaînement de dizaines d'étapes sans dérive cumulative. En prouvant qu'un signal de progression appris permet de tenir un horizon de plus de 1500 pas de contrôle avec une perte de performance contenue lors du transfert simulation-vers-réel, les auteurs apportent un argument concret en faveur de la viabilité des VLA pour des tâches industrielles longues, un enjeu clé pour les intégrateurs qui cherchent à automatiser des lignes d'assemblage complexes plutôt que du pick-and-place simple. Le travail s'inscrit dans la vague actuelle de recherche sur les modèles VLA appliqués à la manipulation fine, où la difficulté principale reste le passage de l'échelle jouet à l'échelle réelle et du bras unique à la bimanipulation coordonnée. En publiant à la fois le pipeline de simulation, le système de téléopération VR et les résultats de transfert vers un robot physique, les auteurs posent une base méthodologique reproductible que d'autres laboratoires pourront reprendre pour étendre l'assemblage long-horizon à d'autres catégories de produits.

RechercheActu

1 source

4arXiv cs.RO

DATAFARM : planification des tâches et mouvements alignée sur la distribution pour l'entraînement des modèles vision-langage-action

Des chercheurs du PRPL Group ont publié le 14 septembre 2026 sur arXiv (2609.12316v1) DATAFARM, une méthode de planification tâche-mouvement (TAMP) alignée sur la distribution de pré-entraînement pour affiner des modèles vision-langage-action (VLA). Le constat de départ est frappant : les trajectoires TAMP brutes, bien qu'elles exécutent correctement les tâches visées, apportent très peu de gain une fois utilisées pour affiner un VLA déjà pré-entraîné, en raison d'un décalage entre leur distribution comportementale et celle des données de pré-entraînement du modèle. DATAFARM corrige ce décalage en alignant les trajectoires générées sur trois axes du modèle pré-entraîné : la configuration des articulations du robot, le style de mouvement et le profil temporel d'exécution. Testée sur trois tâches de manipulation sur table accessibles à TAMP et une tâche de pliage de linge hors de sa portée, la méthode atteint un taux de réussite moyen de 56,7%, contre seulement 8,3% pour les trajectoires TAMP brutes, se rapprochant des 61,7% obtenus par téléopération humaine. Sur la manipulation d'objets déformables, une tâche située hors de la distribution d'affinage, le modèle affiné conserve 85% de réussite, contre 90% pour le modèle pré-entraîné seul. Ce résultat cible un goulot d'étranglement central pour l'entraînement des modèles fondation en robotique : la collecte de démonstrations de qualité. Pour les intégrateurs et laboratoires qui cherchent à affiner des VLA sans multiplier les sessions de téléopération humaine, coûteuses et difficiles à mettre à l'échelle, DATAFARM montre que la planification automatisée peut redevenir une source de données exploitable, à condition de traiter explicitement l'écart de distribution plutôt que d'utiliser les trajectoires brutes telles quelles. L'étude contredit une hypothèse répandue dans le secteur selon laquelle toute trajectoire réussissant la tâche visée constitue automatiquement une bonne donnée d'entraînement : le succès de la tâche ne suffit pas, la façon dont le mouvement est exécuté compte tout autant. Le maintien d'un taux de réussite élevé sur une tâche totalement hors distribution suggère aussi que cet alignement ne dégrade pas les capacités générales du VLA, un risque fréquent avec un fine-tuning ciblé. La génération de démonstrations reste le principal frein à l'échelle pour les modèles VLA généralistes du type Pi-0, GR00T N2 ou Helix, qui s'appuient sur de vastes corpus de trajectoires collectées majoritairement par téléopération humaine. Le TAMP est utilisé de longue date en robotique classique pour produire des plans d'action vérifiés, mais son adoption pour le fine-tuning de VLA restait jusqu'ici limitée faute de preuve d'efficacité, ce que confirme précisément l'échec documenté des trajectoires TAMP brutes dans cette étude. DATAFARM se présente ainsi comme une alternative complémentaire aux pipelines de données synthétiques par simulation, plutôt qu'un remplacement de la téléopération. Code et détails expérimentaux sont disponibles sur prpl-group.com/datafarm ; à ce stade, le travail reste une publication de recherche, sans déploiement sur des robots commerciaux ni calendrier de mise en production annoncé.

RecherchePaper

1 source