IA physiquearXiv cs.RO 19 août 2026

VLCP : réplanification de code en boucle fermée par politique de contrôle vision-langage pour la manipulation robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (2608.16978, mis en ligne le 19 août 2026) VLCP, pour Vision Language Control Policy, une méthode qui transforme un modèle vision-langage (VLM) figé en politique de contrôle robotique sans fine-tuning ni démonstrations. Au lieu de réentraîner le modèle pour qu'il produise une représentation d'action inédite, VLCP le fait écrire directement une courte fonction de contrôle en Python, puis referme la boucle au niveau du code lui-même : toutes les K étapes, le VLM réobserve la scène via des flux RGB multi-vues, l'état proprioceptif et un delta d'état, et réécrit la fonction de contrôle si nécessaire, avant qu'un échec ne se propage jusqu'à la fin de l'épisode. Testée sur un ensemble de 57 tâches en simulation MuJoCo/RoboVerse, cette politique sans entraînement atteint un taux de succès combiné de 35,1 %, contre seulement 3,5 % pour le même système interrogé une seule fois par épisode en boucle ouverte, soit un écart d'un facteur dix confirmé par des intervalles de confiance non chevauchants sur toutes les familles de scènes. Le système affiche aussi un taux de récupération intra-épisode de 27,3 % sur les préhensions ratées, un coût de calcul limité (environ 10 requêtes compactes par épisode, 84 % des tokens en cache) et une bibliothèque de compétences réutilisée d'un épisode à l'autre.

Le résultat cible directement l'écart entre démonstration et réalité qui pèse sur les politiques VLA (vision-language-action) actuelles : plutôt que de retenter une politique figée ou de basculer vers une autre sous-tâche en cas d'échec, comme le font les méthodes en boucle fermée existantes, VLCP corrige la cause réelle de l'échec, le code de contrôle lui-même. Pour les intégrateurs et équipes de recherche en robotique manipulatrice, cela suggère qu'un VLM générique, sans adaptation coûteuse à un robot ou une tâche spécifique, peut produire des politiques nettement plus robustes simplement en fermant la boucle au bon niveau d'abstraction, celui du code plutôt que de l'action bas niveau. Le gain de robustesse provient moins de la puissance brute du modèle que de la fréquence et du niveau auquel il est autorisé à se corriger, un point qui interroge les architectures de contrôle en boucle ouverte encore courantes dans les démonstrations commerciales du secteur.

Cette approche s'inscrit dans la lignée des travaux qui exploitent les VLM frontières comme cerveaux de raisonnement plutôt que comme modèles à réentraîner pour produire des trajectoires, une piste alternative aux politiques VLA de bout en bout comme Pi-0 ou GR00T N2. Les auteurs ne précisent pas de déploiement sur robot physique ni de partenariat industriel : il s'agit à ce stade d'une preuve de concept en simulation, publiée en prépublication, sans date de mise en œuvre réelle annoncée. Les prochaines étapes attendues porteraient sur la validation sur du matériel physique et sur des tâches de manipulation plus complexes que celles du benchmark RoboVerse utilisé ici.

Dans nos dossiers

NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Tabero : manipulation douce par retour de force en boucle fermée (vision, toucher, langage)

Une équipe de recherche a publié sur arXiv (preprint 2605.27886, mai 2026) Tabero, un benchmark et une suite de modèles destinés à doter les robots d'une manipulation douce et contrôlée par retour de force en temps réel. Le système repose sur deux composantes : d'abord un benchmark qui recycle des trajectoires de manipulation robotique open-source pour générer automatiquement des tâches combinant vision, toucher et instructions en langage naturel, sans nécessiter de collecte de données tactiles from scratch ; ensuite Tabero-VTLA, une architecture Vision-Langage-Action (VLA) dotée d'une interface de commande découplée force/position, exécutée par un contrôleur hybride fixe. Résultat clé annoncé : sous instructions de manipulation douce, le modèle réduit la force de préhension moyenne de plus de 70 % tout en maintenant un taux de succès élevé sur les tâches testées. Le code est publié sur GitHub. Il s'agit d'un preprint de recherche, pas d'un produit déployé. Ce résultat s'attaque à une limite connue des VLA actuels : ces modèles, entraînés principalement sur des données visuelles et textuelles, ne disposent pas de mécanismes de rétroaction de force en boucle fermée, ce qui les rend inadaptés à la manipulation d'objets fragiles ou aux interactions physiques avec des humains. La réduction de 70 % de la force de préhension est un chiffre notable, mais il faut le contextualiser : les détails sur la diversité des tâches, les matériaux et les conditions de test restent limités dans ce résumé, et les vidéos de démonstration associées aux preprints de ce type sont souvent sélectionnées pour maximiser l'effet. Le pipeline de génération de données tactiles par revalorisation de trajectoires existantes est en revanche une contribution méthodologique potentiellement réutilisable par d'autres équipes. Les VLA à toucher intégré constituent un chantier ouvert dans la course aux robots polyvalents. Les modèles pi-zero de Physical Intelligence et GR00T N2 de NVIDIA ont popularisé les architectures VLA pour la manipulation généraliste, mais s'appuient quasi exclusivement sur la vision. Du côté du toucher, des capteurs comme GelSight ou DIGIT existent en laboratoire mais restent rarement intégrés dans les pipelines d'entraînement à grande échelle. Tabero tente de combler ce fossé par une approche data-efficient. Les prochaines étapes naturelles seraient une validation sur robot physique dans des conditions industrielles réelles, notamment pour des cas d'usage comme l'assemblage de composants délicats ou la collaboration humain-robot en contexte manufacturier.

IA physiqueOpinion

1 source

2arXiv cs.RO

Cher LLaVA, conduis" : un agent vision-langage sensible à la profondeur pour le contrôle robotique en boucle fermée

Une équipe de recherche a publié le 22 septembre 2026 sur arXiv (référence 2609.22925v1) un article intitulé "Dear LLaVA, Please Drive", décrivant une méthode pour adapter un modèle vision-langage (VLM) préentraîné, dérivé de l'architecture LLaVA, à la navigation autonome de robots mobiles. Contrairement aux approches classiques qui reposent sur l'apprentissage par imitation et nécessitent de vastes jeux de trajectoires annotées, le système utilise un paradigme dit d'Imperative Learning : il optimise directement contre des champs de coût géométriques différentiables, calculés à partir d'observations de profondeur stéréoscopique, plutôt que d'apprendre à partir de trajectoires étiquetées. L'architecture combine un backbone VLM partagé avec des modules d'adaptation Low-Rank (LoRA) spécifiques à chaque tâche, reliant la sélection sémantique d'une cible en langage naturel à la planification bas niveau de trajectoire. Moins de 1 % des paramètres totaux du modèle sont mis à jour lors du fine-tuning. Les auteurs rapportent un score SPL (Success weighted by Path Length) compétitif dans des environnements inédits, ainsi que des essais qualitatifs en conditions réelles démontrant une généralisation du simulateur au monde physique sans réentraînement sur données réelles. Pour l'industrie robotique, ce travail s'attaque à un goulot d'étranglement connu des architectures VLA appliquées à la navigation : le coût et la rareté des données de trajectoires labellisées, qui freinent le passage à l'échelle des agents pilotés par instructions en langage naturel. En s'appuyant sur un fine-tuning paramétrique léger plutôt que sur un réentraînement massif, l'approche illustre une voie pour déployer des capacités de navigation sémantique sur des robots mobiles à moindre coût de collecte de données, un argument pertinent pour les intégrateurs cherchant à réduire la dépendance aux pipelines d'annotation. Le papier s'inscrit dans la vague plus large des travaux combinant VLM et robotique mobile, où la question centrale reste la fiabilité du transfert simulation vers réel. Il s'agit ici de résultats qualitatifs et d'une preuve de concept académique, sans mention de partenaire industriel, de déploiement commercial ni de calendrier de suite, l'article se présentant comme une contribution méthodologique plutôt qu'une annonce produit.

IA physiqueActu

1 source

3arXiv cs.RO

ForeTac-VLA : un modèle vision-langage-action tactile basé sur la prévision pour la manipulation robotique en contact riche

Publié en septembre 2026 sur arXiv sous la référence 2609.20980, ForeTac-VLA est un modèle vision-langage-action (VLA) qui ajoute une couche tactile prédictive pour la manipulation robotique en environnement riche en contacts physiques. Le système encode les observations tactiles récentes en représentations temporelles, les fusionne avec les caractéristiques vision-langage par attention croisée bidirectionnelle, puis un module de prévision fondé sur un transformeur anticipe l'état tactile sur plusieurs pas de temps futurs avant d'injecter ces prédictions dans le backbone VLA qui génère l'action. Un curriculum passant progressivement des données tactiles réelles aux données prédites stabilise l'entraînement lorsque les premières prévisions sont peu fiables. Sur quatre tâches de manipulation réelles à fort contact physique, ForeTac-VLA atteint un taux de réussite moyen de 95%, avec un gain de 36,25 points de pourcentage sur un VLA simplement affiné et de plus de 22 points sur les meilleures méthodes tactiles-VLA existantes, tout en maintenant ses performances en faible luminosité et en environnement visuellement encombré. Ce travail cible une faiblesse connue des modèles VLA, très dépendants de la vision, alors que des états physiques critiques comme le glissement d'un objet ou l'alignement lors d'une insertion ne sont pas observables visuellement. Les approches tactiles existantes se contentaient de réagir au contact déjà survenu; ForeTac-VLA propose de l'anticiper, ce qui change la nature du signal exploité par le modèle d'action. Pour les intégrateurs industriels, l'intérêt pratique tient à la robustesse démontrée en conditions dégradées, faible éclairage ou encombrement visuel, des situations fréquentes en usine ou en entrepôt où la vision seule échoue souvent. Si ces écarts se confirment au-delà des quatre tâches testées, cela conforterait l'idée qu'une fusion tactile prédictive, plutôt que purement réactive, est une piste sérieuse pour fiabiliser la manipulation en contact riche, un point faible récurrent des démonstrations VLA actuelles. ForeTac-VLA s'inscrit dans la lignée des modèles VLA génériques qui unifient perception, langage et contrôle moteur, et dans la sous-famille plus récente des VLA tactiles qui ajoutent un capteur de contact au pipeline vision-langage. Il se positionne explicitement contre ces baselines tactiles-VLA de l'état de l'art, qu'il dépasse de plus de 22 points, ainsi que contre un VLA classique simplement affiné sur les mêmes tâches. La publication reste un preprint arXiv, sans nom d'entreprise ni calendrier de déploiement industriel associé: il s'agit d'un résultat de recherche évalué sur quatre tâches choisies par les auteurs et illustré par des vidéos sélectionnées sur le site du projet, pas d'un produit commercialisé. Les suites attendues sont l'élargissement à davantage de tâches et de plateformes robotiques, ainsi qu'une évaluation indépendante confirmant que l'écart de performance tient face à des scénarios plus variés que le banc d'essai initial.

IA physiqueOpinion

1 source

4arXiv cs.RO

ModuLoop : génération de code bas niveau pour le contrôle robotique via synthétiseur modulaire et débogueur en boucle fermée

Un groupe de chercheurs a publié sur arXiv (2606.03047, juin 2026) la description d'un framework baptisé Closed-Loop Modular Code Synthesizer, également appelé ModuLoop, conçu pour générer automatiquement du code de contrôle bas niveau destiné à des robots physiques. L'approche repose sur un LLM pré-entraîné généraliste, utilisé sans aucun fine-tuning spécifique à la tâche : le modèle décompose le problème en modules, génère le code correspondant, l'exécute sur le système réel, puis insère des sondes de débogage pour observer le comportement en cours d'exécution. Cette boucle fermée itère jusqu'à produire un programme exécutable et stable. La validation porte sur deux scénarios concrets : la calibration d'une caméra RGB-D couplée à un bras robotique (problème dit eye-hand calibration), suivie d'une tâche pick-and-place exploitant directement la calibration obtenue. Les auteurs rapportent une haute précision d'exécution et un haut degré d'autonomie sur ces deux tâches, sans fournir de métriques chiffrées précises dans l'abstract, ce qui limite l'évaluation indépendante des performances annoncées. L'intérêt principal de cette approche est d'adresser l'un des verrous les plus persistants de la robotique LLM : descendre au niveau du code bas niveau, là où la précision temporelle et la dépendance à l'environnement rendent les agents généralistes habituellement inefficaces. Contrairement aux modèles de type VLA (Vision-Language-Action) comme Pi-0, GR00T N2 ou Helix, qui nécessitent des phases d'entraînement ou de fine-tuning coûteuses, ModuLoop propose une architecture sans coût d'adaptation au domaine. Pour un intégrateur ou un OEM, cela ouvre la perspective d'automatiser des étapes de configuration et de calibration d'installations robotiques sans pipeline ML dédié. La boucle de débogage systématique est également une réponse directe au sim-to-real gap : le système apprend des erreurs d'exécution en conditions réelles plutôt qu'en simulation. Cette publication s'inscrit dans un courant de recherche actif depuis Code as Policies (Google, 2022) et les travaux PaLM-E, qui explorent les LLMs comme couche de planification et de génération de code pour la robotique. ModuLoop se distingue par son accent sur le débogage en boucle fermée plutôt que sur la seule génération. Côté concurrence, des approches comme CodeAct ou les travaux récents de Microsoft Research sur RobotCodeGen couvrent un espace similaire. L'article reste un preprint non encore évalué par les pairs, ce qui invite à la prudence sur la généralisation des résultats à des manipulateurs industriels multi-DOF ou à des environnements non structurés. Aucun déploiement terrain ni partenariat industriel n'est mentionné à ce stade.

IA physiquePaper

1 source