Un seul scan suffit : adaptation sans…

1arXiv cs.RO

Adaptation de modèles vision-langage-action (VLA) à partir d'une seule démonstration vidéo humaine

CapPro, un cadre de travail décrit dans un preprint arXiv (2610.19746), permet à une politique VLA (vision-language-action, modèle qui traduit images et instructions en actions robotiques) préentraînée de s'adapter à une tâche de manipulation jamais vue à partir d'une seule vidéo de démonstration humaine. Le système repose sur deux modules. Le premier construit une représentation compacte de la vidéo par sélection apprise de tokens visuels, et apprend des représentations de requête liées à la tâche grâce à une supervision par légendes de phases. Le second injecte cette vidéo compacte et ces représentations dans le contexte de conditionnement d'action de la politique VLA, en préservant pour l'essentiel son générateur d'actions d'origine. Aucune démonstration robot sur la tâche cible ni aucun réglage fin spécifique n'est requis. Selon les auteurs, CapPro améliore la performance moyenne sur des groupes de tâches cibles inédites, tout en maintenant des résultats comparables sur les tâches sources. Le résumé ne fournit ni taux de succès chiffrés, ni nom du VLA de base, ni plateforme robotique. L'enjeu est celui du coût d'adaptation, l'un des principaux freins au déploiement des VLA. Aujourd'hui, faire exécuter une nouvelle tâche à un modèle généraliste suppose en général de collecter des démonstrations téléopérées puis de relancer un entraînement, deux postes coûteux en main-d'œuvre et en calcul. Remplacer cela par une vidéo filmée d'un opérateur humain, sans équipement robotique, rendrait la mise en service de nouvelles tâches bien plus accessible pour un intégrateur ou un industriel. Un point mérite attention: la vidéo sert de guide d'exécution et non de trajectoire à imiter, ce qui évite le problème d'alignement entre morphologie humaine et robotique. Il faut toutefois rester prudent. L'évaluation décrite concerne des groupes de tâches « inédits » dont la proximité avec l'entraînement n'est pas précisée, et un gain moyen peut masquer de fortes disparités selon les tâches. Aucun résultat en environnement industriel réel n'est mentionné. Ces travaux s'inscrivent dans la recherche sur l'adaptation des VLA, après la montée en puissance de modèles entraînés sur de vastes jeux de données robotiques, comme Pi-0, GR00T ou Helix, dont la généralisation hors distribution reste limitée. Des approches concurrentes exploitent déjà les vidéos humaines, soit en préentraînement, soit via le retargeting de trajectoires, soit par du fine-tuning léger. CapPro se distingue en visant l'adaptation à l'inférence, sans mise à jour des poids. Reste à voir si la méthode tient face à des tâches longues, des objets inconnus ou des vidéos prises dans des conditions imparfaites, et si le code et les benchmarks seront publiés pour permettre une reproduction indépendante.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

AnyGoal : exploration multi-agents guidée par vision-langage pour une navigation permanente sans entraînement

Une équipe de chercheurs a publié sur arXiv (arXiv:2606.13878) AnyGoal, une architecture multi-agents de navigation en intérieur conçue pour fonctionner sans entraînement préalable sur les scènes cibles. Le système coordonne plusieurs robots via une carte partagée appelée Bayesian Value Map (BVM), une grille 2D maintenant pour chaque pixel une distribution gaussienne (μ, σ²) représentant la pertinence estimée de l'objectif. Cette carte est mise à jour par fusion pondérée des scores issus d'un modèle vision-langage (VLM), projetés via un masque conique de profondeur, et n'est jamais remise à zéro entre les sous-tâches, permettant une accumulation d'indices dite « lifelong ». Sur le benchmark GOAT-Bench (360 épisodes, 2 669 sous-tâches, configuration physique stricte : pas discrets de 0,25 m, champ de vision horizontal de 42°, sans téléportation), la version bi-agent atteint 52,4 % de taux de réussite par sous-tâche (Subtask SR) pour un SPL de 12,7 %, contre 41,9 % en configuration mono-agent. Ce résultat représente un gain de +27,5 points de pourcentage sur Modular GOAT (24,9 %), le système modulaire de référence précédent, ce qui est substantiel dans un domaine où les progrès se mesurent souvent en quelques points. L'intérêt principal réside dans l'approche sans entraînement : là où la plupart des politiques de navigation end-to-end se dégradent dès qu'elles rencontrent des scènes, des catégories d'objets ou des modalités d'objectif hors distribution, AnyGoal s'appuie sur la généralisation intrinsèque du VLM. L'ablation à quatre variables de perception révèle que l'intégration de détecteurs open-vocabulary déplace le goulot d'étranglement : la cause principale d'échec n'est plus l'exploration, mais la vérification de l'objectif, un déplacement de problème qui oriente clairement les futurs travaux. AnyGoal s'inscrit dans la lignée des travaux tentant de remplacer les pipelines fermés (détection à ensemble d'objets fixe, comme dans Modular GOAT) et les mémoires 3D denses (comme 3D-Mem, coûteuses à maintenir et sensibles au point de vue) par des représentations légères pilotées par le langage. La coordination multi-agents repose ici sur un allocateur glouton avec pénalité de séparation spatiale et hysteresis d'engagement, sans contrôleur centralisé, ce qui simplifie le déploiement. L'architecture reste à ce stade une contribution de recherche publiée sur preprint ; aucun pilote industriel ni déploiement réel n'est annoncé. Les prochaines étapes naturelles concernent la robustesse du VLM à la vérification de but et l'extension à des environnements semi-structurés ou extérieurs, où la généralisation sera encore plus mise à l'épreuve.

RecherchePaper

1 source

3arXiv cs.RO

$S^3$-Nav : prise de décision spatiale et sémantique structurée pour la navigation de robots guidée par le langage

S³-Nav, publié sur arXiv (2610.19431), est un cadre de décision structuré spatio-sémantique pour la navigation de robots guidée par le langage en observabilité partielle. Les auteurs ne supposent pas qu'une représentation complète de l'environnement est disponible d'emblée. Le système construit de manière incrémentale un état spatio-sémantique persistant, puis n'expose à la politique de haut niveau qu'une vue de capacité contrôlée, conditionnée par la tâche. Les sorties de cette politique sont traitées comme provisoires. Avant toute exécution physique ou clôture de la tâche, elles sont ancrées et validées séparément, à la fois contre les preuves sémantiques persistantes et contre les observations géométriques courantes. Les évaluations couvrent plusieurs environnements et deux familles de tâches, avec des objectifs d'objet et des objectifs de relation. Le résumé annonce une meilleure fiabilité en boucle fermée et un coût de raisonnement réduit pour la politique. Il ne donne ni chiffres, ni noms de modèles, ni précisions sur les plateformes testées. L'intérêt tient à une séparation que beaucoup de systèmes de navigation par modèles de langage ou VLA (vision-langage-action) ne font pas. Ce que le robot doit mémoriser, ce que la politique doit examiner et ce qui autorise l'action sont trois choses distinctes. Dans de nombreuses architectures, un grand modèle reçoit un contexte qui grossit à chaque pas et sa sortie déclenche directement le mouvement. Cela alourdit le raisonnement et rend les hallucinations coûteuses. Ici, la vue exposée a une taille bornée et un module de validation garde l'autorité d'exécution. Pour un intégrateur, c'est un schéma de sécurité et de maîtrise des coûts d'inférence. Il touche deux points bloquants du passage du démonstrateur à l'exploitation : la dérive en environnement réel et la facture de calcul embarqué. Les gains restent à confirmer. Un résumé sans valeurs chiffrées, sans comparaison nommée avec des méthodes existantes et sans mention d'essais sur robot réel ne permet pas de dire si l'amélioration est marginale ou structurelle. Le travail s'inscrit dans la lignée de la navigation sémantique à vocabulaire ouvert, qui associe cartes persistantes, graphes de scène et grands modèles de langage pour des objectifs formulés en langage naturel. Les limites de ces approches sont connues : contexte qui enfle, décisions peu vérifiables, échecs en boucle fermée. S³-Nav répond à ces trois problèmes par la structure plutôt que par un modèle plus gros. C'est un papier de recherche, pas un produit. Aucun déploiement, aucun partenaire industriel et aucun calendrier de pilote ne sont annoncés. Les prochaines étapes à surveiller sont la publication du code et des benchmarks, des tests sur plateformes physiques et une comparaison directe avec les approches fondées sur des graphes de scène et des VLA de bout en bout.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Édition flexible de représentations guidée par le langage pour un comportement robotique adaptatif

Des chercheurs du laboratoire CLEAR du MIT proposent FLEX (Flexible Feature Editing Pipeline), une méthode qui permet de corriger la représentation interne des caractéristiques d'une tâche chez un robot à partir de corrections formulées en langage naturel. Le système s'appuie sur des modèles de langage pour affiner itérativement cette représentation grâce à trois opérations complémentaires: ajouter une caractéristique manquante, généraliser une caractéristique trop spécifique, et masquer une caractéristique non pertinente. L'évaluation couvre trois cadres: des scénarios de navigation 2D, des tâches de manipulation sur table avec un bras Franka à 7 degrés de liberté, et une étude en conditions réelles avec des corrections humaines spontanées et des démonstrations sur robot physique. Les auteurs rapportent une récompense normalisée systématiquement supérieure à celle des autres approches d'édition de caractéristiques, tout en conservant des représentations compactes et transférables. Le travail est publié sur arXiv (v1) avec une page de projet dédiée. L'enjeu touche à une faiblesse connue de l'apprentissage par démonstration: une trajectoire montre ce que le robot doit faire, mais pas pourquoi. Le robot doit donc deviner quelles caractéristiques de la scène comptent, et une mauvaise hypothèse produit une représentation désalignée, puis un comportement erroné. Les méthodes d'édition par langage existantes n'autorisent que des ajouts, ce qui conduit à des ensembles de caractéristiques surspécifiés ou trop étroits, surtout lorsque les corrections s'enchaînent. Les ablations de FLEX indiquent que les trois opérations sont nécessaires en contexte interactif, ce qui plaide pour une correction par langage plus fine que le simple empilement de règles. Pour un intégrateur, c'est une piste vers des robots reconfigurables sur site par un opérateur non spécialiste, sans collecte massive de nouvelles démonstrations. Il faut toutefois tempérer: il s'agit d'une preuve de concept académique. Les tâches restent simples (navigation 2D, manipulation sur table), l'étude réelle n'est décrite que de façon qualitative dans le résumé, et aucun chiffre précis, ni taille d'échantillon, ni temps de cycle n'est fourni. La dépendance à un modèle de langage pose aussi des questions de robustesse et de latence que l'article ne tranche pas dans son résumé. FLEX s'inscrit dans le courant de l'alignement des préférences et des représentations robotiques par feedback humain, en concurrence avec les approches de modèles vision-langage-action (VLA) qui internalisent le langage de bout en bout. Ici, le langage sert plutôt à éditer une représentation explicite et interprétable. Les prochaines étapes probables sont des tests sur des tâches plus longues, davantage de participants, et une intégration avec des politiques généralistes.

RecherchePaper

1 source

Un seul scan suffit : adaptation sans démonstration pour la navigation guidée par le langage

À lire aussi

Adaptation de modèles vision-langage-action (VLA) à partir d'une seule démonstration vidéo humaine

AnyGoal : exploration multi-agents guidée par vision-langage pour une navigation permanente sans entraînement

$S^3$-Nav : prise de décision spatiale et sémantique structurée pour la navigation de robots guidée par le langage

Édition flexible de représentations guidée par le langage pour un comportement robotique adaptatif