RecherchearXiv cs.RO 15 septembre 2026

VLBiMan++ : repousse les limites de généralisation de la manipulation bimanuelle en un seul essai ancrée vision-langage

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Publié en septembre 2026 sur arXiv (2609.14310), VLBiMan++ est un framework de manipulation bimanuelle robotique qui généralise une tâche apprise à partir d'une seule démonstration humaine, sans réentraînement de politique. Le système décompose cette démonstration en compétences réutilisables et les adapte géométriquement à de nouvelles configurations grâce à un ancrage vision-langage. Les auteurs étendent la généralisation selon cinq axes : les tâches, via des compositions à horizon long ; les objets, en couvrant des catégories inconnues et des formes articulées ou déformables ; les scènes, avec encombrement, occlusion et interférences dynamiques ; l'embodiment, sur des plateformes bimanuelles hétérogènes ; et le déploiement, lors d'exécutions en boucle fermée prolongées soumises à des perturbations répétées. Deux mécanismes soutiennent cet élargissement, une adaptation consciente de l'état de l'objet et une optimisation légère de trajectoire, allant au-delà des simples variations de pose rigide à 6 degrés de liberté (DoF). Des expériences réelles, dont le protocole précis n'est pas détaillé dans le résumé, indiquent un taux de succès élevé maintenu sur ces scénarios plus complexes.

L'enjeu dépasse la prouesse technique : la télé-opération massive pour collecter des démonstrations, puis le réentraînement à chaque nouvel objet, scène ou robot, restent le principal poste de coût des déploiements de manipulation bimanuelle. En montrant qu'une démonstration unique peut être décomposée puis réadaptée sans reprise d'apprentissage, VLBiMan++ s'attaque à l'écart classique entre démonstrations impressionnantes en laboratoire et robustesse réelle, un point sensible face aux modèles vision-langage-action (VLA) comme GR00T N2, Pi-0 ou Helix, qui s'appuient sur de vastes corpus de démonstrations téléopérées. Pour les intégrateurs et décideurs industriels, l'intérêt est avant tout économique : réduire la dépendance aux données à grande échelle rendrait la manipulation bimanuelle générique accessible à des lignes de production plus petites, sans les budgets de collecte des grands laboratoires.

VLBiMan++ prolonge un précédent framework, VLBiMan, qui avait déjà démontré la transférabilité d'une compétence unique mais sur un périmètre plus restreint ; la nouveauté est le passage d'une preuve de concept isolée à un cadre systématique couvrant tâches, objets, scènes, embodiments et durée de déploiement. Le travail se positionne face à l'écosystème des modèles fondation pour la robotique généraliste porté par des acteurs comme Physical Intelligence, NVIDIA ou Figure AI, mais mise sur l'apprentissage one-shot plutôt que sur l'entraînement massif. Publié sans affiliation commerciale précisée dans le résumé, VLBiMan++ reste à ce stade une contribution académique validée par des expériences en laboratoire, sans pilote industriel ni calendrier de déploiement annoncés.

Dans nos dossiers

Figure IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

VLBiMan : une démonstration unique guidée par vision-langage permet la manipulation robotique bimanuelle généralisable

Des chercheurs ont publié sur arXiv (ref. 2509.21723, quatrième révision) VLBiMan, un framework d'apprentissage pour la manipulation bimanuels robotique qui vise à réduire drastiquement le nombre de démonstrations humaines nécessaires à l'entraînement d'un robot à deux bras. Le principe central : à partir d'un seul exemple humain, le système décompose la tâche en primitives réutilisables dites "invariantes" (les composantes stables d'un geste, comme saisir un outil dans un axe donné) et en composantes "ajustables" (position exacte, orientation selon le contexte). Ces ajustements sont pilotés en temps réel par un ancrage vision-langage (VLA) qui parse sémantiquement la scène et applique des contraintes de faisabilité géométrique, sans nécessiter de réentraînement lorsque le fond change, qu'un objet est déplacé ou que du désordre visuel perturbe la scène. Le système prend également en charge un contrôle hybride des deux bras, autorisant une utilisation synchrone ou asynchrone selon la sous-tâche. L'intérêt industriel porte sur deux points. D'abord, la réduction du coût d'acquisition de données : les approches par imitation classiques exigent des dizaines à centaines de démonstrations pour couvrir les variations d'une tâche, VLBiMan en revendique une seule -- sans que le papier ne quantifie précisément ce ratio dans des conditions industrielles représentatives, ce qui mérite prudence. Ensuite, le transfert cross-embodiment : les primitives apprises à partir de démonstrations humaines se réinstancient sur différentes plateformes robotiques sans réentraînement, ce qui ouvrirait la voie à une bibliothèque de compétences portables. Les expériences couvrent des tâches d'utilisation d'outils et de manipulation multi-objets, et montrent une robustesse aux objets sémantiquement similaires mais visuellement inédits, ainsi qu'aux perturbations externes. Ce travail s'inscrit dans la vague des architectures VLA (Vision-Language-Action) qui cherchent à remplacer la collecte massive de données par une généralisation sémantique. Il se positionne face aux approches par imitation pure (comme ACT ou Diffusion Policy) qui saturent rapidement en capacité de généralisation, et aux méthodes modulaires classiques, moins flexibles dans les scènes dynamiques. Les concurrents directs incluent des frameworks comme RoboFlamingo, OpenVLA ou UniManipulate. VLBiMan reste à ce stade un travail académique sans déploiement industriel annoncé ni partenaire industriel cité, avec des validations conduites en environnement de laboratoire contrôlé.

RechercheOpinion

1 source

2arXiv cs.RO

Prototypes de tâches pour guider le flow matching : généralisation en few-shot pour la manipulation robotique vision-langage

Un preprint arXiv publié fin septembre 2026 (arXiv:2609.27780), actuellement en relecture anonyme et sans code publié, présente Task-Prototype Guided Flow Matching (TP-Flow), une méthode few-shot pour les politiques de manipulation robotique vision-langage. Le système convertit quelques démonstrations de support en prototypes de tâche extraits par attention croisée symétrique, puis les utilise pour paramétrer la distribution initiale et le champ de vitesse du flow matching via une normalisation adaptative à portes, avec un entraînement épisodique support-requête et une régularisation contrastive. Sur la plateforme LEROBOT-ARM-SO101, TP-Flow atteint 66,8%, 79,6% et 82,1% de réussite en configuration 1, 4 et 6-shot (AUC few-shot de 75,5%), dépassant en 1-shot les références CFM, Pooled-Demo CFM et In-Context Flow de 29,8, 14,5 et 9,9 points de pourcentage. Il tourne en temps réel à 54,3 ms de latence, 3,9 Go de pic mémoire et 10 Hz de cadence de contrôle, tout en limitant à 6,2% la chute de performance avec des démonstrations bruitées. Le problème visé est concret: le langage naturel ne précise ni le timing des contacts, ni les phases de mouvement, ni le style d'exécution, ce qui limite l'adaptation rapide des politiques vision-langage-action à de nouvelles procédures à partir de très peu d'exemples. Si ces résultats se confirment hors laboratoire, une adaptation efficace à partir d'une à six démonstrations réduirait la dépendance aux vastes jeux de téléopération qui freinent aujourd'hui le déploiement industriel des bras robotiques. Les gains rapportés sur la généralisation à des objets inédits, la recombinaison d'objectifs, les tâches longues et les scénarios de correction de contact vont dans le sens d'un VLA plus robuste à l'échelle, même si les chiffres restent obtenus sur un banc de test académique restreint et n'ont pas été validés en conditions industrielles. Le travail s'inscrit dans la lignée des recherches sur le flow matching conditionnel appliqué à la robotique, en améliorant des références établies comme CFM et ses variantes few-shot. Les auteurs restent anonymes du fait de la relecture en double aveugle et le code n'est pas publié, ce qui empêche toute vérification indépendante immédiate des chiffres avancés. La plateforme utilisée, LEROBOT-ARM-SO101, s'appuie sur l'écosystème open-source LeRobot et un bras robotique bas coût, un choix favorable à la reproductibilité académique mais éloigné des bras industriels à fort payload utilisés en usine. Aucun partenariat industriel ni date de publication du code n'est annoncé à ce stade; la suite logique serait la levée de l'anonymat après décision d'acceptation et, potentiellement, la diffusion du code source.

RecherchePaper

1 source

3arXiv cs.RO

BiDex-100 : un banc d'essai complet pour la manipulation dextre bimanuelle sur plus de 100 tâches en simulation

BiDex-100, un nouveau banc d'essai en simulation publié sur arXiv par l'équipe Robbyant Research, cible la manipulation bimanuelle dextre, c'est-à-dire l'usage coordonné de deux mains robotiques à nombreux degrés de liberté (DOF). Il regroupe 106 tâches réparties selon cinq axes de capacités : généralisation, suivi d'instructions, démonstrations limitées, longs horizons et mémoire. Chaque tâche existe aussi en variante hors domaine, avec des modifications visuelles et spatiales contrôlées, afin de mesurer la robustesse. Le benchmark prend en charge deux embodiments (morphologies robotiques) et fournit 8 080 démonstrations téléopérées dont le succès a été validé, soit 6,25 millions de trames. Les auteurs évaluent sept modèles VLA (Vision-Language-Action) récents selon un protocole unifié, et établissent ainsi des références par capacité, par robustesse et par efficacité en données. Les noms des modèles testés et leurs scores ne figurent pas dans le résumé. L'intérêt tient à un déficit de mesure. La plupart des évaluations de VLA se concentrent sur des pinces parallèles ou des scènes à un seul bras, si bien que les capacités réelles de ces modèles avec des mains à haute dimensionnalité restent mal caractérisées. Un banc d'essai qui sépare la mémoire, le long horizon et la frugalité en données permet de savoir où un modèle échoue, plutôt que de se contenter d'un taux de succès global. La paire tâche/variante hors domaine s'attaque directement à l'écart entre démonstration et réalité, car elle teste si une politique survit à un simple changement d'apparence ou de position. Pour un intégrateur ou un décideur B2B, cela offre un critère de comparaison plus exploitable que des vidéos choisies. Il faut toutefois rester prudent : il s'agit d'une simulation, et rien ne garantit que les classements se transfèrent au matériel réel, ni que les démonstrations téléopérées représentent la variabilité d'un site industriel. Le contexte est celui d'une course aux mains dextres et aux modèles d'action généralistes, portée par des acteurs comme Figure avec Helix, Tesla avec Optimus, NVIDIA avec GR00T ou Physical Intelligence avec Pi-0. Chacun annonce des progrès en dextérité, mais selon des protocoles propres et rarement comparables. Des suites existantes comme RoboTwin, centrée sur la bimanualité, ou LIBERO, orientée tâches de table, ont servi de références, mais pas pour des mains à nombreux DOF. Cette version 2 de l'article remplace une première soumission, et le site du projet est hébergé par Robbyant Research. La suite dépendra de l'adoption de BiDex-100 par d'autres laboratoires et de la publication de résultats sur robots physiques.

RecherchePaper

1 source

4arXiv cs.RO

Colosseum V2 : benchmark de généralisation pour les modèles vision-langage-action (VLA)

Une équipe de chercheurs a publié Colosseum V2, un benchmark de simulation à grande échelle conçu pour évaluer la capacité de généralisation des modèles VLA (Vision-Language-Action) en manipulation robotique. Le benchmark intègre 28 tâches réparties en 13 catégories et couvre deux morphologies de robots distinctes, allant de primitives de manipulation élémentaires à des comportements long-horizon complexes. Construit sur le simulateur ManiSkill, il exploite la parallélisation GPU pour des évaluations massives et prend en charge les tests en domaine connu (in-domain) comme hors domaine d'entraînement (out-of-domain). Les auteurs ont évalué deux architectures de référence : les Action Chunking Transformers (ACT) et Pi0.5, le modèle de la startup Physical Intelligence. Les résultats exposent une tension centrale dans le domaine : les VLAs affichent des capacités de perception et de compréhension du langage en zéro-shot héritées de leur pré-entraînement sur de larges corpus, mais leurs performances se dégradent significativement dès que la distribution des données change, qu'il s'agisse de variations d'éclairage, de textures d'objets ou de configurations inédites. Ce fossé entre compréhension sémantique de haut niveau et comportement moteur robuste reste l'un des blocages majeurs à la commercialisation de politiques robotiques générales. Point notable : les auteurs documentent une forte corrélation entre métriques en simulation et métriques réelles, ce qui valide l'utilité écologique du benchmark et réduit la dépendance aux cycles d'évaluation physique, coûteux et peu reproductibles. Colosseum V2 est l'extension d'un premier benchmark Colosseum publié en 2024, centré sur la robustesse aux perturbations contrôlées. Le domaine manquait jusqu'ici d'un protocole unifié : RoboVQA, OpenVLA-OFT et les évaluations internes de Physical Intelligence ont chacun proposé des métriques partielles, rendant les comparaisons entre systèmes quasi impossibles. Colosseum V2 ambitionne de jouer le rôle fédérateur qu'ImageNet a tenu pour la vision par ordinateur. Les auteurs annoncent l'intégration prochaine de nouvelles morphologies et de tâches bimanuelles, des axes sur lesquels Figure (Figure 03), Apptronik, et dans une moindre mesure des acteurs européens comme Enchanted Tools, commencent à capitaliser avec des données de déploiement réel.

UELe benchmark offre un protocole d'évaluation standardisé que les équipes R&D françaises et européennes, dont Enchanted Tools, citée pour ses travaux sur les tâches bimanuelles, pourront utiliser pour comparer objectivement leurs modèles VLA face aux acteurs américains et asiatiques.

RechercheOpinion

1 source