RecherchearXiv cs.RO 2 novembre 2026

De la téléopération à la dextérité à long horizon : évaluation des compétences visuomotrices et des indicateurs hors ligne pour la manipulation dextère

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont évalué 281 politiques d'apprentissage par imitation, réparties en sept familles, sur environ 1 700 essais réels de saisie et d'insertion de connecteurs RJ45 avec une main robotique à cinq doigts. L'étude, publiée sur arXiv, vise à identifier les choix de conception qui gouvernent la performance réelle, alors que la perte de validation, signal d'optimisation habituel, ne présente aucune relation constante avec le taux de réussite du robot. Les ablations contrôlées montrent que les représentations d'observation et d'action pèsent bien plus que les choix d'optimiseur ou d'échantillonnage. Pour les politiques à nuages de points, le recadrage sur une région d'intérêt, l'expression dans le repère de la base du robot et la normalisation au sein de l'encodeur gagnent chacun entre 70 et 100 points de pourcentage de réussite. Pour la politique vision-langage-action (VLA), prédire des actions absolues plutôt que relatives améliore l'insertion jusqu'à 70 points. Sur 67 métriques hors ligne testées, seules cinq, toutes liées à la régularité et à la directivité du mouvement prédit, corrèlent avec le succès (r entre -0,70 et -0,80), et uniquement au sein d'une même famille de politiques.

L'enjeu pour les intégrateurs et les équipes R&D est direct : une bonne part de la performance en manipulation dextre se joue dans des détails de pipeline, souvent peu documentés, plutôt que dans la taille du modèle ou le réglage de l'entraînement. Des écarts de 70 à 100 points pour un simple changement de repère ou de normalisation expliquent en partie pourquoi des démonstrations publiées restent difficiles à reproduire. Le résultat sur les métriques hors ligne est tout aussi pratique : elles peuvent présélectionner des candidats, mais pas remplacer les essais sur robot réel, ce qui maintient un coût d'évaluation élevé pour tout déploiement. À noter que la décomposition en compétences, la perception multi-vues et les démonstrations de récupération sont associées aux meilleurs systèmes, sans que leurs effets aient été isolés, et que la tâche, un connecteur RJ45, reste étroite : la généralisation à d'autres objets n'est pas démontrée.

Ce travail s'inscrit dans le débat sur l'écart entre démonstrations et fiabilité réelle de l'apprentissage par imitation, nourri par la montée des VLA et des mains à cinq doigts, où la téléopération sert de source de données principale. Il s'agit d'une publication académique et non d'un produit ou d'un déploiement : aucun partenaire industriel, calendrier ou prix n'est annoncé dans le résumé. La valeur de l'étude tient à son ampleur empirique, rare dans un domaine où les comparaisons se font souvent sur quelques dizaines d'essais. Elle fournit des pistes aux laboratoires et aux acteurs développant des politiques de manipulation, tout en rappelant que les corrélations observées restent propres à chaque famille de modèles. Les prochaines étapes logiques seraient l'isolation causale des facteurs comme la décomposition en compétences et l'extension à d'autres tâches d'assemblage de précision.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

ManiUnit : un jeu de données et un banc d'essai de compétences de manipulation pour les tâches à long horizon

ManiUnit est un jeu de données et un benchmark de compétences de manipulation, construit à partir de 50 activités du simulateur BEHAVIOR-1K et publié sur arXiv en octobre 2026. Le jeu de données compte 137 899 segments répartis sur 21 types de compétences et 417 sous-tâches, tandis que le benchmark comprend 1 260 instances de test. Chaque segment est associé à une instruction explicite de sous-tâche. Le benchmark mesure aussi la sensibilité à des perturbations de la position initiale de la base mobile ou de la configuration articulaire du robot. Il restaure des états intermédiaires du simulateur et définit des conditions de succès locales, ce qui permet d'évaluer chaque compétence sans exécuter les étapes qui la précèdent. Sur deux activités à long horizon, une politique de compétence entraînée sur les segments ManiUnit atteint 78,7 % de succès local en manipulation, contre 49,3 % pour une politique de tâche entraînée sur des démonstrations complètes. Une fois coordonnées par un planificateur, politiques de tâche et de compétence font passer le succès sur la tâche complète de 4,0 % à 18,0 %. L'enjeu est de rendre diagnostiquables les échecs de la manipulation mobile à long horizon, où un robot doit traverser plusieurs pièces et enchaîner des compétences à partir d'une seule consigne en langage naturel. Les auteurs identifient trois difficultés. D'abord, des observations proches sous une même consigne rendent la sélection de la compétence ambiguë. Ensuite, même lorsqu'une compétence réussit, l'état du robot qu'elle transmet à la suivante peut s'écarter des états de départ démontrés et dégrader l'exécution. Enfin, les métriques au niveau de la tâche masquent les causes d'échec, puisqu'une défaillance précoce empêche de tester les étapes suivantes. Les évaluations de politiques vision-langage-action (VLA) représentatives montrent que des scores agrégés similaires peuvent cacher des écarts importants d'une compétence à l'autre. Sur le benchmark complet, les perturbations articulaires réduisent le taux de succès d'environ 56 % par rapport aux états de départ démontrés. Ce résultat appelle à la prudence face aux démonstrations de VLA mesurées sur des conditions initiales propres. Il faut toutefois relativiser la portée de ces chiffres : tout est mesuré en simulation, sur un nombre limité d'activités pour la comparaison compétence contre tâche, et un succès de 18,0 % sur la tâche complète reste très éloigné d'un seuil industriel. Les auteurs ne nomment pas ici les modèles VLA évalués. ManiUnit s'inscrit dans la lignée de BEHAVIOR-1K, benchmark de tâches domestiques de longue durée, et d'une tendance à décomposer les tâches en compétences réutilisables pilotées par un planificateur, plutôt qu'à entraîner une politique monolithique. Le gain obtenu avec le planificateur suggère que cette approche modulaire est plus prometteuse, mais elle dépend de la robustesse de chaque compétence face aux états hérités. Le jeu de données et le benchmark sont des ressources de recherche, sans calendrier de déploiement ni transfert vers le matériel réel annoncé dans le résumé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

SAKI : assemblage de compétences et imitation cinématique à partir de vidéos humaines pour la manipulation mobile à long horizon

Des chercheurs, dont l'équipe derrière la page aus.bot, présentent SAKI (Skill Assembly and Kinematic Imitation), un framework qui relie trois briques: l'acquisition de compétences à partir de vidéos humaines, l'assemblage de ces compétences issues de démonstrations différentes, et l'exécution en boucle fermée sur l'ensemble du corps du robot. Il s'agit d'une publication de recherche (arXiv, version 1), sans produit ni déploiement commercial. Le système prépare des compétences réutilisables centrées sur l'objet, qui conservent les interactions critiques pour la tâche tout en laissant s'adapter les trajectoires de transfert. À partir d'un objectif et de dépendances de tâches fournies, SAKI sélectionne et ordonne les compétences, associe leurs rôles d'objets à la scène courante et transmet l'estimation de la scène et la configuration du robot d'une compétence à la suivante. Une imitation cinématique du corps entier génère des mouvements coordonnés de la base, du bras et de la pince. En exécution, des estimations d'objets persistantes maintiennent les références de la tâche malgré les changements de point de vue, et le retour visuel met à jour les trajectoires restantes. Les tests sur robot réel couvrent le rangement et l'essuyage, avec réutilisation des compétences d'une disposition à l'autre. Le résumé ne donne aucun taux de réussite chiffré, ni nombre d'essais, ni plateforme robotique précisée. L'enjeu est de sortir l'apprentissage par vidéos humaines du cadre de la table, où il est le plus démontré, pour l'appliquer à la manipulation mobile longue durée, là où les erreurs se cumulent entre étapes et où la base mobile déplace sans cesse le référentiel. Le résultat le plus instructif est l'ablation: à optimisation du corps entier et retour visuel constants, la préparation des références conditionnée par la tâche améliore nettement l'achèvement des tâches longues. Autrement dit, le goulot n'est pas seulement le contrôle bas niveau mais la qualité de la représentation des compétences apprises. Pour un intégrateur, c'est une piste vers des robots reprogrammés par démonstration humaine filmée plutôt que par téléopération coûteuse. Les limites restent claires: les dépendances de tâches sont fournies par l'opérateur et non déduites, les scénarios sont des démonstrations de laboratoire, et l'écart entre une vidéo de démonstration et une fiabilité industrielle reste entier. SAKI s'inscrit dans la course à la manipulation mobile généraliste, où les approches dominantes reposent sur des modèles vision-langage-action (VLA) entraînés sur de la téléopération, comme Pi-0 ou Helix, ou sur des pipelines robotiques modulaires. Ici, le choix est hybride: composition explicite de compétences et optimisation cinématique, plutôt qu'une politique de bout en bout. Cette voie prolonge les travaux sur l'imitation à partir de vidéos humaines, dont l'avantage est de contourner le goulot des données robotiques. Les prochaines étapes probables seraient l'inférence automatique des dépendances de tâches, des évaluations chiffrées sur davantage de scénarios et des essais hors laboratoire. Les vidéos de démonstration sont disponibles sur la page du projet, mais l'échantillon présenté n'est, par nature, pas représentatif des échecs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

MoMaStage : planification guidée par graphe d'états de compétences et exécution en boucle fermée pour la manipulation mobile intérieure à long horizon

MoMaStage est le nom d'un système de planification et d'exécution présenté dans un article scientifique publié sur arXiv sous l'identifiant 2603.08383, en version 2 remplaçant une publication antérieure, consacré à la manipulation mobile en intérieur sur des tâches à horizon long. Le système associe un modèle vision-langage (VLM) figé, c'est-à-dire non réentraîné, à l'exécution robotique via trois mécanismes complémentaires : une bibliothèque hiérarchique de compétences ancrées et exécutables couplée à une projection purement topologique d'un graphe d'état des compétences (Skill-State Graph, SSG) qui borne l'espace de planification du VLM ; un vérificateur SSG qui propage l'état des régions de la scène et l'occupation du préhenseur pour écarter les plans infaisables avant leur exécution ; et un moniteur événementiel qui ne déclenche une réparation du plan, ancrée dans le graphe, que lorsqu'un résultat observé invalide la suite prévue. Les auteurs ont évalué l'approche en simulation à physique réaliste ainsi que sur un robot mobile manipulateur réel. Le résumé ne fournit aucun chiffre précis de charge utile, de degrés de liberté, de temps de cycle ou de volume de déploiement : il annonce seulement une amélioration de la validité des plans et de la tenue en exécution longue par rapport aux méthodes de référence testées, avec une réduction de la latence et de la consommation de tokens. Le travail s'attaque à une faiblesse connue des architectures VLA/VLM en robotique mobile : ces modèles décomposent bien une instruction en séquence d'actions plausible, mais ne suivent pas fiablement les contraintes cumulatives d'état du robot ni ne révisent leur plan quand l'exécution diverge du prévu. Cela vient nuancer l'idée qu'un grand modèle de langage suffirait, seul, à piloter des tâches longues de manipulation mobile sans couche de vérification dédiée. Pour les intégrateurs qui évaluent des piles VLA pour l'entrepôt ou l'usine, l'intérêt est méthodologique : coupler un VLM figé à une vérification symbolique légère plutôt qu'une politique entraînée de bout en bout, pour gagner en fiabilité sans construire de carte dense de la scène ni alourdir le calcul embarqué. MoMaStage s'inscrit dans la lignée des travaux cherchant à combler l'écart entre la planification par VLM généraliste et les exigences de fiabilité de la robotique physique, un enjeu documenté depuis la montée d'architectures bout-en-bout comme Pi-0, GR00T N2 ou Helix. À la différence de ces politiques entraînées sur de larges corpus de démonstrations, MoMaStage garde le VLM figé et externalise la cohérence d'état dans un graphe symbolique léger, plus proche des méthodes de planification classique augmentées par des modèles de langage. L'article ne mentionne ni calendrier de déploiement industriel ni partenariat commercial : il s'agit d'une contribution de recherche testée en simulation et sur un unique robot en laboratoire, sans indication de passage à l'échelle vers une flotte ou un site client.

RecherchePaper

1 source

4arXiv cs.RO

SkillWeave : tisser des démonstrations hétérogènes en compétences de manipulation à long horizon

Des chercheurs publient sur arXiv SkillWeave, un cadre de démonstrations hétérogènes pour la manipulation dextre à long horizon. Il associe deux modes de collecte selon le type d'interaction. La téléopération couvre les phases larges d'approche et de transport. L'enseignement kinesthésique, où l'opérateur guide physiquement le bras, couvre les gestes de précision riches en contacts. Ce second mode crée un décalage visuel, puisque l'humain apparaît dans les images d'entraînement. L'équipe y répond par une politique de diffusion conditionnée par un masque d'objet. L'entraînement utilise une segmentation d'objets réalisée hors ligne. Au déploiement, un prédicteur de masque léger la remplace, ce qui évite la segmentation en ligne et l'inpainting d'images. Un second mécanisme, le « successor-aware terminal steering », traite la dérive de distribution entre sous-politiques entraînées séparément. Il choisit, parmi des actions échantillonnées par la politique prédécesseur, celle qui mène vers des états couverts par la distribution d'états initiaux de la politique successeur. Sur trois tâches réelles à long horizon, le taux de réussite de bout en bout moyen atteint 27 %. Les sous-tâches dextres, avec politiques kinesthésiques à masque, atteignent 65 % en moyenne. L'efficacité de composition des transitions entre politiques atteint 87 % en moyenne. Le code et les vidéos sont publiés. L'intérêt tient à ce que ces chiffres montrent sur le goulot d'étranglement de la manipulation longue. Un taux de bout en bout de 27 % reste très loin d'un niveau exploitable en production. Il confirme aussi que l'enchaînement de compétences multiplie les erreurs : avec 65 % par sous-tâche dextre, la réussite s'érode vite sur trois tâches. La contribution est donc surtout diagnostique. Elle indique que la jonction entre politiques pèse autant que la qualité de chaque politique, avec 87 % de composition efficace. Elle suggère aussi qu'une modalité de collecte unique, souvent la téléopération seule, est mal adaptée aux contacts fins. Pour un intégrateur, la leçon est pratique : le coût de collecte de données se répartit mieux si l'on réserve le guidage physique aux seuls gestes critiques. Les limites sont à garder en tête. Ni les tâches, ni la plateforme robotique, ni le nombre d'essais ne figurent dans le résumé, et aucune comparaison avec des modèles généralistes n'y est donnée. Les résultats restent ceux d'un laboratoire, sans déploiement industriel. Le contexte est celui d'un champ qui cherche à sortir des démonstrations courtes. Les politiques de diffusion et les modèles vision-langage-action (VLA) comme Pi-0 ou GR00T progressent sur des tâches isolées. Ils restent fragiles dès que la séquence s'allonge. La téléopération à grande échelle est l'approche dominante pour collecter des données. Le teaching kinesthésique, plus lent mais plus précis, est resté marginal à cause du biais visuel que cet article cherche à corriger. Le travail s'inscrit dans les approches de décomposition en compétences, qui visent à composer des primitives plutôt qu'à entraîner une politique monolithique. La suite logique serait de tester la méthode sur davantage de tâches et d'embodiments. Il faudrait aussi la confronter à des VLA généralistes sur les mêmes séquences. Le caractère reproductible du code publié le permettra.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source