IA physiquearXiv cs.RO 9 juin 2026

Prédiction d'intention avec gestion de l'incertitude pour la téléopération d'assemblage humain-robot

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE Pourquoi ça compte

Une équipe de recherche a publié le 9 juin 2026 (arXiv:2606.08341) un cadre de prédiction d'intentions pour la télé-opération assistée en assemblage industriel. L'approche combine trois composants : MS-TCN++, un réseau temporel convolutif pré-entraîné sur des démonstrations de mains humaines puis affiné sur seulement 16 démonstrations de télé-opération robot ; un module de prédiction conforme (conformal prediction) offrant des garanties statistiques de couverture sur l'incertitude trame à trame ; et une correction sélective par VLM (modèle de langage visuel) ciblant les segments temporellement ambigus. Sur un jeu de test à 22 classes d'actions d'assemblage, le transfert humain-robot fait progresser le score Edit de 70,50 à 80,70, et la précision trame de 45,21 % à 46,42 % après correction VLM, avec des gains accompagnateurs sur F1@25 et F1@50.

Ce résultat quantifie précisément le volume de données robot nécessaire pour atteindre une performance opérationnelle viable : 16 démonstrations suffisent lorsque le modèle est initialisé sur données humaines, contre des centaines habituellement requises en imitation learning pur. Pour les intégrateurs et les COO qui déploient des cellules de collaboration humain-robot (HRC) en assemblage structuré, c'est une réduction du coût de mise en service potentiellement substantielle. La prédiction conforme est particulièrement pertinente en contexte industriel : contrairement à un score de confiance non calibré, elle génère des ensembles de prédiction avec des garanties formelles de couverture, permettant de détecter les hésitations du système avant qu'une erreur ne survienne, une propriété critique pour la supervision en temps réel sur des lignes à cycle court.

Le transfert learning entre démonstrations humaines et données robotiques est un terrain actif dans plusieurs laboratoires. ACT (Stanford), Pi-0 (Physical Intelligence) et GR00T N2 de NVIDIA abordent tous le bootstrapping par données humaines, mais à des échelles très différentes et sans mécanisme d'incertitude formalisé natif. Ce travail se positionne sur la télé-opération industrielle en assemblage structuré, un segment distinct des robots mobiles généralistes, et contribue une couche d'incertitude quantifiée que les grandes architectures VLA n'intègrent pas encore. Les auteurs mettent à disposition code et données via le site du projet ; les suites probables incluent des validations sur environnements industriels réels et des ensembles d'actions plus larges, un terrain où des acteurs européens comme Enchanted Tools pourraient trouver des briques directement exploitables.

Impact France/UE

La disponibilité du code et des données, conjuguée à la réduction du volume de démonstrations nécessaires (16 vs plusieurs centaines), offre aux intégrateurs européens et aux acteurs français comme Enchanted Tools une brique exploitable pour abaisser le coût de mise en service des cellules d'assemblage HRC.

💬 Le point de vue du dev

16 démonstrations robot au lieu de plusieurs centaines, c'est le chiffre qui change tout. Le pré-entraînement sur données humaines puis l'affinage sur un tout petit dataset robotique, ça casse le mur d'entrée pour les intégrateurs qui font de l'assemblage structuré. Et la prédiction conforme avec des garanties formelles sur l'incertitude, pas juste un score de confiance non calibré, c'est le détail qui fait qu'on peut l'imaginer en prod, pas seulement sur un papier arXiv.

Dans nos dossiers

Enchanted Tools — Mirokaï NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

LM-X : modélisation explicable des actions par prédiction de progression, d'événements et d'incertitude pour la manipulation robotique généraliste

Un nouveau preprint arXiv (2608.25757, aout 2026) présente LM-X, un modèle vision-langage-action (VLA) pour la manipulation robotique généraliste. Contrairement aux politiques VLA classiques qui ne prédisent que l'action a court terme, LM-X génère en continu trois signaux explicites pendant l'exécution: le "return-to-go" (RTG), qui mesure la progression visible de la tache, l'"évent-to-go" (ETG), qui anticipe la prochaine transition sémantique, et un flux d'action heteroscedastique, qui estime la fiabilité locale via une variance propagée. Avant de lancer un preentrainement couteux de 20 jours sur 64 GPU Nvidia B200, les auteurs ont valide l'architecture sur un test contrôle a cinq taches: le modèle complet améliore le taux de réussite de 16,0 points par rapport a un backbone action seule, et de 10,8 points par rapport a la meilleure variante a une seule tête de prédiction. Le modèle final a ensuite été entraine sur plus de 20 000 heures de trajectoires robot réelles, dont plus de 1 000 heures d'échecs de politiques antérieures. Sur 50 taches durcies et randomisées du benchmark RoboTwin2.0, LM-X atteint 74,1% de réussite contre 55,4% pour GR00T N1.7 de Nvidia, et 68,6% contre 50,7% sur sept taches exécutées en robot réel. L'intérêt ne tient pas qu'au score brut face a GR00T N1.7: LM-X expose des états internes normalement caches dans les politiques VLA, ou une seule cible d'action doit implicitement porter la progression, l'intention et la fiabilité du geste. Le RTG suit la progression sémantique et détecte les régressions visibles, tandis que la variance grimpe pendant les hésitations ou les oscillations de commande. Pour un intégrateur ou un responsable fiabilité, ce type de signal pourrait permettre de détecter un échec avant qu'il ne se produise plutôt que de le constater après coup, un argument concret pour la supervision et la sécurité en environnement industriel. Le travail s'inscrit dans la compétition croissante autour des politiques de manipulation généralistes, aux cotes de familles comme GR00T de Nvidia, Pi-0 de Physical Intelligence ou Helix de Figure. L'abstract ne précise ni l'institution ni l'entreprise porteuse du projet, et il s'agit a ce stade d'un preprint de recherche, sans produit commercialise ni déploiement industriel annonce: la comparaison reste limitée a GR00T N1.7 et aux benchmarks présentes par les auteurs eux-mêmes, ce qui appelle une lecture prudente en attendant une évaluation indépendante.

IA physiqueOpinion

1 source

2arXiv cs.RO

NestDex : apprentissage de politiques imbriquées avec téléopération assistée par copilote pour la manipulation dextérique

Un preprint publié sur arXiv en août 2026 (arXiv:2608.13362) présente NestDex, un framework de téléopération assistée pour entraîner des politiques de manipulation dextérique. Contrairement à une pince parallèle, une main à plusieurs doigts oblige l'opérateur à coordonner en même temps le mouvement du bras et des gestes fins, riches en contacts, ce qui complique la collecte de démonstrations complètes et cohérentes. Dans NestDex, l'opérateur pilote le bras et active la compétence de main voulue via un simple embrayage à un seul degré de liberté, pendant qu'une politique interne ajuste la main selon l'historique proprioceptif récent et qu'un sélecteur vision-langage choisit automatiquement la bonne compétence à chaque étape de la tâche. Ces démonstrations entraînent ensuite une politique visuomotrice externe distincte, qui pilote seule le bras et la main au moment du déploiement, sans plus recourir aux politiques internes; les commandes de main sont compressées par un autoencodeur variationnel tandis que celles du bras restent dans l'espace articulaire. Des essais réels montrent une collecte de démonstrations plus fiable et plus efficace, avec des vidéos disponibles sur aus.bot/research/nestdex. La contribution cible directement ce qui freine l'entraînement de mains robotiques à plusieurs doigts à l'échelle industrielle: la téléopération classique, par gants ou exosquelettes, produit des démonstrations lentes et peu fiables dès qu'il faut coordonner plusieurs doigts en même temps que le bras, ce qui limite la taille des jeux de données nécessaires aux politiques vision-langage-action (VLA). En déportant la coordination fine des doigts vers une politique déjà entraînée et en laissant l'humain gérer la stratégie de haut niveau, NestDex promet de réduire le coût et le temps de collecte, un enjeu central pour les intégrateurs qui visent des mains dextériques plutôt que de simples pinces parallèles plus limitées. L'article reste toutefois un travail de recherche présenté sans taux de succès chiffrés ni comparaison directe avec des systèmes commerciaux existants, ce qui invite à la prudence sur la portée réelle des gains annoncés. Ce travail s'inscrit dans les efforts récents pour rendre la manipulation dextérique aussi simple à entraîner que la manipulation par pince, à mesure que les politiques VLA généralistes se multiplient dans le secteur robotique. Il ne s'agit pas d'un produit commercial ni d'un déploiement client mais d'une publication scientifique, accompagnée de vidéos hébergées sur le site du projet, sans date de disponibilité ni feuille de route de commercialisation communiquée. Les prochaines étapes attendues, bien que non détaillées dans le résumé, porteraient logiquement sur l'extension à davantage de tâches, de mains robotiques et de plateformes, ainsi que sur des comparaisons chiffrées avec les méthodes de téléopération existantes.

IA physiqueOpinion

1 source

3arXiv cs.RO

DexTwist : téléopération en réalité mixte pour la saisie en torsion avec une main dextérique

Une équipe de recherche a publié DexTwist, un framework de téléopération dextre via réalité mixte (MR) ciblant les manipulations rotationnelles en contact riche : ouverture de bouchons, rotation de clés, vissage de boulons. L'article, déposé sur arXiv (arXiv:2605.12182) en mai 2026, documente un échec connu des approches classiques de retargeting : minimiser l'erreur d'angle articulaire ou de position des doigts ne suffit pas quand les morphologies humaine et robot divergent. DexTwist opère en trois étapes - détection d'une prise tripode (pouce-index-majeur), estimation en temps réel de l'axe hélicoïdal (screw axis) et de la magnitude de torsion souhaitée, puis raffinement résiduel dans l'espace articulaire minimisant quatre termes simultanément : angle atteint, cohérence de l'axe, fermeture des doigts, stabilité tripode. Les expériences en simulation et en conditions réelles montrent des gains en suivi angulaire et en stabilité de l'axe par rapport à une baseline de retargeting vectoriel classique. Le problème central est l'embodiment gap : les différences de longueurs de segments, d'axes articulaires et de géométrie des phalanges distales entre main humaine et main robot provoquent un glissement tangentiel des doigts plutôt qu'une rotation stable de l'objet, phénomène désigné comme screw axis drift. Ce glissement dégrade directement la qualité des démonstrations collectées pour l'imitation learning ou les modèles VLA (Vision-Language-Action). Or, la téléopération MR est l'une des rares méthodes scalables pour générer des données de manipulation dextre à volume, et sa fiabilité sur les tâches rotationnelles conditionne directement la qualité des datasets sur lesquels reposent les futurs modèles généraux. La téléopération MR pour les mains robotiques s'est imposée ces dernières années comme alternative aux gants haptiques (DEXMO, SenseGlove) et à la capture de mouvement, avec un déploiement moins contraignant. Des travaux antérieurs comme DexPilot ou AnyTeleop avaient posé les bases du retargeting générique, sans adresser spécifiquement les mouvements de vissage. DexTwist se positionne dans un espace qui inclut également les approches par renforcement pur ou les diffusion policies pour mains dextres commerciales (Allegro, Shadow Hand, LEAP Hand). L'étape suivante naturelle serait d'intégrer ce retargeting fonctionnel dans un pipeline d'imitation learning complet afin de vérifier si la meilleure qualité de démonstration améliore effectivement les politiques autonomes en aval - un gap sim-to-real que l'article n'adresse pas encore.

IA physiqueOpinion

1 source

4arXiv cs.RO

LEGS : affinage de VLA sans téléopération pour la loco-manipulation humanoïde dans un monde Gaussian Splatting incarné

Des chercheurs présentent LEGS (Loco-manipulation via Embodied Gaussian Splatting), un simulateur hybride qui combine un avant-plan en maillage 3D avec un arrière-plan photoréaliste en Gaussian Splatting 3D (3DGS) pour entraîner des politiques vision-langage-action (VLA) sur humanoïdes sans téleopération humaine. Un générateur procédural de primitives de mouvement produit automatiquement des démonstrations annotées à grande échelle, tandis qu'une calibration colorimétrique à deux étapes aligne le rendu simulé avec la caméra réelle du robot. Sur un Unitree G1, sur trois tâches de saisie-dépose de difficulté croissante et avec trois architectures VLA (ψ₀, π₀.5 et GR00T N1.6), une politique entraînée exclusivement sur données LEGS égale ou dépasse, selon les auteurs, une politique entraînée sur démonstrations téleopérées. La couverture d'une nouvelle scène coûterait plus de quinze fois moins qu'une collecte par téleopération, une affirmation à vérifier hors du cadre expérimental : les résultats restent au stade de préprint arXiv (2606.01458) non soumis à revue par les pairs. Le résultat le plus structurant est la réduction effective du fossé simulation-réalité pour la loco-manipulation humanoïde corps entier, un problème que les simulateurs à maillage seul n'avaient pas résolu jusqu'ici. L'ablation le confirme : supprimer le fond 3DGS au profit d'un environnement mesh-only dégrade significativement les transferts, établissant le rendu photoréaliste comme facteur déterminant et non accessoire. Sous variations combinées d'apparence d'objet et de scène (scénario LEGS-AUG), la politique LEGS maintient son taux de succès tandis que la politique téleopérée échoue entièrement, ce qui valide empiriquement que les VLA nécessitent une diversité visuelle synthétique pour généraliser. Pour les intégrateurs et équipes robotiques, cela ouvre une voie scalable vers de nouveaux environnements industriels sans mobiliser d'opérateurs dédiés. LEGS s'appuie sur la technique 3DGS, popularisée en 2023 pour la reconstruction photoréaliste de scènes à partir d'images, et l'adapte en fond simulé pour l'entraînement de politiques. Les architectures testées incluent π₀.5 de Physical Intelligence et GR00T N1.6 de NVIDIA, deux acteurs centraux de l'espace VLA humanoïde, aux côtés desquels Boston Dynamics, Figure AI, Agility Robotics et Tesla Optimus avancent sur leurs propres pipelines de données synthétiques. Le Unitree G1, l'un des humanoïdes commerciaux les plus accessibles du marché, ancre les expériences dans un contexte potentiellement déployable. Les suites logiques incluent l'extension au-delà du pick-and-place, la publication du code et des données, et des tests en environnements industriels réels pour valider la robustesse hors laboratoire.

UELes équipes européennes en robotique humanoïde (CEA-List, INRIA, startups FR) pourraient adopter cette approche pour réduire drastiquement les coûts de collecte de données VLA sans téleopération, mais aucun acteur européen n'est impliqué dans l'étude.

IA physiqueOpinion

1 source