RecherchearXiv cs.RO 12 octobre 2026

Au-delà des démonstrations réussies : apprendre des interactions humaines et modéliser la dynamique des échecs

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent HF-WM, un modèle du monde conditionné par les actions (action-conditioned world model) qui prédit les conséquences des gestes d'un robot sous forme de vidéo générée. Le système repose sur deux idées. D'une part, il apprend à partir de vidéos égocentriques humaines à grande échelle pour compenser la couverture limitée des jeux de données robotiques. D'autre part, il subit un post-entraînement sensible à l'échec. Pour combler l'écart d'embodiment entre la main humaine et le manipulateur robotique, l'architecture associe deux branches : la génération vidéo et la prédiction auxiliaire de pointflow (champ de trajectoires de points). Ce pointflow, stabilisé pour supprimer le mouvement de la caméra égocentrique, sert de représentation unifiée du mouvement chez l'humain comme chez le robot. Pour les échecs, l'équipe applique l'algorithme GRPO (Group Relative Policy Optimization) sur des actions perturbées, dérivées de démonstrations réussies. Deux récompenses guident ce processus : l'alignement avec l'action et la plausibilité physique. Aucune vidéo d'échec réelle appariée n'est requise. Les auteurs annoncent des performances de pointe en génération vidéo conditionnée par l'action, ainsi qu'une bonne utilité pour l'évaluation de politiques sur des tâches robotiques en aval. Le résumé publié ne fournit ni métriques chiffrées, ni liste de baselines, ni taille de jeu de données.

L'enjeu est double pour la robotique de manipulation. Les jeux de données robotiques sont dominés par des démonstrations réussies, ce qui crée un biais : un modèle du monde entraîné sur ces seules données peine à anticiper un objet qui glisse, une prise manquée ou une collision. Or c'est précisément ce que doit savoir prédire un simulateur appris pour être utile. S'il fonctionne, un tel modèle permet d'évaluer une politique VLA (vision-langage-action) en simulation générative, sans multiplier les essais sur robot réel, ce qui représente un gain de coût et de temps pour les intégrateurs et les équipes de validation. L'approche s'appuie aussi sur l'abondance de vidéos humaines, bien moins chères à collecter que la téléopération. Deux réserves s'imposent toutefois. Les échecs sont synthétisés à partir de perturbations d'actions et jugés par des récompenses apprises, donc leur fidélité aux vraies défaillances (contacts, déformations, frottements) reste à démontrer. Et la corrélation entre le classement des politiques selon le modèle du monde et leurs résultats réels sur robot est la vraie mesure de validité, qu'il faut examiner dans l'article complet.

Ce travail s'inscrit dans la course aux modèles du monde pour la robotique, où se côtoient les approches de génération vidéo conditionnée par l'action et les grands modèles de fondation de type GR00T de NVIDIA ou Pi-0 de Physical Intelligence. Il prolonge deux tendances : l'apprentissage inter-embodiment à partir de vidéos humaines, et l'usage de l'apprentissage par renforcement (GRPO, popularisé dans les modèles de langage) pour affiner des modèles génératifs. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs, sans produit ni déploiement industriel associé. La suite logique serait la publication du code et des poids, des comparaisons sur des benchmarks partagés et une validation sur des tâches de manipulation réelles et variées.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 World models

À lire aussi

1arXiv cs.RO

RoboTok : un moteur de données à l'échelle d'Internet pour la recherche de démonstrations humaines et l'apprentissage de la préhension dextérique

Un article publié sur arXiv (référence 2609.03199v1, catégorie « cross-listing » signalant un intérêt à la fois pour la robotique et la vision par ordinateur) présente RoboTok, un moteur de données conçu pour exploiter des vidéos humaines à l'échelle d'internet afin d'entraîner des politiques robotiques de manipulation dextre. Le système part d'une vidéo requête montrant une manipulation humaine, puis recherche dans de vastes collections de vidéos web des démonstrations pertinentes pour la même tâche. Techniquement, RoboTok apprend un espace de mouvement latent à partir de trajectoires 3D de la main, exprimées dans des repères centrés sur l'acteur estimés automatiquement, ce qui permet de comparer des gestes de manipulation malgré des différences de point de vue caméra, d'apparence de scène ou d'occlusions partielles de l'acteur. Cette représentation reste suffisamment compacte pour permettre une recherche efficace et une indexation continue sur des corpus vidéo de très grande taille. Les auteurs comparent RoboTok à des méthodes existantes de récupération de données robotiques, sur des benchmarks de recherche et sur la performance de politiques robotiques en aval, sans toutefois préciser dans le résumé les chiffres exacts de gain, ni les tâches ou plateformes robotiques testées. L'enjeu principal visé par ce travail est le goulot d'étranglement bien identifié de l'apprentissage robotique : collecter des données directement sur robot reste coûteux et ne permet pas de couvrir la longue traîne des tâches réelles rencontrées en manipulation. En proposant une méthode de récupération sensible à la pose de la main plutôt qu'à l'apparence brute, RoboTok cherche à transformer la vidéo web, ressource déjà abondante et en croissance continue, en une source de supervision exploitable et évolutive pour l'entraînement de politiques. Pour les intégrateurs et équipes de recherche en robotique dextre, cela s'inscrit dans une tendance plus large consistant à s'appuyer sur des données humaines non robotiques pour réduire la dépendance à la téléopération coûteuse, sans toutefois démontrer ici un déploiement matériel réel ni un produit commercialisé : il s'agit d'une contribution méthodologique et expérimentale, évaluée sur benchmarks académiques. Le papier se positionne dans la lignée des approches récentes de pré-entraînement robotique à partir de vidéos humaines à grande échelle, une direction de recherche active pour contourner la rareté des données robot réelles. Le résumé ne mentionne ni entreprise, ni laboratoire nommé, ni calendrier de suite ; il s'agit à ce stade d'une publication de recherche, pas d'une annonce produit ou d'un pilote industriel.

RecherchePaper

1 source

2arXiv cs.RO

LD4WAM : apprendre les dynamiques latentes à partir de vidéos humaines pour des modèles d'action du monde

Des chercheurs ont publié en août 2026 sur arXiv un article présentant LD4WAM, une méthode pour entraîner des World Action Models à partir de vidéos humaines plutôt que de données de téléopération, coûteuses à collecter. Le système associe un Latent Dynamics Model, entraîné par reconstruction sémantique et alignement sur le mouvement réel, à un World Dynamics Action Model en mixture-of-transformers, qui génère des vidéos futures puis en extrait, via des requêtes apprenables, une dynamique latente conditionnant les actions du robot. Pré-entraîné sur un jeu de données unifié de plus de 5 000 heures de vidéos humaines et robotiques, le modèle affiche de bons résultats dans le simulateur RoboTwin et sur des robots réels équipés de pinces et de mains dexterisées, avec une généralisation à des objets et arrière-plans inédits. L'enjeu dépasse la prouesse technique. La vidéo humaine est bien plus abondante et moins chère à collecter que les démonstrations téléopérées, mais son exploitation butait sur un dilemme entre prédiction vidéo pixel par pixel, riche mais non actionnable, et retargeting du mouvement vers le squelette du robot, actionnable mais marqué par un fossé visuel entre corps humain et robot. En proposant une dynamique latente alignée sur le mouvement, agnostique à l'embodiment, LD4WAM cherche à combler ce fossé, ce qui pourrait réduire la dépendance des laboratoires aux campagnes de téléopération pour entraîner des politiques de manipulation, un des principaux goulots d'étranglement du passage à l'échelle des modèles vision-langage-action. Ce travail s'inscrit dans une vague de recherche plus large sur les modèles de monde en robotique, aux côtés d'efforts comme GR00T de NVIDIA, pi-0 de Physical Intelligence ou Helix de Figure, qui explorent aussi l'exploitation de données hétérogènes pour des politiques généralistes. LD4WAM se positionne explicitement contre les deux paradigmes qui l'ont précédé, prédiction vidéo pure et retargeting de mouvement. Il s'agit pour l'instant d'un article déposé sur arXiv, non encore relu par les pairs, sans code publié ni partenariat industriel annoncé, et les démonstrations réelles restent limitées au laboratoire, sans détail sur le taux de réussite.

RecherchePaper

1 source

3arXiv cs.RO

Modélisation unifiée vision-toucher-action à partir de démonstrations humaines pour la manipulation dextérique

Des chercheurs proposent UVTA, un cadre qui exploite des démonstrations humaines enregistrées avec retour tactile pour améliorer les politiques de manipulation dextre des robots. L'équipe a d'abord construit un système de capture de mouvement tactile, qui enregistre de façon synchrone les images, les signaux tactiles et les mouvements de la main. Avec cet outil, elle a constitué le jeu de données UVTA, qui couvre cinq tâches riches en contacts. Il comprend 1 000 démonstrations humaines et 150 démonstrations robot par tâche. Le modèle associé, un Unified Visual-Tactile-Action Model, projette l'humain et le robot dans des représentations tactiles et d'action alignées. Il prédit conjointement les trajectoires futures d'action et de toucher. Les démonstrations humaines supervisent ainsi l'apprentissage de représentations sensibles au contact, et seules les actions du robot sont exécutées au déploiement. Lors d'évaluations sur robot réel, sur les cinq tâches, la méthode atteint 70 % de réussite moyenne. La meilleure base de comparaison visuo-tactile plafonne à 29 %, et une ablation d'architecture à 42 %. L'enjeu tient au goulot d'étranglement des données tactiles. La téléopération de mains dextres ne renvoie à l'opérateur qu'un retour tactile limité, ce qui rend les démonstrations robot riches en toucher difficiles à collecter à grande échelle. Les auteurs contournent le problème avec l'hypothèse que la main change mais que la physique de l'interaction reste la même. Les données humaines deviennent alors une source de supervision plus abondante et plus variée. Les performances progressent avec le nombre de démonstrations humaines et ne saturent pas à 1 000 par tâche. Cela suggère qu'une montée en volume pourrait encore améliorer les résultats, sans que le papier le démontre au-delà. Pour les intégrateurs et les équipes qui développent des politiques de préhension fine, l'idée est de déplacer l'effort de collecte du robot vers l'humain, moins coûteux. Elle vise les tâches où la vision seule échoue, comme l'insertion, la manipulation en occlusion ou le contrôle de force. Il s'agit d'un travail académique, pas d'un produit, et il faut lire les chiffres avec prudence. Le score de 70 % porte sur seulement cinq tâches, avec 150 démonstrations robot par tâche, dans un cadre de laboratoire. Le résumé ne précise ni la main utilisée, ni les capteurs tactiles, ni le nombre d'essais, ni la nature exacte des tâches. L'écart avec les bases de comparaison (29 % et 42 %) est net, mais il dépend de choix de baselines que seul le texte complet permet d'apprécier. Le papier s'inscrit dans un courant de recherche qui cherche à apprendre la manipulation à partir de vidéos et de gants de capture humains, pour dépasser la téléopération. Il ajoute ici la modalité tactile, encore peu présente dans les grands modèles vision-langage-action (VLA). La version 2 de l'article sur arXiv et une page projet (uni-vta.github.io) sont disponibles. Aucun déploiement industriel ni calendrier n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

IntentNav : apprendre la navigation spatiale vers des objets à partir de démonstrations humaines

Une équipe de recherche anonyme a soumis le 9 juin 2026 un préprint arXiv (2606.08029) présentant IntentNav, un framework d'imitation spatiale et visuelle pour la navigation autonome par objets (ObjectNav). La tâche consiste à envoyer un robot chercher un objet non observé dans un environnement inconnu, sans carte préalable, en décidant en temps réel où explorer sous observabilité partielle. L'architecture repose sur deux briques complémentaires : une mémoire BEV (Bird's Eye View) qui encode les régions explorées, les frontières inexplorées et l'historique de trajectoire, et une mémoire visuelle égocentrique qui associe des indices sémantiques à chaque frontière candidate. Un modèle de langage et de vision (VLM) est entraîné sur des démonstrations humaines pour sélectionner la prochaine frontière à explorer, guidé par un "Frontier-based Human-Intent Labeling" qui inspecte en avant les trajectoires humaines pour identifier quelle frontière explique le mieux la direction de recherche du démonstrateur. Les auteurs annoncent des performances état de l'art sur les benchmarks MP3D, HM3D-v1 et HM3D-v2. Le point le plus saillant pour les intégrateurs est le transfert zéro-shot : la même politique VLM, sans fine-tuning supplémentaire, est transférée à trois morphologies distinctes, robot à roues, quadrupède et humanoïde. Cela suppose que l'interface candidate-level fonctionne comme une couche d'abstraction suffisamment générique pour s'affranchir des particularités cinématiques propres à chaque plateforme. Pour un COO industriel, cela ouvre la perspective d'un seul modèle de navigation entraîné sur des démonstrations humaines capable de piloter des flottes hétérogènes sans retraining par morphologie. Réserve importante : la démonstration sim-to-real reste confinée aux benchmarks de simulation Matterport3D et HM3D ; aucun résultat sur hardware physique réel n'est rapporté dans le préprint, ce qui laisse entier le gap entre benchmark et déploiement terrain. IntentNav s'inscrit dans un champ actif où des approches concurrentes comme SemExp (Chaplot et al., 2020), ZSON (Majumdar et al., 2022) ou les méthodes VLM zéro-shot telles qu'EmbodiedGPT et OpenFMNav se disputent la tête des benchmarks HM3D. La contribution distinctive est l'extraction d'intention de haut niveau à partir d'actions humaines de bas niveau via le labeling de frontières, une alternative à l'apprentissage par renforcement pur qui souffre de la rareté des récompenses dans les grands espaces d'exploration. La soumission étant anonyme, affiliations et financements ne sont pas divulgués ; une page projet est référencée sans contenu pleinement accessible à ce stade.

RechercheOpinion

1 source