Diffusion par trajectoires à partir d'une seule vidéo humaine pour une manipulation généralisable

Des chercheurs ont publié sur arXiv (référence 2610.21792) TDV, un cadre d'apprentissage par imitation qui apprend à manipuler des objets à partir d'une seule vidéo de démonstration humaine, sans télé-opération ni étiquettes d'actions. Le principe: au lieu de traiter les pixels de la vidéo, TDV recourt à des estimateurs de pose 6D (position et orientation d'un objet dans l'espace) interchangeables, de type plug-and-play, pour extraire la trajectoire des seuls objets pertinents pour la tâche. Cette trajectoire sert ensuite de représentation intermédiaire pour générer des données d'entraînement par diffusion. Sur le banc de simulation RLBench, la méthode dépasse les approches antérieures et atteint des taux de réussite proches de 100 % sur sept tâches. Des essais en conditions réelles montrent une généralisation entre morphologies de robots à partir d'une démonstration humaine unique. Le résumé ne donne ni nom de robot, ni nombre d'essais réels, ni temps de cycle, ni charge utile.

L'intérêt pour l'industrie tient au goulot d'étranglement que vise ce travail: le coût de collecte des démonstrations. La télé-opération exige du matériel dédié et des opérateurs formés, ce qui freine le passage à l'échelle des politiques de type VLA (vision-langage-action). Une approche qui transforme une simple vidéo humaine en données exploitables, indépendamment du fond, du point de vue de la caméra et du robot cible, pourrait réduire le temps de programmation d'une nouvelle tâche chez un intégrateur. Il faut toutefois rester prudent: RLBench est un environnement simulé, où des scores proches de 100 % sont fréquents sur des tâches bien cadrées, et le volet réel est décrit sans chiffres. La dépendance à la pose 6D est aussi une limite, car elle suppose des objets que l'on sait suivre de façon fiable, ce qui est plus difficile avec des objets déformables, transparents ou partiellement occultés.

Ce travail s'inscrit dans un courant plus large qui cherche à combler l'écart entre vidéos humaines et actions robotiques, via le suivi de points, les flux optiques ou les représentations centrées sur les objets, en concurrence avec les grands jeux de données téléopérés derrière des modèles comme Pi-0 ou GR00T. L'avantage revendiqué de TDV est la modularité: l'estimateur de pose peut être remplacé à mesure que les modèles de perception progressent. La suite logique serait une validation sur des tâches plus longues, des objets variés et plusieurs robots, avec des métriques réelles publiées. Il s'agit pour l'instant d'une préimpression, sans produit ni déploiement industriel annoncé.