RecherchearXiv cs.RO 19 octobre 2026

Toutes les actions ne se valent pas : apprendre une estimation précise de la progression à partir de démonstrations imprécises

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent PRIME, un estimateur de progression conçu pour fournir des signaux de récompense denses à l'apprentissage par renforcement en manipulation robotique, à partir de démonstrations humaines imparfaites. Publiée sur arXiv (2610.23769), la méthode construit un graphe pondéré sur les états observés, en reliant des états issus de trajectoires différentes selon leur proximité spatiale et leur cohérence visuelle. Les poids des arêtes encodent les distances spatiales comme coûts de transition, et une recherche de plus court chemin approxime la distance géodésique jusqu'au succès. Les variations de cette distance distinguent l'avancée, la stagnation et le recul, sans supposer une progression monotone dans le temps. Les tests, menés en simulation et en conditions réelles sur des tâches de manipulation de précision, indiquent une efficacité constante selon les tâches et une bonne robustesse face à des données plus ou moins sous-optimales. Le résultat le plus marquant annoncé est un taux de réussite de la politique jusqu'à 5 fois supérieur à celui des bases SFT (réglage supervisé) sur l'insertion de chargeur.

L'enjeu touche un point faible de l'apprentissage à partir de démonstrations. Les estimateurs existants dépendent fortement de données expertes et supposent que chaque action d'une démonstration contribue à la réussite. En assemblage ou en insertion, de subtiles erreurs géométriques provoquent l'échec, et une erreur humaine est alors apprise comme un progrès réel, ce qui corrompt la récompense. En agrégeant l'expérience entre trajectoires, PRIME fournit un a priori global sur le critère de réussite, ce qui permet de tolérer des données de téléopération bruitées, bien plus faciles à collecter à grande échelle que des démonstrations parfaites. L'avantage croît avec le niveau de précision requis, précisément là où les politiques VLA (vision-langage-action) entraînées par imitation plafonnent aujourd'hui. Pour les intégrateurs, c'est une piste pour réduire le coût de curation des données et pour faire passer des cellules de manipulation fine du stade de démonstration à celui de déploiement. Une réserve s'impose toutefois : il s'agit d'une prépublication non évaluée par les pairs, l'article ne détaille pas ici le nombre de tâches, de robots ni d'essais, et un gain relatif de 5 fois dépend beaucoup du niveau de départ, souvent bas, des bases de comparaison.

Ce travail s'inscrit dans la recherche sur les modèles de récompense appris, qui cherchent à remplacer des récompenses codées à la main ou des étiquettes de succès binaires, rares et peu informatives. Il prolonge les approches de progression apprise à partir de vidéos expertes et se positionne face aux politiques généralistes de type Pi-0 ou GR00T, dont le réglage fin reste majoritairement supervisé. Aucun partenaire industriel, pilote ni calendrier de transfert n'est mentionné. La suite logique serait une validation sur des tâches industrielles plus variées, avec un affinage de politique par apprentissage par renforcement guidé par ce signal de progression.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

WALA : apprendre des actions latentes exécutables à partir de démonstrations étiquetées et de vidéos sans action

Des chercheurs présentent WALA (arXiv:2607.11397), un framework qui apprend des actions latentes exécutables à partir de deux types de données distincts : des démonstrations robotiques annotées d'actions et de simples vidéos sans annotation d'action. Le problème visé est bien connu du secteur : les démonstrations robotiques étiquetées coûtent cher à collecter et passent mal à l'échelle, alors que les vidéos humaines et robotiques disponibles en masse restent inexploitables faute d'étiquettes d'action exécutables. WALA fonctionne en deux temps. D'abord, un pré-entraînement d'un modèle d'action latente sémantique-géométrique sur des vidéos, en modélisant l'évolution entre l'observation courante et des observations futures échantillonnées de façon éparse. Plutôt que de reconstruire les pixels bruts, le système prédit les deltas futurs dans l'espace de features DINOv3 et dans l'espace de profondeur dense, ce qui conserve la structure sémantique et géométrique utile à la tâche tout en réduisant la sensibilité aux détails d'apparence. Lors de l'entraînement de la politique, l'encodeur pré-entraîné fournit des cibles d'action latente stables, et le décodeur sert de modèle du monde latent entraînable, avec une supervision conjointe par prédiction d'action robotique, correspondance de cible d'action latente et prédiction de dynamique future. Résultat annoncé : un nouveau record sur RoboCasa avec 75,2% de taux de réussite moyen, ainsi que de bonnes performances sur RoboTwin et en manipulation réelle. L'enjeu pour l'industrie robotique tient moins à la performance brute qu'à la promesse de découplage entre données d'entraînement et coût d'annotation. Si une politique VLA peut effectivement tirer une supervision de dynamique utile de vidéos non annotées, cela ouvre la voie à des jeux de données d'entraînement bien plus vastes sans multiplier les campagnes de téléopération robotique, un goulot d'étranglement connu pour tout intégrateur ou labo qui cherche à généraliser au-delà d'un jeu de tâches restreint. Cela dit, il s'agit d'un résultat de recherche publié sur arXiv, pas d'un produit déployé : les métriques de succès sur RoboCasa et RoboTwin sont des benchmarks de simulation ou semi-contrôlés, et la mention de "manipulation réelle" reste peu détaillée dans l'abstract, sans précision sur le nombre de tâches, le taux de réussite exact en conditions réelles ni le hardware utilisé. Le travail s'inscrit dans la lignée des architectures vision-langage-action (VLA) comme Pi-0 ou GR00T N2, qui cherchent à unifier perception, langage et contrôle moteur dans un même backbone, et dans la tendance plus large des "world models" latents pour la robotique, où l'usage de features pré-entraînées (ici DINOv3) remplace la reconstruction pixel pour la supervision. Aucun acteur français ou européen n'est mentionné dans cet abstract. Les suites logiques incluraient une publication complète avec code et poids, ainsi que des tests de généralisation croisée entre familles de robots, un point sur lequel l'abstract reste volontairement vague.

RechercheActu

1 source

2arXiv cs.RO

TaRL : apprendre des récompenses générales et physiques à partir de démonstrations tactiles

Des chercheurs de l'équipe EmbodiedAI de la NTU (Nanyang Technological University) proposent TaRL (Tactile Reward Learning), un cadre qui apprend des fonctions de récompense à partir de démonstrations tactiles, pour l'apprentissage par renforcement (RL) de tâches de manipulation riches en contacts. Le système prend en entrée une séquence de cartes de déformation tactile et régresse un indice d'avancement de la tâche, en s'entraînant à la fois sur des démonstrations réussies et sur des échecs. Il a été évalué sur quatre tâches en simulation et deux en conditions réelles. Utilisé comme récompense de guidage (reward shaping), il améliore l'efficacité d'échantillonnage et le taux de succès final : sur l'enfilage d'écrou (nut threading), le succès passe de 34 % à 56 % en simulation, et sur le ramassage d'un cube, de 37 % à 97 % sur robot réel. Combiner récompenses tactiles et visuelles améliore encore les résultats. Un modèle entraîné sur le placement de boîtes a aussi été déployé directement sur le placement de canettes, avec un gain notable sur l'apprentissage de cette nouvelle tâche. L'intérêt tient à un verrou bien connu du RL : les récompenses éparses ralentissent l'apprentissage, et les récompenses denses sont difficiles à spécifier à la main. Les approches par récompense visuelle, apprises à partir de démonstrations sans actions, contournent le problème, mais elles ne voient que les objectifs visibles. Or beaucoup de tâches de manipulation dépendent de ce que la caméra ne capte pas : fermeté d'une prise, direction et intensité des forces appliquées. Le signal tactile décrit l'interaction locale entre robot et objet, ce qui le rend aussi robuste aux changements de disposition de la scène, comme la position de l'objet. Pour les intégrateurs, c'est une piste pour réduire l'ingénierie de récompenses sur des tâches d'assemblage ou d'insertion. Le saut de 37 % à 97 % est frappant, mais il porte sur une tâche simple, un seul cube, et ne dit rien de la tenue sur des pièces industrielles variées. Les résultats restent ceux d'un article préprint, sans validation indépendante ni test en cadence de production. Ce travail s'inscrit dans la montée des capteurs tactiles à base de déformation (type GelSight) et de l'apprentissage de récompenses à partir de vidéos, où la vision domine encore. Il complète les politiques vision-langage-action (VLA), majoritairement visuelles, qui peinent sur les tâches où la force compte. Le gain en généralisation d'un objet à l'autre reste à confirmer sur des catégories plus éloignées. Les prochaines étapes probables sont des tâches à plus fort contact, des capteurs différents et une intégration avec des modèles de fondation. Le code et la page projet sont annoncés, ce qui permettra à d'autres laboratoires de reproduire les chiffres.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Adaptation de modèles vision-langage-action (VLA) à partir d'une seule démonstration vidéo humaine

CapPro, un cadre de travail décrit dans un preprint arXiv (2610.19746), permet à une politique VLA (vision-language-action, modèle qui traduit images et instructions en actions robotiques) préentraînée de s'adapter à une tâche de manipulation jamais vue à partir d'une seule vidéo de démonstration humaine. Le système repose sur deux modules. Le premier construit une représentation compacte de la vidéo par sélection apprise de tokens visuels, et apprend des représentations de requête liées à la tâche grâce à une supervision par légendes de phases. Le second injecte cette vidéo compacte et ces représentations dans le contexte de conditionnement d'action de la politique VLA, en préservant pour l'essentiel son générateur d'actions d'origine. Aucune démonstration robot sur la tâche cible ni aucun réglage fin spécifique n'est requis. Selon les auteurs, CapPro améliore la performance moyenne sur des groupes de tâches cibles inédites, tout en maintenant des résultats comparables sur les tâches sources. Le résumé ne fournit ni taux de succès chiffrés, ni nom du VLA de base, ni plateforme robotique. L'enjeu est celui du coût d'adaptation, l'un des principaux freins au déploiement des VLA. Aujourd'hui, faire exécuter une nouvelle tâche à un modèle généraliste suppose en général de collecter des démonstrations téléopérées puis de relancer un entraînement, deux postes coûteux en main-d'œuvre et en calcul. Remplacer cela par une vidéo filmée d'un opérateur humain, sans équipement robotique, rendrait la mise en service de nouvelles tâches bien plus accessible pour un intégrateur ou un industriel. Un point mérite attention: la vidéo sert de guide d'exécution et non de trajectoire à imiter, ce qui évite le problème d'alignement entre morphologie humaine et robotique. Il faut toutefois rester prudent. L'évaluation décrite concerne des groupes de tâches « inédits » dont la proximité avec l'entraînement n'est pas précisée, et un gain moyen peut masquer de fortes disparités selon les tâches. Aucun résultat en environnement industriel réel n'est mentionné. Ces travaux s'inscrivent dans la recherche sur l'adaptation des VLA, après la montée en puissance de modèles entraînés sur de vastes jeux de données robotiques, comme Pi-0, GR00T ou Helix, dont la généralisation hors distribution reste limitée. Des approches concurrentes exploitent déjà les vidéos humaines, soit en préentraînement, soit via le retargeting de trajectoires, soit par du fine-tuning léger. CapPro se distingue en visant l'adaptation à l'inférence, sans mise à jour des poids. Reste à voir si la méthode tient face à des tâches longues, des objets inconnus ou des vidéos prises dans des conditions imparfaites, et si le code et les benchmarks seront publiés pour permettre une reproduction indépendante.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Dex-One2Many : apprendre la manipulation dextérique à partir d'une seule démonstration humaine

Des chercheurs présentent Dex-One2Many, un cadre « real-to-sim-to-real » qui apprend une politique de manipulation dextre généralisable à partir d'une seule vidéo de démonstration humaine. Le système convertit la vidéo en une séquence de graphes de scène, c'est-à-dire des représentations des relations entre la main, les outils et les objets à chaque étape de la tâche. Ces graphes servent à deux choses : ils contraignent la génération d'états de réinitialisation variés en simulation, et ils fournissent une récompense dense pour chaque étape. L'entraînement par apprentissage par renforcement (RL) se fait entièrement en simulation, puis la politique est transférée sans réglage supplémentaire (zero-shot) vers une main robotique multi-doigts réelle. Sur cinq tâches d'usage d'outils et de manipulation, la méthode dépasse les approches de référence de 6,5 % dans les configurations vues pendant la démonstration, et l'écart atteint 71 % dans les scénarios non vus. Ce travail s'attaque à un compromis bien identifié. Beaucoup de méthodes actuelles d'apprentissage à partir d'une vidéo humaine imitent strictement les mouvements montrés, ce qui limite leur généralisation à des positions initiales d'objet, des positions cibles ou des prises absentes de la vidéo. À l'inverse, le RL pur généralise largement, mais explore mal les espaces de grande dimension d'une main dextre sur des tâches à plusieurs étapes. En contraignant des relations plutôt que des poses exactes, les graphes de scène couvrent des configurations et des prises au-delà de la démonstration, tout en gardant l'exploration courte et guidée. Le gain modeste en configurations connues contre un écart de 71 % hors distribution suggère que la valeur de l'approche tient surtout à la robustesse. Cela compte pour les intégrateurs, car la collecte de démonstrations robotiques reste coûteuse. Il faut toutefois rester prudent : il s'agit d'un préprint (arXiv, v1) sans relecture par les pairs. Le résumé ne précise ni les baselines, ni le matériel, ni le nombre d'essais réels, et cinq tâches de laboratoire ne disent rien de la fiabilité en production. Le contexte est celui d'une course à la dextérité qui mobilise à la fois la recherche académique et les acteurs industriels des mains humanoïdes. Deux grandes familles s'y opposent : l'imitation à partir de vidéos humaines, qui réduit le coût des données mais généralise mal, et le RL en simulation, qui généralise mieux mais exige un important travail de conception de la récompense et de l'exploration. Dex-One2Many se place entre les deux, en utilisant la structure symbolique de la scène comme prior. Aucun pilote industriel, délai de commercialisation ou code publié n'est mentionné dans le résumé. La suite logique serait des évaluations sur davantage de tâches, de mains et de scènes encombrées, ainsi qu'une comparaison avec les modèles vision-langage-action (VLA) généralistes, qui visent la même promesse d'apprentissage à partir de peu de données.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source