RecherchearXiv cs.RO 18 septembre 2026

ReShoot : randomisation visuelle générative du domaine pour l'apprentissage de politiques visuomotrices

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article publié sur arXiv sous la référence 2609.19661 présente ReShoot, une méthode qui produit de la diversité visuelle en re-rendant des démonstrations robotiques déjà enregistrées, plutôt que d'en recollecter de nouvelles pour chaque changement d'apparence. Un modèle vision-langage décrit la scène et modifie un attribut ciblé, comme le fond, la couleur d'un objet ou un matériau, puis un générateur vidéo conditionné par les contours re-rend les deux vues caméra en conséquence ; l'instruction textuelle associée est mise à jour, mais la séquence d'actions et la trajectoire proprioceptive sont conservées à l'identique, sans réétiquetage. Sur le benchmark LIBERO, une politique entraînée à parts égales sur données réelles et re-générées obtient un taux de réussite quasi identique à un entraînement uniquement sur données réelles (96,5% contre 96,9%) et améliore la robustesse aux perturbations de scène sur LIBERO-Plus (85,5% contre 82,3%). Sur deux plateformes robotiques physiques, avec seulement 43 et 100 démonstrations pré-collectées, le taux de réussite sur des objets recolorés passe de 0% à respectivement 42,9% et 47,5%, sans dégradation des performances sur l'apparence d'origine.

Ce résultat vise un point faible connu des politiques visuomotrices apprises par imitation : elles restent souvent collées aux conditions visuelles précises de leurs démonstrations d'entraînement, si bien qu'un simple changement de couleur ou de décor fait chuter drastiquement leurs performances. La parade habituelle, recollecter des démonstrations pour chaque nouveau contexte visuel, mobilise à chaque fois un robot, un environnement contrôlé et un opérateur humain, ce qui freine le déploiement à grande échelle en usine ou en entrepôt. En déplaçant l'effort de la collecte vers la génération, ReShoot suggère qu'une part significative de la robustesse visuelle recherchée par les intégrateurs peut s'obtenir sans temps robot supplémentaire ni simulation photoréaliste coûteuse à construire.

Cette approche s'inscrit dans la lignée des travaux sur la randomisation de domaine et l'augmentation de données par génération, qui cherchent depuis plusieurs années à combler l'écart entre les démonstrations limitées disponibles et la diversité des conditions réelles d'exploitation. Sa particularité est de conserver intégralement les labels d'action et de proprioception du geste original, évitant le risque de réétiquetage erroné propre à d'autres pipelines génératifs. Le résumé ne précise ni les plateformes robotiques utilisées ni un calendrier de publication du code, ce qui place pour l'instant ReShoot au stade de publication de recherche plutôt que d'outil disponible pour les intégrateurs.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Ordered Action Tokens pour l'apprentissage de politiques visuomotrices

Des chercheurs publient sur arXiv (arXiv:2607.21670v1) une nouvelle méthode de tokenisation d'actions pour les politiques visuomotrices de robots, baptisée OAT (Ordered Action Tokenization). Le problème visé est concret : pour piloter un bras ou un robot humanoïde via un modèle vision-langage-action (VLA), il faut convertir des séquences d'actions continues en tokens discrets, une étape clé de l'architecture. Les méthodes existantes échouent sur deux fronts, soit elles produisent des séquences de tokens beaucoup trop longues, soit elles génèrent des tokens latents appris mais sans structure interne, ce qui les rend peu compatibles avec les politiques de contrôle en aval. OAT combine un transformer à registres, une quantification scalaire finie et des mécanismes d'entraînement qui imposent un ordre aux tokens produits. Concrètement, chaque préfixe de la séquence de tokens est entraîné à pouvoir, à lui seul, se décoder en une action valide, les premiers tokens portant l'information de contrôle grossière et les suivants affinant les détails résiduels. Les auteurs ont testé la méthode sur trois architectures de politiques différentes et plus de 60 tâches, couvrant cinq bancs d'essai en simulation ainsi que des scénarios réels. Cette structure ordonnée change la donne opérationnelle : elle permet un compromis "anytime" entre coût de calcul à l'inférence et précision du geste, un point critique pour le déploiement embarqué où la latence contraint directement la cadence de contrôle. Pour les intégrateurs travaillant avec des politiques autorégressives ou des architectures hybrides combinant tokens et experts de type flow, cela ouvre la possibilité d'ajuster dynamiquement le compromis vitesse-précision sans changer de modèle, un besoin réel face aux VLA actuels souvent jugés trop lents pour du contrôle temps réel industriel. Le travail s'inscrit dans la lignée des tokenizers d'actions développés pour les politiques VLA type Pi-0 ou GR00T N2, où l'encodage des actions reste un goulot d'étranglement identifié par la recherche depuis l'essor de ces modèles. En comparant explicitement autorégression pure et co-entraînement par tokens dans un cadre flow-based, les auteurs positionnent OAT comme une brique d'interface générique, potentiellement réutilisable au-delà des architectures testées dans l'étude.

RechercheActu

1 source

2arXiv cs.RO

Robots à trois bras : apprentissage par imitation visuomotrice de politiques robotiques

Voici l'article traduit et résumé. Une équipe de recherche présente TriManPolicy, un système d'apprentissage par imitation conçu pour piloter des robots à trois bras simultanément. Le problème de départ est concret : la téléopération bi-manuelle classique fonctionne bien quand le nombre de canaux de contrôle correspond entre l'opérateur humain et le robot, mais elle échoue dès qu'un robot dispose d'un troisième bras, puisqu'un seul opérateur ne peut piloter en continu que deux membres à la fois. Basculer entre paires de bras force alors à enregistrer des mouvements indépendants de façon séquentielle, ce qui pousse l'apprentissage par clonage comportemental à reproduire des délais imposés par l'interface de contrôle plutôt que par la tâche elle-même. Le composant central de TriManPolicy est le Dependency-Aware Tri-Arm Scheduling (DATS), un algorithme qui retraite les démonstrations hors ligne : il conserve les segments sensorimoteurs locaux tels que démontrés mais les repositionne dans le temps selon des contraintes d'ordre des tâches et d'usage des bras, validées par un humain. Le résultat entraîne une politique unique et synchrone pour les trois bras, sans nécessiter le graphe de dépendances ni le planificateur au moment du déploiement. Sur six tâches réelles complexes, les politiques entraînées sur données retimées par DATS montrent une coordination plus efficace, avec un taux de succès comparable aux méthodes classiques. Cette avancée s'attaque à un goulot d'étranglement peu discuté de la robotique humanoïde et multi-bras : la collecte de données de démonstration reste le facteur limitant pour entraîner des politiques visuomotrices de type VLA, et les systèmes à trois bras ou plus (bras additionnels, mains bimanuelles montées sur base mobile) sont de plus en plus courants dans les plateformes industrielles. En prouvant qu'il est possible de découpler la structure temporelle de la démonstration humaine de celle exigée par la tâche, TriManPolicy ouvre la voie à une collecte de données plus rapide et moins coûteuse pour des architectures robotiques complexes, un enjeu direct pour les intégrateurs qui cherchent à réduire le coût par démonstration sans sacrifier la qualité de coordination entre membres. Ce travail s'inscrit dans la lignée plus large des recherches sur l'apprentissage par imitation visuomoteur, où la majorité des systèmes existants (type ALOHA, Mobile ALOHA ou les plateformes bimanuelles standard) suppose une correspondance stricte entre canaux de téléopération humains et effecteurs robotiques. En proposant une méthode de retiming offline validée par supervision humaine plutôt qu'un simple filtrage des temps morts, les auteurs montrent que DATS modifie réellement la structure de supervision entre bras. Les six tâches testées en conditions réelles suggèrent une piste concrète pour les futurs travaux sur les architectures à quatre bras ou plus, notamment pour les robots humanoïdes à deux bras plus une base mobile ou un troisième effecteur dédié à une tâche auxiliaire.

RecherchePaper

1 source

3arXiv cs.RO

Attention à l'écart : repenser la conception des entrées-sorties pour l'apprentissage de politiques visuomotrices riches en contact

Une équipe de recherche a mis en ligne une nouvelle version (v2) de l'article arXiv "Mind the Gap: Rethinking I/O Design for Contact-Rich Visuomotor Policy Learning" (arXiv:2602.08776), consacré à un choix d'architecture resté largement implicite dans l'apprentissage de politiques robotiques par imitation à partir de données de téléopération. Lorsqu'un opérateur télécommande un bras via un dispositif maître, chaque démonstration contient deux signaux distincts : l'état d'exécution réel du robot (E) et la commande envoyée par l'opérateur (C). Une politique entraînée en E2E (exécution vers exécution) perd les écarts de commande qui génèrent justement le contact physique, tandis qu'une politique E2C (exécution vers commande) conserve ces écarts mais ignore la réponse réelle du robot. Les auteurs proposent EC2C (Dual-State Conditioning) : le modèle est conditionné simultanément sur E et C, et prédit l'évolution future de C, ce qui transforme l'écart commande-exécution en signal exploitable de contact, de latence, de charge transportée et de compensation gestuelle, souvent corrélé à la force appliquée en régime quasi statique. Testée sur un montage bas coût, sans capteur de force, sans peau tactile ni retour de courant moteur, EC2C surpasse E2E et une référence E2C renforcée sur plusieurs tâches réelles combinant contact, sensibilité aux forces et dynamique rapide. L'intérêt pratique vise directement les intégrateurs : obtenir un signal proxy de force sans capteur dédié réduit le coût et la complexité du matériel, un enjeu central pour les bras et mains robotiques manipulant des objets fragiles ou en contact prolongé. Le résultat interroge aussi une pratique répandue dans les pipelines d'entraînement de politiques vision-langage-action (VLA), où le choix d'enregistrer l'exécution, la commande, ou les deux, est rarement documenté ni justifié, alors qu'il conditionne directement la capacité du modèle à généraliser des comportements de contact fin. Les auteurs restent prudents sur la portée de leurs résultats : les gains sont démontrés sur un nombre limité de tâches et un seul montage matériel, non encore validés à l'échelle de déploiements industriels ni comparés sur des plateformes commerciales. Ce travail s'inscrit dans un courant de recherche qui cherche à combler l'écart entre démonstrations de téléopération et politiques robustes en conditions réelles, particulièrement pour les tâches à contact riche où le clonage comportemental classique échoue souvent faute de signal de force exploitable. Au-delà du réglage E/C, les auteurs formulent une extension nommée latency-adaptive inpainting, pensée pour les politiques à prédiction d'actions par blocs (action chunking), et discutent des conditions dans lesquelles un historique temporel long aide l'inférence de comportements dynamiques ou, au contraire, introduit une confusion causale qui dégrade l'apprentissage. Aucun partenaire industriel, aucune plateforme commerciale ni aucun calendrier de déploiement ne sont mentionnés à ce stade : il s'agit d'une contribution méthodologique destinée à orienter la conception des futurs pipelines de collecte de données de téléopération, pas d'un produit ou d'un pilote annoncé.

RecherchePaper

1 source

4arXiv cs.RO

AffordTrajDP : apprentissage dynamique de politiques visuomotrices guidées par affordance pour la manipulation robotique

Des chercheurs proposent AffordTrajDP, un nouveau framework d'apprentissage par imitation guidé par affordances pour la manipulation robotique, publié en préprint sur arXiv début août 2026. Contrairement aux approches classiques qui figent un point de contact statique entre l'effecteur et l'objet cible, ce système construit une trajectoire d'affordance dynamique : à partir d'une observation RGB-D, un point d'ancrage est propagé dans le temps en suivant la pose SE(3) de l'objet, ce qui donne une guidance cohérente tout au long du geste plutôt qu'une simple instruction figée en début de tâche. Sur le benchmark simulé ManiSkill3, la méthode atteint un taux de réussite moyen de 70,0 %, soit jusqu'à 17,8 points de mieux que les meilleures méthodes concurrentes. Des essais en conditions réelles ont été menés sur des bras robotiques Galaxea A1 et UR7e, sur six tâches de précision (empilement de cubes, prise de gobelet, insertion d'adaptateur, anneau sur tige, dépôt en bol, insertion USB), avec des tests sur objets vus et non vus pour le bras Galaxea A1. L'enjeu dépasse la simple performance chiffrée : les affordances statiques dérivent souvent après le contact initial, surtout dans les tâches de précision ou quand la position de l'objet varie légèrement, un problème classique de fossé entre démonstration en labo et robustesse en conditions réelles. En rendant la guidance sensible à l'état de l'objet plutôt qu'à un point fixe défini à l'avance, AffordTrajDP s'attaque directement à ce goulot d'étranglement, un signal pertinent pour les intégrateurs qui cherchent des politiques visuo-motrices capables de tolérer le désordre réel d'un poste de production ou d'entrepôt, plutôt que des démonstrations calibrées en environnement contrôlé. Le travail s'inscrit dans la lignée des méthodes d'apprentissage par imitation guidées par affordances, qui cherchent à compresser la perception visuelle en contraintes géométriques exploitables pour réduire les besoins en données d'entraînement. Les auteurs présentent des ablations pour isoler la contribution de chaque composant du système. À ce stade, il s'agit d'un résultat de recherche en préprint, non d'un produit commercial ni d'un déploiement industriel annoncé.

RecherchePaper

1 source