Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

Décomposer et réorganiser : planification par primitives et politiques visuomotrices apprises par démonstration

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Traduction/résumé en cours, article de recherche robotique (arXiv), pas de deploiement produit, j'adapte la structure à ce contenu académique.

Une équipe de chercheurs propose DR-LfD (Decomposed and Reorganized Skills Learned from Demonstrations), un nouveau cadre pour la manipulation robotique dextre à long horizon, détaillé dans un article publié sur arXiv (référence 2607.25397v1). Le système décompose des démonstrations humaines en compétences élémentaires ("atomic skills"), identifiées à partir des relations de contact entre le robot et les objets manipulés. Chaque compétence est ensuite reproduite soit sous forme de politique visuomotrice (un modèle qui associe directement perception visuelle et commande motrice), soit sous forme de primitive centrée sur l'objet. Ces briques sont intégrées dans un système de planification de tâches et de mouvements (TAMP), avec un modélisation précise des conditions de déclenchement, d'arrêt et des contraintes de chaque politique. Les auteurs ont testé leur approche sur des bancs d'essai réels et simulés couvrant des scénarios variés, incluant des tâches à étapes multiples, des configurations inédites et des contraintes physiques spécifiques.

L'enjeu principal est de résoudre une tension classique du secteur : les méthodes de planification symbolique (TAMP) excellent en raisonnement de haut niveau mais deviennent fragiles dès que les opérations impliquent des contacts complexes, tandis que l'apprentissage par imitation (IL) gère bien le retour visuel mais généralise mal dans l'espace et peine sur les tâches multi-étapes. En combinant les deux, DR-LfD change surtout l'économie des données d'entraînement : au lieu de nécessiter un volume de démonstrations qui croît de façon exponentielle avec le nombre de séquences de tâches possibles, le besoin en données ne dépend plus que du nombre de types de compétences distincts, chacune nécessitant relativement peu d'exemples. C'est une piste concrète pour réduire le coût d'apprentissage sur des tâches longues et variées, un frein connu au déploiement de politiques visuomotrices à l'échelle industrielle.

Le travail s'inscrit dans la lignée des recherches cherchant à réconcilier planification symbolique et apprentissage par démonstration, deux approches historiquement développées séparément dans la littérature robotique. Les auteurs mettent en avant la capacité de leur méthode à réorganiser des compétences apprises depuis des sources différentes, un point clé pour la modularité. Le site du projet (dr-lfd.github.io) propose des démonstrations complémentaires à l'article.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

Agir ou ne pas agir : garantir la sécurité des politiques visuomotrices apprises par démonstration
1arXiv cs.RO 

Agir ou ne pas agir : garantir la sécurité des politiques visuomotrices apprises par démonstration

Une équipe de chercheurs a publié sur arXiv (référence 2605.01201) une analyse formelle de la sécurité des politiques visuomotrices apprises par imitation (imitation learning, IL). Le papier propose un concept baptisé execution guarantee : une mesure de sécurité indépendante de l'architecture de la politique qui certifie le succès maximal d'une tâche malgré des variations mineures à l'exécution, à l'intérieur d'une région définie de l'espace des états. Les chercheurs exploitent les avancées récentes en synthèse de vue (view synthesis) pour identifier ces régions, puis s'appuient sur la condition de sous-tangentialité de Nagumo, un résultat classique d'invariance ensembliste, pour formaliser et opérationnaliser cette garantie. Les expériences ont été conduites sur un bras Franka Emika, à la fois en simulation et en environnement réel. Le travail comble un angle mort structurel de la recherche en IL : jusqu'ici, la performance d'une politique se mesurait quasi exclusivement au taux de succès des tâches, sans considération de sécurité. Pour la robotique de terrain, qu'il s'agisse de manipulation industrielle, d'environnements partagés humain-robot ou de logistique, cette lacune est bloquante. Un robot IL déployé doit savoir ne pas agir si les conditions de sécurité ne sont pas réunies, quitte à enregistrer une performance nulle. L'execution guarantee fournit pour la première fois un cadre théorique actionnable pour arbitrer ce compromis sécurité/performance. Le papier démontre par ailleurs qu'une politique de récupération (recovery policy), générée comme sous-produit de l'analyse, permet d'atténuer ce compromis en pratique en augmentant le taux de succès global. La sécurité dans l'apprentissage par imitation est une problématique historiquement sous-explorée. Si la théorie du contrôle classique dispose d'outils matures comme les fonctions de barrière de contrôle (Control Barrier Functions, CBF), leur extension aux politiques visuomotrices à réseaux neuronaux reste difficile : ces politiques n'exposent pas de représentation d'état symbolique exploitable par les formalismes classiques. Ce papier s'inscrit dans un courant émergent cherchant à combiner garanties formelles et apprentissage profond, aux côtés de travaux similaires menés à Carnegie Mellon et Stanford sur les approches CBF-IL. La prochaine étape naturelle serait l'extension à des scènes dynamiques et à des politiques de type VLA (Vision-Language-Action), où la variabilité de l'entrée visuelle rend les garanties de sécurité encore plus difficiles à établir à l'échelle.

RechercheOpinion
1 source
2arXiv cs.RO 

Robots à trois bras : apprentissage par imitation visuomotrice de politiques robotiques

Voici l'article traduit et résumé. Une équipe de recherche présente TriManPolicy, un système d'apprentissage par imitation conçu pour piloter des robots à trois bras simultanément. Le problème de départ est concret : la téléopération bi-manuelle classique fonctionne bien quand le nombre de canaux de contrôle correspond entre l'opérateur humain et le robot, mais elle échoue dès qu'un robot dispose d'un troisième bras, puisqu'un seul opérateur ne peut piloter en continu que deux membres à la fois. Basculer entre paires de bras force alors à enregistrer des mouvements indépendants de façon séquentielle, ce qui pousse l'apprentissage par clonage comportemental à reproduire des délais imposés par l'interface de contrôle plutôt que par la tâche elle-même. Le composant central de TriManPolicy est le Dependency-Aware Tri-Arm Scheduling (DATS), un algorithme qui retraite les démonstrations hors ligne : il conserve les segments sensorimoteurs locaux tels que démontrés mais les repositionne dans le temps selon des contraintes d'ordre des tâches et d'usage des bras, validées par un humain. Le résultat entraîne une politique unique et synchrone pour les trois bras, sans nécessiter le graphe de dépendances ni le planificateur au moment du déploiement. Sur six tâches réelles complexes, les politiques entraînées sur données retimées par DATS montrent une coordination plus efficace, avec un taux de succès comparable aux méthodes classiques. Cette avancée s'attaque à un goulot d'étranglement peu discuté de la robotique humanoïde et multi-bras : la collecte de données de démonstration reste le facteur limitant pour entraîner des politiques visuomotrices de type VLA, et les systèmes à trois bras ou plus (bras additionnels, mains bimanuelles montées sur base mobile) sont de plus en plus courants dans les plateformes industrielles. En prouvant qu'il est possible de découpler la structure temporelle de la démonstration humaine de celle exigée par la tâche, TriManPolicy ouvre la voie à une collecte de données plus rapide et moins coûteuse pour des architectures robotiques complexes, un enjeu direct pour les intégrateurs qui cherchent à réduire le coût par démonstration sans sacrifier la qualité de coordination entre membres. Ce travail s'inscrit dans la lignée plus large des recherches sur l'apprentissage par imitation visuomoteur, où la majorité des systèmes existants (type ALOHA, Mobile ALOHA ou les plateformes bimanuelles standard) suppose une correspondance stricte entre canaux de téléopération humains et effecteurs robotiques. En proposant une méthode de retiming offline validée par supervision humaine plutôt qu'un simple filtrage des temps morts, les auteurs montrent que DATS modifie réellement la structure de supervision entre bras. Les six tâches testées en conditions réelles suggèrent une piste concrète pour les futurs travaux sur les architectures à quatre bras ou plus, notamment pour les robots humanoïdes à deux bras plus une base mobile ou un troisième effecteur dédié à une tâche auxiliaire.

RecherchePaper
1 source
Une démonstration vaut mille trajectoires : augmentation vue-action pour les politiques visuomotrices
3arXiv cs.RO 

Une démonstration vaut mille trajectoires : augmentation vue-action pour les politiques visuomotrices

Une équipe de chercheurs a publié en juin 2026 (arXiv:2606.19586) un cadre d'augmentation de données baptisé Action-View Augmentation, conçu pour améliorer la robustesse des politiques visuomotrices dans les tâches de manipulation robotique. Le système repose sur un préhenseur parallèle portable équipé d'une unique caméra fisheye montée en configuration eye-in-hand, capable de capturer des démonstrations réelles en milieu non contrôlé. À partir d'une seule démonstration humaine, le framework génère automatiquement des séquences d'images fisheye visuellement réalistes ainsi que des trajectoires d'actions physiquement cohérentes. Pour reconstruire et éditer la scène 3D en y introduisant des objets inédits, les auteurs ont développé une nouvelle formulation de Gaussian Splatting adaptée aux champs de vision larges des optiques fisheye. Une optimisation de trajectoire produit ensuite des chemins fluides, sans collision et compatibles avec le rendu de nouvelles vues caméra. Les expériences menées en simulation et en environnement réel montrent une amélioration du taux de succès sur plusieurs tâches de manipulation, aussi bien dans des scènes identiques qu'en présence d'obstacles requérant un évitement de collision. L'enjeu central est la fragilité des politiques visuomotrices actuelles face aux observations hors-distribution : une légère variation de configuration initiale ou un obstacle imprévu suffit à provoquer un échec d'exécution catastrophique. Collecter suffisamment de données pour couvrir ces variations est coûteux et chronophage, ce qui constitue l'un des principaux freins à l'industrialisation de la manipulation robotique. Le titre du papier résume l'ambition : multiplier artificiellement la valeur d'une seule démonstration réelle pour entraîner des politiques plus robustes. L'adaptation du Gaussian Splatting aux optiques fisheye, jusqu'ici peu traitée dans la littérature robotique, élargit le champ d'application à des setups matériels légers et peu coûteux. Ce type d'approche répond directement au problème du sim-to-real gap en générant des données synthétiques ancrées dans une scène réelle reconstruite, plutôt qu'en simulateurs déconnectés du terrain. Ce travail s'inscrit dans la dynamique des politiques de manipulation end-to-end, où des systèmes comme pi-0 de Physical Intelligence ou les architectures à diffusion (Diffusion Policy, ACT) ont prouvé que l'imitation de démonstrations humaines peut générer des comportements complexes, mais restent gourmands en données. Le Gaussian Splatting, popularisé à partir de 2023, s'est progressivement imposé en robotique grâce à sa capacité à synthétiser des vues nouvelles de haute qualité à partir de captures réelles. L'approche eye-in-hand à caméra fisheye se distingue des setups multi-capteurs fixes, réduisant le matériel embarqué à un seul composant. Aucun déploiement industriel n'est annoncé à ce stade : il s'agit exclusivement d'un résultat académique, sans partenariat industriel déclaré ni timeline commerciale. Les prochaines étapes naturelles concerneraient l'évaluation à plus grande échelle et l'intégration dans des pipelines de fine-tuning pour des politiques de type VLA (Vision-Language-Action).

RecherchePaper
1 source
Ordered Action Tokens pour l'apprentissage de politiques visuomotrices
4arXiv cs.RO 

Ordered Action Tokens pour l'apprentissage de politiques visuomotrices

Des chercheurs publient sur arXiv (arXiv:2607.21670v1) une nouvelle méthode de tokenisation d'actions pour les politiques visuomotrices de robots, baptisée OAT (Ordered Action Tokenization). Le problème visé est concret : pour piloter un bras ou un robot humanoïde via un modèle vision-langage-action (VLA), il faut convertir des séquences d'actions continues en tokens discrets, une étape clé de l'architecture. Les méthodes existantes échouent sur deux fronts, soit elles produisent des séquences de tokens beaucoup trop longues, soit elles génèrent des tokens latents appris mais sans structure interne, ce qui les rend peu compatibles avec les politiques de contrôle en aval. OAT combine un transformer à registres, une quantification scalaire finie et des mécanismes d'entraînement qui imposent un ordre aux tokens produits. Concrètement, chaque préfixe de la séquence de tokens est entraîné à pouvoir, à lui seul, se décoder en une action valide, les premiers tokens portant l'information de contrôle grossière et les suivants affinant les détails résiduels. Les auteurs ont testé la méthode sur trois architectures de politiques différentes et plus de 60 tâches, couvrant cinq bancs d'essai en simulation ainsi que des scénarios réels. Cette structure ordonnée change la donne opérationnelle : elle permet un compromis "anytime" entre coût de calcul à l'inférence et précision du geste, un point critique pour le déploiement embarqué où la latence contraint directement la cadence de contrôle. Pour les intégrateurs travaillant avec des politiques autorégressives ou des architectures hybrides combinant tokens et experts de type flow, cela ouvre la possibilité d'ajuster dynamiquement le compromis vitesse-précision sans changer de modèle, un besoin réel face aux VLA actuels souvent jugés trop lents pour du contrôle temps réel industriel. Le travail s'inscrit dans la lignée des tokenizers d'actions développés pour les politiques VLA type Pi-0 ou GR00T N2, où l'encodage des actions reste un goulot d'étranglement identifié par la recherche depuis l'essor de ces modèles. En comparant explicitement autorégression pure et co-entraînement par tokens dans un cadre flow-based, les auteurs positionnent OAT comme une brique d'interface générique, potentiellement réutilisable au-delà des architectures testées dans l'étude.

RechercheActu
1 source