Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

Synthèse de démonstrations à partir d'un seul scan par Gaussian Splatting pour l'apprentissage de politiques visuomotrices

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

GaussianFactory, décrit dans un article déposé sur arXiv le 21 septembre 2026 (arXiv:2609.21112v1), génère des démonstrations d'entraînement pour des politiques robotiques visuomotrices à partir d'un unique scan vidéo, sans moteur physique dans la boucle de génération. Le système reconstruit la scène en réplique 3D Gaussian Splatting éditable, puis planifie de façon purement cinématique les prises et trajectoires pour les tâches de combinaison d'objets qu'elle permet, la formation des prises s'appuyant sur un modèle de contact appris une fois sur un jeu de données d'interactions. Le pipeline complet, du scan au déploiement, a été testé sur une scène simulée et sur un poste réel équipé d'un bras UR10e. Une politique de diffusion entraînée uniquement sur ces démonstrations synthétiques atteint 95,1% de réussite en simulation et 84,2% en conditions réelles.

Ce résultat s'attaque au goulot d'étranglement le plus coûteux de l'apprentissage par imitation en robotique : la collecte de démonstrations réelles, qui suppose un opérateur humain et un environnement identique à celui du déploiement. En cantonnant la simulation physique au seul modèle de contact, la méthode évite les approximations coûteuses des simulateurs classiques tout en restant fidèle au moment où la physique compte vraiment, celui du contact. L'écart entre 95,1% en simulation et 84,2% en réel rappelle qu'un fossé demeure entre reconstruction photoréaliste et transfert effectif sur robot physique, sur un nombre de tâches encore limité. Pour les équipes robotique en entreprise, l'approche esquisse une voie pour amorcer l'entraînement de politiques sur un nouveau poste de travail sans campagne de téléopération répétée.

Ce travail s'inscrit dans la recherche sur la réduction du coût de la donnée pour les politiques d'apprentissage par imitation, un enjeu central depuis la diffusion des politiques de diffusion et des architectures vision-langage-action en robotique. Les approches concurrentes reposent en général soit sur des simulateurs physiques complets, coûteux et sujets à l'écart sim-to-real, soit sur des démonstrations réelles collectées manuellement, donc difficiles à faire passer à l'échelle. Publié comme nouvelle soumission arXiv sans partenariat industriel annoncé, l'article ouvre la voie à une extension future vers davantage de tâches, de robots et de scènes, avant toute validation par la communauté ou adoption industrielle.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

Ordered Action Tokens pour l'apprentissage de politiques visuomotrices
1arXiv cs.RO 

Ordered Action Tokens pour l'apprentissage de politiques visuomotrices

Des chercheurs publient sur arXiv (arXiv:2607.21670v1) une nouvelle méthode de tokenisation d'actions pour les politiques visuomotrices de robots, baptisée OAT (Ordered Action Tokenization). Le problème visé est concret : pour piloter un bras ou un robot humanoïde via un modèle vision-langage-action (VLA), il faut convertir des séquences d'actions continues en tokens discrets, une étape clé de l'architecture. Les méthodes existantes échouent sur deux fronts, soit elles produisent des séquences de tokens beaucoup trop longues, soit elles génèrent des tokens latents appris mais sans structure interne, ce qui les rend peu compatibles avec les politiques de contrôle en aval. OAT combine un transformer à registres, une quantification scalaire finie et des mécanismes d'entraînement qui imposent un ordre aux tokens produits. Concrètement, chaque préfixe de la séquence de tokens est entraîné à pouvoir, à lui seul, se décoder en une action valide, les premiers tokens portant l'information de contrôle grossière et les suivants affinant les détails résiduels. Les auteurs ont testé la méthode sur trois architectures de politiques différentes et plus de 60 tâches, couvrant cinq bancs d'essai en simulation ainsi que des scénarios réels. Cette structure ordonnée change la donne opérationnelle : elle permet un compromis "anytime" entre coût de calcul à l'inférence et précision du geste, un point critique pour le déploiement embarqué où la latence contraint directement la cadence de contrôle. Pour les intégrateurs travaillant avec des politiques autorégressives ou des architectures hybrides combinant tokens et experts de type flow, cela ouvre la possibilité d'ajuster dynamiquement le compromis vitesse-précision sans changer de modèle, un besoin réel face aux VLA actuels souvent jugés trop lents pour du contrôle temps réel industriel. Le travail s'inscrit dans la lignée des tokenizers d'actions développés pour les politiques VLA type Pi-0 ou GR00T N2, où l'encodage des actions reste un goulot d'étranglement identifié par la recherche depuis l'essor de ces modèles. En comparant explicitement autorégression pure et co-entraînement par tokens dans un cadre flow-based, les auteurs positionnent OAT comme une brique d'interface générique, potentiellement réutilisable au-delà des architectures testées dans l'étude.

RechercheActu
1 source
Robots à trois bras : apprentissage par imitation visuomotrice de politiques robotiques
2arXiv cs.RO 

Robots à trois bras : apprentissage par imitation visuomotrice de politiques robotiques

Voici l'article traduit et résumé. Une équipe de recherche présente TriManPolicy, un système d'apprentissage par imitation conçu pour piloter des robots à trois bras simultanément. Le problème de départ est concret : la téléopération bi-manuelle classique fonctionne bien quand le nombre de canaux de contrôle correspond entre l'opérateur humain et le robot, mais elle échoue dès qu'un robot dispose d'un troisième bras, puisqu'un seul opérateur ne peut piloter en continu que deux membres à la fois. Basculer entre paires de bras force alors à enregistrer des mouvements indépendants de façon séquentielle, ce qui pousse l'apprentissage par clonage comportemental à reproduire des délais imposés par l'interface de contrôle plutôt que par la tâche elle-même. Le composant central de TriManPolicy est le Dependency-Aware Tri-Arm Scheduling (DATS), un algorithme qui retraite les démonstrations hors ligne : il conserve les segments sensorimoteurs locaux tels que démontrés mais les repositionne dans le temps selon des contraintes d'ordre des tâches et d'usage des bras, validées par un humain. Le résultat entraîne une politique unique et synchrone pour les trois bras, sans nécessiter le graphe de dépendances ni le planificateur au moment du déploiement. Sur six tâches réelles complexes, les politiques entraînées sur données retimées par DATS montrent une coordination plus efficace, avec un taux de succès comparable aux méthodes classiques. Cette avancée s'attaque à un goulot d'étranglement peu discuté de la robotique humanoïde et multi-bras : la collecte de données de démonstration reste le facteur limitant pour entraîner des politiques visuomotrices de type VLA, et les systèmes à trois bras ou plus (bras additionnels, mains bimanuelles montées sur base mobile) sont de plus en plus courants dans les plateformes industrielles. En prouvant qu'il est possible de découpler la structure temporelle de la démonstration humaine de celle exigée par la tâche, TriManPolicy ouvre la voie à une collecte de données plus rapide et moins coûteuse pour des architectures robotiques complexes, un enjeu direct pour les intégrateurs qui cherchent à réduire le coût par démonstration sans sacrifier la qualité de coordination entre membres. Ce travail s'inscrit dans la lignée plus large des recherches sur l'apprentissage par imitation visuomoteur, où la majorité des systèmes existants (type ALOHA, Mobile ALOHA ou les plateformes bimanuelles standard) suppose une correspondance stricte entre canaux de téléopération humains et effecteurs robotiques. En proposant une méthode de retiming offline validée par supervision humaine plutôt qu'un simple filtrage des temps morts, les auteurs montrent que DATS modifie réellement la structure de supervision entre bras. Les six tâches testées en conditions réelles suggèrent une piste concrète pour les futurs travaux sur les architectures à quatre bras ou plus, notamment pour les robots humanoïdes à deux bras plus une base mobile ou un troisième effecteur dédié à une tâche auxiliaire.

RecherchePaper
1 source
Auto-apprentissage à partir de démonstrations générées automatiquement pour la manipulation robotique visuelle
3arXiv cs.RO 

Auto-apprentissage à partir de démonstrations générées automatiquement pour la manipulation robotique visuelle

Un preprint publie sur arXiv le 11 aout 2026 (2608.07553) décrit une méthode d'apprentissage auto-supervise pour la manipulation robotique visuelle, dans laquelle le robot génère lui-même ses démonstrations autour d'une pose cible au lieu de dépendre d'une téléopération humaine ou d'un enseignement kinesthésique. Le pipeline, base sur ROS 2 et le simulateur Isaac Sim, produit des paires image-pose étiquetées sans calibration extrinsèque explicite entre camera et robot, avec deux jeux de données distincts, l'un pour l'affinage planaire, l'autre pour l'approche grossière en trois dimensions. Un réseau convolutif régressé la translation et la rotation relatives a partir d'une seule image RGB montee au poignet, et pilote un contrôleur grossier-vers-fin qui approche d'abord l'objet puis affine l'alignement final. Teste en simulation et sur un bras collaboratif réel UR5e équipe d'une pince et d'une camera monoculaire, le système réduit la dispersion planaire finale de 9,69 mm a 5,38 mm en simulation, et atteint en conditions réelles des taux de réussite de préhension de 66,6% et 63,6% sur deux des trois objets testes sans rotation, avec une robustesse partielle en cas de rotation. Cette approche cible un goulot d'étranglement connu de l'industrie: la plupart des pipelines de manipulation exigent une programmation spécifique a l'objet, une annotation manuelle ou une calibration camera-robot précise, ce qui freine le déploiement chez les intégrateurs. En générant ses propres démonstrations en simulation avant transfert vers le réel, la méthode réduit l'effort de mise en place, un argument qui parle directement aux intégrateurs voulant éviter des phases de téléopération couteuses. Les résultats restent toutefois modestes, avec des taux de réussite de 63 a 67% sur seulement trois objets, et les auteurs reconnaissent eux-mêmes des difficultés persistantes en prédiction de profondeur et en généralisation. Le travail se positionne ainsi en contrepoint des modèles de fondation VLA massifs de type GR00T N2 ou Pi-0: une alternative plus légère, ciblée sur une tache étroite, sans la promesse de généralisation zero-shot de ces derniers. Le papier s'inscrit dans une lignée académique de recherches sur le transfert sim-to-real et la génération automatique de données d'entrainement, sans affiliation industrielle mise en avant ni partenariat commercial annonce. Aucun pilote ni calendrier de déploiement n'est mentionne: les auteurs présentent ces travaux comme une preuve de concept, les prochaines étapes évoquées portant sur l'amélioration de l'estimation de profondeur et l'extension a un plus grand nombre d'objets avant d'envisager une application industrielle plus large.

RecherchePaper
1 source
Agir ou ne pas agir : garantir la sécurité des politiques visuomotrices apprises par démonstration
4arXiv cs.RO 

Agir ou ne pas agir : garantir la sécurité des politiques visuomotrices apprises par démonstration

Une équipe de chercheurs a publié sur arXiv (référence 2605.01201) une analyse formelle de la sécurité des politiques visuomotrices apprises par imitation (imitation learning, IL). Le papier propose un concept baptisé execution guarantee : une mesure de sécurité indépendante de l'architecture de la politique qui certifie le succès maximal d'une tâche malgré des variations mineures à l'exécution, à l'intérieur d'une région définie de l'espace des états. Les chercheurs exploitent les avancées récentes en synthèse de vue (view synthesis) pour identifier ces régions, puis s'appuient sur la condition de sous-tangentialité de Nagumo, un résultat classique d'invariance ensembliste, pour formaliser et opérationnaliser cette garantie. Les expériences ont été conduites sur un bras Franka Emika, à la fois en simulation et en environnement réel. Le travail comble un angle mort structurel de la recherche en IL : jusqu'ici, la performance d'une politique se mesurait quasi exclusivement au taux de succès des tâches, sans considération de sécurité. Pour la robotique de terrain, qu'il s'agisse de manipulation industrielle, d'environnements partagés humain-robot ou de logistique, cette lacune est bloquante. Un robot IL déployé doit savoir ne pas agir si les conditions de sécurité ne sont pas réunies, quitte à enregistrer une performance nulle. L'execution guarantee fournit pour la première fois un cadre théorique actionnable pour arbitrer ce compromis sécurité/performance. Le papier démontre par ailleurs qu'une politique de récupération (recovery policy), générée comme sous-produit de l'analyse, permet d'atténuer ce compromis en pratique en augmentant le taux de succès global. La sécurité dans l'apprentissage par imitation est une problématique historiquement sous-explorée. Si la théorie du contrôle classique dispose d'outils matures comme les fonctions de barrière de contrôle (Control Barrier Functions, CBF), leur extension aux politiques visuomotrices à réseaux neuronaux reste difficile : ces politiques n'exposent pas de représentation d'état symbolique exploitable par les formalismes classiques. Ce papier s'inscrit dans un courant émergent cherchant à combiner garanties formelles et apprentissage profond, aux côtés de travaux similaires menés à Carnegie Mellon et Stanford sur les approches CBF-IL. La prochaine étape naturelle serait l'extension à des scènes dynamiques et à des politiques de type VLA (Vision-Language-Action), où la variabilité de l'entrée visuelle rend les garanties de sécurité encore plus difficiles à établir à l'échelle.

RechercheOpinion
1 source