RecherchearXiv cs.RO 2 novembre 2026

EquiContact : un cadre hiérarchique équivariant SE(3) de la vision à la force pour des tâches riches en contacts généralisables dans l'espace

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

EquiContact est un cadre hiérarchique d'apprentissage de politiques robotiques basées sur la vision pour la manipulation riche en contacts, publié sur arXiv (version 5, juillet 2025 pour la première soumission). Il associe un planificateur visuel de haut niveau, par exemple un Diffusion Equivariant Descriptor Field (Diff-EDF), à une politique visuomotrice compliante de bas niveau, le Geometric Compliant Action Chunking Transformer (G-CompACT). Cette dernière exploite des observations locales issues d'images RGB montées au poignet, un retour de pose de l'effecteur sous forme de vecteur d'erreur géométriquement cohérent (GCEV) et les mesures de force-couple. Elle produit des actions exprimées directement dans le repère de l'effecteur. Les auteurs démontrent que l'ensemble de la chaîne, de la perception au contrôle en force, est équivariante sous SE(3) dès lors que l'estimation du repère de référence est équivariante et que les caractéristiques visuelles sont invariantes à gauche. Les essais en conditions réelles portent sur l'insertion d'un cheville dans un trou (peg-in-hole) et annoncent des taux de succès quasi parfaits sur des configurations spatiales hors distribution. Des tests complémentaires de vissage et d'essuyage de surface évaluent le transfert de la conception locale au-delà de l'insertion. Les chiffres détaillés (nombre d'essais, tolérances, robot utilisé) ne figurent pas dans le résumé et sont renvoyés au site du projet.

L'intérêt pratique tient à un point précis : une fois la tâche apprise, la politique de bas niveau peut être rejouée à d'autres positions et orientations sans réentraînement. Pour un intégrateur, c'est le coût de reprogrammation, et de collecte de démonstrations à chaque changement de gabarit ou de pose de pièce, qui est visé. La généralisation spatiale reste un point faible des politiques de type VLA ou de cloner de comportement, qui dégradent vite hors de la distribution d'entraînement. Ici, la robustesse vient de la structure géométrique plutôt que de l'échelle des données. Il faut toutefois rester prudent : « quasi parfait » porte sur des tâches d'insertion en laboratoire, avec une généralisation limitée aux transformations rigides de la scène, et non à de nouvelles géométries de pièces, des variations de jeu ou des perturbations réelles d'atelier. Aucune comparaison chiffrée avec les approches existantes n'est donnée dans le résumé.

Le travail s'inscrit dans la lignée des méthodes équivariantes (Equivariant Descriptor Fields, politiques de diffusion équivariantes) et des politiques à segmentation d'actions comme ACT, auxquelles s'ajoute la compliance pour les tâches de contact. Il se distingue des grands modèles généralistes, tels que Pi-0 ou GR00T, qui misent sur le volume de données plutôt que sur des garanties structurelles. Les auteurs dégagent trois principes : compliance géométriquement cohérente, politiques localisées et équivariance induite. La suite logique est la validation sur davantage de tâches industrielles, avec des comparaisons à des bases de référence et des pièces variées. Le site du projet propose des vidéos, qu'il conviendra d'examiner en tenant compte du risque de sélection des meilleurs essais.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Politique de diffusion équivariante visuo-tactile pour la manipulation riche en contacts

Des chercheurs proposent VISTA, une politique de diffusion visuo-tactile équivariante conçue pour l'apprentissage par imitation de tâches de manipulation riches en contacts (arXiv 2610.03333, première version). Le système projette les observations visuelles et tactiles dans des « jetons sphériques », puis injecte les indices de contact tactile dans les directions sphériques visuelles grâce à une fusion sphérique équivariante aux permutations. La représentation harmonique ainsi fusionnée est ensuite tournée selon l'orientation de l'effecteur terminal. Elle conditionne une politique de diffusion équivariante, chargée de prédire des actions cohérentes dans l'espace de travail. Les auteurs affirment, à partir d'expériences en simulation et sur robot réel, que VISTA améliore nettement l'efficacité en données par rapport à de solides références d'apprentissage par imitation visuo-tactile. Le résumé publié ne donne ni chiffres, ni nombre de démonstrations, ni liste des tâches ou des capteurs tactiles utilisés. Un site de projet accompagne le travail. L'enjeu est économique avant d'être académique. Les démonstrations expertes pour les tâches de contact (insertion, assemblage, manipulation fine) sont coûteuses : elles exigent de la téléopération qualifiée, du temps machine et, de plus en plus, des capteurs tactiles. Les politiques de diffusion et les VLA (modèles vision-langage-action) fonctionnent, mais au prix de volumes de données qui freinent leur déploiement chez les intégrateurs. Intégrer des symétries géométriques directement dans l'architecture, plutôt que de les faire apprendre par des données supplémentaires, est une piste crédible pour réduire ce coût. Le travail suggère aussi que le toucher gagne à être fusionné de façon structurée avec la vision, et non simplement concaténé. Il faut toutefois rester prudent : il s'agit d'un préprint sans relecture par les pairs, dont l'ampleur réelle du gain n'est pas vérifiable à ce stade. Aucun déploiement industriel n'est annoncé. VISTA s'inscrit dans la lignée des politiques de diffusion (Diffusion Policy) et de leurs variantes équivariantes, qui exploitent les symétries SE(3) ou SO(3) pour gagner en efficacité. Les recherches récentes sur le visuo-tactile cherchent à compenser les limites de la vision en cas d'occlusion ou d'ambiguïté de contact. En face, les grands modèles généralistes (Pi-0, GR00T, Helix) misent plutôt sur l'échelle des données que sur les biais inductifs géométriques. Les prochaines étapes à surveiller sont la publication du code et des chiffres détaillés, les comparaisons sur des benchmarks communs, et l'éventuelle combinaison de ces biais équivariants avec des modèles préentraînés à grande échelle.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

FORCA : un agent de code sensible à la force pour la manipulation robotique riche en contacts

FORCA, un agent de code décrit dans l'article arXiv 2610.31841, prend en entrée des observations visuelles et les mesures du capteur force/couple (F/T) monté au poignet du robot, puis écrit des programmes Python pour sonder le contact et produire des mouvements réactifs à la force. Entre deux exécutions, l'agent examine les enregistrements de force en parallèle des résultats visuels, diagnostique la cause de l'échec et révise à la fois la trajectoire et la logique de retour d'effort. Le système ne requiert ni démonstrations, ni entraînement spécifique à la tâche, ni simulation. Les auteurs l'ont testé sur cinq tâches avec un robot réel, couvrant trois formes de manipulation riche en contact : l'amélioration de la précision (notamment de saisie), l'adaptation à des changements de propriétés d'objet ou de surface, et la régulation du contact face à des variations de surface ou à un objet en mouvement. Face à une variante de l'agent limitée à la vision, FORCA améliore la précision de saisie et le taux de réussite, et réduit les pertes de contact lors d'essais d'essuyage et d'épluchage. Le résumé ne donne ni chiffres de gain, ni modèle de langage utilisé, ni modèle de robot. L'intérêt tient à la voie suivie : au lieu d'entraîner une politique VLA (vision-langage-action) sur des démonstrations téléopérées, coûteuses à collecter, la logique de contrôle est générée comme du code lisible, puis corrigée par essais successifs. Pour un intégrateur, cela rend le comportement inspectable et modifiable, et laisse espérer une mise en service plus rapide sur des tâches de contact (essuyage, épluchage, insertion) que les modèles purement visuels traitent mal, faute de perception de la force. La comparaison avec la variante vision seule suggère que le capteur F/T apporte un gain réel, mais elle ne prouve rien sur la fiabilité industrielle. Cinq tâches de laboratoire, sans taux publiés dans le résumé, sans temps de cycle ni nombre d'itérations de raffinement nécessaires, laissent ouverte la question de la robustesse, de la sécurité des essais physiques menés par un agent, et du coût de ces boucles d'essai-erreur sur du matériel réel. Ce travail s'inscrit dans la montée des agents de code pour la robotique, qui traduisent le langage en programmes, et dans l'effort pour doter les modèles fondation d'une perception tactile et de force, que les VLA actuels exploitent peu. Il rejoint les approches de politiques apprises comme Pi-0 ou GR00T, qui misent sur les données, avec un compromis différent : moins de données, mais plus d'ingénierie de la boucle de diagnostic. Il s'agit d'un préprint en première version (v1), non évalué par les pairs. Les suites naturelles seraient une validation sur davantage de plateformes et de tâches, des comparaisons directes avec des politiques apprises, et l'ouverture du code.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Où toucher, comment entrer en contact : un cadre hiérarchique RL-MPC pour une manipulation sim-vers-réel sensible à la géométrie

Une équipe de recherche propose une architecture hiérarchique combinant apprentissage par renforcement (RL) et commande prédictive (MPC) pour la manipulation dextre en contact riche, détaillée dans un article arXiv (2601.10930, quatrième révision). Le système sépare la décision en deux niveaux: une politique RL de haut niveau détermine "où toucher", c'est à dire un point de contact sur la surface de l'objet ainsi qu'une pose cible à atteindre après ce contact, un concept que les auteurs nomment "intention de contact". Un contrôleur MPC de bas niveau, dit à contact implicite, prend ensuite le relais pour optimiser en temps réel les modes de contact locaux et replanifier la trajectoire du robot à travers la dynamique de contact, non lissée par nature. Le framework a été testé sur des tâches de manipulation non préhensile: poussée généralisée sur des objets de formes variées, réorientation par pivotement ou basculement, et repositionnement assisté par l'environnement. Les résultats annoncés montrent un taux de réussite élevé, un transfert simulation vers réel sans réentraînement (zero shot), et surtout un besoin en données dix fois inférieur à celui des politiques de bout en bout classiques. Cette approche s'attaque directement à l'un des points faibles des politiques end to end actuelles, y compris les modèles vision langage action de type VLA: leur appétit en données et leur difficulté à transférer proprement de la simulation vers le réel. En réintroduisant une décomposition géométrique explicite plutôt que de tout confier à un réseau appris de bout en bout, les auteurs cherchent à concilier la généralisation apprise par renforcement avec la robustesse physique garantie par la commande prédictive. Pour les équipes travaillant sur la manipulation robotique, la promesse d'un facteur dix sur les données nécessaires est significative si elle se confirme au delà des tâches non préhensiles testées ici. Le travail s'inscrit dans un courant de recherche plus large sur la manipulation en contact riche, domaine où la difficulté vient précisément de devoir raisonner conjointement sur la géométrie globale des objets et sur une dynamique de contact non lisse, difficile à différentier et à planifier. Contrairement aux approches purement data driven qui dominent la littérature récente, ce travail mise sur une structure hybride inspirée de la robotique classique. L'article, republié dans sa quatrième version, ne précise pas de calendrier de déploiement matériel à plus grande échelle ni de partenariat industriel.

RecherchePaper

1 source

4arXiv cs.RO

EquiDexFlow : un modèle génératif de préhension habile équivariant SE(3) ancré dans le contact

Une équipe de chercheurs publie EquiDexFlow, un modèle génératif de préhension dextère intégrant les contraintes physiques de contact directement dans l'architecture, sans étape de vérification séparée. Publié sur arXiv en juin 2026, il exploite le flow-matching avec équivariance SE(3) pour prédire simultanément la pose du poignet, les angles articulaires, les contacts du bout des doigts, les normales de surface et les forces de contact à partir d'un nuage de points de l'objet. Contrairement aux générateurs classiques qui traitent les forces comme un filtre a posteriori, EquiDexFlow projette les contacts sur la surface de l'objet et les forces dans le cône de friction de Coulomb par construction, sans terme de pénalité dans la fonction de perte. Entraîné sur 8 100 saisies en fermeture de force sur 81 objets pour la main Allegro à 16 degrés de liberté (DDL), il atteint zéro violation de frottement et le plus faible résidu de torseur parmi toutes les variantes d'ablation, avec une équivariance SE(3) vérifiée sur 200 rotations et des résidus de poignet inférieurs à 0,04 degré. Retransposé vers une main LEAP à 16 DDL par cinématique inverse doigt par doigt, le modèle réussit en boucle ouverte sur six objets physiques, y compris des objets asymétriques à la pose canonique et après une co-rotation de 120 degrés. Le verrou adressé est structurel : dans la plupart des pipelines de préhension dextère appris, un générateur produit une pose cinématiquement valide qu'un module aval filtre selon des critères physiques, laissant potentiellement passer des saisies plausibles mais instables au contact réel. En intégrant le cône de Coulomb dans l'architecture même, EquiDexFlow élimine cette classe d'erreurs par construction plutôt que par filtrage, ce qui réduit le taux de rejet et simplifie le pipeline de déploiement pour les intégrateurs industriels. Le retargeting réussi de la main Allegro vers la main LEAP suggère en outre une généralisation de la représentation des contacts au-delà de la main d'entraînement, propriété encore rare dans les systèmes de préhension dextère actuels, même si l'évaluation sur six objets reste un périmètre de test limité. La préhension dextère multi-doigt demeure un verrou central de la manipulation généraliste en robotique. Des travaux récents comme DexGraspNet ou UniGrasp ont progressé sur la génération de poses, mais la modélisation explicite des forces dans la boucle générative reste peu courante. Le flow-matching, popularisé dans les modèles VLA (Vision-Language-Action), est ici appliqué avec une contrainte d'équivariance formellement démontrée, ce qui constitue une contribution méthodologique distincte. Code, checkpoints et vidéos sont disponibles sur equidexflow.github.io. Des acteurs comme Enchanted Tools ou Wandercraft, qui développent des systèmes de manipulation à actionnement avancé, pourraient s'appuyer sur ce formalisme pour leurs propres pipelines de préhension.

UEEnchanted Tools et Wandercraft, acteurs français de la manipulation avancée, pourraient directement intégrer ce formalisme de préhension physique (cône de Coulomb dans la boucle générative) dans leurs pipelines R&D, le code et les checkpoints étant publiquement disponibles.

RecherchePaper

1 source