Aller au contenu principal
SARI : entraînement conjoint simulation-réel en deux phases pour la manipulation riche en contactsIllustration générée par IA
RecherchearXiv cs.RO 

SARI : entraînement conjoint simulation-réel en deux phases pour la manipulation riche en contacts

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs proposent SARI (Simulated Approach, Real Interaction), un cadre de co-entraînement simulation-réel « à phases séparées » destiné à adapter des modèles vision-langage-action (VLA) à des tâches de manipulation riches en contacts. Le principe : générer les trajectoires d'approche, en espace libre, dans un jumeau numérique photoréaliste, et ne collecter en conditions réelles que les phases de contact, sur un petit nombre de positions d'objets. Une seule politique est ensuite post-entraînée sur ces démonstrations segmentées par phase. Elle enchaîne approche simulée et interaction réelle grâce à un alignement de l'apparence visuelle et à une représentation d'action partagée, exprimée par rapport à la caméra. Elle n'utilise ni étiquettes de phase explicites ni commutateurs codés à la main. Testé sur cinq tâches de manipulation réelles, SARI réduit de 34,3 % le temps de collecte de données réelles et atteint 27,5 % de réussite sur des positions jamais vues, là où toutes les approches de référence sim-réel entraînées sur la tâche complète échouent totalement (0 %). Le travail est publié sur arXiv (2610.02804).

Ces résultats comptent pour les équipes qui adaptent des VLA à des tâches d'assemblage ou d'insertion, où le coût des démonstrations téléopérées est le principal frein. L'intérêt tient à la répartition du travail : la diversité spatiale, gourmande en données mais tolérante aux écarts de simulation, est confiée à la synthèse. La physique du contact, sensible aux erreurs de modèle mais peu dépendante de la position de l'objet, reste réelle. Cela nuance l'idée d'un transfert sim-vers-réel de bout en bout et suggère qu'un découpage par phase est plus rentable. Il faut toutefois relativiser les chiffres. Un taux de 27,5 % sur positions inédites reste très loin d'un seuil industriel, et un gain de 34,3 % sur le temps de collecte est modeste. Les résultats portent sur cinq tâches, avec un échantillon et des conditions de laboratoire dont l'article ne détaille pas ici la variabilité. Le contraste avec les références à 0 % est parlant, mais il dépend du choix de ces références.

L'article s'inscrit dans la série de travaux sur le co-entraînement sim-réel pour les politiques VLA, qui cherchent à réduire la dépendance aux démonstrations réelles, aujourd'hui l'un des principaux postes de coût du déploiement de modèles généralistes. Les approches concurrentes, qui mélangent simulation et réel sur la tâche entière, se heurtent à l'écart de réalité dès que le contact intervient, ce que SARI cherche à contourner. Il s'agit ici d'un résultat de recherche et non d'un produit ni d'un déploiement : aucun partenaire industriel, calendrier de pilote ni code disponible n'est mentionné dans le résumé. Les suites probables sont des validations sur davantage de tâches, de robots et de géométries d'objets, ainsi que des comparaisons avec les VLA généralistes actuels, afin de vérifier si le gain tient hors du cadre expérimental initial.

À lire aussi

Apprentissage de comportements réflexes pour la manipulation riche en contacts
Illustration générée par IA
1arXiv cs.RO 

Apprentissage de comportements réflexes pour la manipulation riche en contacts

Des chercheurs publient sur arXiv (2610.02811) une politique « réflexe » proprioceptive pour la manipulation riche en contacts. Elle est entraînée uniquement en simulation, sur trois primitives d'interaction très simples : un ressort, un plan et un rail. Elle convertit des commandes exprimées dans l'espace tâche en consignes de position articulaire, à partir de l'historique d'état du robot. Elle n'utilise aucune mesure directe de force ni de géométrie. Une fois entraînée, elle est figée et placée sous des contrôleurs de plus haut niveau, comme une couche d'exécution. Les tests couvrent le levage de caisse à deux bras, l'insertion de pion et le suivi de surface. Pour la caisse, la force reste sous le seuil fixé, alors que la référence échoue. Sur surface rugueuse, elle reste sous la référence de 10 N, au niveau d'un contrôle hybride force-position réglé à la main. Pour l'insertion de pion avec un jeu de 0,02 mm, la force de contact moyenne estimée est divisée par plus de deux, et le taux de réussite sur matériel passe d'au plus 22 % à 36-58 %. L'intérêt tient à la séparation entre génération de commande et réponse au contact. Les approches courantes, contrôle en position, hybride force-position ou impédance cartésienne, imposent une raideur, un objectif de suivi ou des directions de force qui ne correspondent pas toujours à la géométrie locale. Ici, une même couche réflexe peut servir sous un planificateur de mouvement, une politique apprise (type VLA) ou un opérateur en téléopération, sans réglage propre à chaque tâche. Si le résultat se confirme, il va dans le sens d'un transfert sim-to-real réussi pour le contact avec des primitives minimales. Il permet aussi un contrôle sans capteur de force, donc moins coûteux, ce qui intéresse les intégrateurs de cellules d'assemblage. Les limites sont nettes : les taux d'insertion de 36-58 % restent loin des exigences industrielles, la force de contact est estimée et non mesurée, et le résumé ne précise ni la plateforme ni le nombre d'essais. Ce travail s'inscrit dans le débat entre contrôle classique du contact (impédance, admittance, hybride force-position) et apprentissage par renforcement en simulation, jusqu'ici surtout appliqué à la locomotion. Il ne s'agit pas d'un produit mais d'une prépublication v1, non évaluée par les pairs, sans calendrier de déploiement. Les suites logiques sont une validation sur davantage de tâches et de robots, une comparaison avec des politiques de manipulation de bout en bout, et une intégration sous des modèles VLA, qui produisent des commandes de haut niveau peu sensibles aux contraintes de contact.

RecherchePaper
1 source
FORCA : un agent de code sensible à la force pour la manipulation robotique riche en contacts
Illustration générée par IA
2arXiv cs.RO 

FORCA : un agent de code sensible à la force pour la manipulation robotique riche en contacts

FORCA, un agent de code décrit dans l'article arXiv 2610.31841, prend en entrée des observations visuelles et les mesures du capteur force/couple (F/T) monté au poignet du robot, puis écrit des programmes Python pour sonder le contact et produire des mouvements réactifs à la force. Entre deux exécutions, l'agent examine les enregistrements de force en parallèle des résultats visuels, diagnostique la cause de l'échec et révise à la fois la trajectoire et la logique de retour d'effort. Le système ne requiert ni démonstrations, ni entraînement spécifique à la tâche, ni simulation. Les auteurs l'ont testé sur cinq tâches avec un robot réel, couvrant trois formes de manipulation riche en contact : l'amélioration de la précision (notamment de saisie), l'adaptation à des changements de propriétés d'objet ou de surface, et la régulation du contact face à des variations de surface ou à un objet en mouvement. Face à une variante de l'agent limitée à la vision, FORCA améliore la précision de saisie et le taux de réussite, et réduit les pertes de contact lors d'essais d'essuyage et d'épluchage. Le résumé ne donne ni chiffres de gain, ni modèle de langage utilisé, ni modèle de robot. L'intérêt tient à la voie suivie : au lieu d'entraîner une politique VLA (vision-langage-action) sur des démonstrations téléopérées, coûteuses à collecter, la logique de contrôle est générée comme du code lisible, puis corrigée par essais successifs. Pour un intégrateur, cela rend le comportement inspectable et modifiable, et laisse espérer une mise en service plus rapide sur des tâches de contact (essuyage, épluchage, insertion) que les modèles purement visuels traitent mal, faute de perception de la force. La comparaison avec la variante vision seule suggère que le capteur F/T apporte un gain réel, mais elle ne prouve rien sur la fiabilité industrielle. Cinq tâches de laboratoire, sans taux publiés dans le résumé, sans temps de cycle ni nombre d'itérations de raffinement nécessaires, laissent ouverte la question de la robustesse, de la sécurité des essais physiques menés par un agent, et du coût de ces boucles d'essai-erreur sur du matériel réel. Ce travail s'inscrit dans la montée des agents de code pour la robotique, qui traduisent le langage en programmes, et dans l'effort pour doter les modèles fondation d'une perception tactile et de force, que les VLA actuels exploitent peu. Il rejoint les approches de politiques apprises comme Pi-0 ou GR00T, qui misent sur les données, avec un compromis différent : moins de données, mais plus d'ingénierie de la boucle de diagnostic. Il s'agit d'un préprint en première version (v1), non évalué par les pairs. Les suites naturelles seraient une validation sur davantage de plateformes et de tâches, des comparaisons directes avec des politiques apprises, et l'ouverture du code.

RecherchePaper
1 source
SimpleTouch : les modèles vision-langage-action (VLA) maîtrisent-ils la manipulation riche en contacts sans préentraînement tactile de la politique ?
Illustration générée par IA
3arXiv cs.RO 

SimpleTouch : les modèles vision-langage-action (VLA) maîtrisent-ils la manipulation riche en contacts sans préentraînement tactile de la politique ?

Des chercheurs publient SimpleTouch, une extension du modèle vision-langage-action (VLA) π0.5 qui lui ajoute un « expert tactile ». Cet expert exploite tous les tokens d'un encodeur tactile préentraîné et gelé. Il apprend à partir de la supervision des actions et de la prédiction à plusieurs horizons de représentations latentes tactiles futures. L'entraînement tient en une seule étape et n'utilise que les démonstrations de la tâche, sans préentraînement tactile de la politique ni alignement visuotactile séparé. Avec 50 démonstrations par tâche, SimpleTouch obtient le meilleur taux de succès parmi les méthodes évaluées sur les six tâches du benchmark UniVTAC, avec une moyenne de 77,5 %. FTP-π0.5 atteint 45,2 % et FTP-1 66,7 %, soit des écarts de 32,3 et 10,8 points de pourcentage. Sur quatre tâches réelles, la moyenne est de 71,3 %, soit 8,8 points au-dessus de FTP-1. Le papier, disponible sur arXiv avec une page projet, ne précise pas dans cet extrait le capteur tactile utilisé, le robot ni le nombre d'essais par tâche. L'enjeu est la chaîne d'entraînement de la manipulation riche en contacts. Beaucoup d'équipes partent du principe que greffer le toucher sur un VLA préentraîné uniquement sur la vision et le langage, au moment du réglage fin, creuse un écart intermodal et donne peu de gains, voire dégrade les résultats. Elles ajoutent donc des corpus tactiles à grande échelle ou une étape d'alignement dédiée, ce qui alourdit la collecte de données et le pipeline. SimpleTouch suggère que, si l'on dispose déjà d'un VLA et d'un encodeur tactile solides, ces étapes ne sont pas indispensables pour ces tâches. Pour un intégrateur, cela abaisse le coût d'entrée : une cinquantaine de démonstrations par tâche suffiraient pour doter une politique existante de sensibilité tactile. Il faut toutefois rester prudent. Il s'agit d'un préprint non évalué par les pairs, d'un nombre limité de tâches (six en simulation, quatre en réel), et la comparaison porte sur des références choisies par les auteurs. Rien n'indique une généralisation à d'autres capteurs, morphologies ou tâches. Ce travail s'inscrit dans la montée des VLA fondés sur la famille π de Physical Intelligence, qui servent de base à de nombreuses extensions de recherche. La question de la modalité tactile y reste ouverte : les approches concurrentes, comme FTP-1, misent sur un préentraînement tactile de la politique, tandis que SimpleTouch teste l'hypothèse inverse, celle de la simplicité. Le benchmark UniVTAC fournit un terrain commun de comparaison, mais les résultats en conditions industrielles, avec cadences, variabilité des pièces et usure des capteurs, restent à démontrer. Les prochaines étapes probables sont des réplications par d'autres laboratoires, des tests sur davantage de tâches et de capteurs, et une confrontation directe avec des modèles préentraînés sur de grands volumes de données tactiles.

RecherchePaper
1 source
Représentation tactile factorisée et contrôle pour la manipulation en transfert simulation-réel
Illustration générée par IA
4arXiv cs.RO 

Représentation tactile factorisée et contrôle pour la manipulation en transfert simulation-réel

Des chercheurs proposent, dans un preprint arXiv (2610.10510v1), un cadre de représentation tactile « factorisée » et de contrôle destiné au transfert sim-to-real en manipulation. L'idée est de projeter la force normale et la zone de contact vers une « réponse de contact effective », récupérable à partir des lectures du capteur, plutôt que de tenter de reproduire fidèlement la physique propre à chaque capteur. Cette réponse est ensuite scindée en trois composantes: la géométrie du contact, la distribution des forces et la variation temporelle du contact. Chacune dispose de son propre encodage et de sa propre randomisation de domaine. Le contrôleur, baptisé Tactile Gated Policy, conserve ces trois représentations séparées tout au long de la chaîne de contrôle. Il fonctionne sur toutes les configurations de masques, c'est-à-dire toutes les combinaisons de composantes activées, sans réentraînement. L'évaluation porte sur la reconstruction de la réponse, l'alignement spatial, la régulation de force et l'insertion de cheville adversariale riche en contacts, en simulation comme sur robot réel. Les auteurs annoncent une localisation du contact inférieure à 1 mm, une erreur de suivi de force de 1,69 N sur des géométries inédites et un gain de 35 % en insertion réelle par rapport à la réponse non factorisée. L'intérêt dépasse le seul benchmark. Le tactile reste le maillon faible du sim-to-real: la vision et la proprioception se transfèrent de mieux en mieux, mais les signaux de contact dépendent fortement du capteur, ce qui limite la réutilisation des politiques d'un dispositif à l'autre. En séparant géométrie, force et dynamique, le travail permet d'évaluer indépendamment l'utilité et la fiabilité de transfert de chaque représentation. Il montre aussi que ces représentations n'aident pas toutes les mêmes interactions, ce qui nuance l'idée d'un signal tactile unique et générique. Pour un intégrateur, la conséquence pratique est qu'un choix de capteur pourrait compter moins que la manière d'exposer l'information de contact à la politique. Quelques réserves s'imposent. Il s'agit d'un preprint non évalué par les pairs. Le gain de 35 % est mesuré contre une base de référence interne, et non contre des méthodes concurrentes. Le résumé ne précise ni le matériel, ni le nombre d'essais, ni les tolérances d'insertion. Rien ne permet d'extrapoler à des cadences industrielles ou à des pièces variées. Ce travail s'inscrit dans l'effort général pour donner un toucher exploitable aux politiques apprises, alors que les modèles généralistes (VLA) restent surtout visuels. Les capteurs tactiles optiques de type GelSight et leurs dérivés ont popularisé les approches de simulation tactile, mais chaque équipe doit en général recalibrer son pipeline pour son capteur. L'approche factorisée vise à contourner ce verrou en s'appuyant sur une couche intermédiaire commune. Les suites logiques seraient une validation sur plusieurs capteurs et plusieurs plateformes, des tâches plus longues que l'insertion de cheville et une intégration dans des politiques généralistes. Aucun calendrier, code ni partenaire industriel n'est annoncé à ce stade.

RecherchePaper
1 source