Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Sling2Sim2Real : identification élastique en un seul essai pour l'apprentissage de politiques de fronde non destructif
RecherchearXiv cs.RO 

Sling2Sim2Real : identification élastique en un seul essai pour l'apprentissage de politiques de fronde non destructif

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent Sling2Sim2Real, un cadre de manipulation robotique capable d'apprendre à tirer un lance-pierre élastique à partir d'une seule interaction réelle non destructive. Publié sur arXiv fin juillet 2026, le système a été testé sur un bras Franka Emika Panda avec des bandes élastiques aux propriétés physiques variées, pour atteindre des distances de tir différentes. La méthode fonctionne en deux temps : d'abord une identification "Real2Sim" multi-démarrage qui exploite la covariance des paramètres pour estimer les caractéristiques élastiques de la bande à partir d'un seul essai réel, sans avoir à la faire claquer ou casser ; ensuite un apprentissage de politique entièrement en simulation, suivi d'un transfert "zero-shot" vers le robot réel une fois le simulateur calibré. Les auteurs rapportent une réduction significative du nombre d'essais physiques nécessaires, sans toutefois donner de chiffres précis sur les taux de réussite ou le nombre d'itérations économisées.

L'enjeu dépasse le simple exercice de lance-pierre : la manipulation d'objets élastiques (bandes, câbles, tissus) reste un point aveugle de la robotique, car leurs propriétés de déformation ne se déduisent pas de l'observation visuelle seule et varient énormément d'un objet à l'autre. Les méthodes classiques de calibration nécessitent souvent des dizaines d'essais destructifs coûteux en temps robot. En réduisant cette calibration à une seule interaction sûre, Sling2Sim2Real s'attaque directement au goulot d'étranglement du sim-to-real pour les objets déformables, un problème plus difficile que celui, déjà largement traité, des objets rigides ou articulés.

Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage par renforcement en simulation pour la manipulation robotique, où le fossé entre simulateur et monde réel reste l'obstacle principal au déploiement. Contrairement aux approches qui multiplient les essais réels pour affiner un modèle physique, ou qui exigent des capteurs spécialisés pour mesurer l'élasticité, Sling2Sim2Real mise sur l'inférence statistique à partir d'un minimum de données. Il s'agit pour l'instant d'un résultat de laboratoire limité à une tâche de démonstration, sans indication de généralisation à d'autres familles d'objets élastiques ni de calendrier vers une application industrielle.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

LocoPilot : téléopération bilatérale par un seul opérateur pour l'apprentissage de politiques de locomanipulation
1arXiv cs.RO 

LocoPilot : téléopération bilatérale par un seul opérateur pour l'apprentissage de politiques de locomanipulation

LocoPilot, publié sur arXiv par le laboratoire DLS de l'IIT (Istituto Italiano di Tecnologia), est un cadre de téléopération bilatérale à opérateur unique, conçu pour collecter des démonstrations de loco-manipulation directement sur le robot cible. La plateforme repose sur un quadrupède Unitree Go2 (12 DOF) équipé d'un bras AgileX Piper L à 6 DOF, d'une caméra de poignet Intel RealSense D435 et d'une caméra de tête RealSense D405. Un second bras Piper L sert de bras maître, et deux manettes portatives pilotent simultanément la base, la posture du corps, le manipulateur et la pince. Un pipeline ROS 2 enregistre des observations multimodales synchronisées, associées à une action unifiée de dimension 11, partagée entre téléopération et déploiement de politique. Les auteurs ont évalué l'interface sur plusieurs tâches de loco-manipulation, puis fait du fine-tuning de MolmoAct2 sur des démonstrations de pick-and-place. Le modèle a été déployé sur le robot réel sans retargeting d'actions ni cinématique inverse supplémentaire. Le code est publié sur GitHub. L'intérêt tient à la manière dont le système traite un problème récurrent de l'apprentissage de politiques mobiles : les interfaces sans robot, comme les dispositifs portables, sont flexibles mais ne capturent ni les commandes propres à la plateforme, ni la proprioception, ni les observations embarquées. À l'inverse, la téléopération sur robot enregistre ces signaux, mais exige une interface capable de piloter tout le système en même temps. LocoPilot y répond avec un retour d'effort sans capteur force/couple dédié : les forces d'interaction du bras suiveur sont estimées, puis restituées à l'opérateur par un canal haptique contraint en passivité. Le système évite aussi l'instrumentation par capture de mouvement, qui limite le déploiement hors laboratoire. Le fait que la même interface d'action serve à la collecte et à l'inférence supprime une source classique d'erreurs de transfert. Il faut toutefois rester prudent : le résumé ne fournit ni taux de réussite, ni nombre de démonstrations, ni comparaison chiffrée avec d'autres interfaces. La validation de bout en bout reste donc à confirmer dans le texte complet. Ce travail s'inscrit dans la course aux données pour les politiques vision-langage-action (VLA) appliquées à la manipulation mobile, où s'opposent les approches sans robot et celles qui collectent sur la plateforme réelle. Le choix de MolmoAct2, modèle ouvert, et de composants matériels grand public (Go2, Piper L, RealSense) vise la reproductibilité par d'autres laboratoires, par opposition aux pipelines propriétaires des acteurs industriels. Il s'agit d'une contribution de recherche, sans produit ni calendrier commercial annoncé. La suite probable passerait par des évaluations plus larges, une comparaison avec d'autres VLA, et une extension à des tâches plus longues ou plus riches en contacts.

UELes auteurs relèvent de l'IIT, un institut italien, et le code est ouvert, ce qui permet aux laboratoires européens de reproduire la collecte de données de loco-manipulation.

RecherchePaper
1 source
Physical Canvas : un modèle du monde visuo-tactile pour l'évaluation et l'apprentissage des politiques robotiques
2arXiv cs.RO 

Physical Canvas : un modèle du monde visuo-tactile pour l'évaluation et l'apprentissage des politiques robotiques

PhysCanvas, un modèle du monde visuo-tactile décrit dans un préprint arXiv (2610.28613), vise à servir de simulateur interactif pour évaluer et améliorer des politiques de manipulation robotique. Il fusionne dans un même espace visuel des images RGB multivues, des images tactiles, les déplacements de marqueurs du capteur, l'état de la tâche et les actions. Toutes ces modalités passent par un même VAE vidéo et un même backbone génératif pré-entraîné, ce qui permet au toucher optique de réutiliser les a priori visuels et temporels. Les actions sont injectées sous forme d'images de mouvement, calculées par cinématique directe et projection caméra, alignées spatialement avec les vues. Une image RGB initiale sert d'ancre et des observations de référence mises à jour guident la génération séquentielle. Un post-entraînement « consistency-aware » s'appuie sur trois modèles de récompense gelés (scène, modalité, état) qui contrôlent la préservation de la scène, la compatibilité visuo-tactile et la concordance avec les résultats réels. Sur quatre tâches de manipulation réelles, la supervision par le modèle de récompense d'état fait passer la moyenne arithmétique des corrélations de Pearson, entre taux de succès simulé et réel, de 0,602 à 0,885. Le post-entraînement de π0.5 par GRPO dans ce modèle du monde porte son taux de succès réel moyen de 59,1 % (base SFT) à 70,8 %. L'enjeu est double. Évaluer une politique sur robot physique coûte cher et passe mal à l'échelle, et les modèles du monde purement visuels produisent des vidéos plausibles mais fausses sur la dynamique de contact (glissement, force, déformation). C'est précisément ce qui fait diverger un classement de politiques en simulation de sa performance réelle. Le gain de corrélation suggère qu'un modèle du monde aligné sur les résultats de tâche peut devenir un proxy d'évaluation utile, et que l'ajout du tactile aide sur les tâches riches en contact. Le gain de 11,7 points sur π0.5 est modeste mais obtenu sans interactions réelles supplémentaires, ce qui intéresse les intégrateurs confrontés au coût des essais physiques. Quelques réserves s'imposent : seulement quatre tâches, un nombre de rollouts non précisé dans le résumé, des corrélations calculées sur peu de points, et aucune démonstration de généralisation à de nouveaux objets ou à d'autres capteurs. Ce travail s'inscrit dans la montée des modèles du monde actionnables, utilisés comme simulateurs appris pour contourner la difficulté du sim-to-real, et dans l'essor de l'apprentissage par renforcement appliqué aux modèles vision-langage-action (VLA) comme π0.5 de Physical Intelligence. Il complète des approches centrées sur la vision, notamment les modèles du monde de NVIDIA (Cosmos) ou d'autres équipes académiques, en y ajoutant le tactile de type optique. La suite logique serait un passage à des tâches plus longues, à davantage de plateformes et à un déploiement hors laboratoire. Une page projet est disponible, mais aucun calendrier de produit n'est annoncé : il s'agit à ce stade de recherche académique, sans déploiement industriel.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
RoboSnap : génération de scènes réel-vers-simulation en un seul essai pour l'apprentissage et l'évaluation généralisables de robots
3arXiv cs.RO 

RoboSnap : génération de scènes réel-vers-simulation en un seul essai pour l'apprentissage et l'évaluation généralisables de robots

RoboSnap transforme une simple image RGB en environnement de simulation prêt pour l'entraînement robotique, selon un article publié sur arXiv (2607.06699v1). L'équipe de recherche propose une architecture en couches qui sépare la zone d'interaction physique de l'arrière-plan visuel : les objets au premier plan, ceux avec lesquels le robot interagit, sont reconstruits avec une attention particulière à la stabilité de collision, tandis que le fond est restitué par Gaussian splatting 3D pour préserver un rendu fidèle sous des angles de vue inédits. Les tests ont porté sur des scènes issues du jeu de données DROID ainsi que sur des tâches robotiques réelles, montrant une reproduction fiable des trajectoires dans les scènes recréées. Pour accompagner ces travaux, les auteurs publient DROID-Sim, un jeu de données compagnon construit à partir de 564 scènes réelles extraites de DROID. L'enjeu dépasse la simple reconstruction visuelle. Le passage du réel à la simulation ("real-to-sim") est un goulot d'étranglement connu pour l'entraînement des politiques robotiques par apprentissage : générer des environnements à la fois physiquement stables et visuellement réalistes reste coûteux en temps et en ingénierie. RoboSnap promet de générer une scène simulable à partir d'une seule photo, ce qui pourrait accélérer la production de données synthétiques d'entraînement et faciliter l'évaluation reproductible de politiques, un point sensible dans un secteur où les benchmarks physiques réels sont difficiles à standardiser. Les auteurs revendiquent une corrélation significative entre performances en simulation et en conditions réelles, un indicateur clé pour juger si un tel pipeline peut réellement remplacer des tests physiques répétés. Ce travail s'inscrit dans une vague plus large de recherches sur le "real-to-sim" et les architectures vision-langage-action (VLA), où des approches comme Gaussian splatting gagnent du terrain face aux méthodes de reconstruction 3D classiques, jugées plus lentes ou moins fidèles visuellement. L'article, encore au stade de prépublication non revue par les pairs, ne précise pas de calendrier de mise à disposition du code ou du jeu de données DROID-Sim, ni de partenariat industriel. Les prochaines étapes attendues concernent l'extension à des scènes plus complexes et la validation sur davantage de plateformes robotiques.

RecherchePaper
1 source
Une seule démonstration suffit pour l'apprentissage par renforcement robotique en conditions réelles
4arXiv cs.RO 

Une seule démonstration suffit pour l'apprentissage par renforcement robotique en conditions réelles

Des chercheurs présentent AutoSERL, un framework d'apprentissage par renforcement (RL) pour robots qui n'a besoin que d'une seule démonstration humaine pour apprendre des tâches de manipulation complexes en conditions réelles, sans intervention humaine continue pendant l'entraînement. Le système repose sur trois mécanismes complémentaires : une fenêtre glissante d'intervention qui guide l'exploration pour éviter les minima locaux et les mouvements dangereux, un mécanisme de récupération de sécurité qui détecte les échecs et corrige la trajectoire via des points de reprise prédéfinis, et un critère d'arrêt automatique qui coupe le guidage dès que la politique apprise devient autonome. Les auteurs ont testé AutoSERL sur six tâches de manipulation à contact intensif (insertion, accrochage, tâches à charnière) réparties sur deux plateformes robotiques différentes. Le framework atteint 100% de réussite sur les tâches d'insertion et dépasse systématiquement SERL entraîné avec 20 démonstrations, l'apprentissage par imitation classique (behavior cloning) et MILES, une méthode dédiée à l'apprentissage en un coup, tout en égalant les performances de HIL-SERL qui nécessite lui une supervision humaine continue. L'intérêt pour l'industrie tient à la réduction drastique du coût de collecte de données, généralement le principal frein au déploiement de RL sur du matériel physique. La plupart des approches existantes exigent soit des dizaines de démonstrations, soit un opérateur qui intervient en permanence pendant l'entraînement, ce qui limite le passage à l'échelle en usine ou en intégration industrielle. En automatisant l'intervention à partir d'un seul exemple tout en conservant une robustesse aux variations de position des pièces, AutoSERL rapproche le RL réel de tâches d'assemblage fin, un terrain où les approches purement basées sur l'imitation ou les politiques VLA préentraînées peinent encore à garantir une fiabilité industrielle. Ce travail s'inscrit dans la lignée de SERL et HIL-SERL, frameworks de référence pour le RL avec intervention humaine sur robots physiques, en cherchant à supprimer leur principale contrainte opérationnelle. Le code et les vidéos de démonstration sont publiés par les auteurs sur un site dédié, mais le papier, déposé sur arXiv le 1er juillet 2026, reste à ce stade une contribution de recherche académique évaluée en laboratoire sur deux plateformes robotiques, sans indication de déploiement industriel ni de partenariat commercial annoncé.

RecherchePaper
1 source