RecherchearXiv cs.RO 15 septembre 2026

Apprentissage par renforcement sensible à la force : estimation hybride sans capteur pour la loco-manipulation de robots à roues et jambes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article scientifique publié sur arXiv (arXiv:2609.13779, prépublication non encore relue par les pairs) présente une méthode d'apprentissage par renforcement sensible à la force pour des robots à locomotion mixte roues-pattes effectuant simultanément déplacement et manipulation. Le système estime la force exercée par l'effecteur terminal sans capteur de force/couple dédié, en combinant trois briques : une observation du moment généralisé du robot, une projection du torseur des efforts sous contrainte de contact, et un réseau de neurones qui apprend en résiduel les biais liés au mouvement non captés par les modèles physiques. Cette estimation alimente une politique de contrôle « corps entier » conditionnée par mode, dotée d'un sélecteur axe par axe entre position et force, permettant de basculer entre mouvement libre, régulation de force pure et contrôle hybride force/position au sein d'un seul contrôleur. Les auteurs rapportent des gains en simulation sur la précision de l'estimation de force sans capteur et sur les performances de contrôle en force, puis valident l'approche sur un robot à roues-pattes réel lors de quatre tâches : rotation de valve, essuyage en mode hybride, ouverture de porte guidée par la force, et suivi à force nulle lorsqu'un humain guide le bras manuellement.

Pour l'industrie, l'intérêt est d'abord économique : supprimer le capteur de force/couple dédié à l'effecteur réduit le coût, la fragilité et la maintenance des bras manipulateurs montés sur plateformes mobiles, un frein connu au déploiement des robots mobiles à bras dans des tâches à contact physique comme les vannes, les portes ou l'essuyage de surfaces. Qu'un seul contrôleur passe de façon fluide entre mouvement libre et régulation de force, sans recalibrage ni bascule manuelle de mode, répond à une limite fréquente des contrôleurs hybrides classiques sur bases flottantes à contacts changeants, typiques des plateformes combinant roues et pattes. Les gains annoncés restent toutefois qualitatifs, sans chiffres de précision ou de temps de cycle publiés dans le résumé, et les essais matériels portent sur un nombre limité de tâches et une seule plateforme, ce qui invite à la prudence avant d'en déduire une généralisation à d'autres robots ou environnements industriels.

Le travail prolonge des recherches antérieures sur les observateurs de moment généralisé, déjà utilisés en robotique à pattes pour détecter des forces externes et des contacts, en les associant pour la première fois à un apprentissage par renforcement conditionné par mode sur une base mobile roues-pattes, catégorie intermédiaire entre robots à roues purs et humanoïdes bipèdes, plus rapide que la marche et plus stable que les roues seules sur terrain irrégulier. L'article ne précise ni le laboratoire ni l'industriel à l'origine des travaux, ni le nom du robot utilisé pour les essais, ce qui limite la comparaison directe avec des acteurs identifiés du secteur des plateformes hybrides. Il s'agit à ce stade d'une publication de recherche, sans annonce de produit ni de calendrier de déploiement commercial ; la suite logique évoquée serait une extension à davantage de tâches de manipulation en contact et une comparaison quantitative face à des contrôleurs équipés de capteurs de force réels.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

AtomicRL : apprentissage par renforcement atomique pour la manipulation robotique à long horizon

AtomicRL, un framework de post-entraînement par apprentissage par renforcement (RL) pour modèles vision-langage-action (VLA), est présenté dans une prépublication arXiv (2610.30097v1). Les auteurs partent d'un constat : l'apprentissage par imitation seul peine à maîtriser les compétences de manipulation longues, et les méthodes VLA-RL existantes souffrent d'une attribution du crédit tardive et biaisée, car elles reposent sur des récompenses éparses calculées à l'échelle de la trajectoire entière. AtomicRL exploite la structure en sous-tâches atomiques avec deux briques. La première, SAPO (Semantic-Aware Policy Optimization), utilise un filtrage sémantique pour empêcher les résidus TD d'une sous-tâche échouée de se propager aux suivantes, tout en conservant l'attribution du crédit au sein de chaque sous-tâche. La seconde, BATE (Bottleneck-Adaptive Target Exploration), ajuste l'échantillonnage des tâches et les incitations à l'exploration locale selon le niveau de maîtrise de chaque sous-tâche. Un pipeline Real2Sim2Real relie l'entraînement RL en simulation au déploiement sur robot physique. Sur LIBERO-LONG, le gain absolu atteint 3,6 % et 4,0 % face à PPO sur deux architectures VLA. Sur CALVIN ABC-D, la performance sur la tâche complète progresse jusqu'à 9,5 %. Avec Real2Sim2Real, les tâches réelles gagnent en moyenne 21,3 %. L'intérêt tient moins aux gains en simulation, modestes, qu'à la méthode. Le goulot d'étranglement de la manipulation longue est souvent une sous-tâche faible dont l'échec invalide toute la séquence. Un signal de crédit plus fin et un échantillonnage qui cible ces faiblesses répondent à un problème que rencontrent les intégrateurs dès qu'ils enchaînent des étapes d'assemblage ou de kitting. Le gain réel moyen de 21,3 % est le chiffre le plus parlant, mais il appelle de la prudence. Le résumé ne donne ni le nombre de tâches, ni le robot, ni le nombre d'essais, ni la référence de comparaison, ce qui empêche d'en juger la portée. LIBERO et CALVIN restent des benchmarks académiques en simulation, loin des variabilités d'une ligne de production. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel. Ce travail s'inscrit dans la tendance du RL appliqué aux VLA après un pré-entraînement par imitation. Il suit des approches comme les variantes de PPO pour VLA, dont AtomicRL fait sa référence principale. Les acteurs industriels qui misent sur des VLA généralistes, tels que Physical Intelligence avec Pi-0, NVIDIA avec GR00T ou Figure avec Helix, restent confrontés au même écart entre imitation et robustesse en conditions réelles. La décomposition en compétences atomiques rejoint aussi les architectures hiérarchiques utilisées par plusieurs acteurs européens pour fiabiliser des enchaînements de tâches. Les prochaines étapes à surveiller sont la publication du code, des résultats sur des plateformes variées et des validations sur des tâches industrielles à plus long horizon, avec des statistiques détaillées de réussite et de temps de cycle.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

ReForce : apprentissage du retargeting sensible à la force pour la manipulation dextérique

Une équipe de recherche a publié le 18 août 2026 sur arXiv (référence 2608.15560v1) une méthode baptisée ReForce, conçue pour la manipulation dextre par robot à partir de démonstrations humaines. Le problème visé est le suivant: les pipelines de retargeting (transfert des mouvements humains vers un bras ou une main robotique) restent aujourd'hui essentiellement cinématiques, c'est-à-dire qu'ils copient les trajectoires et postures sans tenir compte des forces de contact, alors que ce sont ces forces qui déterminent la réussite ou l'échec d'une prise en main. ReForce ajoute un résidu de force au-dessus du mouvement retargeté classiquement, calculé par un "force tracker" générique entraîné sur un grand volume d'interactions simulées. La méthode fonctionne en deux modes: téléopération en ligne avec retour de force, et traduction hors ligne de jeux de données de démonstration déjà enregistrés. Les tests, menés à la fois en simulation et sur du matériel réel, portent sur des tâches réputées difficiles car riches en contacts fins: la saisie d'un gobelet en papier et la manipulation de pinces (tongs). Les auteurs rapportent une erreur de suivi de force réduite et un engagement multi-doigts plus stable que les approches purement cinématiques. Pour l'industrie robotique, l'enjeu dépasse le simple gain de précision: la collecte de démonstrations humaines à grande échelle est devenue le principal levier pour entraîner des politiques de manipulation dextre, y compris pour les modèles vision-langage-action. Si le retargeting cinématique ignore la force, les données transmises aux modèles encodent des gestes visuellement corrects mais mécaniquement approximatifs, ce qui explique en partie pourquoi certaines démonstrations impressionnantes en vidéo échouent lors d'un déploiement réel sur objets fragiles, déformables ou glissants. En introduisant un modèle de force générique et transférable, ReForce propose une brique technique susceptible d'améliorer la qualité des jeux de données de téléopération en amont, plutôt que de complexifier uniquement le modèle final. Il s'agit d'une contribution académique en preprint, sans entreprise ni produit commercial associé, à distinguer des annonces de Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix), qui portent sur des modèles de bout en bout déployés ou pilotés en conditions réelles. ReForce se positionne en amont de ces systèmes, sur la brique de collecte et de conversion de données de démonstration. L'abstract ne mentionne ni publication de code, ni jeu de données ouvert, ni calendrier de déploiement industriel: les deux tâches testées, prise de gobelet et manipulation de pinces, servent de preuve de concept plutôt que de benchmark étendu, la validation à plus grande échelle restant à faire.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage de politiques par simulation pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs a publié le 9 juin 2026 sur arXiv (2606.08278) SIMPLE, un banc de test de simulation unifié pour l'apprentissage et l'évaluation de politiques de contrôle de robots humanoïdes. La plateforme couple la simulation de dynamique de contact de MuJoCo avec le rendu photoréaliste d'IsaacSim, et propose 60 tâches de loco-manipulation plein corps, 50 scènes d'intérieur et plus de 1 000 assets d'objets. Pour la collecte de données, deux pipelines sont intégrés : génération automatisée de trajectoires par planification de mouvement, et interface de téléopération VR à faible latence. Les auteurs y benchmarkent plusieurs familles de politiques humanoïdes : réseaux d'imitation légers, grands modèles vision-langage-action (VLA) et les récents modèles d'action du monde (WAM, World Action Models). Les expériences démontrent, selon les auteurs, un transfert zero-shot vers des robots humanoïdes physiques dans des configurations similaires. L'enjeu central est un goulot d'étranglement d'évaluation : les modèles fondationnels humanoïdes progressent plus vite que les protocoles pour les tester. Les benchmarks existants se concentrent sur la robotique de table ou les robots à roues, sans couvrir la loco-manipulation plein corps, compétence clé pour les humanoïdes déployés en environnement industriel ou domestique. Si la corrélation sim-to-real revendiquée dans l'article se confirme à plus grande échelle, elle légitime le recours massif à la simulation pour entraîner des politiques de contrôle, réduisant drastiquement les coûts de collecte de données en conditions réelles. C'est précisément le pari industriel de Physical Intelligence avec pi-0, et de Figure AI avec Figure 02 : remplacer les démos téléopérées coûteuses par des pipelines simulés reproductibles. La fragmentation des benchmarks est un problème structurel en robotique humanoïde : chaque laboratoire publie sur ses propres protocoles, rendant toute comparaison inter-équipes difficile. Des initiatives comme HumanoidBench, RoboVerse ou Isaac Lab ont tenté d'y répondre, mais sans couvrir la chaîne complète loco-manipulation avec rendu photoréaliste et pipelines de données intégrés. SIMPLE se positionne à cette intersection. Les équipes de Google DeepMind (GR00T N2, Helix), Agility Robotics (Digit) et Boston Dynamics sont directement concernées. Ce preprint arXiv n'est pas encore évalué par les pairs ; l'adoption par la communauté dépendra de la disponibilité publique du code et des assets, non encore confirmée.

RecherchePaper

1 source

4arXiv cs.RO

VE2VF : distillation vision vers sans vision par apprentissage par renforcement pour la manipulation robuste avec contacts

Des chercheurs ont présenté VE2VF (Vision-Enabled to Vision-Free), un cadre d'apprentissage par renforcement (RL) pour la manipulation robotique en contact riche, publié en préprint sur arXiv (2605.29564). La méthode repose sur une distillation enseignant-élève conduite intégralement sur robot réel, sans simulation ni randomisation de domaine. Un module "enseignant" équipé de vision apprend d'abord la tâche, puis transfère sa politique à un "élève" n'utilisant que la pose, le twist et le wrench (position/orientation, vitesse et couple de force), sans aucun flux caméra. Sur le benchmark NIST d'assemblage, référence standardisée pour les tâches d'insertion de précision, le système atteint 95 % de taux de succès global après environ 50 minutes d'entraînement sur 3 tâches représentatives, et généralise à 8 variantes non vues lors de l'entraînement. Un fine-tuning par distillation permet d'atteindre 100 % de succès sur la variante la plus difficile. Ce résultat adresse un problème structurel en robotique industrielle: les politiques basées sur la vision surapprennent les conditions d'éclairage et de fond vues à l'entraînement, ce qui fragilise leur déploiement en environnement de production variable. En éliminant la vision à l'inférence tout en l'exploitant pendant l'apprentissage, VE2VF produit des politiques robustes aux perturbations visuelles sans coût supplémentaire en données. Plus significatif encore: atteindre cette généralisation en moins d'une heure d'entraînement réel suggère qu'on peut contourner le sim-to-real gap sans simulateur haute-fidélité ni dataset synthétique massif. Pour les intégrateurs déployant des cellules d'assemblage de précision, la combinaison rapidité d'adaptation et robustesse proprioceptive est directement actionnable. Le benchmark NIST Assembly Task Board est utilisé depuis plusieurs années comme terrain de comparaison inter-équipes en manipulation de précision, ce qui confère à ces résultats une lisibilité relative face aux travaux antérieurs. Les approches concurrentes combinent généralement simulation, randomisation de domaine et larges volumes de données synthétiques avant transfert sur robot réel. VE2VF se positionne comme une alternative ancrée dans le réel, avec une boucle human-in-the-loop permettant de superviser l'apprentissage en cours de session. Il s'agit à ce stade d'un préprint de recherche, non d'un système en production ni d'un produit commercialisé. Les suites naturelles incluent des tests sur d'autres plateformes matérielles et des tâches industrielles plus complexes, ainsi qu'une confrontation directe avec les approches de type VLA (Vision-Language-Action) qui ciblent elles aussi la généralisation en manipulation contact-riche à grande échelle.

RecherchePaper

1 source