RecherchearXiv cs.RO 27 octobre 2026

ThinkLocoManip : un harnais à base d'agents pour le contrôle du corps entier en locomanipulation de robots à pattes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent ThinkLocoManip, un « harnais agentique » (une couche logicielle qui orchestre un modèle de raisonnement et une boîte à outils) conçu pour la loco-manipulation de robots à pattes. Ce terme désigne la combinaison de déplacement et de manipulation, sur des tâches longues dans de grands environnements. Le système alterne raisonnement et action. L'agent évalue son état, exécute une action, observe le résultat puis ajuste sa stratégie. Il pilote des outils spécialisés de perception, de navigation, de manipulation et de locomotion. Il ajoute des « skills » qui encadrent l'usage des outils dans chaque domaine et leur coordination entre domaines. Un mécanisme de « keyframe thinking » conserve le contexte critique de l'exécution pour faciliter la reprise après échec. Les essais ont été menés en conditions réelles. ThinkLocoManip atteint 77 % de réussite, contre 37,1 % pour la meilleure approche concurrente de type « planifier puis agir », soit plus du double. Il dépasse aussi les méthodes à génération d'actions directe.

L'intérêt tient à la place donnée à la locomotion. Les harnais agentiques existants traitent surtout la manipulation, avec une base mobile ou fixe. Ici, la marche devient un outil que l'agent peut choisir, séquencer et corriger, au même titre qu'une saisie. Les résultats vont dans le sens d'une hypothèse croissante : sur des tâches longues, la capacité à détecter un échec et à s'en remettre pèse plus que la qualité d'un plan initial. Les modèles vision-langage-action (VLA) à action directe et les planificateurs figés se dégradent quand les erreurs s'accumulent. Pour un intégrateur, cela suggère qu'une couche d'orchestration pilotée par un LLM peut rendre fiables des contrôleurs existants sans réentraîner l'ensemble. Des réserves s'imposent : le résumé ne précise ni la plateforme, ni le nombre d'essais, ni la nature des tâches, ni la latence ou le coût du raisonnement à chaque étape. Un taux de 77 % reste également loin du seuil d'exploitation industrielle, et il s'agit d'un résultat de laboratoire, pas d'un déploiement.

Ce travail s'inscrit dans le passage des approches de bout en bout vers des architectures agentiques, inspirées des boucles de type ReAct (raisonner puis agir) issues des modèles de langage. La plupart des systèmes robotiques s'en tenaient jusqu'ici à la planification préalable ou à la génération directe d'actions, avec leurs limites de généralisation. Aucun calendrier, pilote industriel ou publication de code n'est mentionné dans le résumé, et le texte est un préprint (arXiv) sans relecture par les pairs. La suite logique sera de comparer ces résultats sur des benchmarks partagés et d'autres morphologies, et de mesurer la robustesse hors du cadre de test des auteurs.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage du contrôle corps entier adapté au terrain pour la loco-manipulation perceptive de robots à pattes

Une équipe de chercheurs a publié sur arXiv (référence 2605.31343, mai 2026) un framework baptisé TA-WBC (Terrain-Aware Whole-Body Control) destiné aux manipulateurs à pattes, c'est-à-dire des robots combinant membres locomoteurs (quadrupèdes ou bipèdes) et bras articulés. Le coeur du système est une politique unifiée entraînée par apprentissage par renforcement (RL) qui pilote simultanément les jambes et le bras lors de tâches de loco-manipulation, terme désignant la capacité à se déplacer et manipuler des objets en même temps. L'architecture repose sur trois briques techniques : un encodeur d'extéroception hybride qui extrait en temps réel les caractéristiques du terrain, une méthode d'échantillonnage de l'effecteur final ancrée sur le plan de contact des pieds pour découpler la cible de manipulation des oscillations du torse, et un module de distillation à double politique pour intégrer motricité étendue et adaptabilité sans effacement catastrophique des compétences acquises. Les expériences en simulation et en environnement réel montrent une zone atteignable agrandie, une erreur de tracking réduite et moins de trébuchements imprévus. Ce travail s'attaque à une limitation structurelle des contrôleurs corps entier existants : leur dépendance quasi exclusive à la proprioception (capteurs internes, IMU, encodeurs) au détriment de l'extéroception (perception externe du terrain). En milieux industriels complexes comme les chantiers, les entrepôts en hauteur variable ou les sites nucléaires, cette lacune rend les plateformes mobiles-manipulatrices peu fiables dès que le sol n'est plus plan. Le découplage effecteur/torse est particulièrement notable pour les intégrateurs : il signifie que le bras peut maintenir une trajectoire stable même quand le corps compense une marche irrégulière, ce qui est un prérequis non négociable pour tout assemblage ou saisie de précision en terrain dégradé. La validation sim-to-real, même partielle, renforce la crédibilité d'une approche qui reste à ce stade un preprint non commercialisé. Les manipulateurs à pattes constituent une catégorie en pleine structuration. Boston Dynamics commercialise Spot avec bras depuis 2021, Unitree propose le B2W équipé d'un bras, et plusieurs laboratoires académiques majeurs (ETH Zurich, CMU, Berkeley) publient régulièrement sur la loco-manipulation. Le verrou que TA-WBC cherche à lever, la perception de topologie de terrain couplée au contrôle corps entier, est précisément ce qui freine le déploiement de ces plateformes au-delà des environnements structurés. Ce preprint n'annonce pas de produit ni de partenaire industriel ; il pose néanmoins une brique algorithmique que des acteurs comme Agility Robotics, Apptronik ou les équipes robotique de Google DeepMind pourraient intégrer dans leurs chaînes d'entraînement.

UETravail de recherche applicable aux déploiements industriels en environnements dégradés (sites nucléaires, entrepôts à topologie variable) présents en Europe, mais sans implication directe d'acteurs français ou européens.

RecherchePaper

1 source

2arXiv cs.RO

FT-WBC : apprentissage d'un contrôle corps entier tolérant aux défaillances pour la loco-manipulation de robots à pattes

Des chercheurs ont publié le 24 juin 2026 sur arXiv (référence 2606.24466) un cadre de contrôle baptisé FT-WBC (Fault-Tolerant Whole-Body Control), conçu pour maintenir la stabilité et la capacité de manipulation des robots à pattes équipés d'un bras lorsqu'un ou plusieurs actionneurs tombent en panne. Le système repose sur une architecture à politiques découplées haut/bas du corps, et intègre deux modules clés : un Fault Estimator (FE), qui prédit les articulations défaillantes à partir de l'historique proprioceptif du train inférieur, et un Posture Adaptation Module (PAM), qui convertit les commandes de posture potentiellement déstabilisantes générées par la politique du bras en commandes sûres et exécutables pour le torse. Les expériences en simulation et sur robot réel montrent une amélioration significative du taux de survie et du volume d'espace de travail atteignable sous deux régimes de panne : actionneur affaibli (weakening failure) et actionneur bloqué (locked failure). Le transfert sim-to-real s'effectue en zero-shot, sans ré-entraînement. L'enjeu central de ce travail est le couplage entre stabilité locomotrice et accessibilité du bras lors d'une dégradation matérielle, un problème que les méthodes de tolérance aux pannes existantes laissaient largement non résolu, car elles traitaient la locomotion seule. Dans un déploiement industriel ou de service réel, les défaillances d'actionneurs ne sont pas des scénarios théoriques : elles surviennent sur des robots en fonctionnement prolongé, en environnements poussiéreux ou sous contraintes mécaniques répétées. Le fait que FT-WBC préserve autant que possible l'espace de travail du bras tout en synthétisant une allure compensatoire est un signal concret que la robustesse opérationnelle des manipulateurs à pattes commence à être prise en compte au niveau du contrôle, et pas seulement au niveau mécanique. Le domaine de la loco-manipulation sur pattes s'est structuré autour de plateformes comme l'ANYmal de ANYbotics équipé du bras HEBI, le Spot d'Boston Dynamics avec Spot Arm, ou encore l'Unitree B2-W. Ces systèmes ont démontré leur mobilité en terrain non structuré, mais leur robustesse aux pannes en cours de tâche reste un angle mort de la littérature. FT-WBC s'inscrit dans une tendance de recherche qui vise à rapprocher les conditions de laboratoire des conditions réelles d'exploitation, notamment pour les applications d'inspection industrielle, de manutention en entrepôt ou d'intervention en environnements à risque. L'article ne mentionne pas de partenaires industriels ni de calendrier de commercialisation : il s'agit pour l'instant d'un résultat académique, dont la validation reste limitée aux scénarios présentés dans le papier.

RecherchePaper

1 source

3arXiv cs.RO

HULK : apprendre la locomanipulation de force du corps entier pour les robots humanoïdes

Des chercheurs ont publié sur arXiv (octobre 2026) HULK, un cadre de contrôle du corps entier destiné à la manipulation locomotrice « avec force » sur robots humanoïdes, c'est-à-dire le transport d'objets volumineux et lourds. Le principe repose sur une commande prédictive (MPC) qui guide l'apprentissage par renforcement grâce à des prédictions de la dynamique en charge. Deux politiques « enseignantes » sont entraînées : l'une suit des mouvements de bras sous forces appliquées aux poignets, l'autre marche en tenant un grand objet plaqué contre le corps. Une fonction barrière de contrôle fondée sur le « capture point » vient renforcer l'enseignante des poignets pendant l'entraînement pour préserver l'équilibre sous charge. Les deux enseignantes sont ensuite distillées en une seule politique. L'évaluation couvre la simulation et le Unitree G1. En simulation, l'enseignante dotée de la barrière affiche les erreurs de suivi de vitesse avant et latérale les plus faibles parmi les contrôleurs comparés, à 10 kg par bras, et réduit de 35,7 % l'excursion agrégée du mouvement divergent (DCM) par rapport au seul apprentissage guidé par MPC. Elle résiste à des poussées sur le torse allant jusqu'à 130 N. L'intérêt tient au problème ciblé. La plupart des politiques de locomotion apprises pour humanoïdes sont entraînées à vide ou avec des charges légères, alors que les usages logistiques et industriels impliquent des caisses, bacs ou cartons qui déplacent le centre de masse et imposent un effort soutenu sur tout le haut du corps. En injectant la dynamique chargée dans l'entraînement, HULK s'attaque à l'un des écarts entre démonstrations et exploitation réelle. Le chiffre de 10 kg par bras reste toutefois à relativiser : il est obtenu en simulation, sur une plateforme G1 de taille et de puissance modestes, et l'article ne fournit, dans ce résumé, ni temps de cycle, ni taux de réussite sur matériel, ni durée de port. La réduction de 35,7 % du DCM est un gain relatif entre variantes de la même méthode, pas une performance absolue. La preuve d'une robustesse en conditions réelles, avec des objets variés et des sols imparfaits, reste à faire. HULK s'inscrit dans la vague des approches « teacher-student » et de contrôle du corps entier par apprentissage, déjà largement testées sur le G1 pour la marche, le saut ou les mouvements expressifs, et dans la recherche de bases communes entre MPC, qui apporte des garanties physiques, et RL, qui apporte la robustesse. Les acteurs industriels, dont Figure, Tesla avec Optimus et Agility, visent des charges utiles plus élevées sur des machines propriétaires, sans publier leurs méthodes de contrôle. Ici, il s'agit d'une contribution académique, sans produit ni pilote annoncé. La suite logique serait un transfert sur des humanoïdes plus grands et des charges réelles plus lourdes, avec des mesures publiées sur matériel.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

TAC-LOCO : contrôle unifié du corps entier pour la loco-manipulation quadrupède guidée par le tact

Cette étude, publiée sur arXiv en juillet 2026, présente TAC-LOCO, un cadre d'apprentissage par renforcement qui unifie pour la première fois le contrôle corporel complet d'un robot quadrupède doté d'un bras manipulateur en intégrant un retour tactile dans la boucle de commande. Le système encode les données d'un réseau de capteurs tactiles montés sur une pince compliante en une représentation latente compacte, fusionnée avec la proprioception du robot pour piloter simultanément les pattes, le bras et la pince. Les chercheurs ont déployé la politique sans réentraînement supplémentaire (zero-shot) sur un quadrupède Unitree Go2 équipé d'un bras Interbotix WidowX 250 et d'une pince tactile. Les résultats chiffrés sont précis : une réduction de 47% de la force de préhension appliquée et un taux de chute d'objet inférieur à 1%, y compris lors de changements de charge progressifs et de relâchements brusques. L'apport principal tient à ce que le système régule activement la force de préhension en fonction de l'interaction physique réelle, plutôt que de simplement serrer fermement l'objet comme le font la plupart des approches existantes en loco-manipulation dynamique. Pour l'industrie robotique, cela répond à une limite concrète des robots à pattes actuels : la capacité à transporter des charges tout en se déplaçant dynamiquement sans les endommager ni les laisser tomber, un enjeu direct pour la logistique, l'inspection industrielle ou les interventions en environnement non structuré. Ce résultat illustre aussi que l'intégration tactile n'est plus cantonnée aux tâches de manipulation statique en laboratoire, mais devient exploitable dans des scénarios de contrôle corporel complet à haute dynamique, un signal notable pour les intégrateurs qui évaluent la maturité des architectures VLA et RL appliquées à la robotique mobile. Le travail s'inscrit dans la continuité des recherches sur la loco-manipulation, un domaine où la coordination entre stabilité locomotrice et précision de manipulation reste un défi ouvert, généralement traité sans capteurs tactiles faute de méthodes robustes pour exploiter ce signal en temps réel. TAC-LOCO se positionne ainsi face aux approches de contrôle corporel complet sans tactile, en démontrant un gain mesurable sur la robustesse aux perturbations externes. La validation reste toutefois limitée à une plateforme de recherche (Go2 plus bras WidowX), sans indication de calendrier vers un déploiement industriel ou une plateforme commerciale.

RecherchePaper

1 source