RecherchearXiv cs.RO3h

Combler le fossé : permettre au Soft Actor Critic des performances élevées en locomotion sur pattes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie sur arXiv (preprint 2605.24975, mai 2026) une série de modifications ciblées permettant à l'algorithme Soft Actor-Critic (SAC) d'atteindre les performances de Proximal Policy Optimization (PPO) dans l'entraînement à grande échelle de robots à pattes. PPO s'impose depuis plusieurs années comme l'algorithme de référence pour la locomotion bipède et quadrupède, notamment dans les environnements de simulation massivement parallèles comme IsaacLab (NVIDIA). Son défaut structurel est son caractère on-policy : chaque mise à jour de gradient exige de nouvelles données fraîches, le rendant inutilisable pour un apprentissage continu directement sur le robot physique. SAC, algorithme off-policy capable de réutiliser l'expérience passée, était un candidat naturel, mais échouait systématiquement à rivaliser en performance dans ces mêmes conditions. Les auteurs identifient trois correctifs spécifiques : une initialisation améliorée de la politique, un calcul de la valeur cible corrigé pour les épisodes tronqués (timeout-aware critic targets), et une estimation multi-pas du retour (multi-step return estimation). Ces ajustements ferment entièrement l'écart avec PPO, validé sur plusieurs plateformes de robots à pattes et une diversité de tâches de locomotion.

L'enjeu pour l'industrie robotique est concret. PPO contraint les équipes à retourner systématiquement en simulation pour chaque cycle d'amélioration, allongeant les boucles de développement et compliquant l'adaptation à des environnements physiques non anticipés. Un SAC équivalent en performance à l'entraînement offline ouvre la voie à un workflow unifié : un seul algorithme pour la phase de simulation initiale, puis pour l'adaptation en ligne sur le robot déployé, sans boucle retour sim-to-real. Pour les intégrateurs travaillant sur des robots mobiles à pattes en inspection industrielle ou logistique, cela réduit potentiellement les cycles de re-entraînement lors de changements de terrain ou de configuration. Ce résultat conteste aussi l'hypothèse selon laquelle le sim-to-real gap exige des algorithmes fondamentalement différents entre entraînement et déploiement.

PPO a été popularisé pour la locomotion robotique par les travaux de l'ETH Zurich sur ANYmal (2019-2022) et s'est généralisé avec l'adoption massive d'IsaacLab comme environnement de référence. SAC avait été introduit en 2018 par Tuomas Haarnoja et ses collègues à l'UC Berkeley, mais ses applications à la locomotion à grande échelle se heurtaient à des instabilités numériques en parallèle massif. Boston Dynamics, Unitree et Agility Robotics n'ont pas divulgué leurs pipelines d'entraînement internes, mais la littérature académique récente sur les robots H1 (Unitree) ou Digit (Agility) reste majoritairement dans l'écosystème PPO. Ce preprint demeure une contribution de recherche et non un produit déployé : sa portée pratique dépendra d'implémentations publiques dans IsaacLab ou MuJoCo et de validations indépendantes par la communauté.

Dans nos dossiers

Boston Dynamics Unitree Agility Robotics — Digit arXiv cs.RO

À lire aussi

1arXiv cs.RO

Cartes de coût conditionnées à la tâche pour la locomotion sur pattes

Une équipe de recherche a publié sur arXiv (identifiant 2605.00261, mai 2025) une méthode permettant aux robots à pattes de naviguer plus fiablement sur des terrains non structurés en modélisant l'incertitude épistémique dans la prédiction des appuis. Le principe : un modèle appris, entraîné à prédire les points de contact viables au sol, intègre désormais une estimation de sa propre incertitude, conditionnée à la fois sur les relevés de hauteur du terrain et sur la commande de mouvement transmise au robot. Testé en simulation et en conditions réelles, le système distingue les zones de terrain "connues" (in-distribution) des zones hors distribution (OOD), c'est-à-dire absentes des données d'entraînement. Cette incertitude est intégrée dans un cadre unifié de génération de costmaps, directement exploitable par un planificateur de trajectoire. Résultat principal : jusqu'à 37 % de réduction de l'erreur de faisabilité en simulation, avec un comportement de planification plus robuste qu'un modèle reposant uniquement sur la géométrie du terrain. L'enjeu est concret pour les intégrateurs de robots à pattes en milieu industriel. La plupart des systèmes appris actuels échouent silencieusement sur des terrains hors distribution : le robot tente quand même le franchissement, avec des risques de chute ou de blocage. En rendant l'incertitude explicite et traduite en coût dans le planificateur, le système peut délibérément éviter les zones qu'il ne reconnaît pas. C'est une avancée pour le déploiement en environnements non contrôlés, là où il est impossible de couvrir exhaustivement tous les types de surface lors de l'entraînement. La méthode offre aussi une voie de sortie au problème des datasets limités : un modèle entraîné sur une distribution restreinte peut opérer en sécurité en sachant délimiter son propre domaine de compétence. Cette problématique s'inscrit dans un effort de recherche plus large visant à combler le gap sim-to-real en locomotion à pattes, défi qui mobilise des acteurs comme ANYbotics (dont l'ANYmal est déployé en inspection industrielle), Boston Dynamics (Spot) ou Unitree Robotics. La tendance dominante jusqu'ici consistait à accumuler davantage de données et à diversifier les terrains de simulation. L'approche par quantification d'incertitude offre une voie complémentaire, particulièrement adaptée aux déploiements à domaine restreint où la collecte de données exhaustive est coûteuse. Les auteurs ne mentionnent ni timeline de commercialisation ni partenariat industriel identifié : il s'agit d'un preprint académique, sans validation sur robot commercial nommé.

RecherchePaper

1 source

2arXiv cs.RO

Jiao : combler le fossé entre isolation et personnalisation en robotique à criticité mixte

Des chercheurs ont publié le 6 mai 2026 sur arXiv (réf. 2605.03641) une architecture baptisée Jiao, conçue pour résoudre un problème structurel en robotique grand public : faire cohabiter sur un même processeur multicoeur un contrôle temps réel critique, des pipelines de perception et des applications utilisateur. L'approche repose sur trois composants : un "Safe IO Cell" assurant un override matériel d'urgence, un "Parameter Synchronization Service" encapsulant la complexité inter-domaines, et un "Safety Communication Layer" aligné sur la norme IEC 61508. Évaluée sur plateforme ARM Cortex-A55, l'architecture réduit la gigue de période (cycle-period jitter) de 84,5 %, ramenant l'erreur de timing en queue de distribution (p99) de 69,0 μs à 7,8 μs, tout en éliminant la totalité des excursions supérieures à 50 μs. Le problème central que Jiao cherche à résoudre est ce que les auteurs appellent l'"expertise asymmetry" : les hyperviseurs à partitionnement statique, issus de l'automobile via AUTOSAR, offrent une isolation matérielle robuste, mais leur configuration suppose une maîtrise système que les développeurs d'applications robotiques n'ont généralement pas. Cette friction bloque l'adoption des architectures à criticité mixte dans les robots de service et domestiques. Les résultats de timing sont concrets : une gigue p99 sous 8 μs est une condition souvent nécessaire pour les boucles de contrôle bas niveau opérant typiquement à 1 kHz. Si ces chiffres se confirment en production, l'architecture permettrait à un intégrateur de faire tourner simultanément un RTOS pour la sécurité fonctionnelle et un Linux généraliste pour les applicatifs, sans compromettre les garanties temporelles. Ce travail s'inscrit dans la migration des architectures embarquées automobiles vers la robotique mobile et les cobots. L'ARM Cortex-A55, cible du benchmark, équipe de nombreuses plateformes embarquées milieu de gamme, ce qui donne une pertinence pratique aux résultats. Il s'agit d'un preprint de recherche, pas d'un produit commercialisé : aucun déploiement ni partenariat industriel n'est annoncé. Les suites logiques seraient une validation sur des stacks robot réels comme ROS 2 ou microROS, et une certification IEC 61508 SIL 2 ou 3. Aucun acteur européen n'est mentionné dans les travaux, bien que des sociétés comme Wandercraft ou Enchanted Tools adressent des problématiques adjacentes de systèmes embarqués à contraintes critiques.

RecherchePaper

1 source

3arXiv cs.RO

Fausse faisabilité dans le MPC à impédance variable pour la locomotion sur pattes

Une équipe de chercheurs a publié sur arXiv (arXiv:2604.22251) une analyse formelle d'une erreur de formulation dans les contrôleurs prédictifs à impédance variable (variable impedance MPC) pour la locomotion des robots à pattes. Le problème identifié : traiter la raideur articulaire comme une variable de décision instantanée génère un ensemble faisable (Fparam) strictement plus large que l'ensemble physiquement réalisable (Freal) sous dynamiques d'actionneur du premier ordre. Les auteurs formalisent cette distinction via le paramètre sans dimension α = ωs·T (bande passante de l'actionneur multipliée par l'échelle temporelle de la tâche). Sur un monopède sauteur 1D, ils prouvent l'existence d'un seuil analytique αcrit en dessous duquel aucune commande de raideur admissible ne réalise la prédiction du modèle. Un second seuil αinfeas < αcrit établit un régime où même restreindre la plage de raideur admissible ne corrige pas la faisabilité. La validation numérique sur dix combinaisons de paramètres montre une déviation monotone croissante à mesure qu'α diminue (R² = 0,99 en log-log). Le transfert sur un pendule inversé à ressort (SLIP) planaire confirme que les déviations de centre de masse et de chronométrage d'appui sont les conséquences primaires. Ce résultat a des implications directes pour les intégrateurs déployant des MPC sur robots à pattes. Les formulations existantes peuvent paraître faisables numériquement tout en étant irréalisables physiquement, ce qui explique en partie le sim-to-real gap persistant dans les locomotions dynamiques. L'étude contredit l'hypothèse qu'un réglage conservateur des plages de raideur suffit à garantir la réalisabilité : en dessous d'α_infeas, cette approche est structurellement inopérante, quelle que soit la marge de sécurité appliquée. La commande à impédance variable s'est imposée en robotique à pattes pour adapter dynamiquement la compliance articulaire, notamment dans les plateformes d'ANYbotics (ANYmal), Boston Dynamics et Agility Robotics. La correction proposée par les auteurs est directe : augmenter l'état de prédiction du MPC avec la raideur courante ferme le décalage par construction. Aucune validation expérimentale sur hardware n'est encore annoncée, et la généralisation à des architectures multi-DOF reste à démontrer, ce qui limite pour l'instant la portée pratique immédiate du résultat.

UEANYbotics (Suisse/UE), dont la plateforme ANYmal est citée comme directement concernée, expose les équipes R&D européennes travaillant sur la locomotion dynamique à un risque de sim-to-real gap structurel lié à ce défaut de formulation MPC.

RecherchePaper

1 source

4arXiv cs.RO

DELTA : conception et contrôle d'un multirotor transformable pour la locomotion hybride air-sol et la manipulation

DELTA est un robot multirotor multilink capable, sur un même châssis transformable, de rouler sur le sol, de voler et de manipuler des objets dans les deux environnements. Publié sur arXiv (2403.06636v2), ce travail de recherche présente un prototype fonctionnel dont l'architecture distribue les propulseurs sur chacun des segments articulés du robot, plutôt que de les centraliser sur un corps rigide. Le système exploite l'actionnement des articulations pour passer d'un mode à l'autre et exécuter des tâches de manipulation, en s'appuyant sur un modèle cinématique dit "minimal configuration" décrit en détail par les auteurs. L'enjeu central est structurel : les multirotors classiques équipés de bras manipulateurs souffrent d'un problème de compatibilité entre les degrés de liberté nécessaires à la manipulation et la stabilité lors des contacts au sol. En répartissant les propulseurs sur chaque maillon, DELTA contourne ce compromis. Les auteurs proposent en parallèle une méthode de contrôle temps réel basée sur une optimisation non linéaire qui gère simultanément les contacts et les mouvements articulaires, applicable selon eux à diverses plateformes multirotor. Ils revendiquent une première mondiale pour la combinaison locomotion air-sol et manipulation sur un multirotor multilink, affirmation à prendre dans son contexte académique strict : il s'agit d'un prototype de laboratoire, sans données de charge utile, de temps de cycle ou d'endurance publiées dans l'abstract. Ce travail s'inscrit dans une dynamique de recherche sur les robots multimodaux qui s'intensifie depuis une décennie : quadrupèdes volants (ETH Zürich, Caltech), drones à bras articulés (TU Delft, CMU), robots amphibies. L'originalité de DELTA réside dans l'unification des trois capacités dans une architecture sans châssis rigide central. Côté compétiteurs académiques directs, les plateformes Voliro (ETH) ou les travaux sur multirotors omnidirectionnels offrent des points de comparaison pertinents. Les étapes naturelles seraient de publier des métriques de performance (autonomie, payload, précision de manipulation) et de tester dans des scénarios applicatifs concrets, notamment l'inspection de structures ou la maintenance en environnement contraint, où une telle polyvalence air-sol aurait une valeur opérationnelle réelle.

UETU Delft (Pays-Bas) est cité comme laboratoire concurrent pertinent, mais aucun acteur industriel ou institutionnel européen n'est impliqué dans DELTA ; pas d'impact opérationnel direct pour la France/UE.

RecherchePaper

1 source