Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

ResSafe : filtrage de sécurité par apprentissage par renforcement résiduel pour humanoïdes

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

ResSafe, une architecture de contrôle en deux politiques pour les robots humanoïdes, a été publiée le 15 septembre 2026 sur arXiv sous la référence 2609.15988. La méthode sépare performance et sécurité : une politique nominale est entraînée uniquement pour accomplir la tâche, tandis qu'une politique résiduelle apprend en parallèle des corrections de sécurité qui ajustent ses actions. Cette seconde politique agit comme un filtre de sécurité implicite, censé limiter chutes et instabilités liées à la dynamique à haute dimensionnalité et aux interactions riches en contacts propres aux humanoïdes. L'abstract ne cite aucune plateforme robotique ni aucun chiffre de performance (taux de chute, distance parcourue, degrés de liberté), signe d'une recherche encore amont, sans validation matérielle détaillée.

Pour l'industrie, ce découplage répond à un problème connu : faire arbitrer par une seule politique performance, robustesse et sécurité oblige à régler manuellement plusieurs termes de récompense concurrents, un exercice fragile qui complique le passage du simulateur au robot réel. En sortant la sécurité de cette équation unique, ResSafe propose une approche modulaire qui, si elle se confirme sur du matériel, pourrait faciliter l'ajout de correctifs de sécurité sans réentraîner toute la politique de locomotion. L'enjeu parle directement aux intégrateurs et décideurs du secteur, confrontés à un écart persistant entre démonstrations en simulation et fiabilité en conditions réelles.

Le travail s'inscrit dans une recherche académique plus large sur le contrôle par apprentissage des humanoïdes, où le RL pour la locomotion et le suivi de mouvement s'est largement généralisé ces dernières années. Il se distingue des méthodes de filtrage de sécurité explicite, fondées sur des barrières de contrôle ou des modèles analytiques de la dynamique, souvent coûteuses ou difficiles à généraliser à un système aussi complexe. L'article ne mentionne ni code source, ni partenaire industriel, ni calendrier d'essais sur robot physique : ResSafe reste, à ce stade, une contribution de recherche dont l'apport devra être confirmé au-delà de la simulation.

Dans nos dossiers

arXiv cs.RO

À lire aussi

RGB : MPPI corps entier pour humanoïdes guidé par apprentissage par renforcement
1arXiv cs.RO 

RGB : MPPI corps entier pour humanoïdes guidé par apprentissage par renforcement

Une équipe de recherche a publié sur arXiv (référence 2606.25123) une architecture de contrôle hybride baptisée RGB, pour "RL Guided whole-body MPPI", destinée aux robots humanoïdes évoluant dans des environnements à contacts complexes. Le framework a été évalué en simulation MuJoCo sur un Unitree G1 à 29 degrés de liberté, avec une fréquence de contrôle moyenne de 280 Hz. Le principe : au lieu d'utiliser une politique d'apprentissage par renforcement (RL) comme contrôleur final, RGB l'emploie comme prior d'échantillonnage pour guider les rollouts d'un algorithme MPPI (Model Predictive Path Integral). Les objectifs de tâche sont définis via des termes de coût modulaires MPPI, qui corrigent en ligne la politique RL pour satisfaire ces objectifs sans nécessiter de réentraînement. Les tests montrent une réduction de la dérive systématique en marche rectiligne et une meilleure capacité à suivre des signaux de référence corps entier supplémentaires, comparé à une politique RL pure sous la même interface de commande. L'intérêt industriel de cette approche réside dans la rigidité structurelle des politiques RL actuelles : une fois entraînée, une politique couple fortement son comportement à l'objectif d'entraînement et à l'interface de commande. Ajouter un nouvel objectif de feedback (correction de trajectoire, contrainte de contact, suivi d'un membre spécifique) exige généralement un réentraînement complet, coûteux et long. RGB court-circuite cette contrainte en déléguant la précision et la modularité au MPPI, qui opère en boucle fermée à haute fréquence. Pour un intégrateur industriel ou un COO qui doit adapter un humanoïde à plusieurs lignes de production, la possibilité de spécifier de nouveaux comportements via des termes de coût, sans retouch au modèle RL sous-jacent, représente un gain de flexibilité concret. La fréquence de 280 Hz en simulation est encourageante, mais les auteurs ne démontrent pas encore le transfert sim-to-real, ce qui reste le saut critique pour toute validation industrielle. Le cadre MPPI est une technique de contrôle prédictif par échantillonnage bien établie en robotique mobile et manipulation, mais son couplage avec une politique RL comme prior pour les humanoïdes corps entier est une direction récente. Unitree, dont le G1 est devenu une plateforme de recherche courante grâce à son accessibilité commerciale (autour de 16 000 dollars), est au coeur de nombreux travaux académiques concurrents, notamment autour des architectures VLA (Vision-Language-Action) de type GR00T N2 de NVIDIA ou Pi-0 de Physical Intelligence. RGB se positionne dans un créneau distinct : il ne vise pas la généralisation via des données de démonstration, mais l'optimisation en ligne de politiques existantes. La prochaine étape logique sera une validation sur hardware réel, déterminante pour établir si les 280 Hz de simulation se maintiennent face aux incertitudes mécaniques et aux latences capteurs d'un vrai G1.

RecherchePaper
1 source
PAC-MAN : apprentissage par renforcement avec CBF conscient de la perception pour la sécurité corporelle en dodgeball humanoïde
2arXiv cs.RO 

PAC-MAN : apprentissage par renforcement avec CBF conscient de la perception pour la sécurité corporelle en dodgeball humanoïde

Des chercheurs présentent PAC-MAN (Perception-Aware CBF-RL), un cadre d'apprentissage par renforcement associé à des fonctions barrières de contrôle (CBF) pour la sécurité corporelle complète d'un robot humanoïde soumis à un jeu de ballon prisonnier. La politique déployée ne perçoit la balle que via une profondeur segmentée sémantiquement, captée par une caméra montée sur la tête, tandis que l'entraînement utilise une guidance CBF calculant la distance de sécurité pour chaque segment du corps, régularisée par un prior de mouvement adversarial. Le système a été testé sur un banc d'essai contrôlé avec lancers programmés, selon deux régimes : lancers isolés et boucle de déploiement où le robot retourne à son poste et récupère entre deux lancers. Déployée sans réentraînement (zero-shot) sur un Unitree G1 réel, la politique légère "Link-CBF" réussit à esquiver 95% des lancers et s'appuie sur la segmentation sémantique pour éviter différents types de balles. L'enseignement principal dépasse le simple exercice ludique : la politique embarquée, limitée à une caméra fixe, arrive à quelques points seulement des performances d'un oracle disposant d'un état complet et privilégié de la scène, ce qui suggère qu'une perception réaliste et peu coûteuse suffit pour des réflexes d'évitement corporel complet. C'est un signal notable pour l'industrie robotique alors que la sécurité réactive reste un point faible des humanoïdes déployés en environnement partagé avec des humains : le travail montre que le fossé habituel entre démonstration en simulation et réalité de terrain peut être réduit sur des tâches de sécurité, sans capteurs de suivi dédiés ni filtrage d'état privilégié à l'exécution. Le papier s'inscrit dans la lignée des travaux combinant CBF, technique établie en robotique de contrôle pour garantir des contraintes de sécurité, et apprentissage par renforcement, un couplage de plus en plus exploré pour le contrôle corporel complet des humanoïdes. Les auteurs montrent aussi qu'une structure de barrière par articulation (Joint-CBF) offre les meilleures performances avec un état de balle précis, mais se dégrade avec une caméra fixe seule, sauf à ajouter un gimbal de suivi ou un filtre d'état privilégié à l'exécution, d'où le choix d'une variante par liaison (Link-CBF) plus robuste pour le déploiement réel sur le G1.

RecherchePaper
1 source
Filtres de Koopman robustes pour un apprentissage par renforcement acteur-critique sûr
3arXiv cs.RO 

Filtres de Koopman robustes pour un apprentissage par renforcement acteur-critique sûr

Une équipe a déposé sur arXiv (2605.26452) Robust Koopman-CBF SAC, un framework de RL sûr pour la robotique qui s'affranchit du modèle dynamique pré-établi. La méthode apprend un prédicteur de Koopman à dimension finie depuis des trajectoires d'expérience, construit des Control Barrier Functions (CBF) dans l'espace "levé" où la dynamique non linéaire devient affine, puis les applique via une couche de programme quadratique (QP) qui corrige minimalement les actions de la politique Soft Actor-Critic (SAC). Une marge résiduelle projetée, estimée sur des rollouts de validation distincts de l'entraînement, compense les erreurs d'approximation inhérentes au modèle Koopman fini. Sur le benchmark CartPole (stabilisation et suivi de trajectoire), le système atteint zéro violation de contrainte tout en égalant ou dépassant les performances d'un SAC non contraint. Sur les tâches de locomotion haute dimension de Safety Gymnasium, les violations diminuent dans certains scénarios, mais les barrières de vitesse du premier ordre et les modèles EDMD linéaires révèlent des limites structurelles non résolues. L'enjeu est concret pour les intégrateurs: déployer des robots autonomes en environnement industriel exige que les contraintes dures (zones interdites, limites articulaires, forces maximales) ne soient jamais violées, y compris pendant la phase d'entraînement et pas seulement en déploiement. Les approches existantes imposent soit un modèle dynamique précis, difficile à obtenir pour des robots complexes, soit des certificats de sécurité conçus à la main par des experts contrôle. Ici, la dynamique est inférée depuis les données, et la linéarité de l'espace Koopman rend les CBF algébriquement tractables sans expertise manuelle. Le zéro violation sur CartPole est reproductible (code disponible sur GitHub), pas une démonstration sélectionnée. Les limitations exposées sur Safety Gymnasium délimitent honnêtement le périmètre de validité: systèmes à dynamique quasi-linéaire et contraintes de vitesse simples, ce qui est plus informatif que beaucoup de publications dans ce domaine. L'opérateur de Koopman a été réintroduit en robotique et en contrôle vers 2017-2020 notamment via les travaux de Brunton, Kaiser et Kutz sur l'EDMD (Extended Dynamic Mode Decomposition). Les CBF ont été formalisées par Aaron Ames et ses collaborateurs à Caltech puis au Georgia Tech, avec une influence croissante dans le contrôle certifié depuis 2017. Dans le RL sûr, les méthodes de référence comme CPO (Constrained Policy Optimization) et TRPO-Lagrangien peinent à garantir des contraintes dures pendant l'entraînement. Ce travail se positionne explicitement comme pont entre ces deux communautés. Les extensions annoncées incluent des CBF d'ordre supérieur pour mieux traiter les contraintes de vitesse, et des modèles Koopman non linéaires ou multi-pas pour les locomotions haute dimension.

RecherchePaper
1 source
Robot humanoïde à patins en ligne piloté par apprentissage par renforcement
4arXiv cs.RO 

Robot humanoïde à patins en ligne piloté par apprentissage par renforcement

Des chercheurs ont entraîné un policy de contrôle par apprentissage par renforcement (RL) pour piloter un robot humanoïde équipé de patins à roues alignées (rollers) grand public à la place des pieds classiques. Le système commande les patins avec 6 degrés de liberté (DoF) et exécute des stratégies de propulsion dynamiques basées sur les carres, comme le font les patineurs humains. Contrairement aux travaux antérieurs limités aux robots quadrupèdes ou aux roues motorisées activement, cette approche fonctionne avec des roues passives, sans moteur dans les roues elles-mêmes. Les comportements de patinage émergent uniquement de la structure de récompense, sans données de mouvement humain, sans apprentissage par imitation ni a priori cinématiques. Pour gérer l'instabilité des roues passives et les artefacts de contact en simulation, les auteurs ont utilisé des modèles géométriques de roues différents à l'entraînement et à la validation (sphériques et ellipsoïdaux), un curriculum de commandes basé sur le taux de succès, et une récompense spécifique au roulement. Résultat: une réduction allant jusqu'à 50% du coût de transport (Cost of Transport) par rapport à une démarche marchée classique. Le policy a été transféré zéro-shot sur le robot Booster T1 réel, avec équilibre dynamique démontré, capacité à encaisser des perturbations physiques actives, et virages agiles à vitesse. L'intérêt dépasse l'anecdote technique: c'est une nouvelle preuve que le RL pur, sans données de démonstration humaine, peut produire des comportements locomoteurs complexes et efficaces énergétiquement, transférables directement du simulateur au réel sans réentraînement. Pour les équipes qui travaillent sur la locomotion humanoïde, cela ouvre une piste alternative aux pieds ou aux roues motorisées: des accessoires passifs à faible coût combinés à un contrôleur suffisamment sophistiqué pour compenser la sous-actionnement mécanique. Le travail s'inscrit dans la lignée des recherches sur la locomotion RL pour robots à pattes, qui a déjà permis des transferts sim-to-real robustes pour la marche et la course. Ici l'équipe étend le paradigme à un mode de locomotion inhabituel et instable par nature. Le choix du Booster T1, plateforme humanoïde chinoise à bas coût plus accessible que les Unitree G1 ou Figure 03, suggère aussi une recherche pensée pour la reproductibilité académique plutôt que pour la démonstration commerciale.

RecherchePaper
1 source