RecherchearXiv cs.RO 25 août 2026

Entraînement d'un critique privilégié : adaptation à une panne de propulseur sans capteur en RL de bout en bout

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (arXiv:2608.22976v1, 25 août 2026) un système baptisé RAFT, pour Recurrent Asymmetric Fault Tolerant, destiné à la navigation tolérante aux pannes de robots actionnés par propulseurs. Le système s'appuie sur un algorithme d'apprentissage par renforcement PPO combiné a une mémoire récurrente et un entrainement par "critique privilégié" : pendant l'entrainement, la fonction de valeur a accès a l'état réel de dégradation des propulseurs, tandis que l'acteur, lui, ne reçoit que les observations standard disponibles au déploiement, sans capteur de panne dédié. Teste sur une plateforme robotique flottante équipée de 8 propulseurs et d'une roue de réaction, soumise a jusqu'a quatre pannes simultanées de propulseurs, RAFT atteint un taux de réussite de 70,2% avec quatre pannes concurrentes. Cela comble 84% de l'écart séparant une politique naïve face aux pannes (4,8% de réussite) d'une politique oracle qui, elle, observe l'état complet de dégradation au moment du déploiement (82,4%). L'ensemble du code, des checkpoints et des données est publie en open-source.

L'intérêt pour l'industrie robotique tient au fait que la détection de pannes classique exige des capteurs dédiés souvent absents sur le terrain, tandis que les contrôleurs oracles capables d'observer l'état réel de dégradation restent irréalistes en déploiement. RAFT montre qu'une politique peut apprendre a compenser des dégradations continues, des pannes franches ou des blocages en position ouverte sans aucune instrumentation de détection additionnelle, uniquement grâce a une asymétrie d'information entre acteur et critique pendant l'entrainement. Pour les intégrateurs de robots a propulseurs (véhicules sous-marins, plateformes en vol libre), cela suggère une voie pour renforcer la robustesse opérationnelle sans surcout matériel, même si l'écart de 16 points avec la politique oracle rappelle que la marge de progression reste réelle.

Cette approche s'inscrit dans la lignée des techniques d'apprentissage acteur-critique asymétrique déjà exploitées en robotique legged et manipulation dextérité, ou des informations privilégiées en simulation guident l'apprentissage de politiques déployables sans ces mêmes informations. Les auteurs positionnent RAFT comme une alternative aux pipelines de détection de pannes classiques, avec publication complète du code et des données pour permettre reproduction et extension par la communauté, sans toutefois annoncer de calendrier de validation sur matériel réel au-delà des tests en simulation décrits.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

PAC-ACT : post-entraînement acteur-critique pour transformeurs à segmentation d'actions

Des chercheurs proposent PAC-ACT, un cadre d'apprentissage par renforcement pour affiner après coup les politiques ACT (Action Chunking Transformer) déjà entraînées, publié le 13 juillet 2026 sur arXiv (2607.09590). Ces politiques, courantes en manipulation industrielle de précision au contact, sont habituellement entraînées par clonage comportemental (behavior cloning) puis souffrent d'un décalage de distribution dès que la tâche implique des contacts physiques répétés, sous des contraintes de force et de perturbations de pose. PAC-ACT reformule l'optimisation au niveau du "chunk" (bloc d'actions), construit une architecture acteur-critique dérivée d'ACT, et introduit une contrainte hybride de préservation du comportement pré-entraîné pendant le fine-tuning en ligne. Sur un benchmark industriel de contact de précision baptisé Contour, la méthode réduit fortement la force de contact maximale et divise par 46 la proportion de mesures de force dépassant 60 newtons, tout en conservant une latence d'inférence et une consommation de mémoire GPU faibles. L'enjeu dépasse la simple performance académique: les modèles vision-langage-action (VLA) généralisent bien mais restent trop lourds et lents pour du contrôle industriel temps réel, alors que les politiques de type ACT sont rapides mais fragiles dès que le contact physique entre en jeu, un défaut connu qui limite leur usage en usine sur des tâches d'assemblage ou d'insertion nécessitant une gestion fine de la force. En démontrant qu'un post-entraînement par renforcement peut corriger ce défaut sans sacrifier la vitesse d'exécution, PAC-ACT apporte une réponse concrète à un point de friction connu entre robotique de recherche et déploiement industriel réel, là où beaucoup d'annonces se limitent à des démonstrations en environnement contrôlé. Le travail s'inscrit dans la lignée des politiques ACT, popularisées pour leur efficacité dans l'apprentissage par imitation sur tâches manipulatoires fines, et cherche à combler leur principal talon d'Achille face aux approches VLA plus généralistes mais coûteuses en ressources. L'ablation en récompense éparse montre par ailleurs que la contrainte de préservation comportementale favorise une exploration efficace même avec des poses initiales aléatoires, ouvrant la voie à une validation plus large sur d'autres tâches de contact industriel avant un éventuel déploiement en conditions réelles.

RecherchePaper

1 source

2arXiv cs.RO

SUNSET : un exemple de segmentation sémantique par fusion de capteurs pour l'auto-adaptation basée sur ROS

Des chercheurs ont publié SUNSET, un exemplar open source basé sur ROS2 destiné à évaluer de façon rigoureuse et reproductible les approches d'auto-adaptation logicielle en robotique. Le système implémente un pipeline de segmentation sémantique par fusion de capteurs, piloté par un modèle de machine learning entraîné dont le prétraitement des entrées peut être perturbé pour provoquer des dégradations de performance réalistes. L'exemplar expose cinq défaillances observables, chacune pouvant résulter de causes racines différentes, et permet de simuler des pannes concurrentes touchant à la fois l'auto-guérison (self-healing) et l'auto-optimisation (self-optimisation) du système. Le package publié comprend le pipeline de segmentation complet, le modèle ML entraîné, des scripts d'injection de fautes, un contrôleur de référence pour comparaisons, ainsi qu'une documentation détaillée d'intégration et d'évaluation. Le code est disponible sur GitHub, sous le dépôt XITASO/sunset. L'intérêt pour la communauté robotique dépasse le simple cas d'usage technique. Les systèmes logiciels embarqués dans les robots gagnent en complexité à mesure que les déploiements se multiplient en environnements dynamiques, où les symptômes de panne sont souvent visibles mais les causes racines restent ambiguës, voire multiples et simultanées. Faute de bancs d'essai standardisés, la recherche en auto-adaptation architecturale peine à comparer objectivement différentes approches de détection et de correction de défaillances. En fournissant un exemplar ouvert, reproductible et doté d'un contrôleur de référence, SUNSET vise à combler ce manque méthodologique et à faciliter des études comparatives rigoureuses entre équipes de recherche. Le projet est porté par XITASO, société allemande spécialisée en ingénierie logicielle, dans la lignée d'une tradition d'exemplars dédiés à la recherche en systèmes auto-adaptatifs, un domaine qui manque historiquement de bancs d'essai partagés et réalistes. La publication, classée comme une version révisée (replace) sur arXiv, s'adresse aux équipes académiques et industrielles travaillant sur la robustesse logicielle des robots déployés en conditions réelles, avec pour prochaine étape l'adoption de l'outil par d'autres laboratoires pour des études comparatives.

UELe projet est porte par XITASO, entreprise allemande, ce qui renforce la contribution europeenne a la recherche en robotique logicielle auto-adaptative, sans impact direct sur la France ou une legislation europeenne.

RecherchePaper

1 source

3arXiv cs.RO

FlashNav : entraînement ultra-rapide d'une politique de navigation robotique en 20 secondes

FlashNav, un framework d'entraînement de politiques de navigation robotique présenté dans une préprint arXiv (2606.15846) publiée en juin 2026, annonce un entraînement en moins de 20 secondes sur GPU pour des politiques de navigation déployables sur robots réels. Les auteurs ont testé le système sur deux plateformes matérielles : le robot à roues TurtleBot2 et le robot quadrupède Unitree Go2. Sur une carte RTX 5090, FlashNav atteint un taux de succès de 100 % en dessous de 20 secondes, et reste dans les dizaines de secondes sur des GPU de bureau grand public. L'architecture repose sur un simulateur bitmap batché et un pipeline d'entraînement entièrement résidant sur GPU, piloté par un algorithme baptisé FastDSAC, qui génère en parallèle un volume massif de transitions de navigation sans jamais quitter la mémoire GPU. La clé du gain de vitesse est architecturale : FlashNav aligne strictement la simulation sur le MDP (processus de décision markovien) de navigation, en conservant uniquement les composantes utiles à l'apprentissage, géométrie d'occupation, capteurs de distance (range sensing), contrôle conditionné par objectif, dynamique de mouvement, gestion des collisions, terminaison et réinitialisation, tout en éliminant le rendu graphique et les détails physiques haute-fidélité habituellement présents dans les simulateurs. Ce choix réduit drastiquement le coût computationnel sans sacrifier la transférabilité : les politiques apprises se transfèrent sur robots physiques, en environnement intérieur statique et dynamique. Pour les intégrateurs robotiques, c'est un signal fort : le sim-to-real gap reste gérable même avec une simulation volontairement appauvrie, à condition que le MDP soit correctement modélisé. Le deep reinforcement learning pour la navigation autonome souffrait jusqu'ici d'un frein majeur à l'adoption industrielle : des cycles d'entraînement de plusieurs heures, voire de plusieurs jours, incompatibles avec l'itération rapide en production. FlashNav attaque directement ce verrou. Sur le plan concurrentiel, il se positionne face aux approches de navigation basées sur des cartes (SLAM classique) et aux VLA (Vision-Language-Action models) qui nécessitent des ressources de calcul bien supérieures. La prochaine étape naturelle sera de valider le passage à l'échelle dans des environnements dynamiques plus complexes et sur des flottes de robots, ce que la préprint ne couvre pas encore.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage d'une manipulation dextérique robuste en main à partir de capteurs articulaires avec un transformeur proprioceptif

Des chercheurs publient sur arXiv (2605.21330, mai 2026) le Proprioceptive Transformer (PT), une architecture de contrôle pour la manipulation dextre en main fondée exclusivement sur les capteurs articulaires, sans vision ni retour tactile. Testée sur la main ténosynoviale ORCA, l'approche réalise une rotation continue de cube à une vitesse 3,1 fois supérieure aux méthodes de référence, et estime la position de l'objet avec une erreur quadratique moyenne (RMSE) inférieure de 23,4 % à celle d'un perceptron multicouche (MLP). La politique de contrôle est obtenue par distillation enseignant-élève : une politique enseignante est d'abord entraînée par apprentissage par renforcement avec accès privilégié à l'état de l'objet, puis ses connaissances sont distillées vers le PT, qui opère uniquement sur l'historique de positions et de vitesses articulaires. Ce résultat questionne une hypothèse largement répandue dans le domaine : la nécessité d'une perception externe pour fermer la boucle d'estimation d'état lors de manipulations en main. Les encodeurs articulaires sont présents sur toutes les mains robotiques, y compris les architectures ténosynoviales où la transmission élastique complique l'estimation de la posture réelle des doigts. Que le Transformer extraie implicitement des informations extrinsèques à partir de patterns temporels proprioceptifs constitue une validation partielle du sim-to-real appliqué à la manipulation dextre, un problème longtemps considéré non résolu à l'échelle réelle. La robustesse sur des objets de géométrie variable ou sous charge perturbée reste à démontrer : le preprint ne rapporte de résultats que sur le cube, et les métriques de vitesse de rotation manquent de contexte sur les conditions expérimentales exactes. La manipulation dextre en main est un problème ouvert depuis les années 1990, relancé par OpenAI Dactyl (2019) qui combinait vision externe et simulation massivement distribuée. Les approches concurrentes recourent aujourd'hui à des capteurs tactiles haute résolution (Shadow Hand avec BioTac, Leap Hand, GelSight sur Allegro) ou à des pipelines vision-langage-action de type Pi-0 ou GR00T N2. L'ORCA hand, plateforme académique à actionnement par tendons, reste moins présente dans les benchmarks publiés que l'Allegro ou la Shadow Hand, ce qui limite la comparaison directe avec l'état de l'art. Le preprint ne mentionne ni partenaires industriels ni calendrier de transfert : il s'agit d'une contribution de recherche fondamentale, sans déploiement annoncé.

RecherchePaper

1 source