RecherchearXiv cs.RO 25 juin 2026

Apprentissage par renforcement résiduel incrémental pour la navigation sociale en conditions réelles

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (réf. 2604.07945, version 2) une méthode baptisée IRRL, Incremental Residual Reinforcement Learning, conçue pour permettre aux robots mobiles d'apprendre à naviguer parmi les piétons directement dans des environnements physiques réels, sans passer par une étape de simulation exhaustive. L'approche combine deux mécanismes distincts : l'apprentissage incrémental, un processus léger qui ne nécessite ni replay buffer ni mise à jour par batch, et le RL résiduel, qui restreint l'apprentissage aux corrections à apporter par rapport à une politique de base préexistante. Les expériences couvrent à la fois des environnements simulés et des déploiements réels sur robot physique, avec pour cible explicite les dispositifs edge à ressources computationnelles contraintes.

L'enjeu industriel est concret : la navigation sociale, faire circuler un robot autonome parmi des piétons en respectant les conventions implicites de déplacement, est un verrou majeur pour les AMR déployés dans des espaces publics, des entrepôts partagés ou des établissements de santé. Le problème du sim-to-real gap est ici particulièrement prononcé, car les dynamiques piétonnes varient fortement selon les régions, les cultures et les configurations d'espace, rendant toute couverture exhaustive par simulation illusoire. IRRL propose une réponse directe : laisser le robot continuer à apprendre une fois déployé, en se limitant aux résidus par rapport à une politique de base, ce qui réduit drastiquement la charge computationnelle. Les résultats publiés montrent des performances comparables aux méthodes classiques avec replay buffer en simulation, et une supériorité sur les approches d'apprentissage incrémental existantes. Les expériences en environnement réel confirment une adaptation effective à des situations inédites. Ces résultats restent toutefois à interpréter avec prudence : il s'agit d'un preprint académique, sans benchmark standardisé ni déploiement à l'échelle annoncé.

Le domaine de la navigation sociale par deep RL est actif depuis plusieurs années, porté par des travaux comme CrowdNav (ICRA 2019) ou des méthodes basées sur ORCA et ses extensions apprenantes. L'approche résiduelle n'est pas nouvelle en soi, elle est notamment utilisée dans le contrôle de robots manipulateurs pour corriger une politique classique, mais son application à la navigation sociale en conditions réelles avec contrainte edge reste peu explorée. Aucune institution ni entreprise n'est identifiée dans l'abstract disponible, et aucun partenariat industriel ni pilote terrain n'est mentionné. Les prochaines étapes naturelles seraient une validation sur des plateformes AMR commerciales (type Clearpath ou unitree) et une confrontation aux benchmarks publics de navigation sociale tels que BARN ou SocNavBench.

Dans nos dossiers

Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

COLSON : navigation sociale contrôlable par apprentissage par renforcement basé sur la diffusion

Des chercheurs proposent COLSON (Controllable Learning-based Social Navigation), une méthode de navigation sociale pour robots mobiles autonomes (AMR) en milieux piétons, fondée sur l'apprentissage par renforcement couplé à des modèles de diffusion. Publiée sur arXiv (2503.13934v2), cette étude traite d'un verrou persistant pour les robots de service : naviguer de façon fluide et socialement cohérente parmi des piétons dynamiques, sans violer leurs espaces de proximité ni générer de comportements erratiques. Les approches à base de règles telles qu'ORCA ou DWA montrent leurs limites dans les environnements denses, tandis que les méthodes de deep RL conventionnelles reposent sur des distributions gaussiennes qui contraignent la variété des trajectoires produites. COLSON contourne cette limitation en exploitant les distributions d'actions plus riches offertes par les modèles de diffusion appliqués au RL, capables de représenter des comportements multimodaux (hésiter, contourner à gauche ou à droite) que les politiques gaussiennes tendent à lisser. L'apport central de la méthode est sa capacité de généralisation à des scénarios inédits sans ré-entraînement. Dans les démonstrations présentées, le robot adapte son comportement à des obstacles statiques absents du jeu d'entraînement, ou change d'objectif pour accompagner un piéton cible tout en évitant les autres passants. Pour les intégrateurs d'AMR en milieux hospitaliers, aéroportuaires ou logistiques, cette propriété de contrôlabilité zero-shot est stratégiquement importante : elle réduit le coût de re-paramétrage à chaque nouveau site de déploiement. Elle valide aussi partiellement l'hypothèse que les diffusion models peuvent atténuer le sim-to-real gap en navigation sociale, en générant des distributions d'actions plus robustes face à l'imprévu. Le champ de la social navigation par deep RL est actif depuis une décennie, avec des travaux fondateurs comme CADRL (2017), SARL et CrowdNav. L'application des modèles de diffusion au RL dans la robotique est plus récente, s'appuyant notamment sur Diffusion Policy (Columbia/MIT, 2023) dans le domaine de la manipulation. COLSON transfère cette logique vers la planification de mouvement en espace ouvert. Il s'agit à ce stade d'un preprint académique avec validation uniquement en simulation ; aucun déploiement sur robot réel ni partenariat industriel n'est mentionné, ce qui invite à tempérer les conclusions. Les éditeurs actifs sur la navigation sociale autonome incluent Boston Dynamics, ANYbotics et Clearpath Robotics, et côté européen Enchanted Tools (France) ou PAL Robotics (Espagne) pour les robots de service. Les prochaines étapes naturelles seraient une validation en environnement réel et un benchmarking sur les datasets standardisés ETH/UCY.

UELes intégrateurs AMR européens (dont Enchanted Tools en France, PAL Robotics en Espagne) pourraient à terme bénéficier de la contrôlabilité zero-shot de COLSON pour réduire les coûts de redéploiement multi-sites, mais la méthode reste validée uniquement en simulation sans partenariat industriel déclaré.

RecherchePaper

1 source

2arXiv cs.RO

Une seule démonstration suffit pour l'apprentissage par renforcement robotique en conditions réelles

Des chercheurs présentent AutoSERL, un framework d'apprentissage par renforcement (RL) pour robots qui n'a besoin que d'une seule démonstration humaine pour apprendre des tâches de manipulation complexes en conditions réelles, sans intervention humaine continue pendant l'entraînement. Le système repose sur trois mécanismes complémentaires : une fenêtre glissante d'intervention qui guide l'exploration pour éviter les minima locaux et les mouvements dangereux, un mécanisme de récupération de sécurité qui détecte les échecs et corrige la trajectoire via des points de reprise prédéfinis, et un critère d'arrêt automatique qui coupe le guidage dès que la politique apprise devient autonome. Les auteurs ont testé AutoSERL sur six tâches de manipulation à contact intensif (insertion, accrochage, tâches à charnière) réparties sur deux plateformes robotiques différentes. Le framework atteint 100% de réussite sur les tâches d'insertion et dépasse systématiquement SERL entraîné avec 20 démonstrations, l'apprentissage par imitation classique (behavior cloning) et MILES, une méthode dédiée à l'apprentissage en un coup, tout en égalant les performances de HIL-SERL qui nécessite lui une supervision humaine continue. L'intérêt pour l'industrie tient à la réduction drastique du coût de collecte de données, généralement le principal frein au déploiement de RL sur du matériel physique. La plupart des approches existantes exigent soit des dizaines de démonstrations, soit un opérateur qui intervient en permanence pendant l'entraînement, ce qui limite le passage à l'échelle en usine ou en intégration industrielle. En automatisant l'intervention à partir d'un seul exemple tout en conservant une robustesse aux variations de position des pièces, AutoSERL rapproche le RL réel de tâches d'assemblage fin, un terrain où les approches purement basées sur l'imitation ou les politiques VLA préentraînées peinent encore à garantir une fiabilité industrielle. Ce travail s'inscrit dans la lignée de SERL et HIL-SERL, frameworks de référence pour le RL avec intervention humaine sur robots physiques, en cherchant à supprimer leur principale contrainte opérationnelle. Le code et les vidéos de démonstration sont publiés par les auteurs sur un site dédié, mais le papier, déposé sur arXiv le 1er juillet 2026, reste à ce stade une contribution de recherche académique évaluée en laboratoire sur deux plateformes robotiques, sans indication de déploiement industriel ni de partenariat commercial annoncé.

RecherchePaper

1 source

3arXiv cs.RO

KinematicRL : framework d'apprentissage par renforcement sim-vers-réel pour la navigation sociale à faisabilité cinodynamique

Des chercheurs ont présenté KinematicRL, un cadre de navigation sociale par apprentissage par renforcement profond (DRL) conçu pour combler l'écart sim-to-real freinant le déploiement des robots mobiles en environnements humains, publié sur arXiv en juin 2026 (arXiv:2606.12042). Ciblant les robots à entraînement différentiel, architecture répandue dans les AGV et robots de service, le framework combine trois composants : un espace d'action DRL au second ordre plutôt qu'au premier ordre habituel, un régulateur LQR itératif stochastique (iLQR) pré-entraînant la politique par minimisation de divergence, et un pipeline de suivi humain fonctionnant uniquement sur LiDAR 2D, sans fusion caméra. Un bloc de gating résiduel non biaisé complète le système pour équilibrer comportements réactifs et mémoriels selon la taille variable des foules détectées, les auteurs rapportant un déploiement sur robot réel avec modifications minimales. L'apport théorique central est la démonstration formelle que l'erreur de suivi entre position simulée et réelle décroît exponentiellement avec l'ordre de contrôle, justifiant rigoureusement l'adoption du second ordre pour les politiques DRL. En pratique, cela renforce le transfert simulation-vers-réel sans calibration complexe. En associant les détections humaines par proximité spatiale et similarité de vitesse, le pipeline LiDAR maintient une estimation de vélocité stable par agrégation temporelle, différenciant fiablement les piétons proches sans recourir à une caméra RGB. Pour les intégrateurs, ces deux choix réduisent sensiblement la dette d'ingénierie liée au déploiement terrain. La navigation sociale reste l'un des problèmes ouverts les plus difficiles de la robotique mobile, face aux méthodes analytiques comme ORCA ou le modèle de force sociale, et aux politiques DRL end-to-end. Les récents travaux en Vision-Language-Action (VLA) ont relancé l'ambition du domaine mais peinent à garantir la faisabilité cinématique en temps réel. KinematicRL adopte une posture plus conservatrice et formellement motivée, mieux adaptée aux déploiements en milieux contraints tels qu'entrepôts, hôpitaux ou aéroports. Les auteurs ne précisent ni le modèle de robot ni les durées de test, ce qui invite à interpréter les résultats avec prudence avant tout passage à l'échelle industrielle.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage par renforcement résiduel pour la téléopération de robots sous délais stochastiques

Les délais de communication en téleopération robotique ne sont jamais constants : latences variables selon la charge réseau, paquets perdus, jitter. Ces instabilités stochastiques introduisent des discontinuités dans les observations reçues par le contrôleur. En conditions réelles, les méthodes classiques d'apprentissage par renforcement (RL) s'effondrent face à ces délais : l'agent, confronté à des états incohérents, produit des commandes oscillantes à haute fréquence, un phénomène dit de chattering, qui dégrade la stabilité mécanique et l'exécution des tâches. Une équipe de chercheurs publie sur arXiv (identifiant 2605.15480, mai 2025) un cadre hybride baptisé delay-resilient RL, combinant un estimateur d'état basé sur un réseau LSTM (Long Short-Term Memory) avec une politique RL résiduelle. Le LSTM reconstruit des estimations d'état lisses et continues à partir des observations retardées, permettant à l'agent d'apprendre une politique de compensation résiduelle en couple (residual torque). La validation expérimentale a été conduite sur des robots Franka Panda, bras 7-DOF largement utilisé comme référence en recherche sur la manipulation. L'approche tire parti de la complémentarité de deux techniques établies : les réseaux LSTM pour la reconstruction temporelle de séquences, et le RL résiduel pour corriger un contrôleur de base sans le remplacer. En séparant l'estimation d'état du problème de contrôle, les auteurs évitent que le chattering contamine le signal de commande, un défaut récurrent des architectures RL pures opérant avec des espaces d'observation augmentés. Pour les opérateurs industriels déployant des systèmes de téleopération en conditions réseau dégradées, maintenance en milieu hostile, chirurgie à distance ou contrôle d'assets offshore, la robustesse aux délais à forte variance représente un critère discriminant souvent absent des benchmarks académiques. Les résultats publiés montrent une supériorité sur les baselines état de l'art même sous des délais stochastiques élevés, suggérant une voie viable vers des contrôleurs plus robustes en déploiement réel. Le Franka Panda, produit par Franka Robotics (Munich), s'est imposé comme référence de facto dans les laboratoires de manipulation grâce à sa compliance active et son API ouverte. Les approches concurrentes pour gérer les délais en RL incluent l'augmentation de l'espace d'états avec l'historique d'observations ou les prédicteurs à horizon fixe ; la combinaison LSTM et RL résiduel reste une direction moins explorée dans la littérature. Ce travail est un preprint arXiv non évalué par les pairs, et les résultats restent limités à un environnement expérimental contrôlé avec un seul type de robot. Les prochaines étapes naturelles impliquent des validations sur des plateformes bimanuelles ou humanoïdes, ainsi que des tests en conditions réseau réelles plutôt que simulées.

UEFranka Robotics (Munich) est la plateforme de référence utilisée, et cette approche de robustesse aux délais stochastiques pourrait intéresser les équipes européennes travaillant sur la téleopération industrielle en milieu hostile ou la chirurgie à distance, domaines en développement dans l'UE.

RecherchePaper

1 source