RecherchearXiv cs.RO 5 novembre 2026

PyRUA-REAL : exploration robotique et apprentissage adaptatif par RSI en conditions réelles

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (2611.06768) PyRUA-REAL, un framework où des agents de code, propulsés par des modèles comme GPT-6-Astra, améliorent récursivement les capacités d'un robot à partir d'interactions physiques réelles. L'approche s'appelle « embodied récursive self-improvement » (RSI). L'agent explore, écrit du code robotique exécutable, le raffine à partir du retour d'exécution, puis le déploie. Il conserve son expérience sous forme de mémoire persistante et de compétences exécutables réutilisables, qui orientent les explorations suivantes. Sur huit tâches de manipulation réelles, le système atteint 91,1 % de réussite moyenne. Sur 42 tâches du benchmark RoboDojo, il atteint 84,4 %. Les auteurs étudient aussi la collaboration entre agents, les types de feedback utiles au raffinement du code, l'effet des spécifications de tâche et des compétences acquises sur la robustesse et le transfert, ainsi que l'efficacité des programmes déployés sans agent en ligne.

Le point notable est l'architecture. Les programmes finaux tournent sans appel à un grand modèle pendant l'exécution. Le coût et la latence d'inférence, un frein courant au déploiement industriel, sont donc déplacés vers la phase d'apprentissage. Pour un intégrateur, cela évoque un code inspectable, versionnable et auditable, plutôt qu'une politique neuronale opaque. L'étude apporte aussi des éléments empiriques sur ce qui fait converger l'auto-amélioration : le type de retour d'exécution et la réutilisation de compétences. Les réserves sont claires. Il s'agit d'un préprint sans plateforme matérielle précisée dans le résumé. Huit tâches constituent un échantillon restreint, et la définition du succès, les temps de cycle et le nombre d'itérations d'amélioration nécessaires ne sont pas détaillés. Aucun résultat de déploiement industriel n'est annoncé.

Ce travail s'inscrit dans la montée des agents de code appliqués à la robotique, qui relient raisonnement spatial et comportements exécutables. Il se positionne à côté des modèles vision-langage-action (VLA) comme Pi-0, GR00T N2 ou Helix, qui apprennent des politiques de bas niveau à grande échelle de données. PyRUA-REAL privilégie la synthèse de programmes à partir d'expérience physique ciblée. Les deux voies pourraient se compléter. La suite logique serait une validation sur davantage de plateformes, des tâches plus longues et des environnements non contrôlés, avec des mesures de fiabilité, de cycle et de sécurité comparables à celles exigées en production. Rien n'indique pour l'instant de pilote commercial ni de calendrier de mise à disposition du code.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Une seule démonstration suffit pour l'apprentissage par renforcement robotique en conditions réelles

Des chercheurs présentent AutoSERL, un framework d'apprentissage par renforcement (RL) pour robots qui n'a besoin que d'une seule démonstration humaine pour apprendre des tâches de manipulation complexes en conditions réelles, sans intervention humaine continue pendant l'entraînement. Le système repose sur trois mécanismes complémentaires : une fenêtre glissante d'intervention qui guide l'exploration pour éviter les minima locaux et les mouvements dangereux, un mécanisme de récupération de sécurité qui détecte les échecs et corrige la trajectoire via des points de reprise prédéfinis, et un critère d'arrêt automatique qui coupe le guidage dès que la politique apprise devient autonome. Les auteurs ont testé AutoSERL sur six tâches de manipulation à contact intensif (insertion, accrochage, tâches à charnière) réparties sur deux plateformes robotiques différentes. Le framework atteint 100% de réussite sur les tâches d'insertion et dépasse systématiquement SERL entraîné avec 20 démonstrations, l'apprentissage par imitation classique (behavior cloning) et MILES, une méthode dédiée à l'apprentissage en un coup, tout en égalant les performances de HIL-SERL qui nécessite lui une supervision humaine continue. L'intérêt pour l'industrie tient à la réduction drastique du coût de collecte de données, généralement le principal frein au déploiement de RL sur du matériel physique. La plupart des approches existantes exigent soit des dizaines de démonstrations, soit un opérateur qui intervient en permanence pendant l'entraînement, ce qui limite le passage à l'échelle en usine ou en intégration industrielle. En automatisant l'intervention à partir d'un seul exemple tout en conservant une robustesse aux variations de position des pièces, AutoSERL rapproche le RL réel de tâches d'assemblage fin, un terrain où les approches purement basées sur l'imitation ou les politiques VLA préentraînées peinent encore à garantir une fiabilité industrielle. Ce travail s'inscrit dans la lignée de SERL et HIL-SERL, frameworks de référence pour le RL avec intervention humaine sur robots physiques, en cherchant à supprimer leur principale contrainte opérationnelle. Le code et les vidéos de démonstration sont publiés par les auteurs sur un site dédié, mais le papier, déposé sur arXiv le 1er juillet 2026, reste à ce stade une contribution de recherche académique évaluée en laboratoire sur deux plateformes robotiques, sans indication de déploiement industriel ni de partenariat commercial annoncé.

RecherchePaper

1 source

2arXiv cs.RO

UniIntervene++ : un agent d'intervention adaptatif pour un apprentissage par renforcement efficace en conditions réelles

UniIntervene++ est un agent d'intervention adaptatif pour l'apprentissage par renforcement (RL) en ligne sur robot réel, décrit dans un preprint arXiv publié en octobre 2026, avec code sur GitHub. Il décide, pendant l'entraînement, de qui contrôle le robot : la politique RL en cours d'apprentissage, une correction de trajectoire, ou une CodePolicy, c'est-à-dire un comportement structuré par la tâche et écrit sous forme de code. Ces trois comportements sont modélisés comme des « options » dans un processus de décision semi-markovien, dont l'agent apprend les valeurs relatives en ligne. Il sonde aussi régulièrement la politique RL en la laissant s'exécuter sans assistance, pour mesurer sa compétence réelle. Sur cinq tâches de manipulation réelles, le taux de succès moyen atteint 89,67 %, soit au moins 6 points de plus que tous les baselines. L'intervention humaine tombe à 0,77 % des pas, une réduction relative d'au moins 94,6 % face au meilleur baseline. Cela implique que celui-ci en demandait environ 14 % ou plus. L'enjeu est le coût du RL en conditions réelles, aujourd'hui dominé par le temps opérateur. Les stratégies existantes reposent sur des estimations hors ligne ou des règles fixes, qui deviennent inadaptées à mesure que la politique progresse. Passer sous 1 % d'intervention, si cela se confirme, rendrait l'amélioration d'une politique sur site beaucoup moins coûteuse pour un intégrateur. Les résultats viennent toutefois d'une seule équipe, sur cinq tâches que l'abstract ne détaille pas. Les baselines ne sont pas nommés non plus, et rien n'indique la robustesse hors de ces tâches ni le coût d'écriture des CodePolicies, qui demandent une connaissance experte de la tâche. Ce travail prolonge les approches de RL avec humain dans la boucle, où l'opérateur reprend la main pour corriger le robot, dont HIL-SERL est l'exemple le plus connu. Ces méthodes laissent l'opérateur décider seul du moment et de la manière d'intervenir, et leur charge reste élevée. UniIntervene++ remplace cette décision par un agent qui apprend quand intervenir, comment, et quand rendre le contrôle. L'expérience gagnée sous assistance sert aussi à améliorer la politique RL, dont les résultats modifient ensuite les décisions d'intervention. Il s'agit d'une recherche académique : aucun déploiement industriel ni calendrier n'est annoncé. La prochaine étape sera de voir si d'autres laboratoires reproduisent les résultats grâce au code publié, notamment sur des tâches plus longues ou des robots différents.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

SEVI : apprentissage par renforcement évidentiel et sûr en conditions réelles

Des chercheurs proposent SEVI (Safe Evidential Real-World Reinforcement Learning), un cadre destiné à limiter les interactions dangereuses pendant l'apprentissage par renforcement directement sur robot physique. Son élément central est un « Evidential Safety Critic », un réseau qui estime en une seule passe avant à la fois le risque de violation future de contraintes et l'incertitude épistémique, c'est-à-dire le manque de données soutenant cette prédiction. Avant chaque exécution, l'action proposée par la politique de la tâche est évaluée. Si elle est jugée dangereuse, ou si la prédiction n'est pas suffisamment étayée par des preuves, une politique de récupération entraînée hors ligne la remplace et ramène le robot vers une zone moins risquée. L'évaluation porte sur deux tâches de manipulation simulées et sur une insertion USB réelle, en conditions nominales puis sous décalage de distribution. SEVI affiche la meilleure prédiction de sécurité au niveau de la trajectoire, le meilleur taux de succès final et le plus faible nombre d'événements dangereux parmi les références testées. Il réduit ces événements de 13,4 à 57,1 % par rapport à un RL sûr fondé sur la récupération, tout en conservant un filtrage à faible latence à l'exécution. L'enjeu est pratique. L'apprentissage par renforcement en conditions réelles permet désormais d'entraîner des tâches de manipulation riches en contacts, comme l'insertion de connecteurs, directement sur le robot, ce qui évite une partie du fossé sim-to-real. Mais l'exploration en ligne endommage pièces, outillage et parfois le robot lui-même, ce qui freine l'adoption en atelier. L'approche de SEVI est de ne pas faire confiance au critique de sécurité quand il est lui-même hors de son domaine de validité, un point faible des filtres de sécurité appris qui échouent silencieusement lors d'un décalage de distribution. Le filtrage en une seule passe est un atout pour les cadences de contrôle élevées, car les méthodes à base d'ensembles de modèles coûtent davantage en calcul. Il faut toutefois relativiser : la validation réelle se limite à une seule tâche, l'insertion USB, sur un montage de laboratoire, et le papier ne fournit pas ici de chiffres absolus de succès ni de temps de cycle. Il s'agit d'une prépublication non évaluée par des pairs, sans produit ni déploiement industriel. Ces travaux s'inscrivent dans la lignée des méthodes de RL sûr par fonctions de contrainte, par boucliers ou par politiques de récupération, ainsi que des systèmes de RL réel sur robot comme ceux utilisés pour l'insertion de précision, où l'humain intervient souvent pour couper l'essai en cas de danger. Le recours à l'estimation d'incertitude évidentielle, issue de l'apprentissage profond évidentiel, relie ce domaine à la prise de décision fiable. Les points de comparaison les plus directs restent les méthodes de sécurité fondées sur la récupération, que SEVI dit surpasser. Les suites logiques sont des tests sur des tâches plus variées, des mesures sur plusieurs robots et des essais en conditions d'usine. Le site du projet (sévi-safe.github.io) doit regrouper vidéos et détails, mais ces vidéos relèvent d'un choix des auteurs et ne remplacent pas des statistiques sur de nombreux essais.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

ResMerge : apprentissage et fusion de politiques résiduelles pour l'adaptation continue de politiques robotiques pré-entraînées

Des chercheurs proposent ResMerge, un cadre en deux étapes pour adapter en continu une politique robotique pré-entraînée à de nouvelles tâches, sans faire croître indéfiniment le nombre de paramètres stockés. La politique de base reste gelée. Pour chaque nouvelle tâche, un apprentissage par renforcement résiduel (residual RL) apprend une correction qui s'ajoute aux actions de la politique de base, sans démonstrations d'experts supplémentaires pendant l'adaptation. Dans un second temps, les résiduels jugés compatibles sont fusionnés dans l'espace des paramètres, ce qui réduit le volume stocké. Pour décider quels résiduels fusionner, les auteurs introduisent la Residual-Field Consistency (RFC), une métrique bornée qui compare la direction et l'amplitude des corrections dans l'espace des actions. Les tests portent sur le benchmark de simulation LIBERO avec deux architectures de base, puis sur un robot Franka réel. Les auteurs annoncent de meilleures performances d'apprentissage continu que des méthodes PECFT (Parameter-Efficient Continual Fine-Tuning) de référence, ainsi qu'une empreinte réduite grâce à la fusion sélective. Le résumé ne donne aucun chiffre : ni taux de réussite, ni taux de compression, ni nombre de tâches. L'enjeu est celui du déploiement sur la durée. Une flotte de robots qui doit apprendre de nouvelles tâches sur site ne peut pas collecter de téléopérations à chaque changement de référence, ni empiler un adaptateur par tâche. En remplaçant les démonstrations par du RL résiduel, ResMerge vise le goulot de la collecte de données. En fusionnant les corrections compatibles, il vise la croissance linéaire de la mémoire. Reste à vérifier la généralisation : le RL en conditions réelles exige des signaux de récompense et des phases d'exploration que le résumé ne détaille pas. Les résultats réels sur un seul bras Franka ne disent pas non plus comment la méthode se comporte avec des dizaines de tâches ou sur des plateformes plus complexes. Ce travail s'inscrit dans l'effort pour rendre les modèles vision-langage-action (VLA) et les politiques pré-entraînées réellement évolutifs après leur déploiement. Il se positionne contre les approches d'adaptateurs par tâche issues du fine-tuning continu, qui évitent l'oubli catastrophique mais restent dépendantes des démonstrations. Il s'agit d'une prépublication arXiv (v1), sans validation par les pairs, et aucun calendrier de transfert industriel n'est mentionné. Un site de projet accompagne l'article. La suite logique serait de tester la fusion sur des séquences de tâches plus longues, avec des politiques de base plus grandes et en dehors du cadre de LIBERO.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source