RecherchearXiv cs.RO 20 juillet 2026

SLAC : apprentissage par renforcement sûr et efficace pour robots réels via pré-entraînement non supervisé en simulation

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Le robot mobile bimanuel de niveau industriel exige de maîtriser des systèmes à degrés de liberté (DoF) élevés, un défi classique pour l'apprentissage par renforcement (RL). Une équipe de recherche présente SLAC (Safe and Efficient Real-Robot Reinforcement Learning), une méthode qui rend le RL directement en environnement réel viable pour des robots complexes. L'approche s'appuie sur un simulateur basse fidélité pour pré-entraîner, hors ligne, un espace d'actions latent indépendant de toute tâche spécifique. Cet espace est construit via une méthode de découverte de compétences non supervisée, conçue pour favoriser l'abstraction temporelle, la désentrelation des variables et la sécurité des mouvements. Une fois cet espace latent appris, SLAC l'utilise comme interface d'action pour un nouvel algorithme RL off-policy, qui apprend ensuite des tâches concrètes par interaction directe avec le monde réel. Sur une série de tâches de manipulation mobile bimanuelle avec contact riche, la méthode atteint des performances état de l'art, apprenant des comportements complets du corps du robot en moins d'une heure d'interactions réelles, sans démonstrations humaines ni comportements pré-programmés à la main.

Ce résultat s'attaque à deux limites structurelles qui freinent le déploiement du RL sur des robots industriels ou domestiques à haut DoF : l'apprentissage direct en réel est risqué et gourmand en données, tandis que le sim-to-real reste fragile à cause de l'écart de réalité entre simulation et monde physique. En pré-entraînant un espace d'actions latent plutôt qu'une politique complète en simulation, SLAC évite de transférer des comportements calibrés sur un modèle imparfait du monde, ce qui limite l'impact du reality gap. Pour les intégrateurs et décideurs robotique, la promesse concrète est celle d'un apprentissage de tâches en usine ou en environnement domestique sans phase de collecte de démonstrations coûteuse, un frein connu à l'adoption du RL en dehors des laboratoires de recherche.

Le papier, republié en version révisée sur arXiv (2506.04147v5), s'inscrit dans la lignée des travaux récents sur les architectures vision-langage-action (VLA) et les politiques génériques de manipulation, à l'image de GR00T N2 de NVIDIA ou Pi-0 de Physical Intelligence, qui cherchent elles aussi à réduire la dépendance aux démonstrations massives. SLAC se distingue en misant sur la découverte de compétences non supervisée plutôt que sur l'apprentissage par imitation à grande échelle. Les auteurs mettent à disposition des vidéos et documents complémentaires sur robo-rl.github.io ; les prochaines étapes attendues concernent l'extension à un plus grand nombre de tâches et embodiments, ainsi que la validation sur des plateformes robotiques industrielles au-delà du cadre expérimental académique actuel.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Fusion multimodale pour le transfert simulation-réel en apprentissage par renforcement visuel

Une équipe de recherche a soumis sur arXiv (identifiant 2507.09180, actuellement à la version 4) une architecture de fusion multimodale pour améliorer le transfert sim-to-real en apprentissage par renforcement visuel appliqué à la manipulation robotique. L'approche combine deux flux d'entrée, RGB et profondeur (depth), traités en parallèle par des réseaux convolutifs séparés (CNN stems), dont les représentations fusionnées sont transmises à un vision transformer (ViT) scalable. L'information de profondeur, naturellement robuste aux variations d'apparence de scène, fournit des détails spatiaux 3D absents des images RGB seules. Le pipeline intègre un schéma d'apprentissage contrastif à tokens masqués et non masqués pour améliorer l'efficacité d'échantillonnage, combiné à une randomisation de domaine progressive (curriculum-based domain randomization) pour stabiliser l'entraînement. En simulation, la méthode surpasse les baselines comparées. La validation clé se fait en transfert zéro-shot : sans ré-entraînement sur données réelles, le modèle réalise des tâches de manipulation physique. Le sim-to-real gap reste l'obstacle central en robotique d'apprentissage : les politiques entraînées en simulation échouent fréquemment face à la variabilité visuelle du monde réel. La fusion RGB + depth attaque directement ce problème en réduisant la dépendance aux indices visuels fragiles comme l'éclairage ou les textures. L'apprentissage contrastif à tokens partiels suggère une meilleure invariance aux perturbations apparentes sans nécessiter de volumes massifs de données réelles. Pour les intégrateurs industriels et les équipes de développement en manipulation, le transfert zéro-shot validé expérimentalement est un signal concret : la politique capture des abstractions géométriques suffisamment générales pour opérer hors simulation, ce qui est précisément la promesse que le secteur cherche à tenir depuis des années. Ce travail s'inscrit dans une compétition de représentations visuelles pour la robotique qui inclut la randomisation de domaine agressive popularisée par OpenAI dès 2017, les encodeurs préentraînés par masquage (MAE, R3M, DINOv2), et les politiques vision-langage-action (VLA) comme pi0 de Physical Intelligence ou OpenVLA. L'originalité revendiquée est la fusion RGB + depth au niveau du transformer plutôt qu'en aval, couplée au curriculum adaptatif. Le passage à la version 4 sur arXiv signale un travail en révision active, probablement vers une conférence type ICRA ou IROS. Les prochaines étapes attendues incluent une validation sur benchmarks standardisés (RLBench, MetaWorld) et des tests sur plateformes physiques plus complexes.

RecherchePaper

1 source

2arXiv cs.RO

Directives d'exploration efficace dans l'apprentissage par renforcement sûr

Ce papier de recherche, publié sur arXiv le 15 juillet 2026, présente ATACOM Directional Constraints (ATACOM-DC), une extension du framework ATACOM (safety layer) destinée à l'apprentissage par renforcement sûr pour la robotique. Le problème de départ est connu du secteur : en simulation, le RL permet d'apprendre des comportements robotiques complexes, mais un déploiement réel en environnement ouvert exige des garanties de sécurité fortes pour éviter tout geste dangereux. Les méthodes de Safe RL existantes imposent des contraintes de sécurité issues de la connaissance du système ou apprises depuis les données, mais cette contrainte ralentit généralement l'apprentissage et dégrade les performances de la tâche, l'agent devant résoudre un problème d'optimisation contraint plus complexe qu'en configuration non contrainte. L'innovation proposée introduit des contraintes directionnelles qui distinguent les actions s'approchant d'une frontière de sécurité de celles qui s'en éloignent, n'activant l'enforcement de la contrainte que lorsque c'est réellement nécessaire. Les auteurs évaluent leur méthode sur plusieurs tâches de contrôle robotique complexes en simulation, en mesurant à la fois le coût de violation des contraintes et les performances de tâche obtenues. Code et matériel supplémentaire disponibles sur atacom-dc.robot-learning.net. Pour l'industrie robotique, l'enjeu dépasse la seule performance académique : le compromis sécurité/performance est justement ce qui bloque aujourd'hui le passage de nombreux systèmes RL de la simulation au déploiement réel, notamment pour des bras manipulateurs ou des robots mobiles opérant en environnement humain. Une méthode qui réduit ce compromis sans sacrifier les garanties de sécurité intéresse directement les intégrateurs et les équipes R&D qui cherchent à industrialiser des politiques apprises plutôt que programmées à la main. Cela dit, il s'agit ici de résultats en simulation uniquement, sur un ensemble de tâches de contrôle choisies par les auteurs, sans validation sur robot physique ni déploiement industriel : le gap sim-to-real reste entier, et la portée réelle du gain de performance annoncé demande à être confirmée hors laboratoire. ATACOM-DC s'inscrit dans la lignée d'ATACOM, une safety layer déjà reconnue comme référence pour intégrer des contraintes de sécurité à des algorithmes de RL existants sans les reconcevoir entièrement. Le positionnement se fait ainsi moins face à des concurrents commerciaux que face aux autres approches académiques de Safe RL, généralement critiquées pour leur coût en vitesse d'apprentissage. Aucun acteur français ou européen n'est associé à ces travaux. Les auteurs annoncent la mise à disposition du code et de matériel complémentaire en ligne, ce qui ouvre la voie à une reproduction et une extension par d'autres équipes de recherche en robotique et RL sûr, sans toutefois qu'un calendrier de tests sur systèmes réels ne soit mentionné à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage par renforcement avec supervision humaine calibré sur les préférences pour la manipulation robotique

Une équipe de chercheurs publie dans un préprint arXiv daté du 3 juin 2026 PACT (Preference-calibrated Actor-Critic Training), un cadre d'apprentissage par renforcement avec supervision humaine (HIL-RL) pour la manipulation robotique. Le problème ciblé est connu : quand un opérateur reprend la main pour corriger le robot, les trajectoires collectées contiennent des segments suboptimaux que les méthodes actuelles propagent indistinctement dans le calcul des récompenses, surestimant les Q-valeurs et biaisant la politique vers des comportements sous-performants. PACT introduit un modèle de progression entraîné sur des démonstrations humaines pour identifier ces segments défaillants, puis construit des paires de préférence entre l'action correctrice humaine et l'action rééchantillonnée de la politique au même état d'intervention. Cette comparaison génère un avantage contrefactuel qui pénalise les cibles de Bellman sur les segments suboptimaux, complété par un alignement direct de la politique sur les actions correctives dans l'espace des moyennes bornées. Sur cinq tâches de manipulation réelle-robot, PACT affiche une amélioration moyenne du taux de succès de 24,5 % et une convergence 1,3 fois plus rapide que les méthodes HIL-RL de référence. Le code est disponible en open source sur dépôt GitHub anonymisé. Ces résultats s'attaquent à un goulot d'étranglement pratique du HIL-RL : la supervision humaine améliore l'efficacité en échantillons, mais introduit du bruit quand les corrections arrivent après plusieurs actions déjà incorrectes. En extrayant les signaux de préférence implicitement des interventions, sans annotation post-hoc coûteuse, PACT permet à un opérateur non-expert d'intervenir naturellement pendant l'entraînement sans dégrader la qualité des données. La convergence accélérée réduit directement le temps d'adaptation sur de nouvelles tâches, un facteur critique pour le déploiement en environnements industriels variables. Le HIL-RL s'appuie sur des travaux fondateurs comme DAgger (Ross et al., 2011) et IWR (Mandlekar et al., 2020), complétés par des variantes comme HG-DAgger, qui pondèrent les transitions différemment sans toutefois distinguer explicitement les segments suboptimaux. PACT se positionne comme une extension ciblée de cette famille. La manipulation robotique est par ailleurs traversée par les approches VLA (Vision-Language-Action), comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui misent sur la généralisation zero-shot, une stratégie complémentaire plutôt qu'opposée au fine-tuning supervisé par intervention humaine. Le préprint, non encore peer-reviewed, ne mentionne ni partenaires industriels ni calendrier de déploiement ; la distance entre banc de test robotique de laboratoire et production industrielle reste entière.

UEImpact indirect : ce cadre HIL-RL open-source pourrait accélérer les travaux des équipes européennes de robotique industrielle cherchant à réduire le coût d'adaptation de robots à de nouvelles tâches en production.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage par renforcement basé sur un modèle pour le contrôle robotique via optimisation en ligne

Des chercheurs ont publié sur arXiv (arXiv:2510.18518v2) un algorithme d'apprentissage par renforcement basé sur un modèle (MBRL) conçu pour contrôler des systèmes robotiques complexes directement dans le monde réel, sans passer par une phase de simulation intensive. L'approche construit un modèle de dynamique à partir des données d'interaction en temps réel, puis effectue des mises à jour de politique guidées par ce modèle appris. Les validations expérimentales ont été conduites sur deux plateformes distinctes : un bras d'excavatrice hydraulique et un bras robot souple. Dans les deux cas, l'algorithme atteint des performances comparables aux méthodes model-free en quelques heures d'entraînement, là où ces dernières réclament habituellement des millions d'interactions simulées. La robustesse de l'adaptation a également été évaluée sous conditions de charge utile (payload) aléatoire, avec des résultats stables malgré le changement de dynamique. L'enjeu principal est la réduction de ce que le secteur appelle le "sim-to-real gap" : l'écart entre les politiques apprises en simulation et leur comportement réel une fois déployées sur du matériel. Les pipelines dominants, adoptés aussi bien par des labos académiques que par des industriels comme Boston Dynamics ou Figure AI, reposent sur des millions de rollouts en simulation avant tout contact avec un robot physique, ce qui introduit un biais systématique difficile à corriger. Cet algorithme court-circuite cette étape en apprenant directement sur données réelles, avec une garantie formelle de progression : les auteurs démontrent des bornes de regret sous-linéaires (sublinear regret bounds) sous hypothèses d'optimisation stochastique en ligne, ce qui est rare dans la littérature MBRL appliquée à la robotique physique. Pour un intégrateur ou un industriel, cela se traduit par une réduction potentielle du temps de mise en service sur des tâches à dynamique variable (variation de charge, usure mécanique, changement de matériau). Ce travail s'inscrit dans un débat structurant du champ : model-based vs model-free RL pour la robotique physique. Les méthodes model-free comme PPO ou SAC dominent les benchmarks simulés mais peinent à s'adapter efficacement en production réelle. Des approches hybrides comme MBPO ou DreamerV3 ont tenté de combler cet écart, mais rarement validées sur des systèmes aussi hétérogènes qu'un bras hydraulique industriel et un manipulateur souple. La prochaine étape naturelle serait une validation sur des plateformes humanoïdes ou des AMR (autonomous mobile robots) à haute dimension, où les enjeux de sample efficiency sont directement liés aux coûts d'exploitation et à la durée de vie des actionneurs.

RecherchePaper

1 source