Aller au contenu principal
Lightwheel présente RoboFinals, des environnements d'apprentissage par renforcement pour l'entraînement de robots sur de longues tâchesIllustration générée par IA
IA physiquePandaily 

Lightwheel présente RoboFinals, des environnements d'apprentissage par renforcement pour l'entraînement de robots sur de longues tâches

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Lightwheel a présenté RoboFinals RL Environments, une extension de sa plateforme d'évaluation robotique vers l'entraînement interactif par apprentissage par renforcement, lancée pendant la CoRL 2026 et détaillée le 17 novembre dans un rapport du média chinois QbitAI. Il s'agit d'un ensemble d'environnements de simulation destinés à l'entraînement, et non d'instances d'évaluation réservées aux tests. La démonstration phare dure plus de huit minutes et enchaîne plusieurs étapes d'une réparation automobile, avec une main dextre, des outils et des objets déformables comme des durites, des câbles et des joints. Les positions, contacts et états intermédiaires se propagent d'une étape à l'autre, de sorte que la politique doit composer avec les conséquences de ses actions précédentes. Côté pipeline, Lightwheel part d'enregistrements en vue subjective (EgoSuite) de personnes réalisant un vrai travail. Des agents en extraient sous-objectifs, objets et ordre des opérations, puis reconstruisent les scènes sous forme d'actifs OpenUSD « SimReady ». L'infrastructure SimFoundry combine résolution physique, mesure et génération, avec relecture des étapes clés par des spécialistes de la simulation. La page produit évoque une exécution native sur Newton et une physique couplant corps rigides, déformables et granulaires, avec friction, raideur et amortissement calibrés par mesures et contrôles d'ingénierie. Dans un exemple de calibration de durite assistée par agent, l'écart de position maximal aurait baissé d'environ trois millimètres et les oscillations parasites diminué.

L'intérêt pour les intégrateurs et les équipes de recherche tient à la cible : des tâches longues, riches en contacts et en matériaux déformables, là où la plupart des environnements de RL se limitent à des manipulations courtes sur objets rigides. Si la chaîne vidéo égocentrique, reconstruction automatique de scène et calibration physique tient ses promesses, elle réduit le coût de production d'environnements d'entraînement fidèles, un des goulots d'étranglement du sim-to-real. Il faut toutefois rester lucide : la séquence est une démonstration en simulation produite par l'entreprise, sans vérification indépendante ni déploiement sur robot réel. Les gains de calibration (environ 3 mm) sont rapportés pour un seul cas, la durite, et ne constituent pas une spécification de précision valable pour tous les environnements. Rien ne prouve donc encore que des politiques entraînées dans ces environnements se transfèrent à du matériel physique ou généralisent à des tâches évaluées de façon indépendante, et c'est précisément la question qui compte pour un décideur industriel.

Ce lancement prolonge la plateforme RoboFinals Benchmark de Lightwheel, avec laquelle les nouveaux environnements partagent sémantique des tâches, actifs de scène et définitions de capacités. L'entreprise affirme maintenir une séparation stricte entre tâches d'entraînement, réglage des récompenses et instances d'évaluation indépendantes, ce qui évite de confondre définitions communes et entraînement sur les cas de test, un point à surveiller de près pour la crédibilité du futur classement. L'accès se fait pour l'instant via une liste d'attente d'accès anticipé, sans téléchargement public. Lightwheel annonce un benchmark plus complet et un leaderboard public à venir, sans calendrier précis dans les informations disponibles. Le positionnement face aux autres fournisseurs de simulation et de données pour l'IA incarnée, qui misent sur la téléopération ou la génération synthétique, dépendra de résultats externes reproductibles : transfert sur robot réel, performances de modèles tiers et transparence sur les protocoles d'évaluation. D'ici là, RoboFinals RL Environments relève de l'annonce accompagnée d'une démonstration, et non d'un produit largement accessible ni d'un déploiement industriel avéré.

Dans nos dossiers

À lire aussi

Au-delà de l'imitation : co-entraînement simulation-réel par apprentissage par renforcement pour les modèles VLA
Illustration générée par IA
1arXiv cs.RO 

Au-delà de l'imitation : co-entraînement simulation-réel par apprentissage par renforcement pour les modèles VLA

Une équipe de chercheurs propose RL-Co (RL-based sim-real Co-training), un framework d'entraînement combinant simulation et données réelles via l'apprentissage par renforcement pour les modèles VLA (Vision-Language-Action). Publié sur arXiv (ref. 2602.12628, version 4), le travail s'articule en deux étapes : une phase de préchauffage par fine-tuning supervisé (SFT) sur un mélange de démonstrations réelles et simulées, suivie d'un fine-tuning par RL en simulation avec une perte supervisée auxiliaire sur données réelles pour ancrer la politique et prévenir l'oubli catastrophique. Évalué sur quatre tâches de manipulation sur table en conditions réelles, RL-Co affiche une progression de +24% du taux de succès sur l'architecture OpenVLA et de +20% sur π0.5, développé par Physical Intelligence, par rapport à un entraînement supervisé classique sur données réelles uniquement. L'intérêt de cette approche dépasse les chiffres de performance bruts. La quasi-totalité des méthodes actuelles de co-entraînement sim-réel traite la simulation comme une source statique de démonstrations, sans exploiter les interactions en boucle fermée que ces environnements rendent possibles à grande échelle. RL-Co brise cette limite en tirant parti de l'exploration dynamique en simulation, ce qui se traduit par une meilleure généralisation aux variations de tâches non vues à l'entraînement et une efficacité accrue sur les données réelles, réduisant concrètement le besoin en démonstrations coûteuses sur robot physique. Pour les intégrateurs et les équipes R&D, c'est une voie d'entraînement plus économique sans compromis sur les performances terrain. Le défi du transfert simulation-réel reste l'un des obstacles structurants au déploiement de robots généralistes. Les modèles VLA ont connu une accélération notable depuis 2024, portée par OpenVLA (Stanford/UC Berkeley, open-source), la série π0/π0.5 de Physical Intelligence, fondée par d'anciens chercheurs de Google DeepMind et Stanford, et les travaux de Google DeepMind autour de RT-2 et ses successeurs. RL-Co s'inscrit dans une tendance de fond visant à remplacer la supervision pure par des boucles d'interaction actives dans des simulateurs de plus en plus fidèles. La prochaine étape naturelle sera l'extension à des tâches plus complexes et à des environnements moins structurés que la table de laboratoire, condition nécessaire pour valider l'approche à l'échelle industrielle.

💬 La vraie limite du sim-réel jusqu'ici, c'est qu'on traitait la simulation comme une banque de démonstrations statiques. RL-Co casse ça : le modèle explore en boucle fermée dans le simulateur, et ça se voit avec +24% sur OpenVLA et +20% sur π0.5 en conditions réelles. La table de labo c'est pas une chaîne de prod, mais c'est clairement la bonne direction pour réduire le besoin en données robotiques coûteuses.

IA physiqueOpinion
1 source
Apprentissage par renforcement pour des politiques vision-langage-action en temps réel
Illustration générée par IA
2arXiv cs.RO 

Apprentissage par renforcement pour des politiques vision-langage-action en temps réel

Un article publié sur arXiv (2609.18207v1) présente Real-Time EXPO-FT, un framework de fine-tuning par renforcement (RL) destiné à rendre les modèles Vision-Language-Action (VLA) exploitables en temps réel. Le problème visé : la taille des VLA modernes entraîne une latence d'inférence élevée, si bien que l'observation utilisée pour choisir une action est souvent obsolète au moment de son exécution, ce qui dégrade la fiabilité en conditions dynamiques. Bâtie sur EXPO-FT, un framework existant de fine-tuning RL économe en données, la méthode sépare la génération d'action, lente et expressive, confiée à un grand VLA pré-entraîné, de l'édition rapide et réactive de ces actions par une politique légère conditionnée sur l'observation la plus récente. Sur le benchmark simulé Kinetix, cette politique retardée obtient la meilleure performance dans les 10 environnements testés ; sur quatre tâches robotiques réelles (passation d'objet entre robots, équilibrage de balle, tir au but au babyfoot, ramassage d'objet en mouvement), la performance moyenne passe de 42 % à 97 % avec seulement 10 minutes de données collectées en ligne, sans intervention humaine. Ce résultat s'attaque à un frein connu du déploiement des VLA en robotique : la latence d'inférence, qui crée un décalage entre l'état perçu et l'état réel au moment d'agir, un problème qui s'aggrave à mesure que les modèles grossissent pour gagner en généralisation. Les approches antérieures d'exécution asynchrone reposaient sur l'apprentissage par imitation, incapable de dépasser la distribution des démonstrations ou de corriger ses erreurs en ligne. En montrant qu'un fine-tuning RL peut respecter des contraintes de contrôle temps réel tout en s'adaptant au-delà des données d'entraînement, Real-Time EXPO-FT ouvre une piste utile pour les intégrateurs cherchant des politiques VLA fiables sur des tâches dynamiques, plutôt que sur les démonstrations statiques et scénarisées souvent mises en avant par l'industrie. Le travail prolonge EXPO-FT, dont il reprend le principe de fine-tuning RL économe en échantillons, en y ajoutant la dimension temps réel absente des méthodes concurrentes fondées sur l'imitation. Il s'inscrit dans une recherche plus large sur les VLA génériques pour la manipulation robotique, où la latence liée à la taille des modèles reste un obstacle régulièrement pointé face aux exigences de contrôle réactif. Les auteurs ont mis en ligne une page de projet (pd-perry.github.io/real-time-expo-ft) présentant ces résultats, mais l'article ne mentionne aucun partenariat industriel ni calendrier de déploiement au-delà du cadre expérimental décrit, ce qui en fait pour l'instant une contribution de recherche plutôt qu'un produit prêt pour la production.

IA physiqueActu
1 source
AllDayNav : navigation permanente par apprentissage par renforcement en environnement réel
Illustration générée par IA
3arXiv cs.RO 

AllDayNav : navigation permanente par apprentissage par renforcement en environnement réel

Des chercheurs ont publié sur arXiv (réf. 2606.10927) AllDayNav, un système de navigation robotique lifelong capable d'évoluer indéfiniment dans des environnements dynamiques sans carte explicite. Son architecture combine un grand modèle d'un milliard de paramètres, entraîné par apprentissage par renforcement directement en conditions réelles, et une mémoire multimodale auto-évolutive qui agrège images-clés visuelles, descriptions sémantiques et contexte temporel. Ce mécanisme permet au robot de générer automatiquement des instructions en vocabulaire ouvert, des objectifs visuels et des récompenses structurées, sans annotation humaine à chaque nouvelle tâche. Évalué sur des scénarios de navigation inter-pièces, inter-épisodes et inter-tâches, AllDayNav atteint des taux de succès proches de 100 % et surpasse des baselines de type SLAM, VLM et RL classique en efficacité de trajectoire et en robustesse, aussi bien en simulation qu'en environnement physique. Ce travail remet en question une hypothèse structurante du domaine : la navigation autonome fiable nécessiterait une représentation spatiale explicite de l'environnement (cartes métriques, graphes de scènes). AllDayNav montre qu'un modèle suffisamment large, affiné en continu par RL avec une mémoire implicite, peut dépasser ces approches y compris hors contextes contrôlés. Pour les intégrateurs de robots mobiles (AMR en logistique, robots de service en espaces publics), cela préfigure des systèmes adaptables aux modifications d'environnement sans reconfiguration manuelle. La prudence reste de mise : les chiffres de "100 % de succès" proviennent d'un preprint non encore évalué par les pairs, sans détail complet sur les conditions exactes d'évaluation ni sur la variabilité entre scènes. AllDayNav s'inscrit dans une tendance de fond visant à remplacer les pipelines modulaires perception-cartographie-planification par des modèles de fondation entraînés de bout en bout. Google DeepMind (travaux NavIRL, SayCan), CMU et Berkeley explorent des directions similaires pour la navigation mobile généraliste, tandis que des acteurs comme Boston Dynamics et ANYbotics continuent de s'appuyer sur des approches hybrides métriques. Soumis le 10 juin 2026, ce papier reste une contribution académique : aucun déploiement industriel ni partenariat commercial n'est annoncé à ce stade.

UEImpact indirect pour les intégrateurs européens d'AMR logistique : si les résultats se confirment après peer review, cette approche pourrait réduire les coûts de reconfiguration dans des entrepôts et espaces publics dynamiques.

IA physiquePaper
1 source
π-StepNFT : un espace plus large exige des pas plus fins dans l'apprentissage par renforcement en ligne pour les VLA à base de flux
Illustration générée par IA
4arXiv cs.RO 

π-StepNFT : un espace plus large exige des pas plus fins dans l'apprentissage par renforcement en ligne pour les VLA à base de flux

Des chercheurs publient π-StepNFT, un cadre d'apprentissage par renforcement (RL) en ligne conçu pour les modèles VLA (vision-langage-action) à flux, c'est-à-dire ceux qui génèrent leurs actions par débruitage multi-étapes, comme π0 et π0.5 de Physical Intelligence. Sur le benchmark de simulation LIBERO, et à partir d'initialisations communes obtenues par fine-tuning supervisé sur très peu de démonstrations, la méthode fait passer le taux de succès moyen de π0 de 57,6 % à 92,0 %, et celui de π0.5 de 77,1 % à 94,0 %. Sur ManiSkill, elle obtient le meilleur succès moyen parmi les approches RL comparées sur cinq tests visuels perturbés, exclusivement utilisés à l'évaluation. Aucune donnée de robot réel n'est rapportée dans le résumé. Le verrou technique est précis. Dans ces modèles, la vraisemblance de l'action finale n'est pas calculable directement, ce qui complique les méthodes de gradient de politique classiques. Les auteurs identifient un décalage entre exploration et supervision : l'échantillonnage par équation différentielle stochastique (SDE) explore un espace de transitions locales plus large, alors que le signal d'apprentissage, dérivé de la sortie finale débruitée, n'exploite pas les transitions adjacentes réellement observées. π-StepNFT traite chaque transition SDE comme une unité de supervision. Il classe des branches de vitesse « positive » et « négative » en miroir grâce à des erreurs de transition normalisées par la variance, puis convertit le retour des déroulements en mises à jour locales de la vitesse, sans jamais calculer la vraisemblance de l'action finale. L'enjeu pour le secteur est de savoir si le RL en ligne peut s'appliquer sans artifice aux VLA à flux, aujourd'hui dominants dans les modèles de fondation robotiques, plutôt que de s'arrêter à l'imitation. Un gain de 34 points sur π0 à partir d'un départ peu supervisé suggère que le goulot d'étranglement tient à l'algorithme, pas seulement aux données. Les tests visuels perturbés de ManiSkill vont dans le sens d'une meilleure robustesse, mais restent de la simulation, et l'écart entre benchmark et atelier reste entier. LIBERO est de surcroît un banc proche de la saturation pour les modèles récents, ce qui invite à la prudence sur la portée des 92 à 94 %. Pour les intégrateurs, le signal utile est la perspective d'adapter une politique à un site avec moins de démonstrations humaines, à condition que cela se vérifie sur matériel réel. Ce travail s'inscrit dans la montée du RL post-entraînement pour les VLA, face à des approches qui contournent la vraisemblance par des heuristiques ou des politiques résiduelles. Physical Intelligence a ouvert la voie avec π0 et π0.5, tandis que NVIDIA (GR00T), Figure (Helix) et d'autres explorent leurs propres boucles d'amélioration. Les prochaines étapes à surveiller sont la validation sur robots physiques, la comparaison aux méthodes concurrentes sur des tâches longues et le coût réel en échantillons de l'apprentissage en ligne. Une page de projet accompagne cette version révisée (v3) de l'article.

IA physiqueOpinion
1 source