Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Piloter l'apprentissage par renforcement génératif vers un contrôleur robotique stable
IA physiquearXiv cs.RO 

Piloter l'apprentissage par renforcement génératif vers un contrôleur robotique stable

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié fin juin 2026 sur arXiv (2606.16572) SteerGenPO, un cadre d'apprentissage par renforcement en espace latent destiné à transformer une politique générative entraînée, basée sur la diffusion ou les flux normalisants, en un contrôleur robotique déterministe et stable. Le système a été évalué sur six benchmarks Isaac Lab d'NVIDIA et sur une tâche de locomotion avec le robot humanoïde Unitree G1, avec des résultats supérieurs aux baselines RL classiques et génératives selon les auteurs. Il s'agit d'une publication académique en pré-impression, sans déploiement industriel annoncé ni validation terrain au-delà du G1.

Le verrou technique adressé est connu : les politiques de diffusion accumulent des variations d'action à chaque pas de temps, ce qui dégrade la stabilité sur des systèmes robotiques à haute dimensionnalité. SteerGenPO sépare architecturalement exploration et contrôle : l'échantillonnage stochastique reste actif à l'entraînement pour diversifier les proposals d'actions, mais au déploiement, un acteur latent appris prédit une entrée déterministe et dépendante de l'état qui pilote la politique générative sans bruit résiduel. Pour les intégrateurs, la proposition n'exige pas de réentraîner la politique depuis zéro : elle greffe un mécanisme de pilotage sur un checkpoint pré-entraîné existant, ce qui ouvre la voie à l'exploitation de modèles fondation tout en garantissant la reproductibilité des trajectoires en production.

Ce travail s'inscrit dans la compétition intense autour des politiques génératives en robotique. Physical Intelligence avec Pi-0 (2024) et NVIDIA avec GR00T N2 (2025) ont validé l'approche VLA-diffusion en environnements contrôlés, mais les questions sur la robustesse à l'inférence longue restent ouvertes. Boston Dynamics, Agility Robotics et Figure AI privilégient des pipelines de contrôle plus classiques pour la fiabilité en production. SteerGenPO propose une voie médiane : capitaliser sur la richesse exploratoire des modèles génératifs sans en subir l'instabilité au déploiement. Aucune timeline, partenariat industriel ni essai terrain n'est mentionné dans le préprint ; les prochaines validations naturelles porteraient sur la manipulation dextère et des tests sim-to-real approfondis.

Dans nos dossiers

FigureBoston DynamicsUnitreeAgility Robotics — Digit

À lire aussi

Vers des robots durables : affiner les modèles VLA par apprentissage par renforcement continu
1arXiv cs.RO 

Vers des robots durables : affiner les modèles VLA par apprentissage par renforcement continu

Une équipe de chercheurs publie sur arXiv (2602.10503, février 2026) une méthode de fine-tuning appelée LifeLong-RFT, conçue pour permettre aux modèles VLA (Vision-Language-Action) de s'adapter en continu à de nouvelles tâches sans effacer les précédentes. Les VLA, tels que pi-0 de Physical Intelligence ou OpenVLA, sont pré-entraînés sur des datasets massifs et variés, ce qui leur confère une bonne généralisation. Leur adaptation à des domaines spécifiques repose cependant majoritairement sur le Supervised Fine-Tuning (SFT), une approche qui exige de larges volumes de données tâche-spécifiques et souffre du catastrophic forgetting : le modèle oublie ses acquis antérieurs en assimilant de nouvelles compétences. LifeLong-RFT substitue au SFT un mécanisme de Reinforcement Fine-Tuning (RFT) indépendant de tout feedback environnemental en ligne et de tout reward model pré-entraîné. La méthode repose sur trois signaux de récompense combinés : le QACR (Quantized Action Consistency Reward), qui vérifie la cohérence de la prédiction d'actions dans l'espace discret ; le CTAR (Continuous Trajectory Alignment Reward), qui aligne les chunks d'actions continues sur des trajectoires de référence ; et le FCR (Format Compliance Reward), qui garantit la validité structurelle des sorties. Sur le benchmark LIBERO dédié à l'apprentissage continu, LifeLong-RFT affiche un gain de 22 points de taux de succès moyen par rapport au SFT, en n'utilisant que 20 % des données d'entraînement pour s'adapter à de nouvelles tâches. Les expériences couvrent SimplerEnv, LIBERO et des scénarios réels. Ce résultat s'attaque directement au principal frein à l'apprentissage continu en déploiement : la nécessité de réentraîner un modèle depuis un checkpoint dès qu'on veut lui enseigner une nouvelle opération. Le fait que LifeLong-RFT ne nécessite ni feedback en ligne (interactions réelles avec l'environnement, coûteuses et parfois dangereuses en production) ni reward model séparé réduit considérablement la barrière à l'adaptation terrain. Pour un intégrateur ou un COO industriel, cela signifie qu'un bras manipulateur ou un robot mobile basé VLA pourrait théoriquement apprendre de nouvelles tâches avec un cinquième des données actuellement nécessaires, sans régresser sur ses acquis. La validation partielle sur des tâches réelles renforce la crédibilité des résultats, même si le papier reste un preprint arXiv et que les conditions expérimentales real-world ne sont pas détaillées dans le résumé public. La course aux VLA comme politique unifiée pour la robotique généraliste s'est intensifiée depuis 2024 avec pi-0 (Physical Intelligence), OpenVLA (UC Berkeley), GR00T N2 (NVIDIA) et Helix (Figure AI), tous cherchant à résoudre l'adaptation domaine-spécifique avec un minimum de données supplémentaires. LifeLong-RFT s'inspire directement des techniques GRPO et RLHF qui ont transformé le post-training des LLMs, les transposant ici au niveau des chunks d'actions robotiques. Il se positionne comme un paradigme post-training alternatif au SFT, sans contrainte d'infrastructure lourde. Aucun déploiement ni partenariat industriel n'est annoncé : il s'agit d'une contribution académique avec page projet dédiée. Les suites naturelles incluent l'extension à des architectures VLA plus récentes et des benchmarks multi-tâches à plus longue durée, critères encore absents de cette évaluation.

IA physiqueOpinion
1 source
Humanoid (UK) lance un système d'apprentissage par renforcement pour améliorer la manipulation robotique
2Robotics & Automation News 

Humanoid (UK) lance un système d'apprentissage par renforcement pour améliorer la manipulation robotique

Humanoid, jeune pousse britannique de robotique, a dévoilé KinetIQ Ascend, une nouvelle couche d'apprentissage par renforcement destinée à ses robots humanoïdes industriels. L'objectif affiché est d'atteindre 99,9% de fiabilité de manipulation, à une vitesse égale ou supérieure à celle d'un humain. Le système s'appuie sur la plateforme KinetIQ annoncée précédemment par l'entreprise, fondée sur un apprentissage par essais-erreurs qui permet aux robots de s'améliorer directement sur des tâches industrielles réelles plutôt que via une simulation isolée. Selon Humanoid, KinetIQ Ascend a été testé sur plusieurs tâches de manipulation en conditions industrielles, mais le communiqué reste avare de précisions sur le nombre exact de tâches couvertes, les sites concernés ou un calendrier de déploiement. Ce chiffre de 99,9% de fiabilité, s'il se confirme hors du cadre contrôlé d'une démonstration, viserait directement le principal frein actuel à l'industrialisation des humanoïdes: la fiabilité de la manipulation fine, un problème bien plus tenace que la locomotion bipède, déjà largement maîtrisée par des robots comme Figure 03 ou Optimus Gen 3. En misant sur un apprentissage par renforcement ancré dans des tâches réelles plutôt que sur l'entraînement massif en simulation ou sur des modèles génériques vision-langage-action à la Pi-0 (Physical Intelligence), Helix (Figure AI) ou GR00T N2 (NVIDIA), Humanoid parie sur une spécialisation tâche par tâche, potentiellement plus rapide à mettre en production mais aussi moins généralisable. Pour les intégrateurs et décideurs industriels, la vraie inconnue reste de savoir si ce taux tient sur une diversité de tâches en usine, ou seulement sur un périmètre restreint choisi pour la vidéo de présentation. Humanoid s'est positionnée depuis sa création sur l'apprentissage par renforcement appliqué directement à l'industrie, plutôt que sur la seule prouesse mécanique de ses machines. La concurrence sur ce marché naissant s'est nettement densifiée: aux côtés des géants américains déjà cités, des acteurs européens comme le français Pollen Robotics, l'exosquelette devenu humanoïde de Wandercraft, ou l'automatisation d'entrepôt d'Exotec cherchent chacun à s'imposer avec une approche distincte de l'autonomie et du déploiement. Pour l'instant, Humanoid n'a communiqué ni calendrier de commercialisation ni client pilote nommé pour KinetIQ Ascend, ce qui place l'annonce du côté de la démonstration technologique plutôt que d'un déploiement industriel confirmé.

UERenforce indirectement la pression concurrentielle sur les acteurs européens de la robotique humanoïde (Pollen Robotics, Wandercraft, Exotec) sans impact direct ou vérifiable sur le marche français ou une réglementation UE.

IA physiqueOpinion
1 source
EMMA : renforcer la robustesse du contrôle robotique grâce à un modèle visuel génératif
3arXiv cs.RO 

EMMA : renforcer la robustesse du contrôle robotique grâce à un modèle visuel génératif

Des chercheurs proposent EMMA (Embodied Manipulation Media Adaptation), un cadre d'augmentation de données pour les politiques VLA (vision-language-action, des modèles qui traduisent images et consignes textuelles en actions robotiques). Il repose sur deux briques. DreamTransfer est un générateur vidéo à base de diffusion Transformer, qui produit des vidéos de manipulation cohérentes entre plusieurs points de vue et géométriquement plausibles. Il permet d'éditer par texte le premier plan, l'arrière-plan et l'éclairage, tout en préservant la structure 3D. AdaMix est une stratégie d'entraînement qui pondère dynamiquement les échantillons selon la performance de la politique, pour privilégier les cas difficiles. Le jeu d'entraînement mélange données réelles et générées. Selon les auteurs, DreamTransfer surpasse les modèles de génération vidéo antérieurs en cohérence multi-vues, fidélité géométrique et précision du conditionnement textuel. Sur des tâches robotiques réelles avec des environnements visuels jamais vus (zero-shot), EMMA affiche un gain relatif de plus de 92 % face à un entraînement sur données réelles seules, puis 17 % supplémentaires avec AdaMix. L'article ne détaille pas, dans ce résumé, les robots, les tâches ni les taux de réussite absolus. L'enjeu est le coût de la donnée. La généralisation des VLA dépend de la diversité visuelle des démonstrations (objets, décors, lumière), et collecter ces démonstrations par téléopération à grande échelle est lent et cher. Si la génération vidéo peut multiplier les apparences à partir d'un corpus réel limité, elle réduit un des principaux goulots d'étranglement pour les intégrateurs qui doivent adapter une politique à un site client aux conditions d'éclairage et aux références changeantes. Le chiffre de 92 % demande toutefois de la prudence : un gain relatif est élevé quand la base de référence est faible, et il est mesuré par les auteurs eux-mêmes, sans indication ici de la diversité des tâches ni du nombre d'essais. La cohérence 3D et multi-vues est le point critique, car des vidéos plausibles mais géométriquement fausses dégraderaient la politique au lieu de l'aider. Ce travail s'inscrit dans une tendance plus large : compenser la rareté des données robotiques par la simulation, la randomisation de domaine et, de plus en plus, les modèles génératifs et les « world models ». Des acteurs comme NVIDIA avec GR00T et ses pipelines de données synthétiques, ou Physical Intelligence avec Pi-0, ont mis le passage à l'échelle des données au centre de leurs stratégies. EMMA propose une voie complémentaire, qui édite des démonstrations réelles plutôt que de simuler des scènes entières. Il s'agit d'une publication de recherche (version 3 sur arXiv), sans produit ni déploiement industriel annoncé. La suite dépendra de la reproductibilité sur d'autres plateformes, de la publication du code et des données, et de la comparaison avec les approches de simulation pure.

IA physiquePaper
1 source
Scalabot HERON-CRA ajoute une mémoire contextuelle et un moteur d'apprentissage par renforcement pour le contrôle incarné
4Pandaily 

Scalabot HERON-CRA ajoute une mémoire contextuelle et un moteur d'apprentissage par renforcement pour le contrôle incarné

Songyan Dynamics, via sa marque d'intelligence incarnée Scalabot, a publié HERON-CRA (Context Reinforcement Action Model), second modèle de sa pile HERON après le HERON-World Model dévoilé une semaine plus tôt. Trois briques composent le système : un Context Expert qui encode l'historique multimodal en tokens spatio-temporels 4D pour conditionner la politique sur plus d'une minute de contexte passé, au-delà de la seule image courante ; un RL Engine, acteur-critique résiduel léger qui réutilise les clés et valeurs figées du Context Expert pour corriger les dérives de l'imitation pure ; et un pré-entraînement cross-embodiment mélangeant téléopération, simulation, données de type UMI et vidéos humaines à la première personne, sur des bras, des plateformes à roues, des pinces et des mains dextres. Sur une tâche de pliage de chaussette, Scalabot rapporte un taux de réussite passant de 38,5% avec une base purement imitative à 97,8% une fois le RL Engine activé. D'autres vidéos montrent une séquence longue de préparation de café (mouture, versement de lait) bouclée en moins de 30 secondes, un transfert de compétences entre un bras ARX et l'humanoïde à roues Noetix M1, ainsi qu'une reprise après déplacement d'une tasse en cours de préhension et la poursuite de certains mouvements lors d'occlusions visuelles brèves. Pour les intégrateurs et décideurs B2B de la robotique, l'annonce cible le point faible récurrent des modèles vision-langage-action : la manipulation à horizon long, où le clonage de comportement dérive dès que la tâche s'étire dans le temps ou que l'environnement varie légèrement. En combinant mémoire contextuelle et RL résiduel plutôt qu'imitation pure, Scalabot cherche à combler l'écart entre démonstration et déploiement réel, un écart que le secteur a souvent minimisé dans ses communications. Le saut de 38,5% à 97,8% de réussite, s'il se vérifie hors laboratoire, validerait cette hypothèse ; le transfert de compétences entre un bras fixe et un humanoïde à roues constitue par ailleurs un signal concret sur la portabilité inter-corps, enjeu clé pour amortir les coûts d'entraînement sur plusieurs plateformes matérielles. Ces chiffres restent néanmoins issus de communications de l'entreprise, appuyés sur des vidéos vraisemblablement sélectionnées et sans protocole indépendant publié ; des équipes tierces devront reproduire les résultats du pliage de chaussette et de la séquence café sur leur propre matériel avant de les tenir pour acquis. HERON-CRA s'inscrit dans une pile modulaire amorcée avec HERON-World Model, utilisé ici pour simuler des trajectoires imaginées sans risque matériel supplémentaire ; Context Expert et Action Expert sont entraînés comme un mélange de transformers, complété d'un modèle de valeur à contraintes de différence temporelle. Ce chantier place Scalabot, marque de Songyan Dynamics, dans la compétition mondiale des modèles fondation pour la robotique incarnée, aux côtés de Physical Intelligence (Pi-0), NVIDIA (GR00T N2), Figure AI (Helix) et des programmes humanoïdes type Optimus. Aucun acteur français ou européen n'apparaît dans cette annonce. La suite dépendra de la capacité de Scalabot à faire valider ces résultats par des tiers et à préciser un calendrier de déploiement pilote : l'entreprise n'a pour l'instant communiqué que des démonstrations vidéo et des chiffres internes, sans date de disponibilité commerciale ni partenaire industriel nommé.

IA physiqueActu
1 source