RecherchearXiv cs.RO 15 octobre 2026

L'apprentissage par démonstration rencontre le contrôle symbolique : une architecture de contrôle supervisé pour certifier formellement les mouvements appris

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent, dans un preprint arXiv (2610.19815v1), une architecture de contrôle supervisé symbolique destinée à certifier formellement des mouvements robotiques appris par démonstration. Le principe est de laisser un contrôleur nominal suivre un système dynamique (DS) appris, tandis qu'un contrôleur superviseur surveille en parallèle la sécurité et la convergence vers la cible. Ce superviseur génère automatiquement un plan de repli à sécurité intégrée. Il certifie la sécurité, l'atteignabilité et la faisabilité pour les actionneurs directement à partir de la dynamique du robot, indépendamment du DS appris. Il n'intervient que si le contrôleur nominal viole une contrainte nécessaire. Les essais couvrent des simulations et un déploiement sur robot réel, avec des jeux de données 2D et 3D, notamment des tracés d'écriture manuscrite, dans des environnements complexes et dynamiques. Le résumé ne donne ni taux de réussite, ni temps de calcul, ni modèle de robot, ni charge utile.

L'enjeu est la certification de l'apprentissage par démonstration, un point bloquant pour l'industrialisation. Les approches actuelles à base de DS obtiennent leurs garanties en générant des certificats (fonctions de Lyapunov ou de barrière) contraints par la forme du modèle appris. Cela limite l'expressivité, ou impose de recalculer le certificat à chaque nouvelle démonstration. Ici, la garantie vient de la dynamique du robot et non de la politique apprise. On pourrait donc changer de méthode d'apprentissage sans refaire la preuve, et un intégrateur pourrait traiter la politique comme une boîte noire encadrée par un filet de sécurité vérifiable. Cette logique pourrait aussi s'appliquer aux politiques VLA, dont aucune garantie formelle n'existe aujourd'hui. Les limites sont à garder en tête : les tests sont de faible dimension (2D et 3D), loin d'un manipulateur à sept articulations ou d'une main dextre. Les méthodes de contrôle symbolique reposent en général sur une discrétisation de l'espace d'état, dont le coût croît vite avec la dimension. Rien n'indique encore que l'approche passe à l'échelle.

Ce travail s'inscrit dans une lignée de méthodes de DS stables, issues de l'apprentissage par démonstration. Elles sont souvent évaluées sur le jeu d'écriture LASA et garantissent la stabilité par contraintes de Lyapunov, au prix de la fidélité aux démonstrations. Le contrôle symbolique, lui, vient de la synthèse de contrôleurs formels pour systèmes cyber-physiques. Du côté industriel, la sécurité des politiques apprises est traitée surtout de façon empirique, par la scalabilité des données et les tests, chez Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix). La voie formelle reste donc académique. Les prochaines étapes à suivre sont une version revue par les pairs, des chiffres de performance, et surtout des tests en dimension plus élevée sur des bras manipulateurs avec obstacles mobiles.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Une seule démonstration suffit pour l'apprentissage par renforcement robotique en conditions réelles

Des chercheurs présentent AutoSERL, un framework d'apprentissage par renforcement (RL) pour robots qui n'a besoin que d'une seule démonstration humaine pour apprendre des tâches de manipulation complexes en conditions réelles, sans intervention humaine continue pendant l'entraînement. Le système repose sur trois mécanismes complémentaires : une fenêtre glissante d'intervention qui guide l'exploration pour éviter les minima locaux et les mouvements dangereux, un mécanisme de récupération de sécurité qui détecte les échecs et corrige la trajectoire via des points de reprise prédéfinis, et un critère d'arrêt automatique qui coupe le guidage dès que la politique apprise devient autonome. Les auteurs ont testé AutoSERL sur six tâches de manipulation à contact intensif (insertion, accrochage, tâches à charnière) réparties sur deux plateformes robotiques différentes. Le framework atteint 100% de réussite sur les tâches d'insertion et dépasse systématiquement SERL entraîné avec 20 démonstrations, l'apprentissage par imitation classique (behavior cloning) et MILES, une méthode dédiée à l'apprentissage en un coup, tout en égalant les performances de HIL-SERL qui nécessite lui une supervision humaine continue. L'intérêt pour l'industrie tient à la réduction drastique du coût de collecte de données, généralement le principal frein au déploiement de RL sur du matériel physique. La plupart des approches existantes exigent soit des dizaines de démonstrations, soit un opérateur qui intervient en permanence pendant l'entraînement, ce qui limite le passage à l'échelle en usine ou en intégration industrielle. En automatisant l'intervention à partir d'un seul exemple tout en conservant une robustesse aux variations de position des pièces, AutoSERL rapproche le RL réel de tâches d'assemblage fin, un terrain où les approches purement basées sur l'imitation ou les politiques VLA préentraînées peinent encore à garantir une fiabilité industrielle. Ce travail s'inscrit dans la lignée de SERL et HIL-SERL, frameworks de référence pour le RL avec intervention humaine sur robots physiques, en cherchant à supprimer leur principale contrainte opérationnelle. Le code et les vidéos de démonstration sont publiés par les auteurs sur un site dédié, mais le papier, déposé sur arXiv le 1er juillet 2026, reste à ce stade une contribution de recherche académique évaluée en laboratoire sur deux plateformes robotiques, sans indication de déploiement industriel ni de partenariat commercial annoncé.

RecherchePaper

1 source

2arXiv cs.RO

PO-PDDL : apprentissage de POMDP symboliques à partir de démonstrations visuelles pour la planification robotique sous incertitude

Des chercheurs ont proposé PO-PDDL (arXiv:2606.15654, juin 2026), une formulation symbolique des processus de décision markoviens partiellement observables (POMDP) pour la planification robotique en conditions réelles. Le système étend PDDL, standard de facto en planification symbolique depuis les années 1990, en y intégrant explicitement l'observabilité partielle, la stochasticité des actions et la gestion des croyances (beliefs). Un pipeline d'apprentissage reconstruit automatiquement les trajectoires d'état symbolique latentes à partir de vidéos d'exécution de robot réel, détecte les incohérences entre états inférés et observations visuelles pour localiser les zones d'incertitude perceptive, puis apprend les modèles de transition et d'observation stochastiques correspondants. Les domaines générés sont réutilisables entre tâches et permettent une planification en ligne dans l'espace des croyances. Testée sur des tâches de manipulation longue durée (long-horizon) en environnement physique réel, la méthode surpasse les approches existantes d'apprentissage de modèles PDDL et POMDP, avec un coût de planification significativement réduit. L'apport concret pour les intégrateurs robotiques est de supprimer l'effort d'ingénierie lié à la construction manuelle des modèles POMDP, traditionnellement l'un des verrous de la planification symbolique déployable. Apprendre depuis des vidéos de robots réels plutôt que depuis des simulateurs contourne partiellement le gap sim-to-real qui fragilise nombre d'approches d'apprentissage. La syntaxe PDDL préservée ouvre une voie d'intégration avec des LLM pour la spécification de tâches, un axe actif en recherche (voir LLM+P, ProgPrompt). Le fait que les domaines soient réutilisables et que la planification opère en temps réel sous incertitude perceptive et d'exécution représente un pas vers des architectures neuro-symboliques exploitables hors laboratoire. La planification symbolique butte depuis longtemps sur la difficulté de paramétrer les POMDP pour des environnements physiques réels. Des travaux antérieurs comme FAMA ou LOCM ont progressé sur l'apprentissage de modèles PDDL déterministes, sans traiter simultanément stochasticité et observabilité partielle depuis des observations visuelles brutes. PO-PDDL se positionne aussi face aux politiques de bout en bout (VLA, politiques de diffusion) qui absorbent l'incertitude dans le réseau sans la modéliser explicitement. La lisibilité et débuggabilité du formalisme symbolique restent un argument différenciant pour le déploiement industriel. Il s'agit pour l'instant d'un preprint non évalué par les pairs ; les prochaines étapes naturelles incluent l'évaluation sur des manipulations plus complexes et l'intégration dans des stacks open-source comme ROS 2.

RecherchePaper

1 source

3arXiv cs.RO

ForgetMimic : désapprentissage de mouvements pour le contrôle par apprentissage par renforcement d'humanoïdes

ForgetMimic, une méthode de désapprentissage au niveau du mouvement pour les politiques de contrôle de robots humanoïdes entraînées par apprentissage par renforcement à partir de démonstrations humaines, a été décrite dans un preprint arXiv (2609.28378) et testée sur les robots Unitree G1 et H2, sur douze mouvements incluant danse, combat et saut (flip). Le principe : à partir d'une politique entraînée sur N mouvements, la méthode dégrade sélectivement la performance sur un sous-ensemble ciblé de K mouvements tout en préservant les N-K mouvements restants. Les auteurs indiquent avoir identifié et corrigé deux mécanismes d'entraînement responsables des échecs de désapprentissage observés dans les approches naïves, et montrent expérimentalement que la mémoire des mouvements visés est effacée sans dégrader les autres comportements appris. L'enjeu dépasse la prouesse technique : les politiques RL pour humanoïdes s'appuient sur des bibliothèques de démonstrations pouvant contenir des mouvements malveillants, corrompus, sous-optimaux ou protégés par le droit d'auteur, et la seule parade jusqu'ici consistait à réentraîner la politique entière à partir d'un jeu de données expurgé, une opération coûteuse en calcul. Pour les intégrateurs et fabricants, retirer un mouvement précis sans tout reprendre représente un gain opérationnel direct, notamment face à des obligations comme le droit à l'oubli du RGPD européen appliqué aux données de capture de mouvement humain. ForgetMimic ouvre ainsi une voie technique concrète pour la gouvernance des données de mouvement en robotique, même si l'étude reste un travail académique mené sur deux plateformes et ne constitue pas un produit déployé. Le contrôle humanoïde par imitation de démonstrations via le RL s'est imposé ces dernières années comme un paradigme dominant pour obtenir des locomotions agiles et naturelles, porté par des plateformes comme les Unitree G1 et H2, souvent choisies en recherche académique pour leur coût accessible face aux humanoïdes de Boston Dynamics, Figure ou Tesla. ForgetMimic se présente, selon ses auteurs, comme la première méthode de désapprentissage conçue spécifiquement pour le contrôle humanoïde en monde physique, un champ distinct de l'oubli sélectif déjà étudié pour les grands modèles de langage. Le papier ne mentionne aucun pilote industriel ni calendrier de déploiement : il s'agit d'une contribution de recherche tout juste publiée, dont la portée reste circonscrite aux douze mouvements testés en laboratoire, avec pour suites attendues l'extension à des répertoires plus larges et la validation sur d'autres plateformes.

UELa méthode pourrait offrir une réponse technique aux obligations de droit à l'oubli du RGPD appliquées aux données de capture de mouvement humain, sans lien avec une entreprise ou institution française identifiée.

RecherchePaper

1 source

4arXiv cs.RO

Contrôle de trajectoire par vision pour robots mobiles via un cadre d'apprentissage hiérarchique

Une équipe de recherche propose un nouveau cadre hiérarchique pour piloter des robots mobiles lourds vers un objectif de navigation, en combinant localisation visuelle, apprentissage par renforcement et contrôle adaptatif robuste. Le système repose sur quatre couches : une estimation de pose par vision stéréo en temps réel (avec fermeture de boucle, fusion de cartes et relocalisation), un planificateur de mouvement entraîné par apprentissage par renforcement (RL) sous contraintes, un contrôle adaptatif robuste (RAC) au niveau des actionneurs, et une logique de supervision de sécurité avec retour automatique. Le planificateur RL génère des trajectoires lisses et réalisables grâce à une fonction de récompense conçue pour favoriser la progression vers l'objectif tout en respectant les limites mécaniques d'un robot lourd à direction par glissement (skid-steered). Au niveau des roues, un réseau de neurones entraîné par gradient conjugué à échelle variable (SCG) approxime la relation quasi-statique entre vitesse de roue et commande nominale, complétée par un contrôleur adaptatif à barrière logarithmique qui compense les erreurs de modélisation, le glissement et les écarts résiduels. Testé sur un robot de 6000 kg roulant sur asphalte et sol meuble, le système atteint une erreur quadratique moyenne de position finale d'environ 3 à 4 cm, avec un suivi précis des commandes générées par le RL et une récupération autonome réussie après injection de pannes simulées. Ce résultat s'inscrit dans une préoccupation centrale de la robotique mobile industrielle : rendre l'apprentissage par renforcement, réputé difficile à certifier pour un déploiement sûr à grande échelle à cause de sa phase d'exploration, compatible avec des engins lourds où une erreur de trajectoire ou une perte de contrôle peut avoir des conséquences physiques importantes. En couplant le RL à un contrôle adaptatif prouvé mathématiquement stable (convergence exponentielle vers un ensemble résiduel borné, sous incertitude bornée) et à une supervision de sécurité qui bascule automatiquement le robot en mode retour en cas d'anomalie, les auteurs cherchent à combler l'écart entre performance d'apprentissage et garanties de sécurité exigées pour les AMR (robots mobiles autonomes) lourds opérant en extérieur, sur terrain irrégulier. L'article, disponible sur arXiv (identifiant 2601.00610, version de remplacement), s'inscrit dans la lignée des travaux combinant localisation par vision stéréo et contrôle hiérarchique pour la navigation robotique, un domaine où la plupart des démonstrations RL restent cantonnées à la simulation ou à des plateformes légères. La validation sur un engin de 6000 kg, testé en conditions réelles sur deux types de terrain avec injection de pannes, positionne ce travail comme une contribution empirique rare dans le passage du RL du laboratoire vers des applications industrielles à fort enjeu de sécurité.

RecherchePaper

1 source