RecherchearXiv cs.RO2h

Problèmes d'optimisation infaisables et méthode lagrangienne augmentée hiérarchique en apprentissage par imitation

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs propose, dans un preprint déposé sur arXiv (arXiv:2506.00730), une méthode pour stabiliser l'entraînement de politiques robotiques par imitation lorsque les contraintes imposées au problème d'optimisation sont infaisables. L'apprentissage par imitation (IL) est une technique répandue pour entraîner des politiques robotiques complexes à partir de démonstrations humaines. Des travaux récents ont introduit des contraintes dures dans ces problèmes d'optimisation pour garantir sécurité, stabilité et robustesse de la politique apprise. Or, les auteurs montrent que ces contraintes peuvent être mutuellement incompatibles dans certaines configurations, ce qui rend le problème d'optimisation infaisable et génère des dynamiques d'entraînement instables ou divergentes. La solution proposée repose sur une adaptation de la méthode du Lagrangien augmenté, récemment théorisée pour des contextes infaisables, organisée de manière hiérarchique. La méthode est illustrée sur un exemple de conduite autonome combinant une contrainte d'accélération totale et des contraintes de sécurité piéton, un scénario où l'infaisabilité peut survenir naturellement même lorsqu'une politique sûre reste atteignable en théorie.

L'apport principal pour les praticiens de la robotique est la notion de "closest-feasible problem" : plutôt que d'échouer ou de produire une politique non contrainte quand les contraintes sont contradictoires, la méthode converge vers la solution la plus proche du problème contraint réalisable, avec des garanties théoriques. Pour les équipes qui développent des politiques de manipulation ou de navigation avec des exigences de sécurité formelles, cela offre un mécanisme de repli raisonné en cas de spécification incohérente des contraintes, un cas fréquent en environnement industriel réel. Cela adresse indirectement le problème du sim-to-real gap : les contraintes formulées en simulation peuvent devenir infaisables une fois confrontées aux distributions de données réelles.

L'apprentissage par imitation contraint est un domaine actif, notamment porté par des groupes comme DeepMind, Berkeley (avec des approches GAIL, AIRL et leurs variantes contraintes) et des laboratoires travaillant sur les VLA (Vision-Language-Action models). Ce travail s'inscrit dans la continuité des travaux sur le Lagrangien augmenté en optimisation non convexe et complète des approches comme la méthode de pénalité ou les méthodes de points intérieurs. Les auteurs annoncent une validation sur exemple jouet ; des expériences sur des systèmes réels ou des benchmarks robotiques standards (IsaacGym, MuJoCo) constitueraient des étapes naturelles pour en évaluer la portée industrielle.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Un tokeniseur d'actions hiérarchique spatio-temporel pour l'apprentissage par imitation en contexte en robotique

Des chercheurs ont publié sur arXiv (référence 2604.15215v2) un travail portant sur HiST-AT, un tokeniseur d'actions hiérarchique et spatiotemporel conçu pour l'apprentissage par imitation en contexte. Le principe central repose sur deux niveaux successifs de quantification vectorielle : le premier niveau affecte chaque action à des sous-clusters fins, tandis que le second regroupe ces sous-clusters en clusters plus larges. L'extension spatiotemporelle va plus loin en récupérant simultanément les actions et leurs horodatages associés, permettant au modèle d'exploiter à la fois la géométrie des mouvements et leur séquençage temporel. Les évaluations ont été conduites sur plusieurs benchmarks de manipulation robotique en simulation et en conditions réelles, et les auteurs revendiquent un nouveau niveau de performance de référence sur les tâches d'apprentissage par imitation en contexte. Ce résultat intéresse directement les équipes qui travaillent sur le déploiement rapide de robots dans de nouvelles tâches industrielles sans collecter des milliers de démonstrations. L'apprentissage par imitation en contexte, calqué sur le few-shot prompting des grands modèles de langage, vise à permettre à un robot d'exécuter une nouvelle tâche à partir de quelques exemples fournis dynamiquement, sans réentraînement. La qualité du tokeniseur d'actions est ici le maillon critique : une discrétisation trop grossière des trajectoires efface l'information fine de manipulation ; trop granulaire, elle rend l'espace de tokens ingérable. Le fait que l'approche hiérarchique améliore les résultats par rapport à une quantification à un seul niveau, et que l'ajout de l'information temporelle amplifie encore ce gain, suggère que la structure latente des tâches de manipulation est intrinsèquement multiscale. L'apprentissage par imitation en contexte pour la robotique s'est fortement développé depuis 2023, porté par des modèles comme ACT, Diffusion Policy, et plus récemment les architectures de type VLA (Vision-Language-Action) telles que OpenVLA, pi-zero de Physical Intelligence ou GR00T N2 de NVIDIA. La tokenisation des actions est un point de friction commun à toutes ces approches : comment convertir des trajectoires continues en séquences discrètes manipulables par un transformer. HiST-AT apporte une réponse structurée à ce problème, mais il s'agit à ce stade d'un résultat de recherche publié en preprint, sans validation industrielle ni déploiement annoncé. Les prochaines étapes naturelles seront d'évaluer la robustesse en dehors des benchmarks académiques, notamment sur des tâches de manipulation à haute fréquence ou en environnement non contrôlé.

RechercheOpinion

1 source

2arXiv cs.RO

Localisation de robots par correspondance hiérarchique de graphes de scène avec apprentissage automatique et cartes préalables

Une équipe de recherche a publié fin avril 2026 sur arXiv (réf. 2604.27821) un pipeline différentiable bout-en-bout pour la localisation de robots en environnement intérieur, sans recours à une correction manuelle de dérive SLAM. La méthode repose sur la mise en correspondance de deux représentations complémentaires : un graphe de scène construit en temps réel à partir des capteurs du robot (LiDAR), et un graphe dérivé hors-ligne d'un BIM (Building Information Model), la maquette numérique architecturale du bâtiment. L'algorithme exploite explicitement la hiérarchie sémantique des deux graphes, en faisant correspondre simultanément des nœuds de haut niveau (pièces, zones) et de bas niveau (surfaces murales). Entraîné exclusivement sur des plans d'étage synthétiques, le modèle dépasse la méthode combinatoire de référence en score F1 sur des environnements LiDAR réels, tout en s'exécutant environ dix fois plus rapidement. Ce résultat est significatif pour les intégrateurs de robots mobiles autonomes (AMR) déployés en environnements industriels ou tertiaires équipés de BIM. Le problème de la dérive SLAM à longue durée d'opération reste un frein opérationnel réel, et les approches combinatoires actuelles deviennent prohibitives dès que le graphe dépasse quelques centaines de nœuds. Le fait que la généralisation zéro-shot fonctionne, c'est-à-dire que le modèle n'a jamais vu de données LiDAR réelles à l'entraînement, suggère que la représentation hiérarchique capture des invariants structurels suffisamment robustes. C'est une hypothèse forte, et les auteurs la valident sur des environnements réels, ce qui distingue ce travail de nombreux papiers SLAM qui s'arrêtent à la simulation. Le matching de graphes de scène pour la localisation robotique est un champ en pleine consolidation depuis deux à trois ans, porté notamment par des travaux issus de MIT, ETH Zurich et CMU sur la représentation spatiale sémantique. L'intégration des BIM comme prior de localisation est particulièrement pertinente dans le contexte industriel européen, où les bâtiments neufs sont systématiquement modélisés. Aucun déploiement commercial n'est annoncé, il s'agit d'un article de recherche fondamentale. Les suites naturelles incluent l'extension aux environnements dynamiques (objets mobiles non présents dans le BIM) et l'intégration dans des stacks SLAM open-source comme Kimera ou Hydra, qui structurent déjà leurs cartes sous forme de graphes hiérarchiques.

UELa généralisation zéro-shot sur des maquettes BIM est particulièrement pertinente pour le marché industriel européen où les bâtiments neufs sont systématiquement modélisés, offrant aux intégrateurs AMR européens une piste technique concrète pour éliminer la dérive SLAM en opération longue durée.

RecherchePaper

1 source

3arXiv cs.RO

HeLoM : apprentissage hiérarchique pour la locomotion et la manipulation corps entier par un robot hexapode

Des chercheurs ont publié sur arXiv (arXiv:2509.23651v3) HeLoM, un framework hiérarchique d'apprentissage pour la manipulation whole-body par un robot hexapode. L'objectif central est la manipulation non-préhensile, c'est-à-dire pousser des objets sans les saisir, une stratégie qui contourne la complexité de la conception de prises tout en exploitant le contact direct pour contrôler la pose d'un objet. Le système repose sur une architecture à deux niveaux : un planificateur haut niveau qui définit les comportements de poussée, et un contrôleur bas niveau qui maintient la stabilité locomotrice et génère des commandes articulaires dynamiquement cohérentes. En pratique, les pattes avant assurent l'interaction avec l'objet tandis que les pattes arrière fournissent la propulsion. Les expériences en monde réel montrent que le robot peut pousser des objets de tailles et propriétés physiques variées, et a priori inconnues, vers des poses cibles définies. L'intérêt de HeLoM pour le secteur robotique tient à deux points. Premièrement, il démontre qu'un système hexapode peut réaliser une manipulation efficace sans bras ni préhension, en mobilisant la totalité de la cinématique du corps, une approche qui s'applique par extension à d'autres plateformes multi-pattes. Deuxièmement, la robustesse face aux propriétés inconnues de l'objet (masse, forme irrégulière) illustre un progrès sur le gap sim-to-real : le framework, validé en simulation, transfère dans le monde physique sans connaissance a priori des paramètres de l'objet. Pour un intégrateur industriel, cela signifie potentiellement une manipulation de charges lourdes ou encombrantes sans recourir à un bras robotique dédié. L'approche s'inscrit dans un courant plus large de recherche sur la loco-manipulation whole-body, où des laboratoires comme ETH Zurich (ANYmal), Carnegie Mellon (loco-manipulation quadrupède) et Boston Dynamics travaillent à unifier locomotion et manipulation dans un cadre unique. HeLoM se distingue en ciblant spécifiquement l'hexapode, morphologie plus stable mais moins explorée que le quadrupède pour la manipulation. La publication est un preprint arXiv (version 3), sans mention de déploiement industriel ni de partenariat. Les prochaines étapes naturelles seraient l'extension à des comportements de tirage ou de levage, et des tests sur des charges plus importantes avec mesure explicite du payload maximal, absent des résultats actuellement publiés.

RecherchePaper

1 source

4arXiv cs.RO

Introduction à l'apprentissage par renforcement profond et par imitation

Un document de référence publié sur arXiv (identifiant 2512.08052, troisième version) propose une introduction structurée et autosuffisante au Deep Reinforcement Learning (DRL) et au Deep Imitation Learning (DIL) appliqués aux agents incarnés, c'est-à-dire aux robots et personnages virtuels capables d'agir dans un environnement physique ou simulé. L'ouvrage couvre le spectre complet, des fondations mathématiques (processus de décision markoviens) jusqu'aux algorithmes avancés : côté DRL, REINFORCE puis Proximal Policy Optimization (PPO) ; côté DIL, le Behavioral Cloning, Dataset Aggregation (DAgger) et Generative Adversarial Imitation Learning (GAIL). L'approche retenue est délibérément "depth-first" : un petit nombre d'algorithmes fondateurs traités en profondeur, plutôt qu'un panorama exhaustif du champ. Ce type de ressource pédagogique répond à un besoin concret dans l'industrie robotique : les équipes d'intégration et les laboratoires qui cherchent à embarquer des politiques de contrôle apprises se heurtent souvent à une littérature fragmentée, supposant des prérequis hétérogènes. La distinction que l'auteur opère entre DRL (apprentissage par signal de récompense, adapté aux environnements où la démonstration experte est coûteuse) et DIL (apprentissage par imitation sur des trajectoires expertes, plus direct mais plus sensible à la distribution shift) est précisément le choix d'architecture sur lequel butent aujourd'hui les équipes qui déploient des bras manipulateurs ou des robots mobiles en environnement industriel. Des algorithmes comme PPO sont devenus des briques standard dans des pipelines tels que ceux d'OpenAI, IsaacLab (NVIDIA) ou MuJoCo ; DAgger, lui, est au coeur de nombreuses approches Vision-Language-Action (VLA) récentes. Le contexte de publication est significatif : l'arXiv connaît depuis 2023 une explosion des travaux sur les agents incarnés, portée par les avancées en sim-to-real (IsaacSim, Genesis) et par les déploiements humanoïdes annoncés chez Figure AI, Physical Intelligence (pi0) ou Boston Dynamics. Ce document n'est pas un papier de recherche original mais un outil pédagogique structuré, comparable dans sa vocation aux cours de Sergey Levine (UC Berkeley) ou aux notes de David Silver (DeepMind). Sa valeur est d'offrir un accès cohérent et autonome à des méthodes dont la maîtrise conditionne directement la capacité des équipes à itérer sur des politiques de contrôle pour robots réels.

RecherchePaper

1 source