RecherchearXiv cs.RO 1 septembre 2026

SUN : programmes persistants pour politiques ancrées dans le langage, du contrôle à l'apprentissage jusqu'au réel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent SUN (Semantically UNified Programs), une méthode publiée en prépublication sur arXiv fin août 2026, associée au système Kuafu qui synthétise automatiquement des programmes typés à partir de descriptions en langage naturel et de la scène observée, pilotés par des modèles de vision-langage de grande taille. Ces programmes définissent une seule fois les relations géométriques et de contact, puis les compilent en coûts pour un contrôleur prédictif (MPC), en prédicats de réussite, en récompenses pour l'apprentissage par renforcement et en gardes de transition. Sur neuf tâches de manipulation, Kuafu atteint un taux de succès moyen de 82,03%, contre 35,67% pour une base de référence à récompense éparse et 24,75% pour une base Stage-BC. À l'échelle de 8192 environnements simulés en parallèle, le système génère 10,57 fois plus de temps de trajectoire réussie par heure de téléopération humaine équivalente. Avec seulement 500 trajectoires par tâche, les données de Kuafu permettent d'entraîner des politiques DP3 atteignant 46,0% de réussite en simulation, contre 22,4% pour les alternatives, et 34,7% sur des bras robotiques physiques Franka Emika et Kinova.

Le résultat est méthodologique plus qu'industriel: il tente de réconcilier deux approches qui s'ignoraient jusque là, le contrôle basé modèle qui exécute des objectifs explicitement spécifiés, et l'apprentissage qui amortit ce comportement en politique réactive mais avec des récompenses bricolées à la main et un comportement qui dérive de ce que le contrôle avait validé. En conservant la sémantique de la tâche tout au long de la chaîne, plutôt qu'un pipeline bout-en-bout de type VLA, SUN et Kuafu évitent la collecte de démonstrations humaines et l'ingénierie manuelle de récompenses, un goulot d'étranglement connu pour les intégrateurs qui cherchent à industrialiser la manipulation robotique. Mais l'écart entre 46% de succès en simulation et 34,7% sur robot physique confirme que le passage sim-to-real reste un problème ouvert, même quand la sémantique de tâche est vérifiée par MPC en amont, un signal utile pour les décideurs B2B qui évaluent la maturité réelle des pipelines d'apprentissage par simulation avant tout achat ou pilote.

Le travail s'inscrit dans la lignée des efforts pour automatiser la génération de récompenses et de curricula d'entraînement via des modèles de vision-langage, une direction parallèle aux approches VLA bout-en-bout poussées par des laboratoires comme Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, ou Figure AI avec Helix. Contrairement à ces systèmes orientés produit et déploiement humanoïde, SUN et Kuafu restent à un stade de recherche académique, validés sur des bras manipulateurs fixes Franka et Kinova plutôt que sur des plateformes mobiles ou humanoïdes, sans partenariat industriel ni calendrier de commercialisation annoncés. Aucun acteur français ou européen n'apparaît dans cette publication. La suite logique, non précisée par les auteurs, serait l'extension à des tâches plus longues et à des plateformes mobiles, ainsi qu'une réduction de l'écart simulation-réel qui conditionne l'adoption par les intégrateurs industriels.

Dans nos dossiers

Figure NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique

À lire aussi

1arXiv cs.RO

Un modèle de langage à schéma contraint pour affiner les politiques robotiques sans déstabiliser l'apprentissage local

Une équipe de recherche décrit dans un preprint arXiv (2609.05133v1) une architecture de navigation décentralisée pour trois robots hétérogènes, testée dans un simulateur combinant NetLogo et Python. Chaque robot utilise un backend LLM différent et combine trois modules: un agent de politique piloté par ce LLM, un bandit UCB pour choisir le mode de raffinement, et un contrôleur Double Deep Q-Network (Double DQN) pour les actions à chaque tick. Le LLM n'intervient qu'au niveau du round, pour générer et affiner les politiques, jamais pour l'action immédiate; les robots partagent un résumé de round commun (politiques, résultats, retours d'apprentissage) pour communiquer entre eux. Sur quatre configurations évaluées pendant 30 rounds chacune, la version complète a atteint l'objectif dans les 90 enregistrements robot-round, avec un temps médian de 42 ticks et un P90 de 73,2 ticks, soit 25 à 39,1% de mieux que les autres configurations. Cette architecture répond à un problème concret pour les intégrateurs de systèmes multi-robots: interroger un LLM à chaque pas de contrôle est trop lent et coûteux, tandis qu'un contrôleur d'apprentissage par renforcement seul manque de raisonnement stratégique. En confinant le LLM au niveau du round et en le décentralisant, un backend par robot plutôt qu'un LLM central orchestrant toute la flotte, l'étude teste une alternative susceptible de réduire la dépendance à une latence réseau unique. Les auteurs restent prudents et qualifient leurs propres résultats de "preuves descriptives au niveau de la configuration", une formulation qui limite la portée de l'écart de performance observé à ce protocole précis. Le travail s'inscrit dans la lignée des recherches hybridant modèles de langage et apprentissage par renforcement pour le contrôle robotique, un axe qui a gagné en visibilité avec la multiplication des architectures vision-langage-action comme Pi-0 ou GR00T N2. Contrairement à ces systèmes orientés manipulation et déploiement réel, cette étude se limite à la navigation de trois robots dans un simulateur agent-based, sans transfert vers du matériel physique ni comparaison directe avec des architectures LLM centralisées. Publié sans mention de financement industriel ni de partenaire de déploiement, ce preprint reste une contribution académique exploratoire plutôt qu'une brique prête pour l'intégration industrielle.

RecherchePaper

1 source

2arXiv cs.RO

Contrôleur de politique de diffusion unique pour le poussage de blocs multi-tâches avec transfert simulation-réel sans apprentissage préalable

Des chercheurs présentent un contrôleur unique basé sur une politique de diffusion (diffusion policy), entraîné entièrement par apprentissage par renforcement plutôt que par clonage comportemental classique, pour piloter des tâches de poussée de blocs multi-formes en robotique manipulatrice. Contrairement aux approches habituelles qui nécessitent des démonstrations humaines préenregistrées, cette méthode combine une fonction de perte simplifiée (une borne inférieure de vraisemblance repondérée) avec une génération de curriculum inversé et des représentations centrées sur l'objectif pour surmonter la difficulté d'exploration dans un environnement de simulation à récompense éparse. Le système a été testé en transfert zéro-shot vers un dispositif réel de poussée de blocs, en faisant varier les positions cibles, les formes des blocs, leur poids et le frottement de la surface, sans réentraînement spécifique au monde réel. Cette publication s'inscrit dans un débat central du secteur robotique actuel : la capacité réelle des politiques apprises par simulation à franchir le fameux "sim-to-real gap" sans passer par des démonstrations coûteuses à collecter. Alors que des modèles VLA (vision-langage-action) comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI misent sur d'immenses corpus de démonstrations téléopérées pour généraliser, cette approche RL-from-scratch propose une voie alternative potentiellement moins gourmande en données humaines annotées, mais elle reste circonscrite à une tâche géométriquement simple (pousser des blocs) et ne démontre pas encore de généralisation vers des manipulations plus complexes en préhension ou en dextérité fine. Pour les intégrateurs industriels, l'intérêt réside surtout dans la preuve de concept méthodologique plutôt que dans une application immédiate déployable. Le travail s'inscrit dans la lignée des politiques de diffusion popularisées en 2023-2024 pour le clonage comportemental (notamment par des équipes du MIT et de Columbia), ici détournées vers un cadre purement RL. Les auteurs ne précisent pas d'affiliation industrielle ni de partenaire de déploiement, ce qui situe ce travail du côté recherche académique plutôt que produit commercialisable. Aucun acteur français ou européen n'est mentionné dans cette publication. Les prochaines étapes attendues, non détaillées dans l'abstract, porteraient logiquement sur l'extension à des tâches de manipulation plus riches (préhension, insertion, assemblage) et sur la robustesse face à des perturbations environnementales plus sévères que celles testées ici.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage par imitation ancré vision-langage et conscient du contexte pour le désassemblage robotique

Le 17 septembre 2026, une équipe de recherche a publié sur arXiv (référence 2609.17714) une nouvelle méthode d'apprentissage par imitation destinée au désassemblage robotique de pièces mécaniques et de connecteurs. Le problème visé est celui de l'exécution à long horizon : un bras robotique doit enchaîner plusieurs tâches de manipulation ordonnées sur une même scène contenant de multiples pièces, sans que les politiques d'imitation classiques parviennent à déduire, à partir des seules images brutes, quel geste effectuer quand plusieurs objectifs sont valides simultanément. La solution proposée combine une sélection hiérarchique des tâches avec un mécanisme dit "task-context-aware", qui ancre des instructions en langage naturel dans la représentation visuelle spatiale de la scène pour associer chaque consigne à sa cible de manipulation. Le système généralise à des géométries de connecteurs et des configurations d'assemblage variées sans nécessiter d'annotations explicites des objets. Les auteurs rapportent un gain de 35 points de pourcentage de taux de réussite de bout en bout par rapport à une politique de diffusion (diffusion policy) de référence, et de 75 points par rapport à la précédente méthode "task-context-aware" existante. Pour l'industrie du désassemblage, du recyclage et du reconditionnement (électronique, batteries, électroménager), ce travail s'attaque à un vrai verrou : la diversité combinatoire des configurations réelles rend impossible l'entraînement exhaustif d'un robot sur chaque variante de pièce. En s'appuyant sur le langage plutôt que sur des étiquettes d'objets prédéfinies, la méthode illustre une tendance plus large du secteur consistant à faire porter la généralisation par le contexte linguistique, une logique proche de celle des modèles vision-langage-action (VLA) déjà déployés par ailleurs. Un tel gain de robustesse, si confirmé hors laboratoire, intéresserait directement les intégrateurs qui cherchent à réduire le travail d'annotation et de reprogrammation entre lignes de désassemblage différentes. Ce travail s'inscrit dans la vague plus large des modèles vision-langage-action qui cherchent à dépasser les démonstrations à tâche unique, à l'image d'approches comme Pi-0, GR00T ou Helix dans le domaine plus large de la manipulation robotique généraliste. Il reste toutefois à ce stade une publication de recherche non validée par des pairs, sans partenaire industriel ni site de déploiement annoncé : la prochaine étape attendue serait une validation sur robot réel à plus grande échelle plutôt qu'en environnement contrôlé.

UEAucune entreprise ou institution européenne n'est impliquée, mais la méthode intéressé potentiellement les filières européennes de recyclage et reconditionnement (électronique, batteries) soumises a des exigences croissantes de désassemblage.

RecherchePaper

1 source

4arXiv cs.RO

Manipulation aérienne en conditions réelles : perception embarquée, apprentissage de politiques et contrôle du corps entier

Des chercheurs présentent, dans un article publié sur arXiv (référence 2609.30521, mis en ligne le 28 septembre 2026), un système de manipulation aérienne en extérieur combinant apprentissage par imitation, estimation d'état embarquée et commande prédictive corps entier. Une Diffusion Policy, entraînée à partir de démonstrations, génère les trajectoires souhaitées de l'effecteur terminal à partir des seules observations embarquées, que traduit ensuite un contrôleur MPC "whole-body" coordonnant conjointement la plateforme volante et le bras manipulateur. Pour s'affranchir des systèmes de capture de mouvement externes habituellement requis en intérieur, la localisation repose uniquement sur une odométrie LiDAR-inertielle embarquée. Le framework a été validé sur un manipulateur aérien physique, avec exécution réussie de tâches de manipulation en extérieur, en conditions non contrôlées. Cette démonstration s'attaque à un verrou classique: la plupart des systèmes de manipulation par drone publiés jusqu'ici dépendent de salles équipées de capture de mouvement (type Vicon ou OptiTrack), ce qui cantonne les résultats au laboratoire et limite leur pertinence pour l'inspection d'infrastructures, la maintenance en hauteur ou la préhension en extérieur. En couplant une politique apprise par imitation, dans l'esprit des approches VLA qui gagnent du terrain côté robots terrestres et humanoïdes, à une commande MPC robuste aux perturbations externes comme le vent, les auteurs apportent un indice supplémentaire que l'apprentissage par démonstration peut sortir du cadre contrôlé sans sacrifier la stabilité de vol. Pour les intégrateurs qui envisagent des drones manipulateurs industriels, le travail reste toutefois un prototype de recherche validé sur un nombre limité de tâches, pas un produit commercial. La manipulation aérienne est un champ de recherche actif depuis plusieurs années, mais la quasi-totalité des démonstrations publiées restait jusqu'ici confinée à des environnements intérieurs instrumentés. L'article s'inscrit dans une tendance plus large de transfert des politiques apprises par imitation, popularisées sur des bras fixes et des humanoïdes terrestres, vers des plateformes aériennes mobiles, où l'absence d'infrastructure de localisation et les perturbations externes compliquent fortement le problème. Aucune date de déploiement industriel ni partenariat commercial n'est mentionné: il s'agit d'un travail académique dont les auteurs indiquent vouloir étendre, à l'avenir, le nombre et la diversité des tâches testées en conditions réelles extérieures.

RecherchePaper

1 source