RecherchearXiv cs.RO 18 septembre 2026

Du déploiement à la réinitialisation : un système d'évaluation par graphe pour la manipulation autonome à long horizon

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Publié sur arXiv (2609.19413v1) le 18 septembre 2026, l'article présente HALTER, un système qui automatise l'évaluation de politiques de manipulation robotique sur des tâches longues, en particulier la remise à zéro de la scène entre essais, jusqu'ici confiée à un opérateur humain. Testé sur un bras Franka pour quatre tâches longues, HALTER restaure correctement la scène dans 76% des épisodes, contre 52% pour AutoEval et 65% pour un reset par planification de mouvement classique. Il estime juste la fraction de compétences accomplies dans 90% des cas, contre 76% pour AutoEval, et son verdict de vérification du reset est correct dans 91% des épisodes contre 78%. Le système réduit aussi de 72% le temps d'opérateur d'une campagne d'évaluation par rapport à un reset manuel, et sur trois tâches inédites testant la généralisation compositionnelle, il réussit le reset dans 74,7% des épisodes contre seulement 1,3% pour une politique de reset entraînée tâche par tâche.

Cette avancée cible un vrai goulot d'étranglement de la recherche en robotique: l'évaluation sur robot réel reste la référence des progrès en manipulation, mais reset la scène à la main coûte du temps et laisse la distribution des états initiaux mal définie, ce qui nuit à la reproductibilité des résultats. En automatisant reset et notation pour des tâches multi-étapes sans images de succès annotées, HALTER change l'économie des campagnes de test: le coût de démonstration croît avec la taille d'une bibliothèque de compétences de reset réutilisables, et non plus avec le nombre combinatoire d'états terminaux possibles. Pour les équipes qui entraînent des modèles vision-langage-action à grande échelle, cela ouvre la voie à des benchmarks continus moins gourmands en supervision humaine, dans un secteur qui cherche justement à distinguer démonstrations triées et performance réellement mesurée.

HALTER prolonge AutoEval, système antérieur capable d'automatiser reset et notation mais seulement pour des tâches à une étape, un essai long pouvant se terminer dans un nombre combinatoirement grand de configurations qu'aucune politique de reset apprise ne couvre seule. La solution construit en ligne un graphe de scène à partir de nuages de points et de modèles de vision, qu'un grand modèle de langage utilise pour noter la tâche, planifier le reset via une bibliothèque de compétences atomiques, et vérifier sa réussite. Les auteurs ont aussi testé différentes représentations de la scène et fréquences de mise à jour du graphe, sans annoncer de calendrier de déploiement au-delà de ce cadre expérimental sur bras Franka.

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

GORDON : récompenses par graphes centrées sur l'objet pour décomposer la manipulation à long horizon

Une équipe de recherche décrit dans un article publié sur arXiv début août 2026 (2608.03753) GORDON, un système qui apprend des récompenses denses pour l'apprentissage par renforcement en manipulation robotique, à partir de simples vidéos de démonstration sans action associée. Chaque scène est convertie en graphe d'objets et de relations spatiales, qu'un réseau de neurones sur graphe, entraîné de façon auto-supervisée, projette dans un espace latent aligné sur la progression de la tâche, en isolant les objets pertinents du mouvement propre au bras robotique. La récompense correspond alors à la distance, dans cet espace, entre l'état courant et la configuration d'objectif démontrée. Sur sept tâches testées dans les bancs d'essai simulés MAGICAL et ManiSkill3, GORDON atteint un taux de réussite moyen de 74,4 % sur les tâches longues, soit environ 35 points de mieux que la meilleure base apprise et 25 points de mieux qu'une politique oracle. Ce résultat s'attaque à un goulot d'étranglement classique du RL robotique, la conception de la récompense pour des tâches longues et multi-étapes : les récompenses éparses donnent peu de signal, et celles apprises sur pixels bruts se révèlent fragiles aux variations d'arrière-plan ou de trajectoire. En représentant la scène par objets plutôt que par pixels, et en découvrant automatiquement les sous-tâches à partir du profil temporel de la récompense, sans annotation manuelle, GORDON réduit le travail d'ingénierie nécessaire pour décomposer une tâche complexe. C'est un frein connu pour les équipes qui entraînent des politiques sur des séquences d'assemblage ou de tri multi-étapes, un des obstacles à la généralisation des politiques apprises au-delà des tâches courtes. La méthode s'inscrit dans la lignée des travaux sur la récompense apprise par démonstration, qui cherchaient jusqu'ici un compromis entre richesse du signal et robustesse visuelle. Elle diffère des approches vision-langage-action comme Pi-0 ou GR00T N2, qui apprennent une politique de bout en bout : GORDON reste une brique de reward shaping et de décomposition de tâches, combinable en principe avec différents algorithmes de RL. Les résultats restent pour l'instant limités à deux bancs d'essai simulés, sans test sur robot physique ni transfert sim-to-real annoncé, ce qui reste l'étape suivante pour juger de la portée réelle de la méthode.

RecherchePaper

1 source

2arXiv cs.RO

PDDL-ART : abstraction symbolique autonome par démonstration pour la manipulation robotique à long horizon via modèles vision-langage

La rédaction manuelle de domaines PDDL est un goulot d'étranglement connu de la planification symbolique en robotique, exigeant une expertise spécialisée pour formaliser actions, préconditions et effets : PDDL-ART cherche à déléguer cette tâche à un VLM guidé par une seule démonstration. Pour les intégrateurs visant des tâches multi-étapes complexes, cela laisse entrevoir une planification symbolique reconfigurable sans ingénieur PDDL dédié, combinant la fiabilité des planificateurs classiques et la flexibilité des modèles de fondation, en alternative aux politiques purement end-to-end. Ces résultats restent toutefois ceux d'un preprint non relu par les pairs, obtenus sur un nombre restreint de tâches contrôlées ; le gain de 15 points sur la référence mérite confirmation à plus grande échelle et sur des environnements plus variés. Une équipe de recherche présente PDDL-ART dans un article publié sur arXiv le 19 août 2026 (arXiv:2608.17146v1), un framework qui automatise la construction de domaines et problèmes PDDL (Planning Domain Definition Language) pour la planification robotique à long horizon. Le système s'appuie sur un modèle vision-langage (VLM) pour générer ces descriptions à partir d'une seule démonstration expert, d'une consigne en langage naturel et d'une bibliothèque de noms d'actions disponibles, sans gabarit de domaine ni fine-tuning. Un pipeline de correction en trois étapes, syntaxique, sémantique puis d'exécution, vérifie la cohérence du résultat, notamment via un ancrage symbolique des prédicats qui mobilise les capacités d'utilisation d'outils du VLM pour un raisonnement géométrique et temporel allant au-delà de la simple lecture d'image. Sur des tâches de maintenance moteur et de manipulation domestique impliquant mémoire et inférence de prédicats abstraits, PDDL-ART atteint un taux de réussite moyen de 93,3 %, contre 78,3 % pour un planificateur de référence basé uniquement sur un VLM. PDDL structure la planification symbolique depuis la fin des années 1990, mais son adoption a toujours buté sur la difficulté de traduire des observations sensorielles en prédicats exploitables, un problème que les VLM récents dotés de capacités d'appel d'outils permettent d'attaquer différemment. L'article ne cite aucun laboratoire ni entreprise associée au projet, ce qui le situe pour l'instant au stade de recherche académique plutôt que de produit ou de déploiement industriel ; aucun acteur français ou européen n'y figure. La comparaison à un planificateur VLM de référence positionne PDDL-ART face aux approches neuronales pures de la génération actuelle de modèles vision-langage-action, sans calendrier annoncé pour une publication du code ou une suite expérimentale.

RecherchePaper

1 source

3arXiv cs.RO

EA-WM : modèles du monde sensibles aux événements pour la manipulation à long horizon

Des chercheurs ont soumis EA-WM (Event-Aware World Model) sur arXiv le 12 juin 2026 (arXiv:2606.13053), un cadre de planification robotique pour la manipulation à long horizon. Le système articule deux couches : une dynamique en espace de caractéristiques visuelles gelée (pretrained visual features) sur laquelle vient se greffer un module de prédiction et vérification d'événements ancré dans la spécification de tâche. EA-WM déroule des futurs candidats dans cet espace, les décode en états d'événements structurés (objet déplacé, état de contact changé, prédicat de placement satisfait), puis les score selon quatre critères : progression de la tâche, cohérence sémantique, faisabilité physique et incertitude. Le vérificateur guide l'exploration par échantillonnage et filtre les actions candidates. Dans le benchmark LIBERO, scénario wine-rack sensible aux contacts, il sélectionne parmi des propositions générées par PPO (Proximal Policy Optimization). Les évaluations couvrent navigation, manipulation d'objets déformables, contraintes murales et instructions en langage naturel. L'apport principal est de combler un angle mort structurel des modèles du monde visuels : prédire un futur visuellement plausible ne garantit pas qu'il satisfasse des conditions relationnelles de tâche (prédicats du type "le tiroir est ouvert", "l'objet est posé à l'emplacement cible"). En ajoutant une vérification explicite au niveau événementiel, EA-WM rend les modèles du monde en espace latent à la fois plus interprétables et mieux alignés avec la progression réelle des tâches, sans exiger de nouvelles données de démonstration massives. Pour un intégrateur ou un ingénieur robotique, cela ouvre un potentiel de planification robuste sans dépendre exclusivement de politiques bout-en-bout coûteuses à entraîner. Les modèles du monde en robotique connaissent une accélération depuis DreamerV3 (Google DeepMind) et les architectures VLA comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA. EA-WM se positionne dans un créneau intermédiaire : il ne remplace pas les politiques d'action mais renforce la phase de planification amont, en s'appuyant sur LIBERO comme benchmark multi-tâches désormais standard dans la communauté. À noter que ces résultats restent entièrement en simulation ; la validation sur du matériel réel et le sim-to-real transfer, points encore ouverts dans le domaine, constitueraient l'étape suivante naturelle pour démontrer une applicabilité industrielle effective.

RechercheOpinion

1 source

4arXiv cs.RO

Cortex : un cadre d'agent incarné à alignement bidirectionnel pour la manipulation à long horizon

Cortex, présenté dans un article arXiv publié début juillet 2026 (arXiv:2607.05377), est un nouveau framework d'agent incarné destiné aux tâches de manipulation robotique à long horizon. Le problème qu'il cible: les modèles Vision-Language-Action (VLA) actuels, de par leur nature markovienne, ne s'appuient que sur l'observation courante et peinent sur les séquences longues, tandis que les approches hiérarchiques à double système existantes souffrent d'un décalage entre la sémantique du planning haut niveau et la cinématique d'exécution bas niveau. Cortex introduit une interface de planification qui traduit les plans du VLM haut niveau en sous-tâches exécutables pour le VLA bas niveau, en standardisant les manipulations en 32 primitives de compétences canoniques. Les chercheurs ont ainsi pu annoter automatiquement plus de 4 000 heures de vidéos open-source et générer 30 heures de données de simulation, avec une stratégie d'échantillonnage équilibré par événements pour affiner l'entraînement sur les transitions ambiguës entre sous-tâches. Sur le plan des résultats, Cortex dépasse les baselines monolithiques de 3,1% sur le benchmark Libero-long et de 4,1% sur RoboTwin, en évaluation à la fois open-loop (VLM) et closed-loop (système complet). Plus notable pour l'industrie: le VLM généraliste de Cortex permet de réaliser en zero-shot des tâches réelles inédites à long horizon, comme des expériences de chimie en plusieurs étapes, simplement en le couplant à un VLA fine-tuné, une capacité que le fine-tuning d'un VLA seul n'atteint pas. Cela suggère qu'une architecture correctement pontée entre planification et exécution peut combler l'écart simulation-réel mieux qu'un unique modèle monolithique, un argument qui intéresse directement les intégrateurs cherchant à généraliser au-delà des tâches d'entraînement. Ce travail s'inscrit dans la lignée des architectures duales explorées par des modèles comme Pi-0, GR00T N2 ou Helix, qui tentent chacun de résoudre la même tension entre raisonnement sémantique et contrôle moteur. Cortex reste à ce stade une contribution de recherche évaluée sur benchmarks académiques et non un système déployé en production, mais son approche par primitives standardisées et annotation automatique à grande échelle pourrait influencer la prochaine génération de frameworks d'agents robotiques génécralistes.

RechercheActu

1 source