RecherchearXiv cs.RO 16 juillet 2026

PhysClaw-0 : un système agentique symbiotique pour l'autonomie robotique via corrections langagières

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un système baptisé PhysClaw-0 vise à réduire drastiquement le temps humain nécessaire pour collecter des données d'entraînement en robotique de manipulation. Décrit dans un article publié sur arXiv (2607.14047v1), le système fonctionne en boucle autonome : il collecte des trajectoires, vérifie leur succès et remet le poste en configuration initiale sans intervention, ne sollicitant un opérateur distant que lorsqu'une phase épuise un budget de tentatives explicite. Sa nouveauté tient à une "mémoire corrective" : lorsqu'un opérateur formule une correction en langage naturel, un LLM la transforme en ajustement structuré qui reste actif pour les tentatives suivantes, au lieu d'être perdu à la fin de chaque épisode comme dans les pipelines existants. Testé sur un banc réel de débarrassage de bureau (desktop-clearing), PhysClaw-0 égale le taux de succès de la téléopération classique tout en ramenant le temps de travail humain à 16% de celui requis par la téléopération. Les corrections en langage naturel améliorent l'accord entre le vérificateur automatique et l'humain sur les quatre configurations testées, et font grimper le taux de succès moyen en une seule tentative de 12,5% à 47,5% (jusqu'à 20% à 50% pour la tâche de sélection de bras).

Ce résultat s'attaque directement à un goulot d'étranglement connu du secteur : la collecte de données réelles pour l'apprentissage de politiques de manipulation reste coûteuse en supervision humaine, et les corrections ponctuelles doivent être répétées à chaque récurrence du même échec, faisant croître le coût de supervision avec la durée de session plutôt qu'avec le nombre réel de problèmes distincts. En capitalisant les corrections plutôt qu'en les jetant, PhysClaw-0 propose une piste concrète pour industrialiser la collecte de données robotiques à moindre coût humain, un enjeu central pour tout acteur cherchant à entraîner des politiques VLA (vision-language-action) à grande échelle plutôt qu'en laboratoire.

L'article ne précise ni l'institution ni le matériel robotique utilisé au-delà du banc de test desktop-clearing, et s'inscrit dans la lignée des travaux récents sur le "self-resetting" et la vérification par VLM (modèles vision-langage) pour automatiser la collecte. Il s'agit d'une publication de recherche fraîchement mise en ligne, sans annonce de déploiement industriel ni de partenaire commercial à ce stade ; les auteurs indiquent que des politiques entraînées sur les données PhysClaw-0 atteignent des performances comparables à celles obtenues via téléopération complète, pour une fraction du coût humain de collecte.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

FLARE : un cadre conscient des échecs pour la correction et la récupération autonomes en manipulation robotique vision-langage

Des chercheurs proposent FLARE (Failure-Aware framework for Autonomous Correction and Recovery), publié sur arXiv sous la référence 2608.26645v1, une méthode destinée aux modèles vision-langage-action (VLA) utilisés pour la manipulation robotique. Le système repose sur deux mécanismes complémentaires baptisés « Retry » et « Reset ». Le mécanisme Retry injecte des perturbations et des segments de transition dans les démonstrations d'entraînement, en dissociant la pose du robot de l'état de l'environnement, afin que la politique apprenne à gérer seule les écarts d'exécution mineurs comme une prise ratée ou un objet qui glisse. Le pipeline Reset s'attaque aux échecs plus graves, dits hors distribution (OOD), qui rompent l'état de la tâche : un grand modèle multimodal (MLLM) analyse hors ligne des vidéos d'exécution pour repérer automatiquement ces états OOD, ce qui permet de constituer une petite bibliothèque ciblée de compétences de récupération centrées sur les objets. En inférence, un moniteur MLLM en ligne arbitre en temps réel entre poursuite de la tâche et déclenchement d'une compétence Reset. Les auteurs annoncent des gains de taux de réussite et de robustesse sur des tâches de manipulation complexes et riches en contacts, sans toutefois détailler dans le résumé les chiffres précis ni la plateforme robotique testée. L'enjeu touche un point faible connu des VLA : entraînés sur des démonstrations « parfaites », sans échec, ils peinent souvent à se rattraper en conditions réelles, un écart classique entre démonstration et déploiement. Pour les intégrateurs et les équipes robotique industrielles, la capacité à détecter et corriger automatiquement une erreur d'exécution, sans intervention humaine ni réinitialisation manuelle du poste de travail, conditionne directement la viabilité de cellules de manipulation autonomes en production. FLARE s'inscrit dans une tendance de recherche qui cherche à combler l'écart entre les démonstrations vidéo souvent présentées par les laboratoires et la réalité d'une ligne de production où objets glissent, collisions surviennent et préhenseurs ratent leur prise. Le travail s'inscrit dans la lignée des modèles VLA génériques récemment mis en avant dans le secteur, comme Pi-0, GR00T N2 ou Helix, qui visent à généraliser la manipulation à partir d'un apprentissage à grande échelle mais partagent la même limite de données d'entraînement sans échec. FLARE reste à ce stade une contribution de recherche publiée sur arXiv, sans annonce de déploiement industriel ni de partenariat commercial associé ; sa validation repose sur des expériences en laboratoire, et son adoption dépendra de tests indépendants et d'une éventuelle intégration dans des piles logicielles de manipulation existantes.

RechercheActu

1 source

2arXiv cs.RO

Système d'automatisation de titres modulaire pour la robotique en intérieur, basé sur un modèle vision-langage-action

Une équipe de recherche présente un système modulaire conçu pour le CMU Vision-Language-Action (VLA) Challenge, une compétition universitaire visant à faire exécuter des instructions en langage naturel par un agent robotique autonome évoluant en intérieur. L'architecture repose sur deux pipelines parallèles. Le premier, dédié à la perception, construit en temps réel une carte voxel sémantique de l'environnement à partir de flux caméra, en s'appuyant sur des embeddings issus du modèle OwlViT. Le second traite le langage : il classifie les commandes utilisateur grâce à un modèle vision-langage (VLM). La cartographie est bornée dans le temps, avec une limite d'exploration fixée à 500 secondes, au-delà de laquelle le système continue d'opérer avec une carte partielle plutôt que d'attendre une couverture complète. La requête classifiée est ensuite ancrée dans le contexte géométrique et sémantique de cette carte pour générer un prompt détaillé soumis au VLM, produisant en sortie une action exploitable par le robot. L'intérêt de ce travail dépasse le cadre du concours : il illustre concrètement comment combler l'écart entre instruction en langage naturel et action robotique physique, un défi central pour toute la famille des modèles VLA actuellement en déploiement industriel, de Pi-0 à GR00T N2 en passant par Helix. En imposant une contrainte de temps stricte sur la cartographie, les auteurs mettent en lumière un problème rarement traité frontalement dans les démonstrations commerciales : la robustesse face à une perception incomplète, plus représentative des conditions réelles que des environnements soigneusement scannés en amont. Le CMU VLA Challenge s'inscrit dans une vague de benchmarks académiques cherchant à standardiser l'évaluation des architectures VLA modulaires, en concurrence avec les approches end-to-end privilégiées par les laboratoires industriels. Les prochaines étapes attendues concernent la publication des résultats comparatifs de la compétition et l'éventuelle extension de cette architecture voxel-plus-VLM à des plateformes robotiques réelles au-delà du cadre expérimental du challenge.

RecherchePaper

1 source

3arXiv cs.RO

PDDL-ART : abstraction symbolique autonome par démonstration pour la manipulation robotique à long horizon via modèles vision-langage

La rédaction manuelle de domaines PDDL est un goulot d'étranglement connu de la planification symbolique en robotique, exigeant une expertise spécialisée pour formaliser actions, préconditions et effets : PDDL-ART cherche à déléguer cette tâche à un VLM guidé par une seule démonstration. Pour les intégrateurs visant des tâches multi-étapes complexes, cela laisse entrevoir une planification symbolique reconfigurable sans ingénieur PDDL dédié, combinant la fiabilité des planificateurs classiques et la flexibilité des modèles de fondation, en alternative aux politiques purement end-to-end. Ces résultats restent toutefois ceux d'un preprint non relu par les pairs, obtenus sur un nombre restreint de tâches contrôlées ; le gain de 15 points sur la référence mérite confirmation à plus grande échelle et sur des environnements plus variés. Une équipe de recherche présente PDDL-ART dans un article publié sur arXiv le 19 août 2026 (arXiv:2608.17146v1), un framework qui automatise la construction de domaines et problèmes PDDL (Planning Domain Definition Language) pour la planification robotique à long horizon. Le système s'appuie sur un modèle vision-langage (VLM) pour générer ces descriptions à partir d'une seule démonstration expert, d'une consigne en langage naturel et d'une bibliothèque de noms d'actions disponibles, sans gabarit de domaine ni fine-tuning. Un pipeline de correction en trois étapes, syntaxique, sémantique puis d'exécution, vérifie la cohérence du résultat, notamment via un ancrage symbolique des prédicats qui mobilise les capacités d'utilisation d'outils du VLM pour un raisonnement géométrique et temporel allant au-delà de la simple lecture d'image. Sur des tâches de maintenance moteur et de manipulation domestique impliquant mémoire et inférence de prédicats abstraits, PDDL-ART atteint un taux de réussite moyen de 93,3 %, contre 78,3 % pour un planificateur de référence basé uniquement sur un VLM. PDDL structure la planification symbolique depuis la fin des années 1990, mais son adoption a toujours buté sur la difficulté de traduire des observations sensorielles en prédicats exploitables, un problème que les VLM récents dotés de capacités d'appel d'outils permettent d'attaquer différemment. L'article ne cite aucun laboratoire ni entreprise associée au projet, ce qui le situe pour l'instant au stade de recherche académique plutôt que de produit ou de déploiement industriel ; aucun acteur français ou européen n'y figure. La comparaison à un planificateur VLM de référence positionne PDDL-ART face aux approches neuronales pures de la génération actuelle de modèles vision-langage-action, sans calendrier annoncé pour une publication du code ou une suite expérimentale.

RecherchePaper

1 source

4arXiv cs.RO

CLAW : un cadre vision-langage-action (VLA) pour la préhension robotique adaptée au poids

Des chercheurs ont publié sur arXiv (arXiv:2509.14143) un framework baptisé CLAW (CLIP-Language-Action for Weight), conçu pour permettre à un robot de saisir des objets en respectant des seuils de poids définis en langage naturel. L'architecture repose sur deux composants distincts : un modèle CLIP affiné qui joue le rôle de générateur de directives symboliques en lisant en continu l'affichage numérique d'une balance, et le modèle VLA π₀ (Pi-zéro), une politique à base de flux développée par Physical Intelligence, qui intègre ces directives avec des observations caméras multi-vues pour produire des commandes motrices continues. Le système a été validé sur trois configurations expérimentales couvrant la saisie d'objets uniques et des tâches mixtes nécessitant une manipulation bi-bras. Dans toutes les conditions, CLAW surpasse à la fois π₀ brut et π₀ affiné sans le module de surveillance, sans que les auteurs ne précisent les marges de performance ni les volumes de données d'entraînement utilisés. L'enjeu central que CLAW cherche à résoudre est une limitation structurelle des VLA actuels : entraînés de façon bout-en-bout, ces modèles peinent à respecter des contraintes numériques précises comme "arrête-toi quand le poids dépasse 500 grammes", car leur mapping observation-action est implicitement façonné par les données d'entraînement et ne dispose d'aucun mécanisme explicite de surveillance de conditions. En découplant l'évaluation de condition (symbolique, légère) de la génération d'action (continue, haute fréquence), CLAW ouvre une voie pour intégrer une logique de contrôle de procédé dans des pipelines VLA, ce qui est directement pertinent pour des applications industrielles comme le tri pondéral, le conditionnement, ou l'assemblage qualifié par masse. C'est une réponse concrète au "demo-to-reality gap" : les vidéos de démos de manipulation VLA sont souvent réalisées dans des conditions contrôlées sans contraintes mesurables ; CLAW introduit un critère d'arrêt objectif et vérifiable. π₀ est le modèle phare de Physical Intelligence (Pi), startup fondée en 2023 par Sergey Levine et d'anciens chercheurs de Google Brain et DeepMind, qui a levé 400 millions de dollars en 2024. Le choix de π₀ comme base n'est pas anodin : c'est l'un des rares modèles VLA publiquement documentés capables de manipulation dextre généraliste. CLAW s'inscrit dans une tendance plus large de travaux qui cherchent à hybrider des couches symboliques légères avec des politiques neuronales denses, à l'image des travaux de Physical Intelligence sur le grounding multi-modal ou des approches modulaires comme OpenVLA. Aucun déploiement industriel n'est annoncé ; le travail reste au stade de la preuve de concept académique avec des setups de laboratoire, et une vidéo de démonstration est disponible sur YouTube. Les prochaines étapes naturelles seraient une évaluation sur des capteurs variés (au-delà de la balance numérique) et une généralisation à d'autres contraintes métriques comme la force ou la température.

RechercheOpinion

1 source