RecherchearXiv cs.RO 30 juillet 2026

Vision-TL-Action : génération neuro-symbolique de trajectoires à partir d'observations visuelles et de logique temporelle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent Vision-TL-Action, une architecture neuro-symbolique qui génère des trajectoires robotiques directement à partir d'images multi-vues, d'un graphe de logique temporelle (TL) sans coordonnées explicites, et de l'état initial du robot, sans avoir besoin de la géométrie exacte des objets au moment de l'inférence. Les tokens représentant les nœuds de logique temporelle et les tokens visuels spatiaux sont fusionnés par attention croisée bidirectionnelle, et cette représentation conditionne un générateur de trajectoires par flow matching. Les tokens visuels ne sont enrichis que de coordonnées normalisées dans le plan image et d'identifiants de caméra, tandis qu'un objectif d'ancrage prédicat-région, utilisé seulement à l'entraînement, aide le modèle à relier les prédicats logiques aux objets référencés. Évalué avec la métrique Success@K (proportion de tâches réussies par au moins une trajectoire parmi K échantillonnées), le modèle atteint 67,45% de Success@1024 sur une tâche de manipulation avec bras Panda, contre 59,11% pour une référence "oracle" disposant de l'état géométrique exact. Sur une tâche de navigation AntMaze, il obtient 96,35% de Success@256, proche des 96,88% de l'oracle. Le code est publié sur GitHub (AricLau07/vision-tl-action).

L'intérêt tient au problème que ce travail contourne: les générateurs de trajectoires conditionnés par logique temporelle encodent généralement la géométrie exacte des objets dans le graphe de tâche, ce qui suppose une reconstruction 3D précise en amont, coûteuse et fragile en conditions réelles. Ici, un ancrage purement 2D dans le plan image suffit à égaler, voire dépasser, une référence disposant d'un accès privilégié à l'état du monde. Pour les intégrateurs qui conçoivent des systèmes de manipulation à partir de spécifications de tâches formelles, cela suggère qu'un pipeline vision-langage-action peut se passer d'une chaîne de perception 3D complète. À noter: ces résultats restent obtenus en simulation, sur des bancs d'essai standards (Panda, AntMaze), sans validation sur robot physique où le bruit de perception, les occlusions et les erreurs de calibration compliquent généralement ce type d'approche.

Ce travail s'inscrit dans le rapprochement croissant entre logique temporelle, utilisée de longue date en planification et vérification formelle, et les générateurs de trajectoires par flow matching ou diffusion qui sous-tendent des modèles vision-langage-action comme Pi-0, GR00T ou Helix. Les auteurs situent explicitement leur contribution par rapport aux méthodes existantes qui esquivent le problème de liaison perception-symbole en s'appuyant sur une géométrie exacte. Leurs études de résolution et d'intervention montrent que la finesse de l'ancrage spatial dépend du contenu sémantique et que l'identité du prédicat influence à la fois l'attention et la performance, ouvrant la voie à des travaux futurs sur des scènes multi-objets plus complexes et une validation sur robot réel.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T

À lire aussi

1arXiv cs.RO

STeP : logique temporelle de signaux pour des spécifications précises de génération d'actions avec des modèles vision-langage

Des chercheurs proposent STeP, un cadre hiérarchique qui relie les modèles vision-langage-action (VLA) à la logique temporelle de signaux (Signal Temporal Logic, STL), un formalisme mathématique servant à spécifier des contraintes spatiales, temporelles et logiques de façon précise et vérifiable. Concrètement, une politique de haut niveau s'appuie sur un modèle vision-langage pour décomposer une instruction en langage naturel en sous-tâches, générer pour chacune une spécification STL, puis choisir la politique de bas niveau adaptée à son exécution : soit un contrôle prédictif par modèle (MPC) guidé directement par les contraintes STL, soit une politique apprise dont l'exécution est surveillée en continu via ces mêmes contraintes, pour les comportements perceptuellement complexes ou impliquant des contacts physiques. Le système a été évalué sur un banc de manipulation de table en conditions réelles, avec replanification possible si une contrainte est violée en cours d'exécution. Il s'agit d'un article de recherche (arXiv, catégorie "new"), pas d'un produit commercialisé. L'enjeu dépasse la simple démonstration technique. Les modèles VLA génèrent des trajectoires impressionnantes en généralisation mais restent largement des boîtes noires, incapables de garantir qu'une instruction précise, du type "posez l'objet dans les 5 secondes sans dépasser telle zone", sera réellement respectée. Pour des intégrateurs industriels, cette absence de vérifiabilité formelle est un frein direct à l'adoption en environnement contraint, là où une simple démo vidéo ne suffit pas. En réintroduisant des méthodes formelles héritées du contrôle et de la vérification de systèmes cyber-physiques, ce travail illustre une tentative de combler l'écart entre le battage médiatique autour des VLA et des garanties d'exécution exploitables en production. Ce projet s'inscrit dans la lignée des modèles VLA récents (Pi-0, GR00T N2, Helix, RT-2 et dérivés) qui ont démontré la faisabilité de politiques génératives multi-tâches, mais sans mécanisme natif d'interprétabilité ni de contrôle formel. STeP se positionne comme une couche intermédiaire plutôt qu'un modèle concurrent. À ce stade, seule une validation en laboratoire sur tâches de table a été menée, aucun pilote industriel ni déploiement à plus grande échelle n'a été annoncé.

RecherchePaper

1 source

2arXiv cs.RO

Planification de trajectoire par retour d'état pour systèmes non linéaires stochastiques avec spécifications en logique temporelle de signal

Une équipe de chercheurs a déposé en mai 2026 sur arXiv (réf. 2605.02361) un cadre de planification de mouvement par retour d'état pour systèmes non linéaires stochastiques en temps continu, soumis à des spécifications formelles en Signal Temporal Logic (STL). La STL est un formalisme mathématique qui exprime des exigences comportementales temporelles précises - du type "éviter une zone pendant 3 secondes, puis atteindre la cible dans un rayon donné". L'objectif affiché est de garantir le respect de ces spécifications avec une probabilité de 99,99 % en boucle fermée. La méthode repose sur une stratégie dite d'"érosion de prédicats" : le problème stochastique, mathématiquement intractable, est transformé en optimisation déterministe avec des contraintes STL resserrées, dont l'amplitude est calibrée par un tube atteignable probabiliste (PRT, Probabilistic Reachable Tube) borné via la théorie de la contraction. Le pipeline complet a été validé en simulation sur plusieurs architectures robotiques, puis expérimentalement sur un robot quadrupède réel - dont la marque n'est pas précisée dans la prépublication, limite courante des dépôts arXiv. Les auteurs rapportent des résultats supérieurs aux approches de référence en termes de conservatisme réduit et de taux de satisfaction des spécifications. Ce travail s'attaque à un verrou bien identifié en robotique formelle : la plupart des méthodes STL existantes supposent soit un système déterministe, soit un modèle linéaire, rendant les garanties probabilistes sur systèmes non linéaires bruités difficiles à obtenir sans explosion combinatoire. En reformulant le problème stochastique en optimisation déterministe compatible avec des solveurs numériques standards, l'approche ouvre une voie d'intégration industrielle sans exiger de matériel de calcul spécialisé. La validation sur quadrupède physique est un signal positif dans un domaine où le sim-to-real gap reste la principale objection aux méthodes formelles. Pour les intégrateurs et décideurs, une garantie probabiliste quantifiée et potentiellement auditable représente un argument concret dans des contextes de certification robotique - à condition que les résultats expérimentaux détaillés confirment la tenue des 99,99 % sur des scénarios variés, ce que le seul résumé ne permet pas de vérifier. Ces travaux s'inscrivent dans un courant actif combinant planification temporelle et contrôle robuste, aux côtés des Control Barrier Functions (CBF) et des approches MPC-STL (Model Predictive Control avec spécifications temporelles). La théorie de la contraction mobilisée ici, développée notamment par Jean-Jacques Slotine au MIT et remise en avant ces dernières années dans la vérification formelle robotique, constitue l'un des apports méthodologiques distincts de l'article. Aucun acteur européen n'est impliqué dans ces travaux. Les extensions naturelles incluent des spécifications STL imbriquées ou multi-agents, des environnements dynamiques, et une comparaison étendue avec des architectures d'apprentissage par renforcement - domaine concurrent qui adresse des problèmes similaires avec des garanties formelles généralement plus faibles.

RecherchePaper

1 source

3arXiv cs.RO

TrAct : relier le contrôle robotique et la prédiction visuelle par les trajectoires visuelles

Des chercheurs présentent TrAct, un framework de décision robotique fonde sur un modèle du monde et structure autour de trois composants, dans un article publie sur arXiv (2608.24101). VLAT (Vision-Language-Action-and-Track) prédit conjointement des actions candidates et les trajectoires visuelles associées a partir d'une observation et d'une instruction en langage naturel. TWM (track-conditioned world model) projette ensuite les conséquences visuelles futures de ces trajectoires. VLAC (vision-language reward model) note les résultats prédits pour sélectionner la meilleure paire action-trajectoire, qui est alors exécutée par le robot. Sur un nouveau benchmark de simulation baptise LIBERO-INTEGRAL et sur un bras Franka en conditions réelles, TrAct fait passer le taux de réussite de 27% a 55% en simulation et de 49% a 76% en réel, compare a la référence Pi-0.5. Le module TWM améliore par ailleurs la qualité de prédiction vidéo par rapport a un modèle du monde conditionne uniquement par l'action (AWM). L'enjeu tient au problème cible: les actions robotiques sont spécifiques a chaque plateforme mécanique et ne correspondent que faiblement aux changements visuels dans l'image, ce qui limite leur usage comme signal de conditionnement pour les modèles du monde. Les tracks visuels, indépendants de l'embodiment, offrent un guide dense et spatialement précis pour anticiper l'action correcte, en s'insérant comme représentation intermédiaire entre perception, prédiction et contrôle. TrAct s'attaque ainsi a l'écart persistant entre performances en simulation et généralisation en conditions réelles, un point faible récurrent des architectures VLA. Les gains face a Pi-0.5, référence crédible du secteur, sont notables, mais le benchmark LIBERO-INTEGRAL est propose par les auteurs eux-mêmes et l'article n'a pas encore été relu par les pairs, ce qui appelle une reproduction indépendante avant toute conclusion définitive pour l'industrie. Ces travaux s'inscrivent dans la vague de recherche sur les modèles Vision-Language-Action, aux cotes de Pi-0 et Pi-0.5 chez Physical Intelligence, GR00T N2 chez Nvidia ou Helix chez Figure AI. L'usage d'un bras Franka Emika comme plateforme d'évaluation reste un standard académique, loin des déploiements en usine revendiques par des acteurs comme Figure (Figure 03) ou Tesla (Optimus). Aucun acteur français ou européen, tel Wandercraft, Pollen Robotics ou Enchanted Tools, n'apparait dans cette étude, qui demeure a ce stade une contribution de recherche en preprint, sans partenariat industriel ni calendrier de déploiement annonce.

RechercheOpinion

1 source

4arXiv cs.RO

De la correction locale à la généralisation : améliorer les politiques neuro-symboliques avec MEMO

Des chercheurs de Virginia Tech ont publié MEMO (Memory Enhanced Manipulation), un système visant à lever le verrou fondamental des politiques neuro-symboliques en manipulation robotique. Ces architectures utilisent des modèles de vision et de langage (VLM) pour décomposer des tâches complexes en sous-tâches sémantiques, exécutées via des "skills" : primitives de mouvement, fonctions codées ou fragments de trajectoire. La contrainte est structurelle : si la bibliothèque de skills ne couvre pas la situation courante, la politique échoue quelle que soit la qualité du raisonnement de haut niveau. MEMO contourne cette limite en exploitant les corrections en langage naturel des opérateurs humains ("non, va plus haut") : le système collecte, regroupe et reformule ces retours à travers plusieurs utilisateurs et tâches pour synthétiser des templates de skills généralisables, stockés dans un skillbook à récupération augmentée (RAG) consulté à l'exécution pour générer de nouveaux skills à la volée. L'intérêt opérationnel est concret : MEMO déplace le coût d'amélioration depuis les ingénieurs (codage manuel de nouveaux skills) vers les opérateurs terrain, dont les retours naturels deviennent données structurées réutilisables. Les expériences rapportées dans la publication démontrent une généralisation à des tâches inédites là où les baselines existantes échouent, ce qui valide l'hypothèse centrale : l'abstraction des corrections locales produit une guidance plus robuste que le simple rappel du texte exact. Avantage pratique pour les équipes de déploiement : le système n'exige pas de réentraînement du modèle de base, ce qui réduit significativement le coût d'adaptation. Ce travail s'inscrit dans la compétition entre approches neuro-symboliques et approches VLA end-to-end (Vision-Language-Action) comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui apprennent des politiques denses sans décomposition symbolique explicite. Les architectures symboliques conservent des avantages en interprétabilité et modularité, mais pâtissaient précisément de cette rigidité du skill-set post-déploiement ; MEMO tente de combler cet écart sans sacrifier la lisibilité du raisonnement. La publication arXiv (2603.04560) ne mentionne aucun partenaire industriel ni calendrier de commercialisation, positionnant clairement ce travail à un stade TRL expérimental, avec la démonstration consultable sur le site du laboratoire Collab de Virginia Tech.

RecherchePaper

1 source