Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

Modèles du monde hiérarchiques pour le guidage temporel logique en temps d'inférence : hint²

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente hint², une méthode qui guide a l'inférence des politiques de manipulation robotique a courte portée vers le respect de spécifications complexes en logique temporelle linéaire (LTL). Le système combine deux modèles du monde hiérarchisés : un niveau haut qui prédit l'évolution des propositions atomiques pour faire progresser l'automate LTL, et un niveau bas, dynamique, qui prédit l'état immédiat pour assurer une sécurité locale précise. Sur le benchmark CALVIN, hint² surpasse les méthodes de diffusion guidée par LTL et les techniques de pilotage a l'inférence existantes, et gère mieux les contraintes combinées de vivacité et de sécurité que les politiques purement conditionnées par le langage. La méthode a aussi été validée sur un bras manipulateur réel UR5e. Le travail est publie en preprint sous la référence arXiv:2608.13678.

Les politiques conditionnées par le langage a grande échelle (VLA) progressent vite mais peinent encore a respecter une structure temporelle et des contraintes de sécurité explicites, car elles generent des actions par courtes séquences et replanifient en boucle fermée, alors que les spécifications LTL portent sur des trajectoires longues. Pour les intégrateurs et décideurs industriels, hint² esquisse une voie pour imposer un ordonnancement de taches et des garde-fous de sécurité a des politiques déjà entraînées, sans reentrainement, en intervenant seulement au moment de l'inférence, ce qui réduirait l'écart entre démonstrations impressionnantes et exigences de fiabilité en usine ou en contexte collaboratif homme-robot.

Ce travail s'inscrit dans un courant de recherche qui cherche a marier logique formelle et politiques génératives pour la manipulation robotique, un mariage jusqu'ici limite par le décalage d'échelle temporelle entre les deux approches. Les auteurs comparent hint² aux méthodes de diffusion guidées par LTL et aux techniques de pilotage a l'inférence existantes, jugées insuffisantes face a des instructions longues et structurées. Le choix du benchmark CALVIN, référence pour les agents manipulateurs conditionnes par le langage, et du bras UR5e, très utilise en recherche robotique, ancre les résultats dans des protocoles reconnus. Aucune entreprise ni produit commercial n'est associe a cette publication académique, et les auteurs ne donnent pas de calendrier pour étendre l'approche au-delà de CALVIN et du UR5e.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

Apprentissage d'a priori géométriques 4D pour des modèles d'action du monde efficaces en inférence
1arXiv cs.RO 

Apprentissage d'a priori géométriques 4D pour des modèles d'action du monde efficaces en inférence

Des chercheurs publient MECo-WAM (Multi-Expert Co-Training World Action Model), une nouvelle architecture de "World Action Model" (WAM) conçue pour la manipulation robotique, décrite dans un papier référence arXiv:2607.05468v1. L'idée est d'injecter des a priori géométriques 4D dans les représentations vidéo-action pendant l'entrainement, sans alourdir le graphe d'inférence au moment du déploiement. Le système combine trois experts durant l'entrainement : un expert vidéo, un expert action, et un expert 4D léger supervise par des cibles relationnelles issues d'un encodeur VGGT gelé. Une visibilité asymétrique entre experts empêche les raccourcis non causaux entre géométrie auxiliaire et génération d'actions. Deux mécanismes assurent le transfert des connaissances géométriques vers le chemin vidéo-action réellement déployé : une attention a masque de lecture 4D a décroissance progressive, qui fournit un guidage géométrique restreint en début d'entrainement puis le retire par étapes, et une distillation géométrique temporelle orientée action, qui aligne les relations géométriques intra-image et leur évolution en priorisant les zones visuelles pertinentes pour l'action du robot. Au déploiement, tous les composants 4D auxiliaires sont supprimes. Sur les benchmarks LIBERO et RoboTwin 2.0, le modèle atteint respectivement 98,2% et 92,6% de réussite, avec des gains confirmes sur des taches de manipulation réelles. Ce travail cible une limite connue des WAMs actuels : l'entrainement conjoint vidéo-action optimise généralement des latents orientes apparence, qui capturent mal la géométrie évolutive nécessaire a une manipulation précise. En montrant qu'un gain de précision est possible sans surcout d'inférence, MECo-WAM répond a une tension centrale pour les intégrateurs et les équipes de recherche appliquée : les modèles VLA (vision-language-action) les plus performants deviennent souvent trop lourds pour un déploiement temps réel embarque. La méthode illustre une tendance de fond dans la recherche en manipulation robotique, celle de déporter la complexité géométrique et multimodale vers la phase d'entrainement pour ne conserver au runtime qu'un pipeline léger, une piste directement pertinente pour les fabricants de bras robotiques et de systèmes AMR qui cherchent a industrialiser des politiques apprises. MECo-WAM s'inscrit dans la lignée des World Action Models qui cherchent a unifier prédiction vidéo future et génération de séquences d'actions exécutables, une approche déjà explorée par des architectures VLA comme Pi-0 ou GR00T N2. La référence a VGGT, encodeur de géométrie 4D reconnu en vision par ordinateur, situe le papier a l'intersection de la reconstruction 3D/4D et de l'apprentissage de politiques robotiques. Les auteurs évaluent leur approche sur deux benchmarks de simulation standards, LIBERO et RoboTwin 2.0, ainsi que sur des taches réelles, mais ne donnent pour l'instant aucun calendrier de déploiement industriel ni de partenariat avec des intégrateurs : le travail reste, a ce stade, une contribution de recherche publiée sur arXiv.

RecherchePaper
1 source
Robot humanoïde : planification dynamique de tâches guidée par LLM et logique temporelle hiérarchique pour le transfert d'objets
2arXiv cs.RO 

Robot humanoïde : planification dynamique de tâches guidée par LLM et logique temporelle hiérarchique pour le transfert d'objets

Des chercheurs proposent un nouveau cadre neuro-symbolique pour piloter des tâches de transfert d'objets (handover) entre plusieurs robots en présence d'humains, en combinant modèles de langage (LLM) et logique temporelle formelle. Le système traduit une instruction humaine en langage naturel en spécifications hiérarchiques de type LTLf (Linear Temporal Logic sur traces finies), puis résout un problème conjoint d'allocation de tâches et de planification, appelé STAP (Simultaneous Task Allocation and Planning). Contrairement aux approches statiques classiques, l'architecture intègre une boucle de planification à horizon glissant (receding horizon planning) couplée à une perception en temps réel, ce qui lui permet de réajuster dynamiquement les plans lorsque l'environnement change, par exemple si une personne se déplace ou modifie sa consigne. Les auteurs rapportent des expériences menées à la fois en simulation et sur des robots réels. Ce travail s'attaque à un problème central pour l'industrie robotique : les LLM permettent aujourd'hui à des non-experts de formuler des tâches complexes en langage naturel, mais les plans générés restent souvent cinématiquement infaisables ou inefficaces sur des horizons longs, faute de garanties formelles. À l'inverse, les méthodes de logique temporelle offrent des garanties de correction et d'optimalité, mais fonctionnent généralement hors-ligne et passent mal à l'échelle. En démontrant un gain mesurable de taux de réussite, de fluidité d'interaction et une réduction du surcoût de replanification par rapport à des méthodes de référence, cette approche illustre une piste concrète pour fiabiliser les systèmes multi-robots collaboratifs en environnement partagé avec des humains, un enjeu direct pour les intégrateurs qui cherchent à dépasser le stade de la démonstration contrôlée. Le papier s'inscrit dans la lignée des travaux cherchant à combiner l'expressivité des LLM avec la rigueur des méthodes formelles de planification, un axe de recherche actif face aux limites connues des architectures purement neuronales de type VLA (vision-language-action) pour les tâches longues et critiques en sécurité. Il s'agit d'une republication (replace) sur arXiv, signe d'une révision par les auteurs ; le texte ne précise pas d'affiliation industrielle ni de calendrier de déploiement commercial, ce qui en fait une contribution de recherche plutôt qu'une annonce produit.

RecherchePaper
1 source
ViTL : navigation en langage naturel zéro-shot guidée par logique temporelle via modèles vision-langage
3arXiv cs.RO 

ViTL : navigation en langage naturel zéro-shot guidée par logique temporelle via modèles vision-langage

Des chercheurs présentent ViTL (Vision-Language Temporal Logic), un système de navigation robotique capable d'exécuter des commandes en langage naturel impliquant plusieurs cibles et des contraintes temporelles, sans entraînement spécifique à l'environnement testé. Publié sur arXiv le 30 juin 2026, le framework s'attaque à un cas concret : une instruction comme "Nettoie la chaise ou le canapé, puis allume la télé" implique un ordre logique et un choix entre deux objets, ce qu'aucun système zero-shot existant ne gérait jusqu'ici. ViTL agit à deux niveaux. Au niveau tâche, un grand modèle de langage traduit la commande en formule de logique temporelle linéaire (LTL), convertie ensuite en automate fini déterministe (DFA) qui coordonne des cartes de valeur multi-canaux et déclenche une replanification dynamique dès qu'un nouvel objet pertinent est détecté. Au niveau navigation, les auteurs introduisent un "score directionnel" : plutôt qu'une valeur unique et indifférenciée sur tout le champ de vision, chaque direction de frontière est étiquetée sur l'image d'observation et notée séparément par le modèle vision-langage. Les tests ont été menés sur le simulateur Habitat-Matterport 3D (HM3D). L'enjeu dépasse la démonstration académique. Les méthodes actuelles de navigation zero-shot vers un objet, qui s'appuient sur des VLM pour guider une exploration par frontières dans un environnement inconnu, restent cantonnées à une seule cible à la fois. En prouvant qu'un pipeline LLM-vers-logique-vers-automate peut orchestrer plusieurs sous-tâches ordonnées sans réentraînement, ViTL déplace la limite de ce qu'un robot peut comprendre d'une instruction humaine complexe, un enjeu direct pour les intégrateurs qui déploient des robots domestiques ou logistiques devant suivre des consignes composites. Le score directionnel améliore aussi, selon les auteurs, la précision et l'efficacité sur les tâches à cible unique par rapport à leur référence de base, signe que le gain ne se limite pas aux scénarios multi-cibles. Ce travail s'inscrit dans la lignée des approches récentes combinant VLM et exploration frontalière pour la navigation sémantique zero-shot, une piste active depuis l'essor des modèles vision-langage capables de raisonner sur des scènes inconnues sans carte préexistante. La contribution spécifique de ViTL, la formalisation en logique temporelle plutôt qu'en heuristique ad hoc, ouvre la voie à des commandes encore plus complexes (conditions, boucles, contraintes de sécurité) dans de futurs travaux, même si le passage du simulateur HM3D à un robot réel reste l'étape non résolue par cette publication.

RecherchePaper
1 source
SG-WAM : guidage sémantique ancré au texte et conscient de l'espace pour les modèles monde-action
4arXiv cs.RO 

SG-WAM : guidage sémantique ancré au texte et conscient de l'espace pour les modèles monde-action

Un article de recherche publié sur arXiv (référence 2608.08839, avril... plutôt août 2026) présente SG-WAM, une méthode de guidage sémantique pour les modèles dits "World-Action Models" (WAM), une famille d'architectures utilisées en manipulation robotique qui prédisent à la fois une vidéo future de la scène et les actions du robot à partir d'une observation visuelle et d'une instruction en langage naturel. Le constat de départ des auteurs est que la plupart des WAM existants s'appuient surtout sur l'image et peu sur le texte, car les encodeurs de texte classiques traitent l'instruction indépendamment de ce que voit le robot. Résultat, la vidéo prédite s'écarte souvent du sens réel de la consigne, ce qui dégrade la précision des actions calculées. Pour corriger cela, SG-WAM ajoute un planificateur basé sur un modèle vision-langage (VLM), entraîné à produire deux types de prévisions sémantiques: une prévision "ancrée dans le texte", qui identifie les bons objets cibles mentionnés dans l'instruction, et une prévision "consciente de l'espace", qui restitue la géométrie de la scène pour une manipulation précise. Ces prévisions sont injectées comme guidage de haut niveau dans le WAM, pour aligner génération vidéo et prédiction d'action sur l'instruction donnée. Les auteurs rapportent des expériences en simulation et en conditions réelles. Sur le fond, ce travail s'attaque à un point de friction classique des architectures VLA et WAM: la tendance des modèles à bien fonctionner en démonstration contrôlée mais à perdre l'instruction de vue dès que la scène contient plusieurs objets similaires ou une ambiguïté spatiale. Pour les équipes qui évaluent des piles de manipulation robotique en entrepôt ou en usine, ce type de contribution touche directement la fiabilité du suivi d'instruction, un critère souvent plus déterminant que la vitesse d'exécution pour la mise en production. Il s'agit toutefois d'une publication académique, testée sur des protocoles expérimentaux et non d'un produit commercialisé ni d'un déploiement industriel chiffré. Le papier s'inscrit dans la lignée des travaux qui cherchent à combler l'écart entre modèles purement vision-action et modèles de "monde" capables d'anticiper les conséquences physiques d'une action avant de l'exécuter. L'abstract ne précise ni les benchmarks utilisés, ni de calendrier de mise à disposition du code, ni de partenariat industriel.

RecherchePaper
1 source