Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RoboStream : associer raisonnement spatio-temporel et mémoire dans les modèles vision-langage pour la robotique
RecherchearXiv cs.RO 

RoboStream : associer raisonnement spatio-temporel et mémoire dans les modèles vision-langage pour la robotique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent RoboStream, un framework sans entraînement (training-free) destiné à améliorer la planification robotique par modèles vision-langage (VLM) sur des tâches de manipulation à long horizon. Le système repose sur deux mécanismes : les STF-Tokens (Spatio-Temporal Fusion Tokens), qui lient les preuves visuelles à des attributs géométriques 3D pour ancrer durablement les objets dans la scène, et un graphe causal spatio-temporel (CSTG) qui enregistre les transitions d'état déclenchées par chaque action successive. Sur le benchmark RLBench en configuration longue durée, RoboStream atteint 90,5% de réussite. Sur des tâches réelles de construction de blocs, jugées plus exigeantes, il obtient 44,4%, contre seulement 11,1% pour les deux systèmes de référence SoFar et VoxPoser.

Ce résultat cible un problème connu des planificateurs VLM actuels: ils traitent chaque étape comme une observation isolée, sans mémoire des actions précédentes ni de leur effet sur l'environnement. Concrètement, un objet temporairement caché par le bras du robot ou par un autre élément de la scène est purement et simplement "oublié", ce qui provoque des violations de précondition en cascade sur les étapes suivantes. Pour les intégrateurs et équipes de R&D en robotique manipulatrice, l'écart de performance rapporté sur les tâches réelles (44,4% contre 11,1%) illustre un problème plus large que la démonstration de laboratoire ne masque pas toujours: la difficulté à maintenir une cohérence géométrique et causale sur des séquences longues, bien au-delà de la simple perception image par image. Le fait que la méthode soit annoncée comme fonctionnant sans fine-tuning supplémentaire est notable pour un déploiement pratique, si les résultats se confirment au-delà du cadre contrôlé de l'étude.

Ce travail s'inscrit dans la lignée des approches de raisonnement spatial pour la robotique, en s'opposant frontalement aux architectures VoxPoser et SoFar, utilisées ici comme lignes de base. Il s'agit pour l'instant d'une publication de recherche (version 2 mise à jour sur arXiv), sans indication de mise en production ou de partenariat industriel; les auteurs ne précisent pas de calendrier de suite ni d'intégration matérielle spécifique.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Dual mémoire latente dans les modèles vision-langage-action pour la manipulation robotique
1arXiv cs.RO 

Dual mémoire latente dans les modèles vision-langage-action pour la manipulation robotique

Des chercheurs ont publié le 7 juillet 2026 sur arXiv (arXiv:2607.07608v1) un nouveau framework baptisé LaMem-VLA, conçu pour doter les modèles Vision-Language-Action (VLA) d'une mémoire native directement intégrée à leur espace latent de raisonnement. Aujourd'hui, la plupart des VLA prédisent une action à partir de la seule observation courante sous hypothèse markovienne, ce qui les rend peu efficaces sur les tâches longues et dépendantes du temps. LaMem-VLA repose sur quatre composants coordonnés: un "curator" qui organise l'expérience passée en deux coffres mémoire, court terme et long terme; un "seeker" qui interroge ces coffres via la cognition multimodale pour en extraire les preuves pertinentes au contexte; un "condenser" qui reconstruit ces preuves en tokens de mémoire latente compacts; et un "weaver" qui injecte ces tokens avec l'observation et l'instruction courantes dans une seule séquence d'embedding continue. Les auteurs rapportent une supériorité de leur approche sur les benchmarks SimplerEnv et LIBERO, deux références standard pour évaluer la manipulation robotique pilotée par VLA. L'enjeu dépasse la simple performance sur benchmark. Les VLA actuels, qu'ils s'appuient sur des architectures type Pi-0, GR00T N2 ou Helix, butent tous sur une mémoire de travail limitée à la fenêtre d'observation courante, ce qui les fragilise dès qu'une tâche exige de se souvenir d'une action antérieure, par exemple qu'un tiroir a déjà été ouvert. Les solutions existantes, élargir la fenêtre d'observation ou interroger une banque mémoire externe comme contexte auxiliaire, laissent cette mémoire hors de l'espace latent natif du modèle, limitant son intégration au raisonnement multimodal. En rendant la mémoire nativement latente, LaMem-VLA vise à réduire l'écart entre démonstrations courtes réussies en laboratoire et déploiements réels où les séquences de tâches s'étirent, un critère que surveillent de près les intégrateurs industriels évaluant la fiabilité des VLA au delà du simple "pick and place". Ce travail s'inscrit dans une vague de recherche sur la mémoire des VLA, alors que le secteur de la robotique humanoïde et généraliste, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, Figure avec Helix, cherche à dépasser les tâches courtes démontrées en vidéo pour viser des chaînes d'actions plus longues et industriellement exploitables. Classé "Announce Type: new" sur arXiv et non encore relu par les pairs, le papier ne mentionne aucun déploiement matériel ni partenariat industriel: il s'agit pour l'instant d'une contribution académique validée uniquement en simulation. Les suites attendues, classiques pour ce type de travaux, seraient une validation sur robot physique et une comparaison directe avec les architectures mémoire déjà explorées par les grands laboratoires de robotique généraliste.

RechercheActu
1 source
GaussVLA : un raisonnement spatial géométrique pour les modèles vision-langage-action
2arXiv cs.RO 

GaussVLA : un raisonnement spatial géométrique pour les modèles vision-langage-action

Un preprint arXiv (2608.24959v1) présente GaussVLA, un modèle Vision-Language-Action fondé sur une architecture Mamba, doté de deux modules : le Gaussian Spatial Tokenizer (GST), qui convertit des caractéristiques sémantiques et de profondeur figées en tokens 3D gaussiens compacts en agrégeant les zones géométriquement saillantes via des requêtes apprises, et le Depth-Aware Chain-of-Thought (DA-CoT), un raisonnement géométrique structuré et non autorégressif conditionné par le langage. Testé en simulation sur le benchmark LIBERO et en conditions réelles, il atteint 93,5 % de réussite moyenne et 100,0 % sur la suite Spatial avec seulement 200 millions de paramètres, soit 19,7 % de mieux que SpatialVLA, sa référence de comparaison directe, tout en restant nettement plus économique en paramètres. Le problème visé est connu : les observations visuelles des modèles VLA sont d'ordinaire encodées en tokens 2D plats sans structure géométrique, et une carte de profondeur monoculaire n'ajoute que des valeurs scalaires par pixel, sans orientation de surface ni confiance géométrique. En dotant le modèle d'une représentation 3D explicite, GaussVLA améliore le raisonnement spatial requis pour la manipulation fine, un des écarts récurrents entre démonstrations de laboratoire et déploiement réel. Pour les intégrateurs, le signal le plus utile reste l'efficacité paramétrique : un modèle de 200 millions de paramètres qui surpasse une référence plus lourde suggère que la qualité du raisonnement spatial tient davantage à la structure de la représentation qu'à la taille du modèle, contredisant l'hypothèse du "plus gros VLA égale meilleure généralisation" et laissant entrevoir des coûts d'inférence embarquée réduits pour des politiques déployées directement sur des contrôleurs de robots. GaussVLA se positionne explicitement comme une amélioration de SpatialVLA, dans une course d'architectures VLA qui cherche depuis plusieurs générations à résoudre le raisonnement spatial en manipulation robotique. Le travail reste un preprint non encore revu par les pairs, validé sur LIBERO, un benchmark de simulation standard, complété par des essais réels dont l'ampleur n'est pas précisée dans le résumé. Aucun partenaire industriel, calendrier de déploiement ou prix n'est mentionné : il s'agit d'une contribution de recherche sur l'architecture des tokenizers spatiaux, et non d'un produit ou d'un pilote commercial, dont les suites attendues seraient des tests sur des tâches de manipulation plus longues et des plateformes robotiques variées.

RechercheOpinion
1 source
Forçage temporel : alignement de représentation 4D pour les modèles vision-langage-action
3arXiv cs.RO 

Forçage temporel : alignement de représentation 4D pour les modèles vision-langage-action

Des chercheurs présentent Temporal Forcing, une méthode d'alignement de représentation 4D pour les modèles vision-langage-action (VLA), détaillée dans un article publié sur arXiv (2608.30643v1) le 30 août 2026 ou aux alentours. Le système ajoute une voie dédiée à l'historique des observations, permettant à un modèle VLA standard de condenser cet historique en représentations latentes tenant compte du temps. Ces représentations sont ensuite alignées avec les caractéristiques géométriques extraites par un modèle de fondation 4D préentraîné, capable de capturer l'évolution d'une scène 3D dans le temps de façon géométriquement cohérente. Sur le benchmark LIBERO, Temporal Forcing atteint un taux de réussite de 98,8%, soit 2,2 points de plus que son modèle de base. Sur une tâche physique de placement d'objet caché ("hidden-placement"), le taux de réussite complet de la tâche passe de 20,0% à 43,3%. Le code source doit être rendu public, sans date de disponibilité précisée dans l'article. Cette avancée cible un problème connu des VLA actuels: la confusion entre états visuellement similaires (observation aliasing) et la difficulté à gérer des manipulations longues, deux limites qui découlent du fait que les représentations 3D classiques ne capturent qu'un instant figé de la scène, sans mémoire de son évolution. En démontrant qu'ajouter une dimension temporelle à l'alignement géométrique améliore concrètement le taux de succès sur une tâche physique réelle, et pas seulement en simulation, ces résultats nuancent l'idée que l'alignement 3D seul suffirait à rapprocher les VLA d'une robustesse proche de l'humain. Pour les intégrateurs et équipes de recherche en robotique manipulatrice, cela suggère qu'exploiter des modèles de fondation 4D préentraînés peut devenir un ingrédient standard pour améliorer la mémoire de contexte des politiques d'action, sans changer l'architecture de base du modèle VLA. Ce travail s'inscrit dans la lignée des méthodes récentes de VLA qui alignent leurs représentations internes sur la géométrie de scène 3D pour améliorer la manipulation, une approche qui a gagné du terrain mais bute sur les tâches à long horizon. Temporal Forcing se positionne comme une extension de ces approches géométriques plutôt qu'une rupture architecturale, en s'appuyant sur un modèle de fondation 4D externe déjà entraîné. Les auteurs annoncent la publication future du code, ce qui permettra à la communauté de valider les résultats sur d'autres benchmarks que LIBERO et la tâche physique testée, mais aucun calendrier de déploiement industriel ni de partenariat n'est mentionné à ce stade.

RechercheActu
1 source
AssemLM : un modèle de langage multimodal pour le raisonnement spatial en assemblage robotique
4arXiv cs.RO 

AssemLM : un modèle de langage multimodal pour le raisonnement spatial en assemblage robotique

Des chercheurs ont publié AssemLM (arXiv:2604.08983), un modèle multimodal de raisonnement spatial pour la robotique d'assemblage. Le système fusionne trois sources (manuels d'assemblage, nuages de points 3D, instructions textuelles) pour prédire des poses 6D, c'est-à-dire la position et l'orientation complètes d'une pièce dans l'espace tridimensionnel. Un encodeur de nuages de points spécialisé extrait des caractéristiques géométriques et rotationnelles fines, transmises ensuite à un LLM multimodal pour le raisonnement spatial de haut niveau. Les auteurs publient également AssemBench, un benchmark de plus de 900 000 échantillons multimodaux avec annotations de poses 6D précises, étendant l'évaluation classique du grounding 2D à l'inférence géométrique 3D complète. Des tests sur robot réel valident des performances à l'état de l'art sur des tâches d'assemblage multi-étapes en conditions réelles. Le verrou ciblé est central en manipulation fine industrielle: les VLMs courants opèrent sur des images 2D et peinent à raisonner sur la géométrie précise qu'exigent le vissage, l'emboîtement ou l'alignement de composants au sous-millimètre. En intégrant les nuages de points comme modalité native, AssemLM raisonne sur l'orientation exacte d'une pièce, pas seulement sur sa présence dans le champ visuel. Pour un intégrateur ou une équipe R&D en automatisation industrielle, prédire des poses 6D depuis un manuel PDF et une capture 3D ouvre la voie à des cellules d'assemblage reconfigurables sans reprogrammation manuelle entre chaque référence produit. AssemBench, avec ses 900 000 échantillons annotés, comble par ailleurs un manque d'infrastructure de comparaison rigoureuse dans ce sous-domaine. Le raisonnement spatial est un défi persistant pour les modèles de vision-langage, majoritairement entraînés sur des tâches 2D (captioning, grounding d'objets, VQA). Les modèles VLA (Vision-Language-Action) récents, comme pi0 de Physical Intelligence, OpenVLA ou les travaux de Google DeepMind sur RoboVLMs, progressent sur la manipulation généraliste, mais l'assemblage industriel structuré avec ses contraintes de précision sub-millimétrique reste peu adressé par ces approches. AssemLM se positionne dans cette niche en ciblant explicitement les tâches avec documentation formalisée (manuels, nomenclatures). Les auteurs annoncent la mise à disposition publique du code, des modèles et du dataset AssemBench, point d'entrée potentiel pour la communauté académique et les industriels souhaitant affiner le modèle sur leurs propres composants. Aucun partenaire industriel ni déploiement commercial n'est mentionné: il s'agit à ce stade d'une publication de recherche, sans produit ni pilote planifié.

UELa publication en open-source d'AssemBench (900 000 échantillons annotés 6D) constitue une ressource d'entraînement et d'évaluation directement exploitable par les labos européens travaillant sur la manipulation industrielle précise, sans acteur FR/EU impliqué à ce stade.

RechercheOpinion
1 source