RAVEN : raisonnement à long horizon et navigation…

1arXiv cs.RO

OCC4M : mémoire 4D centrée objet pour le raisonnement spatiotemporel en manipulation à long horizon

OCC4M, surnommé « Occam », est une mémoire 4D centrée sur les objets pour robots manipulateurs, présentée en septembre 2026 par ses auteurs (arXiv:2609.28798) pour les tâches longues nécessitant de raisonner sur un état absent du champ de vision actuel. Le système maintient des pistes persistantes dans un référentiel monde partagé et encode explicitement les relations temporelles, de mouvement et de contenance, par exemple pour localiser un objet sorti du champ de vision ou identifier le contenu d'un conteneur mélangé. Un modèle vision-langage interroge cette mémoire structurée pour désigner des cibles, ensuite traitées par un exécuteur bas niveau sans avoir besoin de l'historique complet des observations. Sur sept conditions de simulation et 350 épisodes, OCC4M obtient 96,6% de réussite mémoire et 88,9% de réussite de bout en bout, contre 54,6% et 57,7% pour FrameSamp, une référence utilisant Gemini 3.7 Flash avec l'historique brut complet et le même exécuteur. Après un changement de point de vue caméra, OCC4M conserve 100% et 98% de réussite, contre un score proche de zéro pour FrameSamp. Sur 20 épisodes réels avec un bras Franka et caméra fixe, OCC4M atteint 85% de précision mémoire contre 30% au maximum pour FrameSamp, et achève 45% des tâches complètes en deux étapes. Ce résultat cible une faiblesse connue des architectures vision-langage-action actuelles, qui raisonnent souvent sur une fenêtre d'observations récentes ou sur tout l'historique brut, une approche coûteuse et peu fiable dès qu'une tâche s'étire dans le temps ou que le point de vue change, un cas fréquent en usine ou en logistique. En séparant la mémoire structurée de l'exécution bas niveau, OCC4M évite de faire porter tout le raisonnement long terme au modèle vision-langage, ce qui limite la dérive de contexte observée avec les approches par historique brut. L'effondrement quasi total de FrameSamp lors du changement de caméra illustre concrètement l'écart entre démonstrations en conditions contrôlées et robustesse réelle, un signal utile pour les intégrateurs qui évaluent des piles VLA pour des cellules robotiques à tâches longues et multi-étapes. OCC4M s'inscrit dans la recherche sur la mémoire persistante pour la manipulation robotique, un axe distinct des architectures vision-langage-action généralistes qui gèrent surtout le contexte via une fenêtre d'observations glissante plutôt qu'une mémoire dédiée. Les auteurs situent leur contribution face à une référence bâtie sur Gemini 3.7 Flash de Google DeepMind, posant le débat entre mémoire structurée et simple élargissement du contexte des grands modèles multimodaux. Les tests, menés en simulation puis validés sur un bras Franka Emika réel, restent limités en échelle, avec seulement 20 épisodes physiques sur un seul type de bras, ce qui en fait une preuve de concept académique plutôt qu'un système prêt pour un déploiement industriel. Des vidéos qualitatives supplémentaires sont publiées sur occ4m-sup.github.io, sans calendrier annoncé de transfert vers un robot commercial.

RecherchePaper

1 source

2arXiv cs.RO

Mémoire épisodique gaussienne pour le raisonnement spatio-temporel à long terme

GEMS (Gaussian Episodic Memory for Spatiotemporal reasoning) est un framework de mémoire pour robots, décrit dans un preprint arXiv (2610.33158v1). Il associe une carte persistante 3D Gaussian Splatting (3DGS) à un pipeline de raisonnement agentique. La carte est reconstruite une seule fois, puis mise à jour uniquement dans les zones où la scène change, et seules ces modifications sont stockées, ce qui préserve le détail visuel dans le temps. Le pipeline agentique exploite cette carte pour générer des vues inédites à la demande, accumule des indices de façon itérative, répond à des questions spatio-temporelles et localise des objets à partir de requêtes en langage naturel. Les auteurs publient aussi GEMS-Bench, un benchmark de questions-réponses spatio-temporelles pour environnements semi-statiques : 3 environnements réels, 12 synthétiques et 473 paires question-réponse. L'évaluation couvre la qualité de synthèse de vues entre mises à jour, le grounding d'objets 3D, la réponse aux questions spatio-temporelles et l'efficacité de stockage. Selon les auteurs, GEMS dépasse les méthodes de référence récentes en grounding 3D et en question-réponse, avec une qualité de rendu comparable aux méthodes dédiées à la mise à jour de scènes. L'enjeu touche un point faible des robots de service et de logistique : les environnements réels changent en continu, par petites touches (un objet déplacé, une palette remplacée, un meuble réorganisé), sans être totalement dynamiques. Les mémoires existantes se heurtent à deux limites. Les représentations structurées, comme les graphes de scène, ne connaissent que les entités et attributs prévus à leur construction. Les mémoires à base d'images ne peuvent reconstituer que les points de vue déjà observés. Rendre des vues nouvelles à la demande lève la seconde limite et permet à un agent de « revenir regarder » un endroit sous un angle jamais capturé, à un instant passé. Pour un intégrateur, la mise à jour différentielle compte aussi : stocker seulement les changements limite l'empreinte mémoire d'un robot qui opère des mois dans le même site. Il faut toutefois rester prudent : c'est un travail de recherche, sans déploiement ni test sur robot en production. Le benchmark est modeste (473 questions, 3 scènes réelles seulement), et la tenue du système sur de grands sites, avec des changements fréquents et un éclairage variable, reste à démontrer. Ce travail s'inscrit dans la montée du 3DGS comme alternative aux nuages de points et aux NeRF pour la cartographie robotique, et dans l'essor des agents fondés sur des modèles vision-langage qui interrogent une mémoire plutôt que de tout garder en contexte. Il se place face aux approches de mémoire sémantique à base de graphes de scène et aux mémoires épisodiques d'images, ainsi qu'aux méthodes de mise à jour de scènes 3DGS, avec lesquelles les auteurs revendiquent une qualité de rendu équivalente. Le code et les données sont annoncés en accès public sur la page du projet, ce qui permettra à d'autres équipes de reproduire les résultats. La suite logique serait une validation sur robot mobile en conditions réelles et sur des durées longues, seule à même de mesurer le coût de calcul, la latence du rendu à la demande et la robustesse du suivi de pose.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

RoboStream : associer raisonnement spatio-temporel et mémoire dans les modèles vision-langage pour la robotique

Des chercheurs présentent RoboStream, un framework sans entraînement (training-free) destiné à améliorer la planification robotique par modèles vision-langage (VLM) sur des tâches de manipulation à long horizon. Le système repose sur deux mécanismes : les STF-Tokens (Spatio-Temporal Fusion Tokens), qui lient les preuves visuelles à des attributs géométriques 3D pour ancrer durablement les objets dans la scène, et un graphe causal spatio-temporel (CSTG) qui enregistre les transitions d'état déclenchées par chaque action successive. Sur le benchmark RLBench en configuration longue durée, RoboStream atteint 90,5% de réussite. Sur des tâches réelles de construction de blocs, jugées plus exigeantes, il obtient 44,4%, contre seulement 11,1% pour les deux systèmes de référence SoFar et VoxPoser. Ce résultat cible un problème connu des planificateurs VLM actuels: ils traitent chaque étape comme une observation isolée, sans mémoire des actions précédentes ni de leur effet sur l'environnement. Concrètement, un objet temporairement caché par le bras du robot ou par un autre élément de la scène est purement et simplement "oublié", ce qui provoque des violations de précondition en cascade sur les étapes suivantes. Pour les intégrateurs et équipes de R&D en robotique manipulatrice, l'écart de performance rapporté sur les tâches réelles (44,4% contre 11,1%) illustre un problème plus large que la démonstration de laboratoire ne masque pas toujours: la difficulté à maintenir une cohérence géométrique et causale sur des séquences longues, bien au-delà de la simple perception image par image. Le fait que la méthode soit annoncée comme fonctionnant sans fine-tuning supplémentaire est notable pour un déploiement pratique, si les résultats se confirment au-delà du cadre contrôlé de l'étude. Ce travail s'inscrit dans la lignée des approches de raisonnement spatial pour la robotique, en s'opposant frontalement aux architectures VoxPoser et SoFar, utilisées ici comme lignes de base. Il s'agit pour l'instant d'une publication de recherche (version 2 mise à jour sur arXiv), sans indication de mise en production ou de partenariat industriel; les auteurs ne précisent pas de calendrier de suite ni d'intégration matérielle spécifique.

RechercheActu

1 source

4arXiv cs.RO

LookStep : navigation vision-langage efficace grâce à l'anticipation linguistique et une mémoire événementielle

Des chercheurs ont publié LookStep, un framework de navigation vision-langage (VLN) qui vise à réduire les besoins en calcul et en données d'entraînement des agents suivant des instructions en langage naturel dans des environnements inconnus. Décrit dans un article déposé sur arXiv (identifiant 2609.02350v2, republication croisée), le code et le modèle sont disponibles en open source sur GitHub, sous le compte kunyang-YU. Le système combine deux mécanismes : une modélisation de futurs états centrée sur le langage, qui attribue à chaque action candidate une étiquette textuelle décrivant la progression de la navigation et l'état futur attendu, et une mémoire glissante événementielle bornée, qui décide de façon autonome quelles observations conserver en leur assignant un rôle sémantique. Sur le benchmark de référence R2R-CE Val-Unseen, LookStep atteint un taux de réussite de 49,7 %, supérieur aux méthodes existantes entraînées dans les mêmes conditions, avec une meilleure efficacité mémoire et moins de données utilisées. Ce résultat cible un point de friction connu de la navigation robotique par instructions : la plupart des méthodes récentes, portées par les grands modèles multimodaux (MLLM), reposent sur une prédiction action par action supervisée uniquement sur l'action experte, ce qui exige d'énormes volumes de données annotées. Elles s'appuient aussi sur des cartes cognitives, un historique complet d'images accumulées ou des outils 3D externes pour maintenir un état du monde, au prix d'une charge mémoire et calculatoire élevée. En montrant qu'un agent peut égaler, voire dépasser, ces méthodes avec une mémoire bornée et moins de données d'entraînement, LookStep suggère que l'efficacité ressource n'est pas nécessairement sacrifiée à la performance, un enjeu direct pour tout intégrateur visant un déploiement embarqué sur robot mobile ou drone plutôt qu'un calcul déporté vers le cloud. Le gain reste toutefois mesuré sur un seul benchmark simulé, sans validation rapportée sur robot physique en conditions réelles. L'approche s'inscrit dans la lignée des travaux récents exploitant les MLLM pour la navigation embarquée, un domaine où le paradigme dominant reste la prédiction du prochain pas d'action à partir des instructions et des observations visuelles. L'abstract ne mentionne aucun partenariat industriel, ni acteur commercial concurrent, ni calendrier de déploiement : il s'agit à ce stade d'un travail de recherche académique validé sur le benchmark VLN-CE, et non d'un produit commercialisé ou d'un pilote annoncé. La publication du code et du modèle en open source doit permettre à la communauté de reproduire les résultats et de comparer LookStep aux approches concurrentes de navigation vision-langage sur les mêmes jeux de données.

RecherchePaper

1 source

RAVEN : raisonnement à long horizon et navigation avec une mémoire visuo-spatio-temporelle

À lire aussi

OCC4M : mémoire 4D centrée objet pour le raisonnement spatiotemporel en manipulation à long horizon

Mémoire épisodique gaussienne pour le raisonnement spatio-temporel à long terme

RoboStream : associer raisonnement spatio-temporel et mémoire dans les modèles vision-langage pour la robotique

LookStep : navigation vision-langage efficace grâce à l'anticipation linguistique et une mémoire événementielle