RecherchearXiv cs.RO 26 octobre 2026

LogLook : une mémoire ancrée dans l'exécution pour les planificateurs de robots à base de modèles de pointe

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (octobre 2026, version 1, sans relecture par les pairs) LogLook, un système de mémoire pour les planificateurs robotiques fondés sur des modèles vision-langage de pointe, utilisés sans entraînement spécifique à la tâche. Le principe est de ne plus laisser le modèle réécrire une note de synthèse à chaque pas. Le système conserve lui-même un journal d'exécution (actions réalisées, résultats) ainsi que les notes antérieures du modèle. Le modèle décide ensuite où regarder: des images ne lui sont renvoyées que là où il anticipe un changement, et les démonstrations sont d'abord parcourues en survol avant qu'il n'inspecte en détail les passages qu'il choisit. Sur le benchmark RoboMME, avec le planificateur de mouvement fourni par le benchmark, LogLook atteint le même taux de réussite qu'une mémoire à simple note, avec 43 % de tokens en moins et moins de la moitié des images. Il réduit aussi nettement les échecs imputables à ce qui a été mal mémorisé ou mal vu. En contrôle direct, il résout 93,5 % de l'ensemble de test de RoboMME.

L'intérêt tient au coût et à la fiabilité. Chaque image consommée par un modèle de pointe coûte des tokens, donc de la latence et de l'argent, et la mémoire devient un poste de dépense central dès que les tâches s'allongent. Le travail suggère qu'une partie de l'amélioration vient de l'architecture (qui conserve la trace des faits) plutôt que d'un modèle plus gros. Pour un intégrateur, cela rend plus crédible l'usage d'un planificateur généraliste sur des tâches séquentielles, comme les tâches où il faut se souvenir de ce qui a déjà été manipulé. Les réserves sont claires: c'est un résultat de benchmark, vraisemblablement en simulation, sans déploiement physique annoncé. Le gain de 43 % est relatif à une base de comparaison précise, et l'écart entre les résultats avec planificateur de mouvement et en contrôle direct reste à examiner dans l'article complet.

Le contexte est celui d'une course où les politiques VLA (vision-langage-action) comme Pi-0 ou Helix excellent surtout sur des comportements réactifs, tandis que les tâches à mémoire longue restent un point faible connu. Deux voies s'affrontent: intégrer la mémoire dans le modèle appris, ou la confier à un orchestrateur externe, ce que choisit LogLook. Le benchmark RoboMME, dédié à la mémoire en manipulation, sert désormais de terrain de comparaison. La suite logique serait des essais sur robots réels et des comparaisons avec des politiques à mémoire intégrée, mais aucune échéance n'est annoncée.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Mémoire linguistique explicite pour la planification à long terme dans les modèles vision-langage-action

Une équipe de recherche propose sur arXiv (référence 2608.04765) une nouvelle architecture pour les modèles vision-langage-action (VLA), conçue pour améliorer la planification sur des tâches longues et complexes. Le système repose sur un module de mémoire linguistique explicite qui convertit les observations visuelles successives en une séquence textuelle cohérente, dotée d'une logique temporelle. L'architecture est hiérarchique et découplée en deux niveaux : un modèle vision-langage (VLM) de haut niveau, entraîné selon un paradigme de question-réponse visuelle, effectue le raisonnement sémantique et met à jour récursivement la mémoire ainsi que les sous-instructions ; un modèle VLA de bas niveau exécute ensuite le contrôle continu et précis à partir de ces sous-instructions et des observations visuelles. Les auteurs ont évalué la méthode dans plusieurs environnements de simulation, puis mené des expériences de transfert sim-to-real sur une plateforme robotique réelle, sans préciser dans le résumé le type de bras, le payload utilisé, ni le nom de l'institution. L'enjeu dépasse l'amélioration incrémentale : les modèles VLA actuels butent sur les tâches longues car ils sont conditionnés uniquement par l'observation courante, ce qui les rend de fait non-markoviens et sujets à une dérive, les erreurs d'exécution s'accumulant faute de correction en boucle fermée. C'est précisément le fossé entre démonstration et réalité que pointent les critiques des vidéos humanoïdes : enchaîner plusieurs sous-tâches de façon fiable, sans réinitialisation entre chaque étape. En rendant la mémoire du système explicite et interprétable (sous forme de texte plutôt que de vecteurs latents opaques), l'approche offre aussi une traçabilité utile pour le débogage industriel, un point sensible pour des intégrateurs qui doivent comprendre pourquoi un robot échoue en cours de tâche plutôt que se contenter d'un taux de succès global. Ce travail s'inscrit dans une lignée de recherches cherchant à corriger les limites du contrôle bout en bout pur, où le fine-tuning sur l'action tend à dégrader les représentations sémantiques héritées des VLM, un problème documenté sur des familles de modèles comme RT-2, OpenVLA, Pi-0 de Physical Intelligence ou GR00T N2 de Nvidia. D'autres équipes explorent des pistes voisines, mémoire épisodique, planification hiérarchique, modèles du monde, pour traiter le même problème d'horizon long. Publié en août 2026 sous forme de preprint, sans code ni benchmark comparatif détaillé dans le résumé, ce travail reste à ce stade une contribution académique : il faudra des évaluations sur des suites de référence partagées et des tests au-delà du laboratoire pour juger si la mémoire linguistique explicite tient sa promesse de robustesse en conditions réelles.

RechercheOpinion

1 source

2arXiv cs.RO

Dual mémoire latente dans les modèles vision-langage-action pour la manipulation robotique

Des chercheurs ont publié le 7 juillet 2026 sur arXiv (arXiv:2607.07608v1) un nouveau framework baptisé LaMem-VLA, conçu pour doter les modèles Vision-Language-Action (VLA) d'une mémoire native directement intégrée à leur espace latent de raisonnement. Aujourd'hui, la plupart des VLA prédisent une action à partir de la seule observation courante sous hypothèse markovienne, ce qui les rend peu efficaces sur les tâches longues et dépendantes du temps. LaMem-VLA repose sur quatre composants coordonnés: un "curator" qui organise l'expérience passée en deux coffres mémoire, court terme et long terme; un "seeker" qui interroge ces coffres via la cognition multimodale pour en extraire les preuves pertinentes au contexte; un "condenser" qui reconstruit ces preuves en tokens de mémoire latente compacts; et un "weaver" qui injecte ces tokens avec l'observation et l'instruction courantes dans une seule séquence d'embedding continue. Les auteurs rapportent une supériorité de leur approche sur les benchmarks SimplerEnv et LIBERO, deux références standard pour évaluer la manipulation robotique pilotée par VLA. L'enjeu dépasse la simple performance sur benchmark. Les VLA actuels, qu'ils s'appuient sur des architectures type Pi-0, GR00T N2 ou Helix, butent tous sur une mémoire de travail limitée à la fenêtre d'observation courante, ce qui les fragilise dès qu'une tâche exige de se souvenir d'une action antérieure, par exemple qu'un tiroir a déjà été ouvert. Les solutions existantes, élargir la fenêtre d'observation ou interroger une banque mémoire externe comme contexte auxiliaire, laissent cette mémoire hors de l'espace latent natif du modèle, limitant son intégration au raisonnement multimodal. En rendant la mémoire nativement latente, LaMem-VLA vise à réduire l'écart entre démonstrations courtes réussies en laboratoire et déploiements réels où les séquences de tâches s'étirent, un critère que surveillent de près les intégrateurs industriels évaluant la fiabilité des VLA au delà du simple "pick and place". Ce travail s'inscrit dans une vague de recherche sur la mémoire des VLA, alors que le secteur de la robotique humanoïde et généraliste, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, Figure avec Helix, cherche à dépasser les tâches courtes démontrées en vidéo pour viser des chaînes d'actions plus longues et industriellement exploitables. Classé "Announce Type: new" sur arXiv et non encore relu par les pairs, le papier ne mentionne aucun déploiement matériel ni partenariat industriel: il s'agit pour l'instant d'une contribution académique validée uniquement en simulation. Les suites attendues, classiques pour ce type de travaux, seraient une validation sur robot physique et une comparaison directe avec les architectures mémoire déjà explorées par les grands laboratoires de robotique généraliste.

RechercheActu

1 source

3arXiv cs.RO

LIFD : diffusion ancrée pour une mémoire de scène 3D dans la manipulation robotique

Un article de recherche publié sur arXiv (arXiv:2609.19796v1) présente LIFD (Look, Imagine, Focus, and Do), un système de mémoire de scène tridimensionnelle persistante destiné à la manipulation robotique en conditions d'observabilité partielle, c'est-à-dire lorsque des zones vues par le robot sortent du champ de la caméra à mesure qu'il ou la scène se déplace. Le système apprend une représentation en tokens de scène à partir d'un accord multi-vues, puis la complète en déploiement à partir d'une seule image RGB et d'une mémoire récurrente, grâce à un modèle de rectified-flow combiné à un mécanisme d'attention croisée guidée par des ancrages géométriques. Sur les bancs d'essai de simulation LIBERO et MetaWorld, la version dite "Staged" de LIFD atteint respectivement 91,6% et 79,8% de taux de réussite moyen, avec un gain de 3,1 points de pourcentage sur LIBERO par rapport à un entraînement joint classique. Sur un bras robotique réel UR5e, testé sur quatre familles de tâches avec seulement dix démonstrations par famille, LIFD obtient 56,0% de réussite moyenne contre 40,5% pour OpenVLA-7B, un modèle vision-langage-action de référence dans le secteur. Ce résultat s'attaque à une limite connue des politiques de manipulation actuelles: la plupart des architectures VLA raisonnent sur la vue courante et perdent la trace des objets ou surfaces qui sortent du cadre, ce qui fragilise les tâches nécessitant de se souvenir d'un état antérieur de la scène. En montrant qu'une mémoire de scène compacte peut être inférée à partir d'une unique caméra RGB et de la proprioception au moment du déploiement, sans capteurs multi-vues ni LIDAR embarqués, LIFD répond à une contrainte très concrète pour les intégrateurs: le coût et la complexité du capteur. L'écart de performance avec OpenVLA-7B en régime few-shot (dix démonstrations) est aussi un signal pour les décideurs B2B, car il suggère qu'une mémoire spatiale explicite peut compenser en partie le besoin de données massives, un frein habituel à l'adoption des VLA en environnement industriel réel. Sur le plan méthodologique, LIFD s'appuie sur un entraînement en deux temps: une phase de représentation supervisée par des signaux multi-vues et géométriques, suivie d'une politique de manipulation reliée à cette représentation via des "slot features" compactes. Les auteurs comparent explicitement deux régimes d'entraînement, "Staged" et "Joint", le premier se révélant supérieur, et positionnent leur approche face à OpenVLA-7B comme référence VLA open-source établie. Il s'agit à ce stade d'un travail de recherche publié en preprint, validé sur des simulateurs standards du domaine (LIBERO, MetaWorld) et un unique bras collaboratif UR5e en laboratoire, sans annonce de pilote industriel ni de calendrier de déploiement à plus grande échelle.

RecherchePaper

1 source

4arXiv cs.RO

Des trajectoires multimodales aux trajectoires exécutables : un cadre de planification de trajectoire pour robots 4WIS

Un article publié sur arXiv fin août 2026 (référence 2608.29108) présente un cadre de planification de trajectoire pour les robots mobiles à quatre roues à direction indépendante (4WIS), capables de combiner plusieurs modes de déplacement, marche crabe, rotation sur place, virage classique, pour manœuvrer dans des espaces étroits. En amont, l'algorithme Hybrid A est étendu à un espace d'état en quatre dimensions intégrant le mode de déplacement, avec des coûts et heuristiques sensibles aux changements de mode et des courbes de Reeds-Shepp multi-modales. En aval, une optimisation de trajectoire par segments, basée sur un corridor de sécurité itératif amélioré, convertit les chemins discrets en trajectoires lisses avec transitions de mode à l'arrêt. Les auteurs rapportent les meilleures performances en sécurité, temps d'arrivée, précision terminale et temps de calcul, validées sur un robot 4WIS physique. L'enjeu vise un angle mort fréquent : la plupart des planificateurs exploitent mal la polyvalence mécanique des plateformes 4WIS, déjà présentes dans la logistique industrielle pour circuler dans des allées d'entrepôt étroites, en les traitant comme de simples robots différentiels ou omnidirectionnels. En intégrant le choix du mode de déplacement directement dans la recherche globale plutôt qu'en post-traitement, le cadre promet des trajectoires plus courtes et plus sûres sans sacrifier la faisabilité cinématique. Point notable pour les intégrateurs, la validation s'appuie sur un robot physique avec des transitions de mode nécessairement à l'arrêt, contrainte réelle souvent ignorée en simulation, ce qui réduit partiellement l'écart entre démonstration et exécutabilité terrain, même si les gains chiffrés restent à confirmer plus largement. Le travail prolonge les variantes de Hybrid A et les courbes de Reeds-Shepp déjà utilisées en planification pour véhicules à contrainte cinématique, généralement conçues pour un seul mode de déplacement. Les plateformes 4WIS, parfois appelées 4WIS4WID selon la motorisation, équipent déjà une partie des AGV et AMR industriels pour passer du déplacement longitudinal au latéral ou à la rotation sur place sans reconfiguration mécanique. Publié en preprint arXiv non encore évalué par les pairs, l'article ne cite aucune entreprise ni déploiement commercial et ne précise pas de suite prévue au-delà des essais réalisés : une contribution de recherche amont dont la portée dépendra de sa reprise par des équipes travaillant sur des flottes AMR réelles.

RecherchePaper

1 source