RecherchearXiv cs.RO 23 octobre 2026

La mémoire avant l'objectif : le rôle de la mémoire de l'historique pour la loco-manipulation humanoïde

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent WholeBodyMem, une mémoire perceptive guidée par les objets pour les politiques VLA (vision-langage-action) de loco-manipulation sur humanoïde. Le module suit les objets de la tâche avec SAM3, un modèle de segmentation et de suivi. Les événements liés à ces objets (apparition, occultation, déplacement, sortie du champ de vision) sélectionnent de façon causale des images clés, dans un budget adaptatif. L'« action expert » de la politique lit ces images par cross-attention, en même temps que des tokens d'objets codant apparence, géométrie et temps. L'équipe publie aussi HuMeGo, un benchmark de mémoire pour humanoïdes comprenant six tâches simulées et six tâches réelles sur Unitree G1. Selon les auteurs, le taux de succès de la politique de base passe de 29,1 % à 72,6 % en simulation et de 36,7 % à 88,3 % sur le robot réel. Sur les tâches standard SIMPLE, il progresse de 70,2 % à 86,9 %. Il s'agit d'un preprint arXiv (v1), sans relecture par les pairs.

Ce travail s'attaque à une limite structurelle des VLA actuels : ils ne voient que l'instant présent, alors que la loco-manipulation est non markovienne. Quand le robot se retourne, qu'un objet est masqué ou déplacé, l'information nécessaire à l'action disparaît de l'image. Le résultat le plus instructif concerne la méthode : conserver les bonnes images plutôt que davantage d'images bat à la fois l'absence de mémoire et une mémoire uniforme, ce qui limite aussi le coût de calcul. Pour les intégrateurs, cela suggère que la fiabilité sur des tâches longues, comme la logistique ou la manutention en environnement mouvant, dépend autant de la gestion du contexte que de la taille du modèle. Des réserves s'imposent toutefois. Les tâches de HuMeGo sont conçues par les auteurs pour faire apparaître le besoin de mémoire, les six tâches réelles sont peu nombreuses, et le nombre d'essais n'est pas précisé dans le résumé. Le gain, même spectaculaire, ne dit donc pas encore comment la méthode se comporte dans des environnements industriels non contrôlés.

Le travail s'inscrit dans la course aux politiques VLA pour humanoïdes, où Figure (Helix), Physical Intelligence (Pi-0) et NVIDIA (GR00T) privilégient surtout des architectures réactives, avec un contexte court. La mémoire de long terme reste l'un des angles morts du secteur, et le Unitree G1, plateforme abordable, est devenu la référence des laboratoires universitaires, ce qui facilite la reproduction des résultats. Le résumé ne mentionne ni le nom de la politique de base, ni la publication du code ou des données. Ce sont les points à surveiller pour juger de l'adoption de HuMeGo comme benchmark commun. La suite logique serait d'intégrer ce type de mémoire à des VLA de plus grande échelle, puis de le tester sur des tâches plus longues et des sites réels.

Dans nos dossiers

Unitree IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

EventSync : mises à jour de la mémoire pilotées par les événements pour la manipulation dépendante de l'historique

EventSync est un cadre hiérarchique de manipulation robotique, présenté sur arXiv (2610.27917), qui vise les tâches dites dépendantes de l'historique, c'est-à-dire celles où l'observation courante ne suffit pas à déterminer la prochaine action. Un modèle vision-langage (VLM) génère les sous-objectifs à partir du plan de tâche et de l'historique d'interaction, tandis qu'un modèle vision-langage-action (VLA) les exécute. Un « Event Monitor » léger, qui combine les observations visuelles et les trajectoires de l'effecteur terminal, détermine si le sous-objectif en cours est achevé. Ce n'est qu'à cette condition que le système l'inscrit dans l'historique des sous-objectifs accomplis et déclenche le raisonnement suivant. Avec un historique visuel côté exécuteur, EventSync atteint 64,5 % de succès global sur le benchmark RoboMME, soit 20,0 points de pourcentage de plus que la meilleure référence publiée dans ce benchmark. Les auteurs ajoutent des expériences sur quatre tâches réelles aux exigences de mémoire différentes. Le nombre de robots, les plateformes et les temps de cycle ne sont pas précisés dans le résumé. L'enjeu concerne un point faible connu des architectures VLM plus VLA : la fiabilité de la mémoire de tâche. Deux phases d'exécution distinctes peuvent produire des images quasi identiques, et un sous-objectif enregistré comme terminé trop tôt fausse tout le raisonnement qui suit, avec des erreurs qui s'accumulent sur les séquences longues. En conditionnant la mise à jour de la mémoire à une preuve d'achèvement, plutôt qu'à un simple pas de temps ou à une impression visuelle, EventSync traite une cause d'échec très concrète pour les intégrateurs qui visent des enchaînements multi-étapes (assemblage, kitting, manipulation d'objets avec état caché). Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs, le gain de 20 points est mesuré sur un seul benchmark, et quatre tâches réelles ne disent rien de la robustesse en production, ni de la sensibilité du moniteur à de nouveaux gripers ou environnements. Ce travail s'inscrit dans la montée des architectures hiérarchiques, où un modèle de raisonnement de haut niveau pilote une politique bas niveau, sur le modèle de systèmes comme Helix chez Figure, Pi-0 chez Physical Intelligence ou GR00T chez NVIDIA. RoboMME, qui évalue les capacités de mémoire en manipulation, sert de terrain de comparaison pour ces approches, et les politiques sans mémoire explicite y restent limitées. Les prochaines étapes probables sont des tests sur davantage de plateformes, une publication du code et des comparaisons directes avec des VLA dotés d'une mémoire longue native. Le résumé ne mentionne aucun pilote industriel ni calendrier de déploiement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage de politiques par simulation pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs a publié le 9 juin 2026 sur arXiv (2606.08278) SIMPLE, un banc de test de simulation unifié pour l'apprentissage et l'évaluation de politiques de contrôle de robots humanoïdes. La plateforme couple la simulation de dynamique de contact de MuJoCo avec le rendu photoréaliste d'IsaacSim, et propose 60 tâches de loco-manipulation plein corps, 50 scènes d'intérieur et plus de 1 000 assets d'objets. Pour la collecte de données, deux pipelines sont intégrés : génération automatisée de trajectoires par planification de mouvement, et interface de téléopération VR à faible latence. Les auteurs y benchmarkent plusieurs familles de politiques humanoïdes : réseaux d'imitation légers, grands modèles vision-langage-action (VLA) et les récents modèles d'action du monde (WAM, World Action Models). Les expériences démontrent, selon les auteurs, un transfert zero-shot vers des robots humanoïdes physiques dans des configurations similaires. L'enjeu central est un goulot d'étranglement d'évaluation : les modèles fondationnels humanoïdes progressent plus vite que les protocoles pour les tester. Les benchmarks existants se concentrent sur la robotique de table ou les robots à roues, sans couvrir la loco-manipulation plein corps, compétence clé pour les humanoïdes déployés en environnement industriel ou domestique. Si la corrélation sim-to-real revendiquée dans l'article se confirme à plus grande échelle, elle légitime le recours massif à la simulation pour entraîner des politiques de contrôle, réduisant drastiquement les coûts de collecte de données en conditions réelles. C'est précisément le pari industriel de Physical Intelligence avec pi-0, et de Figure AI avec Figure 02 : remplacer les démos téléopérées coûteuses par des pipelines simulés reproductibles. La fragmentation des benchmarks est un problème structurel en robotique humanoïde : chaque laboratoire publie sur ses propres protocoles, rendant toute comparaison inter-équipes difficile. Des initiatives comme HumanoidBench, RoboVerse ou Isaac Lab ont tenté d'y répondre, mais sans couvrir la chaîne complète loco-manipulation avec rendu photoréaliste et pipelines de données intégrés. SIMPLE se positionne à cette intersection. Les équipes de Google DeepMind (GR00T N2, Helix), Agility Robotics (Digit) et Boston Dynamics sont directement concernées. Ce preprint arXiv n'est pas encore évalué par les pairs ; l'adoption par la communauté dépendra de la disponibilité publique du code et des assets, non encore confirmée.

RecherchePaper

1 source

3arXiv cs.RO

Fermeture de la boucle en VLA humanoïde : jetons d'objets 3D persistants pour une loco-manipulation vérifiable

Des chercheurs viennent de publier sur arXiv (2607.18016v1) une nouvelle méthode baptisée Persistent Object Tokenization (POT), testée sur un robot humanoïde Unitree G1 dans le cadre d'un système appelé POT-VLA. Le problème ciblé est ce que les auteurs nomment la "divergence d'état objet" : dans les politiques vision-langage-action (VLA) actuelles, l'état de l'objet utilisé pour décider d'un mouvement du corps entier peut différer de celui utilisé ensuite pour vérifier si l'action a bien produit la relation physique voulue, un décalage qui devient critique lors de déplacements, contacts, occlusions ou phases de récupération. POT maintient des enregistrements 3D d'objets indexés par rôle, construits à partir d'observations RGB-D, et les convertit en tokens exploitables par un module d'action corps entier. Sur huit familles de tâches réelles, POT-VLA fait passer le taux de réussite de 39 sur 80 à 71 sur 80 par rapport à une base directe GR00T-N1.7 comparable. Sur un protocole externe aligné sur le benchmark Being-0, le système obtient 44 succès sur 50 tâches de service, contre 37 sur 50 rapportés dans l'article Being-0 original. Pour l'industrie de la robotique humanoïde, ce travail s'attaque à un angle mort souvent glissé sous le tapis dans les démonstrations impressionnantes : la capacité réelle à maintenir une relation géométrique correcte entre un bras et un objet pendant une tâche longue, plutôt que la seule génération d'une trajectoire plausible. En rendant l'état objet à la fois exploitable et vérifiable via des contrôles de prédicats géométriques, le système ferme la boucle entre perception et exécution, un point sensible pour les intégrateurs qui cherchent des garanties de fiabilité au-delà des vidéos de démonstration soigneusement sélectionnées. Les gains les plus marqués concernent justement les tâches nécessitant le maintien prolongé d'une relation 3D, ce qui suggère que l'abstraction d'objet persistant comble une limite structurelle des architectures VLA actuelles plutôt qu'un simple réglage fin. Ce papier s'inscrit dans la course actuelle autour des politiques VLA pour humanoïdes, dominée par des architectures comme GR00T (NVIDIA), utilisée ici comme base de comparaison directe, et des benchmarks de référence comme Being-0 pour les tâches de service. L'usage d'un Unitree G1, plateforme largement adoptée dans la recherche académique en loco-manipulation, ancre les résultats dans un cadre reproductible plutôt que propriétaire. Les auteurs ne mentionnent pour l'instant ni déploiement pilote ni calendrier de commercialisation : il s'agit d'une contribution de recherche, destinée à être étendue à davantage de familles de tâches et potentiellement intégrée à d'autres piles VLA que GR00T.

RecherchePaper

1 source

4arXiv cs.RO

Planification latente alignée sur l'action pour la loco-manipulation humanoïde polyvalente

Des chercheurs proposent FIBER, un cadre de planification pour la manipulation locomotrice (loco-manipulation) de robots humanoïdes, décrit dans un preprint arXiv (version 2). L'idée centrale est d'utiliser l'espace latent exécutable d'un modèle de comportement de fondation (BFM) gelé comme représentation commune entre le planificateur haut niveau et le contrôle du corps entier. Une étape de projection de politiques latentes (LPP) fait correspondre des politiques spécialisées, acquises séparément, à cet espace, en identifiant les commandes latentes dont les actions induites reproduisent leurs réponses de contrôle locales. Les rollouts latents en boucle fermée de toutes les compétences sont ensuite agrégés pour entraîner, entièrement hors ligne, un unique planificateur perceptif de type flow. Les auteurs introduisent aussi AH-BFM, un BFM à horizon adaptatif entraîné par apprentissage forward-backward multi-gamma, censé permettre à la fois un contrôle précis et des comportements étendus dans le temps. Les tâches testées sont le ramassage de caisse, l'ouverture de porte et la saisie d'objets, en simulation puis sur un Unitree G1 réel. Sur 128 variations par tâche en simulation, FIBER atteint 42,0 % de succès moyen, contre 11,6 % pour le rejeu latent projeté et 3,5 % pour la planification cinématique. L'intérêt tient au compromis qu'adresse ce travail. Les cibles cinématiques ou de contact sont compactes mais n'encodent pas les réponses de contrôle propres à chaque interaction. À l'inverse, prédire directement des actions bas niveau oblige le planificateur à modéliser un retour d'état à haute fréquence. Planifier dans un espace latent à fréquence réduite, tout en laissant le BFM gérer le retour d'état rapide, offre une voie vers une politique perceptive unique pour des compétences hétérogènes, un objectif central pour les humanoïdes polyvalents. Le gain est net face à la planification cinématique, mais 42 % de réussite moyenne en simulation reste très loin d'un seuil industriel. Ce résultat montre une approche prometteuse, pas un système fiable. Les essais réels (transfert sim-to-real, enchaînement de compétences, pilotage conditionnel via le même planificateur) sont présentés qualitativement, sans taux de succès chiffrés dans le résumé, et ne couvrent que trois tâches sur une seule plateforme. Ce travail s'inscrit dans la course aux modèles de contrôle du corps entier et aux politiques généralistes pour humanoïdes, où les approches hiérarchiques, avec un planificateur de haut niveau au-dessus d'un contrôleur bas niveau, rivalisent avec les politiques vision-langage-action de bout en bout. Le Unitree G1, plateforme abordable et très répandue dans les laboratoires, sert de banc d'essai commun. Il s'agit ici de recherche académique, sans calendrier de commercialisation ni pilote industriel annoncé. Les prochaines étapes probables sont l'extension à davantage de compétences et de morphologies, une évaluation réelle chiffrée et des comparaisons directes avec les politiques de bout en bout, qui diront si l'espace latent d'un BFM gelé passe à l'échelle.

RecherchePaper

1 source