Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
T$^2$Mem : apprendre une mémoire au moment du test pour la robotique
RecherchearXiv cs.RO 

T$^2$Mem : apprendre une mémoire au moment du test pour la robotique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent sur arXiv T²Mem, un cadre qui donne une mémoire à une politique vision-langage-action (VLA) pré-entraînée qui n'en avait pas. La méthode repose sur l'entraînement au moment du test (test-time training). Le système ne retraite pas tout l'historique à chaque décision. Il encode les observations passées dans des « poids rapides » compacts, mis à jour en ligne par apprentissage auto-supervisé. Une interface ancrée dans les observations extrait l'information vision-langage qui alimente la mémoire, puis renvoie le contexte récupéré à l'action expert de la politique. L'entraînement alterne entre mémoire et politique, chacune restant figée pendant l'optimisation de l'autre. Sur les 16 tâches du benchmark RoboMME, le taux de succès moyen passe de 17,93 % à 56,83 % par rapport à la politique de base. T²Mem dépasse aussi les méthodes à mémoire récurrente rapportées dans ce benchmark. Les auteurs annoncent une inférence au moins trois fois plus rapide que les méthodes explicites, mesurée par profilage contrôlé.

Ce travail s'attaque à une faiblesse structurelle des VLA. Ils décident surtout à partir de l'observation courante, alors que de nombreuses tâches de manipulation dépendent d'informations qui ne sont plus visibles, comme un objet masqué ou une étape déjà exécutée. Point notable : la mémoire est apprise à partir des seules démonstrations d'actions, sans modèle de raisonnement externe ni annotations dédiées. Cela réduit le coût de données et la complexité d'intégration. Le gain de latence compte pour les boucles de contrôle temps réel. Plusieurs réserves s'imposent. Il s'agit d'un préprint évalué sur benchmark, et le résumé ne mentionne ni validation sur robot physique ni déploiement. L'accélération est mesurée par les auteurs eux-mêmes. Enfin, 56,83 % de réussite moyenne reste loin d'une fiabilité industrielle.

Le contexte est celui de politiques généralistes qui ont progressé en dextérité mais restent largement sans état. Les approches de mémoire existantes reposent sur des historiques explicites, des modules de raisonnement externes ou des mémoires récurrentes, d'où la comparaison menée ici avec ces dernières. Le résumé ne nomme pas la politique de base utilisée, ce qui limite pour l'instant la lecture de la portée du gain. Un site projet est annoncé. Les prochaines étapes à surveiller sont la reproduction sur d'autres politiques de base, les essais sur robots réels et une éventuelle reprise du principe dans les modèles de fondation robotiques commerciaux.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

SpatialHarness : échafaudage spatial au moment du test pour la manipulation robotique fine
1arXiv cs.RO 

SpatialHarness : échafaudage spatial au moment du test pour la manipulation robotique fine

Des chercheurs proposent SpatialHarness, un cadre appliqué au moment du test qui améliore la manipulation fine d'un robot sans réentraîner la politique de contrôle et sans toucher aux caméras. Le travail, publié sur arXiv (2610.12457), part d'un constat : les modèles de fondation multimodaux de pointe, ici GPT-6 Astra, se montrent prometteurs pour piloter directement un robot mais restent limités dès que la tâche exige de la précision. SpatialHarness maintient une scène simulée en ligne, synchronisée avec l'exécution réelle. Il identifie les relations spatiales critiques pour la tâche, puis génère des vues virtuelles complémentaires qu'il présente à la politique, qui reste gelée. Un module de synchronisation sensible à l'interaction distingue trois modes (objet statique, objet tenu, transition) pour garder la simulation alignée. Quatre tâches réelles ont été testées : alignement géométrique précis, placement relatif à un objet et interaction avec un objet articulé. Avec la même politique GPT-6 Astra, le succès passe de 26,7 % à 66,7 % sur l'insertion de prise, et de 0 % à 100 % sur la Tour de Hanoï. Ces résultats avancent une thèse précise : une partie de l'échec en manipulation fine vient d'un déficit d'observabilité spatiale plutôt que d'un manque de capacité de la politique. Si elle se confirme, l'effet sur les intégrateurs est concret. Au lieu de multiplier les caméras, de réentraîner un modèle ou de collecter des démonstrations, on pourrait compenser en logiciel les angles morts d'un poste existant, ce qui réduit le coût de mise en service. Le résultat contredit aussi l'idée qu'un VLA ou un modèle multimodal généraliste plafonne par manque de données de manipulation, et il suggère que les capacités latentes de ces modèles sont sous-exploitées. Il faut toutefois tempérer. L'étude ne porte que sur quatre tâches, avec peu d'essais apparemment, comme le suggèrent des taux de 26,7 % et 66,7 %. Le passage de 0 % à 100 % sur la Tour de Hanoï est spectaculaire mais concerne une tâche structurée. L'étude ne donne ni temps de cycle, ni latence ajoutée par la simulation, ni robustesse en environnement industriel. Même sur l'insertion de prise, un tiers des essais échoue encore, un niveau loin des exigences d'une ligne de production. Cette approche s'inscrit dans la tendance du « harness » ou échafaudage au moment du test, déjà courante pour les agents logiciels et désormais transposée au monde physique. Elle se démarque des stratégies concurrentes qui misent sur le réentraînement à grande échelle, comme Pi-0 de Physical Intelligence, GR00T de Nvidia ou Helix de Figure, et sur l'ajout de capteurs. Elle rejoint aussi les travaux de jumeaux numériques et de real-to-sim, mais sans modifier la politique. La dépendance à un modèle propriétaire fermé et la nécessité d'un modèle de scène fiable restent des limites à lever. Les prochaines étapes probables sont des essais sur davantage de tâches, des comparaisons avec des politiques entraînées spécifiquement et des mesures de latence. Le site du projet est annoncé, mais aucun déploiement industriel ni calendrier de pilote n'est mentionné à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Une mémoire simple à base d'agents pour les politiques robotiques généralistes
2arXiv cs.RO 

Une mémoire simple à base d'agents pour les politiques robotiques généralistes

Des chercheurs proposent SimpleARM (Simple Agentic Robot Memory), une couche de mémoire sans entraînement pour politiques robotiques généralistes gelées, décrite dans un preprint arXiv (v1). Le système fonctionne en quatre temps : à partir de l'instruction de la tâche, il détermine ce qu'il faut surveiller ; des outils perceptifs gelés maintiennent en ligne un état compact et typé ; un accès structuré ne récupère cet état que lorsqu'un sous-objectif proposé dépend de l'historique ; enfin, un ancrage dans la vue courante résout les entités rappelées avant l'exécution. L'évaluation porte sur RoboMME, un benchmark de 16 tâches de manipulation dont la réussite exige des informations qui ne sont plus visibles dans l'observation actuelle. Sur les 16 tâches et trois graines de politique, SimpleARM atteint 67,17 % de réussite moyenne, contre 44,51 % pour la meilleure base de comparaison non oracle. Des ablations appariées montrent que retirer l'état de relation, de référence, de progression ou d'itinéraire provoque de fortes chutes là où cet état est mobilisé, et épargne largement les autres tâches. L'enjeu dépasse le gain chiffré, soit environ 22,7 points. Les systèmes de mémoire visuelle actuels conservent ou compressent des observations passées, en supposant que l'historique utile se retrouve dans les images. Or le contrôle robotique dépend aussi d'un état issu de l'interaction, qu'aucune image ne représente explicitement : quel objet est lequel après avoir été déplacé, où en est la tâche, dans quel ordre exécuter une procédure. Les résultats plaident pour une mémoire conçue comme un état compact et pertinent pour la tâche, plutôt que comme un historique visuel étendu. Pour les intégrateurs et les équipes qui déploient des politiques VLA gelées, l'intérêt pratique est réel : la couche s'ajoute sans réentraînement, donc sans coût de collecte de données ni de fine-tuning. La spécificité des ablations renforce la crédibilité du mécanisme. Des réserves s'imposent toutefois : les résultats proviennent d'un benchmark, avec des tâches vraisemblablement simulées, sans preuve de déploiement réel, et l'écart avec les approches plus complexes reste à vérifier hors de RoboMME. Ce travail s'inscrit dans la montée des modèles généralistes gelés, de type VLA, qui excellent en réactivité mais restent faibles sur les tâches à longue portée dépendant du passé. Les approches concurrentes se répartissent entre conservation brute de trames, compression de contexte visuel et mémoires apprises de bout en bout, toutes exposées au même défaut : ne pas capter l'état implicite. SimpleARM adopte une orientation « agentique », où des outils spécialisés remplissent l'état plutôt que la politique elle-même. Les suites logiques seraient des tests sur robot physique, d'autres benchmarks de mémoire et une comparaison avec des politiques entraînées avec mémoire native. Le preprint n'annonce ni code, ni pilote, ni calendrier, et n'a pas encore été évalué par des pairs.

RecherchePaper
1 source
ECoMEM : une mémoire à concepts explicites pour le contrôle de robots dépendant de la mémoire
3arXiv cs.RO 

ECoMEM : une mémoire à concepts explicites pour le contrôle de robots dépendant de la mémoire

Des chercheurs proposent ECoMEM (Explicit Concept Memory), une architecture de mémoire pour les politiques robotiques de type vision-langage-action (VLA), publiée sur arXiv en octobre 2026. Le système remplace l'historique brut ou la mémoire implicite apprise par une bibliothèque réutilisable de « concepts » ancrés dans les observations, par exemple la position d'un objet disparu du champ de vision, ce qu'un humain a démontré plus tôt, ou les étapes déjà accomplies d'une tâche. Un module Writer, fondé sur des preuves observées, sélectionne et met à jour ces enregistrements. Un module Reader, appris, les convertit en tokens de mémoire qui conditionnent directement la VLA. Sur le benchmark RoboMME (16 tâches), ECoMEM arrive en tête des politiques évaluées sur 15 tâches. Sur deux nouvelles tâches en robot réel, la même bibliothèque de concepts est soit réutilisée telle quelle, soit complétée par un seul nouveau concept. Le taux de succès atteint 86,1 %, contre 8,6 % pour une VLA sans mémoire. Les auteurs ne précisent pas, dans le résumé, la plateforme robotique, le nombre d'essais ni la VLA de base utilisée. Ce travail s'attaque à une faiblesse structurelle des VLA actuelles : elles décident à partir de l'observation courante et échouent dès que l'information utile n'est plus visible. Or les tâches à long horizon rencontrées en logistique, en assemblage ou en service (retrouver une pièce rangée hors champ, reprendre une séquence interrompue, répéter une démonstration) en dépendent. L'écart 86,1 % contre 8,6 % montre surtout que le cas sans mémoire est un plancher quasi nul sur ces tâches, ce qui est attendu par construction. La comparaison la plus utile serait celle avec les mémoires à historique long ou implicites. Pour les intégrateurs, l'intérêt tient à l'extensibilité annoncée : ajouter un concept plutôt que réentraîner une politique entière réduirait le coût d'adaptation à un nouveau poste. Il tient aussi à l'inspectabilité, car une mémoire explicite peut être lue et débogguée, ce qui compte pour la validation en environnement industriel. Ces affirmations restent à confirmer sur un nombre de tâches réelles réduit à deux, avec une définition des concepts qui reste conçue par des humains. Le résultat s'inscrit dans un débat de fond sur la mémoire des modèles robotiques. Les approches dominantes allongent le contexte d'images passées ou apprennent une mémoire latente à partir des seules trajectoires observation-action, ce que les auteurs jugent insuffisant puisque la supervision d'action n'indique pas quoi retenir. ECoMEM sépare donc la tenue d'un compte rendu du passé de l'apprentissage de l'action, une idée proche des architectures hiérarchiques ou à mémoire structurée explorées autour de familles comme Pi-0 ou GR00T. Le projet est publié avec un site dédié (ecomem.github.io). Les prochaines étapes à surveiller sont une validation sur davantage de tâches réelles, des comparaisons directes avec des baselines à mémoire récentes, et la capacité à générer ou découvrir automatiquement de nouveaux concepts sans intervention humaine.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Apprendre à une main robotique à marcher
4Hackaday Robots Hacks 

Apprendre à une main robotique à marcher

Des chercheurs de l'ETH Zurich (Suisse) ont présenté une main robotique capable de marcher sur ses propres doigts, un projet dévoilé fin septembre 2026 et dont la sortie coïncide, de façon fortuite selon les auteurs, avec Halloween. L'équipe est partie d'une main robotique disponible dans le commerce, qu'elle a équipée d'une batterie et d'un Raspberry Pi Zero 2 W, puis pilotée via un réseau de neurones entraîné par apprentissage par renforcement dans un simulateur avant transfert sur le matériel réel. La main compte vingt articulations, quatre par doigt, et le réseau calcule en continu le prochain état articulaire à partir des mouvements précédents, de l'état courant de la main et de l'objectif fixé. Cette approche s'est révélée plus rapide qu'un modèle de locomotion quadrupède simplement adapté. Le système a appris à avancer en ligne droite, tourner, se relever après une chute (21 réussites sur 25 essais, en moins de vingt secondes) et taper sur un clavier, bien que l'absence de caméra empêche la main d'accomplir cette dernière tâche de façon autonome. Elle a franchi quatorze surfaces différentes, du tapis en caoutchouc au gravier et à l'herbe, et a réussi à pousser de petits objets vers des cibles désignées. Ce résultat illustre concrètement que l'apprentissage par renforcement, combiné à une simulation puis un transfert vers le réel, fonctionne aussi pour de la locomotion sur des géométries inhabituelles comme des doigts, et pas seulement pour des pattes de robots quadrupèdes ou humanoïdes. Pour les intégrateurs et chercheurs en robotique, cela ouvre une piste vers des effecteurs modulaires et autonomes: une main ou un préhenseur pourrait se détacher d'un bras robotique pour aller chercher un objet hors de portée, puis revenir se fixer. Les auteurs restent toutefois transparents sur les limites: une dérive systématique vers la droite due à la géométrie de la main nécessite une correction constante, et le clavier ne peut être actionné sans supervision externe puisqu'aucune caméra embarquée ne guide les frappes. Ce travail s'inscrit dans la tradition de l'ETH Zurich en robotique de locomotion, l'institut étant déjà connu pour ses robots quadrupèdes ANYmal, dont les techniques de marche ont ici inspiré les comparaisons de performance. Il rejoint aussi une longue série de projets amateurs et académiques de mains robotiques bricolées documentés ces dernières années. Il s'agit pour l'instant d'une démonstration de recherche, sans partenaire industriel ni feuille de route de commercialisation annoncée, mais les auteurs évoquent explicitement l'intégration future de cette autonomie de déplacement à des bras robotiques plus larges.

UEL'ETH Zurich, institution européenne reconnue en robotique de locomotion (ANYmal), renforce la réputation de la recherche européenne sur le sim-to-real, mais ce projet reste une démonstration académique sans partenaire industriel ni impact direct sur l'industrie ou la réglementation française ou européenne.

RecherchePaper
1 source