RecherchearXiv cs.RO 21 octobre 2026

CondenseVLA : condensation apprenante de l'historique pour un VLA multi-images efficace

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

CondenseVLA est une politique VLA (vision-langage-action) multi-images, proposée par une équipe de chercheurs dans un papier arXiv dont le code est publié sur GitHub (projet FeiyangHong/CondenseVLA). Le modèle ajoute au décodeur d'actions un module de condensation d'historique apprenable. Les caractéristiques visuelles de chaque image passée, mises en cache depuis le backbone VLM, sont distillées en un nombre fixe de « slot tokens » grâce à des requêtes apprenables et une attention croisée multi-têtes. Une régularisation auxiliaire pénalise le recouvrement entre les cartes d'attention des slots et décorrèle leurs embeddings, pour que chaque slot capte une information complémentaire. Les résultats rapportés sont les suivants : sur Simpler-WidowX, le taux de succès passe de 58,7 % à 69,8 % (+11,1 points), 97,2 % sur LIBERO, 52,8 % sur des tâches réelles et 21,6 % sur RMBench, un banc d'essai de tâches dépendant de la mémoire.

L'enjeu est très concret en manipulation : de nombreux indices décisifs sont transitoires, comme un contact bref, une occlusion temporaire ou l'état intermédiaire d'un objet. Ils sont ambigus sur une seule image et ne se résolvent qu'en intégrant plusieurs observations. Élargir naïvement la fenêtre d'historique coûte cher en calcul et rapporte peu, car les images sont très redondantes et l'échantillonnage est rigide, indifférent à la tâche. Compresser l'historique en quelques jetons côté décodeur est donc une piste pertinente pour les politiques qui doivent tourner sur du matériel embarqué avec des contraintes de latence. Il faut toutefois lire les chiffres avec prudence. Le gain de 11 points vient d'un benchmark de simulation, LIBERO est proche de la saturation, et 52,8 % en conditions réelles reste loin d'un seuil de déploiement industriel. Le papier ne précise pas ici les tâches réelles ni les baselines. Surtout, les 21,6 % sur RMBench montrent que les tâches nécessitant de se souvenir de plusieurs observations éloignées restent largement non résolues : une fenêtre finie, même condensée, ne remplace pas une vraie mémoire.

Ce travail s'inscrit dans la course à l'ajout de contexte temporel aux VLA, dont la plupart des modèles de référence, comme Pi-0 ou GR00T, décident principalement à partir de l'observation courante ou d'un historique très court. CondenseVLA suit la même logique que la compression par requêtes apprenables utilisée dans les architectures de type Perceiver ou Q-Former, appliquée ici à l'historique d'actions. Il s'agit d'une publication de recherche (version 2 remplaçant la première), sans produit ni pilote industriel annoncé. La suite logique sera de tester des mémoires plus longues, par exemple des mécanismes de rappel sélectif ou d'état persistant, et de valider l'approche sur davantage de robots physiques et de tâches réelles.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Mem4Act : apprendre une mémoire latente efficace pour la manipulation robotique à long horizon

Des chercheurs proposent Mem4Act, un cadre d'apprentissage d'une mémoire latente de taille fixe, optimisée pour la manipulation robotique à long horizon. Le travail, publié sur arXiv (2610.22323v1), part d'un constat : les approches existantes conservent soit les observations brutes, soit des tokens visuels compressés, soit des résumés en langage naturel. Les premières exposent la politique d'action à des historiques de plus en plus longs. Les autres risquent de perdre des informations temporelles, sémantiques ou perceptives utiles. Mem4Act s'appuie sur trois mécanismes. Une agrégation temporelle multi-granularité couvre efficacement l'historique. Deux supervisions complémentaires fixent le contenu de la mémoire : des questions-réponses pour l'état de la tâche, et la reconstruction de features DINO sur des images clés pour le détail perceptif. Enfin, un entraînement en deux étapes « mémoire d'abord » pousse la politique à s'appuyer réellement sur cette mémoire. Les taux de succès annoncés sont de 49,88 % sur RoboMME, 61,0 % sur RMBench et 81,5 % sur quatre tâches réelles, des résultats que les auteurs présentent comme l'état de l'art sur le contrôle dépendant de la mémoire. L'enjeu est concret pour les intégrateurs. Les politiques VLA actuelles décident surtout à partir de l'observation courante ou d'une courte fenêtre. Elles échouent donc dès qu'une tâche exige de se souvenir de ce qui a été fait ou vu plusieurs étapes plus tôt, comme un objet déplacé, un compteur d'actions ou un élément désormais caché. Une mémoire de taille bornée garde le coût d'inférence constant quelle que soit la durée de l'épisode, une contrainte décisive pour un déploiement embarqué. Les chiffres appellent toutefois de la prudence. Un score de 49,88 % sur RoboMME montre que ces benchmarks restent loin d'être résolus. Les 81,5 % sur quatre tâches réelles reposent sur un échantillon étroit, sans précision publique sur le matériel, le nombre d'essais ou la variabilité des scènes. L'écart entre benchmark et atelier reste donc à documenter. Les ablations indiquent que l'agrégation temporelle, la supervision complémentaire et l'entraînement mémoire d'abord contribuent chacun aux gains, ce qui suggère que le simple allongement du contexte ne suffit pas. Ce travail s'inscrit dans un champ de recherche qui s'est structuré autour de la mémoire pour les politiques robotiques. Il y a d'abord la conservation d'images passées ou de tokens compressés, puis les résumés en langage utilisés par des agents à base de modèles de langage. Les benchmarks dédiés comme RoboMME et RMBench servent désormais à comparer ces approches. Mem4Act se positionne face à ces deux familles en proposant une représentation apprise de bout en bout. L'article ne fournit pas de calendrier de déploiement ni de partenaire industriel. Il s'agit d'une préversion de recherche, sans produit ni pilote annoncé. La suite à surveiller : une validation sur davantage de plateformes et de tâches longues, une évaluation face aux grands modèles VLA du marché, et la publication éventuelle du code et des poids, qui permettrait une reproduction indépendante.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

HiFun : un cadre hiérarchique pour l'apprentissage efficace de la manipulation dextre fonctionnelle

HiFun est un cadre d'apprentissage par renforcement (RL) hiérarchique, entraîné directement en conditions réelles, pour des tâches de manipulation fonctionnelle avec mains robotiques multi-doigts. Ce travail est décrit dans un preprint arXiv (2610.19518v1) dont la page projet est publiée. Ses auteurs séparent le contrôle en deux niveaux. Une « compétence de main fonctionnelle » exécute le contact précis. Une politique de coordination bras-main pilote le bras et déclenche cette compétence. Les données sont collectées plus efficacement grâce à l'augmentation par Dynamic Movement Primitives (DMP), des trajectoires paramétrées qui multiplient les démonstrations. Sur six tâches réelles et deux mains dextres différentes, HiFun atteint 98,3 % de succès moyen après une heure d'entraînement en ligne. Les auteurs indiquent aussi une robustesse aux perturbations dynamiques. Le résumé ne précise ni les noms des mains, ni la liste des tâches, ni le nombre d'essais par tâche. L'intérêt est d'abord pratique. La manipulation dextre réelle se heurte à un double verrou. La simulation modélise mal les dynamiques de contact. Les démonstrations dans l'espace complet bras-main, avec un bras couplé à une main à nombreux degrés de liberté (DoF), sont coûteuses et bruitées. En découplant le contact fin de la coordination globale, HiFun réduit l'espace que l'humain doit démontrer. Il rend aussi l'intervention humaine en temps réel exploitable pour apprendre à récupérer après un contact glissé ou une force appliquée trop tôt. Si le chiffre de 98,3 % en une heure tient hors du laboratoire, il plaide pour un apprentissage réel court plutôt que pour un sim-to-real parfait. Il faut toutefois rester prudent. Il s'agit d'un preprint non évalué par des pairs, sur six tâches choisies par les auteurs. La moyenne peut masquer des écarts entre tâches. Le temps d'intervention humaine, qui ne figure pas dans le résumé, compte autant que la durée d'entraînement pour juger du coût réel. Ce travail s'inscrit dans une tendance de fond. Les modèles vision-langage-action (VLA) généralistes progressent sur la préhension simple, mais restent fragiles sur la dextérité fine avec contacts riches. Les approches de RL réel avec intervention humaine, ainsi que les compétences hiérarchiques, sont l'alternative explorée par la recherche académique. Elles se positionnent face aux politiques apprises par imitation à grande échelle, que développent des acteurs comme Physical Intelligence, NVIDIA ou Figure. Aucun déploiement industriel ni calendrier de pilote n'est annoncé. Les prochaines étapes à surveiller sont la publication du code et des données, la reproduction par d'autres laboratoires, et le test sur des tâches plus longues et sur des mains plus variées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

VLA-Fabric : apprendre l'interaction pour des agents VLA multi-bras composables

VLA-Fabric, présenté sur arXiv (2610.23018), propose d'organiser une équipe de bras robotisés en attribuant à chacun un modèle vision-langage-action (VLA) complet, c'est-à-dire un modèle qui perçoit, interprète une consigne et produit directement des actions. Chaque bras conserve sa perception locale et la maîtrise de ses propres commandes. La coordination passe par une interaction apprise entre les politiques, au moment même de la génération d'actions. Les auteurs étudient d'abord où placer cette interaction, comment agréger l'information des pairs et comment l'entraîner. Ils identifient trois fonctions complémentaires: un contexte partagé, des informations latentes propres à chaque pair, et une interaction au stade de l'action. Ils reproduisent ensuite ces fonctions dans une architecture VLA structurellement différente, puis composent des équipes de trois et quatre bras, évaluées en simulation et en conditions réelles. Sur les quatre tâches physiques, l'interaction complète améliore le taux de réussite de 16 à 40 points de pourcentage par rapport à des politiques locales entraînées indépendamment. L'intérêt tient à la question abordée. Les VLA progressent surtout à l'échelle d'un seul robot, alors que de nombreuses applications industrielles (assemblage, manutention de pièces volumineuses, cellules à plusieurs bras) exigent une coordination fine. Les approches existantes reposent sur une politique centralisée, une répartition de rôles de haut niveau ou des politiques locales qui réagissent aux voisins. VLA-Fabric suggère une voie intermédiaire: conserver des politiques modulaires, réutilisables et déployables par bras, tout en ajoutant un canal de communication appris. Le fait que le principe tienne sur deux architectures différentes plaide pour une portée générale, et non pour un artefact lié à un backbone précis. Il faut toutefois rester prudent. Le gain est mesuré face à des politiques indépendantes, donc une base de comparaison faible. Rien n'indique de comparaison avec une politique centralisée. Le résumé ne donne ni la nature des tâches, ni le nombre d'essais, ni les temps de cycle, ni la robustesse hors laboratoire. Ce travail s'inscrit dans une phase où les VLA de type Pi-0, GR00T ou Helix se généralisent pour un robot unique ou un humanoïde bimanuel, tandis que la coordination multi-robot reste dominée par la planification classique et l'attribution de tâches. Il s'agit d'une publication de recherche, sans produit, sans pilote industriel et sans calendrier de commercialisation. Les prochaines étapes naturelles sont l'évaluation sur des équipes plus nombreuses, la comparaison à des politiques jointes centralisées, et la mesure de la latence de communication entre politiques, un point critique pour toute cellule réelle.

RecherchePaper

1 source

4arXiv cs.RO

Interface KAI : une approche tenant compte de la cinématique pour la manipulation efficace d'objets articulés

Des chercheurs présentent KAI (Kinematic-Aware Articulation Interface), une nouvelle représentation intermédiaire structurée conçue pour l'apprentissage de politiques de manipulation d'objets articulés par des robots, comme des tiroirs, des portes ou des charnières. Contrairement aux approches qui tentent d'apprendre la structure cinématique uniquement à partir de démonstrations robotiques, KAI intègre directement des a priori géométriques et cinématiques interprétables dans le processus d'apprentissage. Testée sur six tâches de simulation, la méthode atteint un taux de réussite moyen de 82,9%, égalant voire dépassant les performances des méthodes de référence tout en n'utilisant que la moitié des données de démonstration nécessaires. Le système, entraîné dans un environnement unique et non encombré, démontre également une capacité de généralisation vers des arrière-plans inédits et des scènes réelles encombrées de distracteurs visuels. En combinant l'entraînement avec des vidéos d'interactions humaines, grâce à sa conception indépendante de l'action ("action-agnostic"), le taux de réussite moyen dépasse 70% même face à des perturbations visuelles diverses. Pour l'industrie robotique, ce travail s'attaque à un goulot d'étranglement bien identifié: l'apprentissage par démonstration coûte cher en temps d'annotation et de téléopération, en particulier pour les objets articulés dont la cinématique varie fortement d'un instance à l'autre. Diviser par deux le volume de démonstrations nécessaires, si le résultat se confirme au-delà de la simulation, représenterait un gain d'efficacité concret pour les intégrateurs travaillant sur la manipulation domestique ou industrielle (portes d'armoires, électroménager, machines-outils). La possibilité de co-entraîner avec des vidéos humaines, sans capture de données robotiques dédiées, ouvre aussi une piste pour réduire davantage le coût de collecte, un enjeu central alors que les approches VLA (vision-language-action) peinent encore à passer l'échelle sans volumes massifs de données. Il s'agit à ce stade d'un article de recherche déposé sur arXiv, sans nom d'institution ni de laboratoire précisé dans le résumé, et les résultats restent principalement validés en simulation, avec un transfert vers le réel limité à des scènes encombrées plutôt qu'à un déploiement en conditions industrielles. Le travail s'inscrit dans un courant de recherche plus large visant à injecter des priors structurels explicites dans les politiques d'apprentissage, en contraste avec les approches purement end-to-end de type GR00T N2 ou Pi-0, et pourrait alimenter les futures générations de modèles de manipulation généralistes si sa robustesse se confirme sur du matériel physique.

RecherchePaper

1 source