IA physiquearXiv cs.RO 26 août 2026

Représentation continue des trajectoires pour la manipulation robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (arXiv:2608.24111v1, soumis en août 2026) un nouveau framework baptisé CAT, pour "trajectory-level continuous Action representation", destiné aux politiques de manipulation robotique visuomotrices. Le principe consiste à encoder les trajectoires d'action sur un intervalle temporel fixe en un ensemble de tokens latents continus, plutôt que de lier la représentation à la fréquence de contrôle du robot ou à des paramétrisations temporelles prédéfinies, comme le font la plupart des systèmes actuels. Les auteurs ajoutent un positional encoding "frequency-aware" qui crée un système de coordonnées temporelles partagé, quelle que soit la cadence de contrôle, ainsi qu'une régularisation au niveau trajectoire pour stabiliser l'espace latent. Les évaluations ont porté sur les benchmarks de simulation LIBERO et MimicGen, ainsi que sur des tâches réelles de manipulation à long horizon. Résultat annoncé: les politiques basées sur CAT surpassent de façon constante les baselines par quantification vectorielle (VQ) et les baselines visuomotrices continues concurrentes, à conditions d'entraînement identiques, sur plusieurs backbones de modèle et plusieurs fréquences de contrôle.

Le papier cible un problème concret pour les politiques vision-langage-action: coupler la représentation d'action à la fréquence d'échantillonnage produit soit de la redondance à haute cadence, soit une perte de finesse sur les mouvements critiques à basse cadence. En découplant les deux, CAT ouvre une piste pour rendre un même modèle de manipulation plus facilement transférable entre plateformes robotiques opérant à des cadences différentes, un enjeu direct pour les intégrateurs qui doivent déployer une politique sur des bras, mains ou humanoïdes hétérogènes. Dans la course aux modèles fondation pour la robotique, aux côtés de Pi-0, GR00T N2 ou Helix, ce travail confirme que l'architecture de la tête d'action devient un terrain de différenciation aussi disputé que le backbone vision-langage. Reste que les gains sont mesurés surtout en simulation (LIBERO, MimicGen), les résultats réels n'étant pas quantifiés dans le résumé, ce qui appelle une lecture prudente avant extrapolation.

Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage par imitation en robotique, où s'opposaient jusqu'ici la quantification vectorielle des trajectoires et les représentations continues à fenêtre fixe type Action Chunking Transformer ou politiques de diffusion. Aucun industriel ni partenariat commercial n'est cité: il s'agit d'une contribution académique, sans calendrier de déploiement annoncé. Sa diffusion suivra vraisemblablement la voie classique de ce type de recherche, adoption dans des frameworks open-source de politiques robotiques, puis, en cas de confirmation des gains, intégration possible dans des piles VLA commerciales.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

SlotVLA : vers la modélisation des représentations objet-relation pour la manipulation robotique

Des chercheurs présentent dans un preprint arXiv (2511.06754v3, troisième révision, mai 2026) SlotVLA, un framework de manipulation robotique multitatches qui repose sur des représentations centrées sur les objets et leurs relations plutôt que sur les plongements denses utilisés par la majorité des modèles VLA actuels. L'architecture combine trois composants : un tokeniseur visuel à slots qui maintient des représentations temporellement cohérentes pour chaque objet détecté dans la scène, un décodeur centré sur les relations entre objets pour produire des embeddings pertinents à la tâche, et un module LLM qui traduit ces embeddings en séquences d'actions exécutables. En parallèle, les auteurs publient LIBERO+, un benchmark de manipulation dérivé du jeu de données LIBERO existant, enrichi d'annotations objet-centriques au niveau des boîtes englobantes et des masques de segmentation, ainsi qu'un suivi temporel des instances entre frames. Les expériences conduites sur LIBERO+ montrent que les représentations à slots réduisent significativement le nombre de tokens visuels nécessaires tout en conservant des performances de généralisation comparables aux baselines denses. L'intérêt principal de cette approche réside dans la tension qu'elle adresse directement : les VLAs déployés à ce jour (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix de Figure) s'appuient sur des encodeurs visuels qui traitent la scène comme un champ dense, sans distinction explicite entre objets manipulables et arrière-plan. Cette architecture entraîne une redondance computationnelle et rend difficile l'audit du raisonnement du modèle, ce qui freine l'adoption industrielle dans des contextes certifiables. SlotVLA propose que des représentations structurées, inspirées de la cognition humaine sur les objets discrets, puissent constituer une base plus efficace et interprétable pour le contrôle visuomoteur. La réduction du nombre de tokens visuels est un levier concret de coût d'inférence pour des systèmes embarqués ou des flottes de robots. Il convient toutefois de noter que les résultats présentés restent confinés à l'environnement simulé LIBERO+ : aucune validation physique sur robot réel n'est rapportée dans ce preprint, ce qui laisse ouverte la question du sim-to-real gap pour ce type de représentation. Cette publication s'inscrit dans un courant actif de recherche sur les architectures objet-centriques pour la robotique, dont les travaux fondateurs incluent les modèles de slot attention de Locatello et al. (2020) et les approches OCRL. LIBERO avait déjà été introduit comme benchmark multitatches pour la manipulation, mais sans annotations objet-centriques fines : LIBERO+ vient combler ce manque pour faciliter l'évaluation comparative de ce type de représentation. Sur le plan concurrentiel, les laboratoires académiques (notamment ceux liés à CMU, Berkeley, Stanford) et industriels travaillent en parallèle sur des architectures plus interprétables pour répondre aux demandes croissantes de traçabilité dans l'automatisation industrielle. Les prochaines étapes naturelles seront la validation sim-to-real sur des plateformes physiques standard (Franka, UR, ou humanoïdes) et l'intégration dans des pipelines de fine-tuning avec des modèles fondateurs publics.

IA physiqueOpinion

1 source

2arXiv cs.RO

SLIM-0.5B : apprentissage de représentations latentes prédictives ancrées dans l'action pour la manipulation robotique

Optimisée pour le contrôle plutôt que pour la richesse visuelle, une nouvelle politique vision-langage-action baptisée SLIM (Self-supervised Latent Interaction Model) vient d'être présentée dans un article publié le 11 août 2026 sur arXiv (arXiv:2608.09771v1). Développée pour la manipulation robotique, SLIM ne compte que 0,5 milliard de paramètres, un ordre de grandeur en dessous des backbones multimodaux massifs habituellement utilisés par les modèles VLA de référence. Le système apprend des représentations latentes ancrées dans l'action, capables à la fois de prédire les transitions futures conditionnées par une action et d'inférer l'action ayant produit un changement observé. L'entraînement repose sur une prédiction de trajectoire masquée auto-supervisée, combinant reconstruction d'action et prédiction de latent futur, le tout porté par une architecture compacte de type Mixture-of-Transformers (MoT) qui modélise les interactions entre latents d'observation et tokens d'action. La génération d'action conditionnée par le langage utilise ensuite le flow matching. Selon les auteurs, SLIM égale ou dépasse des baselines VLA et des modèles monde-action à grande échelle sur des benchmarks en simulation et en conditions réelles, sans pré-entraînement embarqué supplémentaire. L'intérêt pour les intégrateurs et décideurs industriels tient moins à la performance brute qu'à l'efficacité: les auteurs revendiquent une latence d'inférence réduite et une empreinte mémoire GPU nettement plus faible que les architectures VLA massives actuelles. Cela répond directement à une critique récurrente du secteur, à savoir que les backbones multimodaux surdimensionnés consacrent l'essentiel de leur capacité à une sémantique ouverte peu utile au contrôle moteur continu, alors que la manipulation robotique nécessite surtout des représentations compactes des observations, actions et transitions. Si les résultats se confirment au-delà des benchmarks académiques, cela ouvrirait la voie à des politiques VLA déployables sur du matériel embarqué moins coûteux, un enjeu direct pour l'industrialisation des humanoïdes et bras robotiques dont le calcul embarqué reste un goulot d'étranglement économique. SLIM se positionne comme alternative aux modèles monde pixel-level, jugés coûteux car ils prédisent des détails visuels non pertinents pour le contrôle, ainsi qu'aux grandes politiques VLA généralistes du type Pi-0 ou GR00T N2. L'article ne précise pas de partenariat industriel, de date de déploiement pilote ni d'acteur commercial associé: il s'agit à ce stade d'une contribution de recherche publiée en preprint, sans validation industrielle indépendante ni comparaison chiffrée détaillée avec les principales baselines nommées dans le texte.

IA physiqueActu

1 source

3NVIDIA Developer Blog

Au-delà des VLA : comment les modèles du monde pour l'action transforment la manipulation robotique

Un courant de recherche en robotique met en avant les « World Action Models » (WAM) comme prolongement des modèles Vision-Language-Action (VLA) utilisés pour la manipulation. Le problème central est la généralisation : une politique entraînée par démonstrations réussit dans la scène d'apprentissage mais échoue dès que la forme des objets, leur position ou l'éclairage changent. Généraliser exige que le modèle comprenne la physique sous-jacente de la tâche plutôt que d'imiter les démonstrations, une capacité qui proviendrait du backbone, l'architecture de base du modèle d'action. Cette reformulation compte pour les intégrateurs et décideurs B2B car elle interroge l'approche dominante depuis deux ans, fondée sur le clonage de comportement à partir de larges jeux de démonstrations. Si la généralisation réelle suppose une compréhension physique plutôt qu'une simple imitation, les architectures purement VLA risquent de buter sur le même écart entre démonstration et déploiement réel déjà observé sur le terrain. Pour un secteur qui vise à industrialiser la manipulation au-delà de scénarios scriptés, cette piste remet en cause l'hypothèse selon laquelle accumuler données et paramètres suffit à résoudre le passage de la simulation au réel. Les VLA se sont imposés ces dernières années comme paradigme dominant pour piloter bras robotisés et humanoïdes, avec des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI. Les World Action Models s'inscrivent en complément ou en alternative, en cherchant à doter les politiques d'un modèle du monde capable d'anticiper les conséquences physiques d'une action avant son exécution. Le contenu disponible ne mentionne ni déploiement, ni pilote industriel, ni calendrier précis, ce qui situe pour l'instant cette approche du côté de la recherche plutôt que du produit livré.

IA physiqueOpinion

1 source

4arXiv cs.RO

TEMPO : apprendre le contexte temporel pour la manipulation robotique dynamique

Publié fin 2026 sur arXiv (2609.16864), un article de recherche présente TEMPO, une méthode destinée à corriger les limites des modèles vision-langage-action (VLA) en manipulation dynamique. Ces modèles ne traitant qu'une seule observation au moment de l'inférence, ils souffrent de deux défauts identifiés par les auteurs : l'ambiguïté de mouvement, qui empêche d'anticiper la trajectoire d'un objet en déplacement, et l'aliasing d'état, où des scènes visuellement identiques appellent des actions différentes selon le moment de la tâche. TEMPO ajoute à un VLA déjà entraîné deux signaux temporels, un résumé de mouvement issu d'un modèle de fondation vidéo figé et un historique proprioceptif compact, sans modifier le backbone ni alourdir sensiblement le calcul. Sur quatre tâches dynamiques testées, le taux de réussite du transfert de bouteille (Bottle Handover) passe de 44% à 74%, et les auteurs publient aussi TEMPO-Bench, plus de 50 000 images annotées pour évaluer la perception temporelle des robots, en formats régression et choix multiple. Le résultat touche un point sensible pour le secteur : la plupart des VLA actuels, de Pi-0 à GR00T N2 en passant par Helix, reposent sur une image instantanée et échouent typiquement sur les tâches impliquant des objets en mouvement ou des remises main à main, un scénario courant en logistique et en collaboration homme-robot. En montrant que ces échecs persistent quels que soient la taille du modèle et la latence d'inférence, les auteurs suggèrent que le verrou n'est pas la puissance de calcul mais l'absence de contexte temporel, ce qui nuance l'hypothèse répandue selon laquelle le simple passage à l'échelle suffirait à combler l'écart entre démonstrations en laboratoire et usage réel. Pour les intégrateurs, l'intérêt pratique est que TEMPO se greffe sur un modèle existant sans réentraînement du backbone. L'article, encore un preprint non revu par les pairs et sans affiliation précisée dans le résumé, s'inscrit dans les efforts académiques visant à combler les limites des VLA popularisés depuis 2024-2025 par des acteurs comme Physical Intelligence, Nvidia ou Figure AI. Il ne s'agit pas d'un déploiement commercial mais d'une contribution méthodologique assortie d'un benchmark ouvert, TEMPO-Bench, disponible sur le site du projet (tempo-robot.github.io). Conçue comme un module agnostique du backbone, la méthode devrait logiquement être testée sur d'autres familles de VLA et sur davantage de plateformes robotiques, au-delà des quatre tâches évaluées dans cette première étude.

IA physiqueOpinion

1 source