Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
IA physiquearXiv cs.RO 

TEMPO : apprendre le contexte temporel pour la manipulation robotique dynamique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Publié fin 2026 sur arXiv (2609.16864), un article de recherche présente TEMPO, une méthode destinée à corriger les limites des modèles vision-langage-action (VLA) en manipulation dynamique. Ces modèles ne traitant qu'une seule observation au moment de l'inférence, ils souffrent de deux défauts identifiés par les auteurs : l'ambiguïté de mouvement, qui empêche d'anticiper la trajectoire d'un objet en déplacement, et l'aliasing d'état, où des scènes visuellement identiques appellent des actions différentes selon le moment de la tâche. TEMPO ajoute à un VLA déjà entraîné deux signaux temporels, un résumé de mouvement issu d'un modèle de fondation vidéo figé et un historique proprioceptif compact, sans modifier le backbone ni alourdir sensiblement le calcul. Sur quatre tâches dynamiques testées, le taux de réussite du transfert de bouteille (Bottle Handover) passe de 44% à 74%, et les auteurs publient aussi TEMPO-Bench, plus de 50 000 images annotées pour évaluer la perception temporelle des robots, en formats régression et choix multiple.

Le résultat touche un point sensible pour le secteur : la plupart des VLA actuels, de Pi-0 à GR00T N2 en passant par Helix, reposent sur une image instantanée et échouent typiquement sur les tâches impliquant des objets en mouvement ou des remises main à main, un scénario courant en logistique et en collaboration homme-robot. En montrant que ces échecs persistent quels que soient la taille du modèle et la latence d'inférence, les auteurs suggèrent que le verrou n'est pas la puissance de calcul mais l'absence de contexte temporel, ce qui nuance l'hypothèse répandue selon laquelle le simple passage à l'échelle suffirait à combler l'écart entre démonstrations en laboratoire et usage réel. Pour les intégrateurs, l'intérêt pratique est que TEMPO se greffe sur un modèle existant sans réentraînement du backbone.

L'article, encore un preprint non revu par les pairs et sans affiliation précisée dans le résumé, s'inscrit dans les efforts académiques visant à combler les limites des VLA popularisés depuis 2024-2025 par des acteurs comme Physical Intelligence, Nvidia ou Figure AI. Il ne s'agit pas d'un déploiement commercial mais d'une contribution méthodologique assortie d'un benchmark ouvert, TEMPO-Bench, disponible sur le site du projet (tempo-robot.github.io). Conçue comme un module agnostique du backbone, la méthode devrait logiquement être testée sur d'autres familles de VLA et sur davantage de plateformes robotiques, au-delà des quatre tâches évaluées dans cette première étude.

Dans nos dossiers

FigureIA physique & VLANVIDIA GR00TPhysical Intelligence — π0

À lire aussi

ST-π : VLA spatio-temporel structuré pour la manipulation robotique
1arXiv cs.RO 

ST-π : VLA spatio-temporel structuré pour la manipulation robotique

Une équipe de chercheurs a publié fin avril 2026 ST-π (ST-pi), un modèle vision-langage-action (VLA) conçu pour améliorer la manipulation robotique fine en introduisant une planification spatiotemporelle explicitement structurée. Contrairement aux VLA classiques qui projettent directement les observations visuelles vers des actions step-by-step, ST-π décompose la tâche en deux niveaux distincts : un VLM spatiotemporel qui encode des observations 4D (vidéo + profondeur) et génère une séquence ordonnée de "prompts d'action" au niveau chunk, incluant sous-tâches, ancrage spatial et ancrage temporel ; puis un "action expert" conditionné sur ces prompts, qui utilise un mécanisme de double générateur pour modéliser conjointement les dépendances spatiales et la causalité temporelle, produisant in fine les paramètres d'action step-level. Les auteurs ont également constitué un dataset réel avec annotations spatiotemporelles structurées pour le fine-tuning. Le code source est disponible sur GitHub (chuanhaoma/ST-pi). L'intérêt de cette approche réside dans l'explicitation du raisonnement spatiotemporal, un point aveugle documenté des VLA actuels. Les modèles existants comme Pi-0 (Physical Intelligence), OpenVLA ou RT-2 encodent implicitement ce raisonnement dans les représentations visuelles et d'action, ce qui les rend fragiles face à des séquences comportementales multiples avec des frontières temporelles précises, typiquement les tâches d'assemblage, de tri ou de manipulation en plusieurs étapes que les intégrateurs industriels cherchent à automatiser. ST-π propose une architecture où le VLM planifie globalement et l'action expert raffine localement, ce qui est une séparation de responsabilités plus proche de la façon dont les ingénieurs roboticiens structurent eux-mêmes les programmes de manipulation. Ce travail s'inscrit dans une dynamique de recherche active sur le sim-to-real et la généralisation des VLA, portée notamment par Physical Intelligence, Google DeepMind (avec GR00T N2 côté NVIDIA) et des laboratoires académiques en Chine. ST-π est un preprint arXiv (2604.17880), pas encore évalué en peer review, et les métriques de performance annoncées restent à confronter à des benchmarks indépendants comme LIBERO ou RLBench. Aucun partenaire industriel ni déploiement terrain n'est mentionné à ce stade, il s'agit d'une contribution de recherche, pas d'un produit commercialisé. Les prochaines étapes naturelles seraient une évaluation comparative sur des benchmarks standardisés et un test sur des robots réels en dehors du dataset des auteurs.

IA physiqueOpinion
1 source
DyPES-VLA : apprendre des dynamiques partagées et un contrôle spécifique à chaque incarnation pour la manipulation inter-incarnations
2arXiv cs.RO 

DyPES-VLA : apprendre des dynamiques partagées et un contrôle spécifique à chaque incarnation pour la manipulation inter-incarnations

Des chercheurs présentent DyPES-VLA, un modèle vision-langage-action (VLA) conçu pour piloter plusieurs types de robots avec une seule politique généraliste plutôt qu'un modèle par robot. L'approche combine deux briques: un objectif de prédiction du futur qui entraîne le modèle vision-langage, sur des données issues de robots hétérogènes, à capturer le mouvement des objets, les contacts et les changements de scène induits par l'interaction; et une tête d'action à mélange d'experts (MoE) propre à chaque robot, qui traduit ces représentations partagées directement dans l'espace de commande natif de chaque machine, sans reformatage manuel préalable des actions. Cette tête MoE partage ses couches d'attention pour les structures temporelles communes aux tâches, tandis que des experts feed-forward dédiés gèrent les contraintes cinématiques propres à chaque embodiment. Résultat annoncé: 98,0% de réussite sur le benchmark LIBERO, 59,25% sur RoboCasa-GR1 et 89,02% sur RoboTwin 2.0, présentés comme état de l'art en simulation comme en conditions réelles. Le sujet touche un vrai goulot d'étranglement pour les intégrateurs et équipes robotique en entreprise: faire tourner un même modèle VLA sur plusieurs plateformes, bras industriels, robots mobiles ou humanoïdes, exige aujourd'hui un travail manuel lourd pour aligner des espaces d'action hétérogènes, ce qui freine la mutualisation des données d'entraînement et le déploiement à grande échelle. Une politique capable de généraliser nativement entre embodiments réduirait ce coût d'ingénierie par robot et rapprocherait l'objectif, poursuivi aussi par les grands laboratoires du secteur, d'un modèle fondation unique pour la manipulation. Reste que les chiffres avancés sont des scores de benchmark académiques: l'écart classique entre performance en simulation ou en laboratoire contrôlé et robustesse en usine ou en entrepôt n'est pas documenté pour ce modèle en particulier. DyPES-VLA s'inscrit dans la vague récente des VLA "cross-embodiment", qui cherche à dépasser les politiques entraînées robot par robot popularisées par RT-2 ou OpenVLA, sur le même terrain que des modèles généralistes déjà déployés en pilote comme Pi-0 de Physical Intelligence ou GR00T N2 de Nvidia. Publié comme nouvelle soumission sur arXiv, le papier ne précise ni affiliation industrielle ni calendrier de déploiement sur robot physique au-delà des évaluations réelles mentionnées dans l'étude: il relève pour l'instant de la recherche amont plutôt que d'un produit prêt à l'emploi. La suite logique pour ce type de travaux consiste généralement à valider l'approche sur davantage de plateformes et de tâches manipulatoires longues avant tout transfert vers un cas d'usage industriel.

IA physiqueOpinion
1 source
OFlow : flux temporel centré sur les objets pour une manipulation robotique robuste
3arXiv cs.RO 

OFlow : flux temporel centré sur les objets pour une manipulation robotique robuste

Des chercheurs ont publié le 24 avril 2026 OFlow, un framework destiné à améliorer la robustesse des modèles Vision-Language-Action (VLA) dans les tâches de manipulation robotique. L'approche, présentée dans un preprint arXiv (2604.17876), repose sur deux mécanismes combinés : un module de prédiction temporelle par flow matching, qui anticipe l'évolution de la scène avant d'agir, et une représentation centrée sur les objets pertinents pour la tâche, qui filtre les variations visuelles sans intérêt. Ces deux composants partagent un même espace latent sémantique, à partir duquel la génération des actions continues est conditionnée. Les évaluations couvrent quatre environnements de référence, LIBERO, LIBERO-Plus, MetaWorld et SimplerEnv, ainsi que des expériences en conditions réelles, et montrent des gains de robustesse et de taux de succès par rapport aux baselines VLA standards. Le verrou que tente de lever OFlow est bien identifié dans la communauté : les VLAs actuels raisonnent image par image, sans modèle explicite de ce qui va se passer ni de quels objets comptent vraiment. En séparant les cues visuels liés à la tâche des variations de fond (éclairage, texture, pose de la caméra), OFlow produit des représentations plus stables sous distribution shift, c'est-à-dire lorsque les conditions réelles diffèrent du training data. Pour les intégrateurs et les équipes de déploiement industriel, c'est un point critique : la fragilité des VLAs face aux écarts de conditions est l'un des principaux obstacles à leur passage en production. Les résultats sur SimplerEnv et les tâches réelles sont particulièrement scrutés, car ce benchmark est conçu pour tester explicitement ce gap sim-to-real. OFlow s'inscrit dans une vague de travaux cherchant à doter les VLAs d'une forme de planification implicite, après des modèles comme pi0 (Physical Intelligence) ou GR00T N2 (NVIDIA) qui misent sur des architectures diffusion ou flux pour la génération d'actions. L'originalité revendiquée ici est l'unification dans un espace latent commun, plutôt que d'ajouter des modules séparés. Il s'agit pour l'instant d'un preprint non relu par des pairs, et les benchmarks utilisés, LIBERO notamment, sont bien maîtrisés par la communauté mais n'impliquent pas de robots déployés en production. Les prochaines étapes naturelles seront la validation sur des plateformes hardware variées et une comparaison directe avec les approches concurrentes sur des scénarios industriels réels.

IA physiqueOpinion
1 source
Représentation continue des trajectoires pour la manipulation robotique
4arXiv cs.RO 

Représentation continue des trajectoires pour la manipulation robotique

Une équipe de recherche publie sur arXiv (arXiv:2608.24111v1, soumis en août 2026) un nouveau framework baptisé CAT, pour "trajectory-level continuous Action representation", destiné aux politiques de manipulation robotique visuomotrices. Le principe consiste à encoder les trajectoires d'action sur un intervalle temporel fixe en un ensemble de tokens latents continus, plutôt que de lier la représentation à la fréquence de contrôle du robot ou à des paramétrisations temporelles prédéfinies, comme le font la plupart des systèmes actuels. Les auteurs ajoutent un positional encoding "frequency-aware" qui crée un système de coordonnées temporelles partagé, quelle que soit la cadence de contrôle, ainsi qu'une régularisation au niveau trajectoire pour stabiliser l'espace latent. Les évaluations ont porté sur les benchmarks de simulation LIBERO et MimicGen, ainsi que sur des tâches réelles de manipulation à long horizon. Résultat annoncé: les politiques basées sur CAT surpassent de façon constante les baselines par quantification vectorielle (VQ) et les baselines visuomotrices continues concurrentes, à conditions d'entraînement identiques, sur plusieurs backbones de modèle et plusieurs fréquences de contrôle. Le papier cible un problème concret pour les politiques vision-langage-action: coupler la représentation d'action à la fréquence d'échantillonnage produit soit de la redondance à haute cadence, soit une perte de finesse sur les mouvements critiques à basse cadence. En découplant les deux, CAT ouvre une piste pour rendre un même modèle de manipulation plus facilement transférable entre plateformes robotiques opérant à des cadences différentes, un enjeu direct pour les intégrateurs qui doivent déployer une politique sur des bras, mains ou humanoïdes hétérogènes. Dans la course aux modèles fondation pour la robotique, aux côtés de Pi-0, GR00T N2 ou Helix, ce travail confirme que l'architecture de la tête d'action devient un terrain de différenciation aussi disputé que le backbone vision-langage. Reste que les gains sont mesurés surtout en simulation (LIBERO, MimicGen), les résultats réels n'étant pas quantifiés dans le résumé, ce qui appelle une lecture prudente avant extrapolation. Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage par imitation en robotique, où s'opposaient jusqu'ici la quantification vectorielle des trajectoires et les représentations continues à fenêtre fixe type Action Chunking Transformer ou politiques de diffusion. Aucun industriel ni partenariat commercial n'est cité: il s'agit d'une contribution académique, sans calendrier de déploiement annoncé. Sa diffusion suivra vraisemblablement la voie classique de ce type de recherche, adoption dans des frameworks open-source de politiques robotiques, puis, en cas de confirmation des gains, intégration possible dans des piles VLA commerciales.

IA physiqueActu
1 source