RecherchearXiv cs.RO1sem

STEP : politiques visuomotrices pré-initialisées avec prédiction de cohérence spatiotemporelle

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Publiée sur arXiv en février 2026 (arXiv:2602.08245v2), STEP (Spatiotemporal Consistency Prediction) est une méthode conçue pour accélérer les diffusion policies en manipulation robotique sans dégrader la qualité d'exécution. Les diffusion policies modélisent des distributions de séquences d'actions avec une forte capacité à capturer la multimodalité des comportements, mais leur processus de débruitage itératif engendre une latence d'inférence élevée qui limite la fréquence de contrôle en boucle fermée temps réel. STEP génère des actions de démarrage à chaud (warm-start) distributivement proches de la cible et temporellement cohérentes, couplées à un mécanisme d'injection de perturbation sensible à la vélocité qui module dynamiquement l'excitation d'actuation pour éviter les blocages d'exécution en conditions réelles. Avec seulement 2 pas de débruitage, la méthode surpasse BRIDGER de 21,6% en taux de succès moyen sur le benchmark RoboMimic, et DDIM de 27,5% sur deux tâches physiques réelles, pour un total de neuf benchmarks simulés évalués. Le code est publié en open source sur GitHub (github.com/Kimho666/STEP).

L'enjeu pratique est la déployabilité en production: une fréquence de contrôle trop basse rend une politique visuomotrice fragile face aux perturbations dynamiques, ce qui freine l'adoption industrielle de ces approches pourtant performantes en simulation. STEP avance la frontière de Pareto entre latence d'inférence et taux de succès là où les méthodes précédentes, réduction du nombre de pas d'échantillonnage, prédiction directe ou réutilisation d'actions passées, sacrifiaient l'une ou l'autre. La validation sur des tâches physiques réelles, et non uniquement en simulation, renforce la crédibilité du sim-to-real transfer, souvent contesté dans la littérature robotique. Les auteurs fournissent également une analyse théorique montrant que le mécanisme de prédiction introduit un mapping localement contractant, garantissant la convergence des erreurs d'action pendant le raffinement par diffusion, un argument formel solide pour des équipes R&D cherchant à fiabiliser leur pipeline avant déploiement.

Les diffusion policies pour la manipulation ont émergé autour de 2023 avec les travaux de Chi et al. (Diffusion Policy), suivis rapidement de variantes d'accélération comme DDIM, emprunté à la génération d'images, et BRIDGER, que STEP dépasse désormais sur les deux métriques clés simultanément. Dans le paysage plus large des architectures visuomotrices, la méthode est complémentaire des VLA (Vision-Language-Action) comme pi-zero de Physical Intelligence ou OpenVLA, où la latence d'inférence constitue un goulot d'étranglement comparable. Aucun acteur européen n'est directement impliqué dans cette publication, mais la disponibilité open source permettra à des équipes comme celles de l'INRIA ou de laboratoires spécialisés en manipulation flexible d'intégrer directement la méthode dans leurs pipelines existants. Les prochaines étapes naturelles incluront l'évaluation sur des robots mobiles manipulateurs et des environnements industriels non structurés, ainsi que l'intégration dans des architectures VLA de plus grande envergure.

Dans nos dossiers

Physical Intelligence — π0 OpenVLA / RT-X Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage de politiques visuomotrices robustes par correspondance de flux à trajectoires cohérentes

Une équipe de recherche publie sur arXiv (arXiv:2605.08511, mai 2026) une méthode pour corriger un défaut structurel des politiques de type flow matching appliquées à la manipulation robotique. Ces architectures apprennent des champs de vitesse continus pour convertir du bruit en séquences d'actions, permettant une inférence déterministe rapide. Le problème identifié est un écart fondamental entre entraînement et inférence : l'objectif d'entraînement optimise une vitesse ponctuelle, tandis que l'inférence requiert l'intégration numérique de ce champ sur une trajectoire complète. Les erreurs s'accumulent et dégradent les performances. La méthode proposée, baptisée TC-Flow, associe quatre correctifs complémentaires : une régression de vitesse par rectified flow auxiliaire pour une supervision uniforme sur l'intervalle temporel, un entraînement par cohérence de trajectoire multi-étapes qui supervise directement le déplacement intégré, une régularisation du champ de vitesse pour forcer la continuité temporelle, et un intégrateur de Runge-Kutta d'ordre 4 (RK4) à l'inférence pour réduire l'erreur de discrétisation. Un encodeur de nuage de points 3D à double vue, basé sur deux PointNet indépendants, complète l'architecture. Validée sur un bras Franka et un robot quadrupède Boston Dynamics Spot, la méthode atteint 70 % et 60 % de succès sur deux tâches longue-horizon multi-phases où les deux baselines de référence stagnent à 0 %, et 100 % sur une tâche de placement d'outil de précision. Trois tâches de simulation MetaWorld confirment les gains. Ce résultat est significatif pour les équipes qui développent des VLAs (vision-language-action) basées sur le flow matching : il démontre que le sim-to-real gap et l'échec sur les tâches longue-horizon ne viennent pas nécessairement de la représentation sensorielle ou de la politique en elle-même, mais du désalignement train-inférence. Le passage de 0 % à 60-70 % sur les mêmes tâches en corrigeant uniquement cet écart est un signal fort. L'ablation confirme que les quatre composants sont nécessaires en synergie : RK4 seul sans champ lisse échoue, et la régularisation sans supervision trajectoire dérive quand même. Dans le contexte du marché, le flow matching pour la robotique a été popularisé par Physical Intelligence avec pi-0, qui domine aujourd'hui les benchmarks de manipulation généraliste, et par des travaux comme ACT ou Diffusion Policy. TC-Flow se positionne comme une correction algorithmique orthogonale, applicable à toute architecture flow matching existante. Il s'agit d'un preprint arXiv sans code public annoncé à ce stade, ni déploiement industriel. Les prochaines étapes naturelles seraient une validation sur des tâches bi-manuelles ou sur des plateformes humanoïdes, terrain où les erreurs cumulées de trajectoire sont particulièrement pénalisantes.

RechercheOpinion

1 source

2arXiv cs.RO

Graphes de scènes spatio-temporels prédictifs pour scènes semi-statiques

Une équipe de chercheurs publie dans un preprint arXiv (réf. 2605.00121, mai 2025) une méthode de représentation spatio-temporelle-sémantique permettant à un robot de prédire l'état futur d'un environnement qui change de manière structurée entre les observations. La méthode repose sur deux composants : un filtre bayésien nommé Perpetua\, chargé d'inférer les états successifs de l'environnement, et une structure de graphe de scène 3D baptisée PredictiveGraphs, dans laquelle les nœuds représentent des objets et les arêtes encodent des relations spatio-sémantiques via des instances de Perpetua\. L'exemple illustratif donné est celui d'une tasse se déplaçant cycliquement entre placard, plan de travail et évier selon une routine quotidienne. La validation expérimentale couvre simulations et tests en environnement réel, où un espace domestique a subi des changements semi-statiques à raison d'une perturbation toutes les deux heures sur une période de trois semaines. L'enjeu opérationnel est significatif pour les robots déployés dans des environnements non contrôlés comme les entrepôts, les hôpitaux ou les domiciles. La grande majorité des représentations spatiales actuelles, des NeRF sémantiques aux graphes de scène 3D comme Hydra ou SceneGraphFusion, sont statiques ou réactives : elles gèrent les changements détectés en direct mais ne prévoient pas les états futurs. PredictiveGraphs s'attaque au "semi-static gap" : l'objet n'est pas présent au moment de l'observation, mais le robot doit pouvoir le localiser pour une tâche ultérieure. Dans les conditions de test, la méthode surpasse les approches de référence y compris face à des shifts de distribution, autrement dit lorsque les habitudes d'utilisation des objets dévient du schéma appris. Cette robustesse est une propriété critique pour des déploiements industriels où les routines humaines évoluent dans le temps. Les graphes de scène 3D pour la robotique ont connu un essor marqué depuis les travaux fondateurs de Rosinol et al. au MIT SPARK Lab en 2020 et le système open-source Hydra. Le raisonnement temporel sur ces structures reste néanmoins peu exploré : quelques travaux récents ont esquissé la piste via du SLAM probabiliste ou des représentations dynamiques partielles, sans modélisation explicite des cycles comportementaux récurrents. PredictiveGraphs occupe ce créneau. Ce preprint ne mentionne ni partenariat industriel ni calendrier de déploiement, et les expériences restent à l'échelle d'un appartement. La suite logique impliquerait une validation en environnement plus large, entrepôt ou établissement de soin, territoire où des acteurs européens comme Enchanted Tools avec son robot Mirokaï, ou des intégrateurs AMR opérant en espace contraint, commencent à chercher exactement ce type de raisonnement prédictif sur la disposition des objets.

UEImpact indirect : des robots opérant en espaces semi-contrôlés, comme le Mirokaï d'Enchanted Tools (France) ou les AMR européens en entrepôt, sont précisément les cibles applicatives identifiées, mais aucun partenariat ni transfert technologique n'est engagé à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

TouchGuide : pilotage en temps réel des politiques visuomotrices par guidage tactile

Une équipe de chercheurs a mis en ligne sur arXiv (réf. 2601.20239, v4) TouchGuide, un cadre permettant d'intégrer le retour tactile dans une politique visuomotrice robotique à l'inférence, sans modifier la politique de base. Le système opère en deux temps : une politique préentraînée, fondée sur la diffusion ou le flow-matching, génère d'abord une action initiale à partir des seules entrées visuelles ; un module appelé Contact Physical Model (CPM), entraîné par apprentissage contrastif sur un nombre limité de démonstrations expertes, réoriente ensuite l'échantillonnage via un score de faisabilité tactile. Les auteurs introduisent également TacUMI, un dispositif de collecte de données à embouts rigides permettant d'obtenir un retour tactile direct à faible coût. Évalué sur cinq tâches à contact riche, dont le laçage de chaussures et le transfert de chips, TouchGuide surpasse de façon significative les politiques visuo-tactiles de référence. L'enjeu est structurant pour l'industrie : les politiques visuomotrices actuelles, y compris les VLA (Vision-Language-Action), s'appuient quasi exclusivement sur la vision, laissant de côté le toucher malgré son rôle central dans la manipulation de précision. TouchGuide propose une réponse pragmatique en greffant un module tactile à l'inférence sur n'importe quelle politique à base de diffusion, sans modifier les poids d'origine. Ce paradigme "cross-policy" réduit les coûts d'intégration pour les industriels. La démonstration sur le laçage de chaussures, tâche de référence en manipulation fine, apporte un signal encourageant sur la résolution partielle du fossé sim-to-real. Les performances dans des environnements non structurés restent à confirmer indépendamment. La tactilité en robotique fait l'objet de travaux depuis plus d'une décennie, notamment autour du GelSight du MIT, mais son intégration dans les politiques d'apprentissage par imitation reste un problème ouvert. Contrairement aux approches end-to-end développées chez Google DeepMind ou à CMU, TouchGuide sépare explicitement la politique visuelle du guidage tactile, une architecture modulaire qui se positionne directement face à des travaux comme Tactile Diffusion Policy. Il s'agit pour l'instant d'un preprint non évalué par des pairs, sans déploiement industriel ni timeline annoncés ; les prochaines étapes probables incluent une validation dans des environnements moins contrôlés et sur des robots polyarticulés.

RecherchePaper

1 source

4arXiv cs.RO

Politique CoLA-Flow : apprentissage par imitation temporellement cohérent via le flux d'actions latentes continues pour la manipulation robotique

Une équipe de chercheurs a publié sur arXiv (2501.23087, version 3 en mai 2026) CoLA-Flow Policy, un framework d'apprentissage par imitation conçu pour la manipulation robotique sur des horizons d'action longs. L'approche combine le flow matching, une technique générative plus rapide que la diffusion, avec un espace d'action latent continu dans lequel les trajectoires sont encodées avant l'apprentissage du flux. Sur bancs de simulation et sur robots réels, les expériences affichent une amélioration de la régularité des trajectoires allant jusqu'à 93,7 % et un gain de taux de succès allant jusqu'à 25 points de pourcentage par rapport aux baselines de flow matching opérant directement dans l'espace d'action brut. L'inférence s'effectue en quasi-un seul pas, soit une vitesse nettement supérieure aux politiques basées sur la diffusion, qui nécessitent plusieurs étapes de débruitage. Le principal apport de CoLA-Flow est de découpler la structure globale du mouvement du bruit de contrôle bas niveau : en encodant les séquences d'actions en trajectoires latentes temporellement cohérentes, le modèle évite les oscillations et incohérences qui affectent les politiques de flow matching en espace brut. Pour un intégrateur ou un décideur industriel, cela signifie qu'une même architecture peut traiter des tâches de manipulation complexes sans latence rédhibitoire ni comportement erratique entre les étapes. Le conditionnement par nuages de points (point cloud) et la modulation multimodale à l'exécution via des indices visuels renforcent la robustesse dans des environnements réels non contrôlés, deux exigences critiques pour tout déploiement hors laboratoire. Ce travail s'inscrit dans une compétition intense entre architectures génératives pour les politiques robotiques. Diffusion Policy (Chi et al., 2023) a établi la référence en termes d'expressivité comportementale, mais son coût computationnel freine l'usage temps réel. Pi-0 de Physical Intelligence et GR00T N2 de NVIDIA ont validé le flow matching comme alternative viable, au prix d'une instabilité accrue sur les horizons longs, précisément le problème que CoLA-Flow tente de résoudre via l'espace latent. Le framework s'apparente conceptuellement aux approches d'action chunking (ACT), mais opère au niveau du flux plutôt que de la prédiction directe. La troisième version de l'article suggère des révisions itératives significatives depuis janvier 2026 ; aucun déploiement industriel ni partenariat commercial n'est mentionné à ce stade, et les benchmarks présentés restent limités à des environnements de manipulation contrôlés.

RechercheOpinion

1 source