RecherchearXiv cs.RO 2 novembre 2026

RTPolicy : une politique visuomotrice multi-vues en temps réel (32,9 Hz) pour la manipulation robotique sur appareils embarqués

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

RTPolicy, une politique visuomotrice multi-vues décrite sur arXiv (2610.41625), vise à rendre la manipulation robotique pilotable en temps réel sur des puces embarquées. Son architecture combine une fusion de caractéristiques sensible à la vue et une compression visuelle, qui agrègent les informations complémentaires de plusieurs caméras en un petit nombre de tokens. Ces tokens, avec l'état du robot et le temps de flux, conditionnent un générateur d'actions par flow matching. Sur le benchmark RoboTwin 2.0 (évaluation mono-tâche en environnement propre, 50 tâches), RTPolicy atteint 52,26 % de succès moyen, contre 46,4 % pour π0, la meilleure référence du classement. Sur une plateforme bimanuelle réelle, en inférence asynchrone en flux continu, le taux de succès moyen est de 72,0 %. La latence mesurée est de 30,35 ms (32,9 Hz) sur la puce RDK S600 et de 149,72 ms (6,7 Hz) sur la RDK S100, dans les deux cas en INT16. Le code et une page projet sont publiés par le laboratoire D-Robotics AI Lab.

L'intérêt tient à la latence plus qu'au score. En inférence asynchrone, des segments d'actions (action chunks) sont renouvelés pendant l'exécution du précédent, et plus le cycle est court, plus le robot corrige vite les dérives accumulées. Beaucoup de politiques VLA ou visuomotrices actuelles reposent sur des backbones visuels lourds, qui imposent des GPU de bureau ou de serveur. Démontrer environ 33 Hz sur un module embarqué suggère qu'une partie du coût vient de choix d'architecture (nombre de tokens, génération d'actions) et pas seulement de la taille des modèles. Plusieurs réserves s'imposent : le gain de 5,9 points sur π0 vient d'une seule suite de simulation, en configuration mono-tâche et propre, et la comparaison avec des politiques plus grandes n'est pas à iso-calcul. Le résultat réel de 72 % porte sur une plateforme et un jeu de tâches que le résumé ne détaille pas. Enfin, l'écart entre les deux puces, un facteur proche de cinq, montre que le temps réel dépend fortement du matériel retenu.

Ce travail s'inscrit dans la course à l'efficacité des politiques de manipulation, après les approches par diffusion et flow matching popularisées par π0, et alors que RoboTwin 2.0 s'impose comme banc d'essai bimanuel de référence. Il s'agit d'une prépublication (v1) non évaluée par des pairs, sans déploiement industriel annoncé. Les puces RDK appartiennent à l'écosystème D-Robotics, ce qui laisse penser que l'optimisation est liée à cette pile logicielle et matérielle. Les prochaines étapes à surveiller sont la reproduction indépendante des résultats, des tests sur d'autres plateformes embarquées comme les modules Jetson, et une validation sur des tâches longues et variées, plus proches des cahiers des charges des intégrateurs.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Physical Intelligence — π0 Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

SmolWAM : un modèle monde-action latent pour la manipulation robotique sur appareils embarqués

SmolWAM est un modèle monde-action (WAM) latent qui prédit en une seule passe les actions d'un robot et les observations visuelles qu'elles produiront. Il dérive de Cosmos Policy, un modèle de 2 milliards de paramètres. Ses auteurs conservent le tronc pré-entraîné et reconstruisent l'interface d'inférence. Le modèle utilise des latents visuels d'une seule image, des caractéristiques textuelles mises en cache qui préservent les « attention sinks » du tronc, 12 des 28 blocs transformer et 1 008 tokens. Les actions et les latents visuels futurs sont lus en une seule étape de rectified flow. L'entraînement a demandé 3,6 heures-GPU. Sur 400 épisodes du benchmark LIBERO, le taux de réussite atteint 95,5 %, avec 57 ms et 2,3 TFLOP par chunk de 16 actions et 2,4 GiB de mémoire GPU. Face au modèle enseignant, cela représente un gain de vitesse de 11x, 18,5x moins de FLOPs et 3,2x moins de mémoire. L'intérêt tient au verrou que ce travail cible. Les meilleurs WAM reposent sur des transformers de diffusion vidéo trop lourds pour du matériel embarqué, ce qui les cantonne aux serveurs. Ramener un tel modèle à moins de 2,5 GiB et à moins de 60 ms par chunk suggère que la prédiction du futur peut cohabiter avec le contrôle temps réel sur du calcul contraint. Les auteurs affirment aussi que la tête « monde » continue de prévoir le mouvement de la scène, donc que la compression ne réduit pas le modèle à une simple politique. Les réserves sont nettes. LIBERO est un benchmark simulé, l'article ne détaille pas le matériel edge réellement visé dans le résumé, et aucune validation sur robot physique n'est mentionnée. Le résultat relève de la recherche, pas d'un produit déployé. Ce travail s'inscrit dans la course à l'efficacité des modèles vision-langage-action, où des politiques comme Pi-0 ou GR00T N2 visent aussi un déploiement embarqué. Les WAM, eux, ajoutent une capacité de prédiction visuelle au prix d'un coût de calcul élevé. La distillation et l'élagage structurel (retirer 16 blocs sur 28) offrent ici une voie peu coûteuse, avec 3,6 heures-GPU seulement. Les suites logiques sont des tests sur manipulateurs réels, des mesures sur des puces embarquées de type Jetson, et une évaluation sur des tâches plus longues et plus variées que LIBERO.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

HybridFlow : une politique générative à 2 NFE pour la manipulation robotique en temps réel

Des chercheurs restés anonymes, dont l'identité est masquée le temps d'une évaluation en double aveugle, publient sur arXiv (2602.13718v2, version révisée) HybridFlow, une politique générative pour le contrôle robotique en temps réel. Le système ne nécessite que deux évaluations du réseau de neurones, contre les 16 étapes habituelles d'une politique par diffusion, grâce à un pipeline en trois temps : un "Global Jump" qui utilise la vitesse moyenne du cadre MeanFlow pour générer une trajectoire d'action grossière, une interpolation "ReNoise" sans paramètre qui construit un état intermédiaire à un instant de raffinement non nul, puis un "Local Refine" qui interroge la limite de vitesse instantanée du même réseau à cet instant, sans distillation ni modèle séparé. Sur des ablations contrôlées avec le benchmark RoboMimic, la méthode atteint 95% de réussite moyenne avec bruit réutilisé et 95,5% avec bruit frais, contre 78% pour une version MeanFlow à une seule étape. Sur cinq configurations de robots réels, toutes les politiques comparées tournant sur le même module embarqué Jetson AGX Thor de Nvidia, HybridFlow améliore la performance normalisée des tâches de 13 à 68 points par rapport à une Diffusion Policy à 16 étapes, avec une latence de génération d'action environ huit fois plus faible. Ce résultat s'attaque directement au compromis central des politiques génératives en robotique : la précision des gestes exige généralement de nombreuses étapes de débruitage, incompatibles avec les boucles de contrôle temps réel exigées par la manipulation fine. En conservant un modèle unique et en évitant la distillation, qui dégrade souvent la précision ou la généralisation, HybridFlow promet une exécution quasi aussi fiable qu'une diffusion complète mais à une fraction du coût de calcul, sur du matériel embarqué contraint. Les auteurs démontrent aussi sa compatibilité comme module d'action au sein d'une architecture vision-langage-action, ce qui en fait un candidat pour accélérer l'inférence dans les grands modèles généralistes de contrôle robotique déployés sur des plateformes comme le Jetson. Le travail s'inscrit dans la lignée des politiques par diffusion et par flow-matching devenues dominantes pour l'apprentissage de la manipulation robotique, où le nombre d'étapes de sampling reste le principal frein au déploiement temps réel. Aucun acteur industriel ni produit commercial n'est associé à cette publication, qui reste une contribution de recherche académique publiée en préprint, sans date de déploiement ni partenaire annoncé.

RecherchePaper

1 source

3arXiv cs.RO

ManiCM : politique de diffusion 3D en temps réel via un modèle de cohérence pour la manipulation robotique

Des chercheurs ont mis en ligne une version actualisée (v4) de leur article ManiCM sur arXiv (2406.01586), présentant un modèle capable de générer des actions robotiques par diffusion en une seule étape d'inférence, contre plusieurs dizaines habituellement nécessaires. Le système applique une contrainte de cohérence (consistency model) au processus de diffusion dans l'espace des actions, conditionné par un nuage de points représentant la scène en 3D. Plutôt que de prédire le bruit à chaque étape de débruitage comme le font les modèles de diffusion classiques, une technique de distillation de cohérence entraîne le modèle à prédire directement l'échantillon d'action final depuis n'importe quel point de la trajectoire ODE. Évalué sur 31 tâches de manipulation issues des bancs d'essai Adroit et Metaworld, ManiCM affiche une vitesse d'inférence moyenne dix fois supérieure aux méthodes de diffusion 3D de référence, tout en conservant un taux de réussite comparable. Cette accélération répond à un frein connu des politiques de diffusion en robotique : leur puissance pour modéliser des distributions d'actions complexes se paie par des dizaines d'étapes de débruitage séquentielles, incompatibles avec un contrôle temps réel, surtout avec des observations 3D haute dimension comme les nuages de points. En ramenant l'inférence à une seule étape sans sacrifier significativement le taux de succès, ManiCM s'attaque à un vrai goulot d'étranglement pour tout intégrateur voulant faire tourner ces modèles sur du matériel embarqué à fréquence de contrôle élevée, plutôt que dans des démonstrations hors ligne. Les gains restent toutefois mesurés en simulation, sur des bancs d'essai standards mais artificiels, et non sur des bras ou mains robotiques physiques : l'écart classique entre performance simulée et robustesse en conditions réelles reste à vérifier. La méthode s'inscrit dans la lignée des politiques de diffusion 3D (3D Diffusion Policy, DP3) qui se sont imposées pour la manipulation dextre depuis 2023-2024, en reprenant les modèles de cohérence initialement conçus pour accélérer la génération d'images dans la communauté vision par ordinateur, ici adaptés à l'espace d'action de dimension bien plus faible pour une convergence rapide. Il s'agit d'une publication de recherche académique, sans annonce d'intégration commerciale ni de partenaire industriel à ce stade. Les suites attendues pour ce type de travaux sont généralement une validation sur robot physique et une comparaison face à d'autres approches génératives rapides, VLA ou politiques distillées, qui visent le même compromis entre expressivité et latence de contrôle.

RecherchePaper

1 source

4arXiv cs.RO

AffordTrajDP : apprentissage dynamique de politiques visuomotrices guidées par affordance pour la manipulation robotique

Des chercheurs proposent AffordTrajDP, un nouveau framework d'apprentissage par imitation guidé par affordances pour la manipulation robotique, publié en préprint sur arXiv début août 2026. Contrairement aux approches classiques qui figent un point de contact statique entre l'effecteur et l'objet cible, ce système construit une trajectoire d'affordance dynamique : à partir d'une observation RGB-D, un point d'ancrage est propagé dans le temps en suivant la pose SE(3) de l'objet, ce qui donne une guidance cohérente tout au long du geste plutôt qu'une simple instruction figée en début de tâche. Sur le benchmark simulé ManiSkill3, la méthode atteint un taux de réussite moyen de 70,0 %, soit jusqu'à 17,8 points de mieux que les meilleures méthodes concurrentes. Des essais en conditions réelles ont été menés sur des bras robotiques Galaxea A1 et UR7e, sur six tâches de précision (empilement de cubes, prise de gobelet, insertion d'adaptateur, anneau sur tige, dépôt en bol, insertion USB), avec des tests sur objets vus et non vus pour le bras Galaxea A1. L'enjeu dépasse la simple performance chiffrée : les affordances statiques dérivent souvent après le contact initial, surtout dans les tâches de précision ou quand la position de l'objet varie légèrement, un problème classique de fossé entre démonstration en labo et robustesse en conditions réelles. En rendant la guidance sensible à l'état de l'objet plutôt qu'à un point fixe défini à l'avance, AffordTrajDP s'attaque directement à ce goulot d'étranglement, un signal pertinent pour les intégrateurs qui cherchent des politiques visuo-motrices capables de tolérer le désordre réel d'un poste de production ou d'entrepôt, plutôt que des démonstrations calibrées en environnement contrôlé. Le travail s'inscrit dans la lignée des méthodes d'apprentissage par imitation guidées par affordances, qui cherchent à compresser la perception visuelle en contraintes géométriques exploitables pour réduire les besoins en données d'entraînement. Les auteurs présentent des ablations pour isoler la contribution de chaque composant du système. À ce stade, il s'agit d'un résultat de recherche en préprint, non d'un produit commercial ni d'un déploiement industriel annoncé.

RecherchePaper

1 source