RecherchearXiv cs.RO 22 septembre 2026

HybridFlow : une politique générative à 2 NFE pour la manipulation robotique en temps réel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs restés anonymes, dont l'identité est masquée le temps d'une évaluation en double aveugle, publient sur arXiv (2602.13718v2, version révisée) HybridFlow, une politique générative pour le contrôle robotique en temps réel. Le système ne nécessite que deux évaluations du réseau de neurones, contre les 16 étapes habituelles d'une politique par diffusion, grâce à un pipeline en trois temps : un "Global Jump" qui utilise la vitesse moyenne du cadre MeanFlow pour générer une trajectoire d'action grossière, une interpolation "ReNoise" sans paramètre qui construit un état intermédiaire à un instant de raffinement non nul, puis un "Local Refine" qui interroge la limite de vitesse instantanée du même réseau à cet instant, sans distillation ni modèle séparé. Sur des ablations contrôlées avec le benchmark RoboMimic, la méthode atteint 95% de réussite moyenne avec bruit réutilisé et 95,5% avec bruit frais, contre 78% pour une version MeanFlow à une seule étape. Sur cinq configurations de robots réels, toutes les politiques comparées tournant sur le même module embarqué Jetson AGX Thor de Nvidia, HybridFlow améliore la performance normalisée des tâches de 13 à 68 points par rapport à une Diffusion Policy à 16 étapes, avec une latence de génération d'action environ huit fois plus faible.

Ce résultat s'attaque directement au compromis central des politiques génératives en robotique : la précision des gestes exige généralement de nombreuses étapes de débruitage, incompatibles avec les boucles de contrôle temps réel exigées par la manipulation fine. En conservant un modèle unique et en évitant la distillation, qui dégrade souvent la précision ou la généralisation, HybridFlow promet une exécution quasi aussi fiable qu'une diffusion complète mais à une fraction du coût de calcul, sur du matériel embarqué contraint. Les auteurs démontrent aussi sa compatibilité comme module d'action au sein d'une architecture vision-langage-action, ce qui en fait un candidat pour accélérer l'inférence dans les grands modèles généralistes de contrôle robotique déployés sur des plateformes comme le Jetson.

Le travail s'inscrit dans la lignée des politiques par diffusion et par flow-matching devenues dominantes pour l'apprentissage de la manipulation robotique, où le nombre d'étapes de sampling reste le principal frein au déploiement temps réel. Aucun acteur industriel ni produit commercial n'est associé à cette publication, qui reste une contribution de recherche académique publiée en préprint, sans date de déploiement ni partenaire annoncé.

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

ManiCM : politique de diffusion 3D en temps réel via un modèle de cohérence pour la manipulation robotique

Des chercheurs ont mis en ligne une version actualisée (v4) de leur article ManiCM sur arXiv (2406.01586), présentant un modèle capable de générer des actions robotiques par diffusion en une seule étape d'inférence, contre plusieurs dizaines habituellement nécessaires. Le système applique une contrainte de cohérence (consistency model) au processus de diffusion dans l'espace des actions, conditionné par un nuage de points représentant la scène en 3D. Plutôt que de prédire le bruit à chaque étape de débruitage comme le font les modèles de diffusion classiques, une technique de distillation de cohérence entraîne le modèle à prédire directement l'échantillon d'action final depuis n'importe quel point de la trajectoire ODE. Évalué sur 31 tâches de manipulation issues des bancs d'essai Adroit et Metaworld, ManiCM affiche une vitesse d'inférence moyenne dix fois supérieure aux méthodes de diffusion 3D de référence, tout en conservant un taux de réussite comparable. Cette accélération répond à un frein connu des politiques de diffusion en robotique : leur puissance pour modéliser des distributions d'actions complexes se paie par des dizaines d'étapes de débruitage séquentielles, incompatibles avec un contrôle temps réel, surtout avec des observations 3D haute dimension comme les nuages de points. En ramenant l'inférence à une seule étape sans sacrifier significativement le taux de succès, ManiCM s'attaque à un vrai goulot d'étranglement pour tout intégrateur voulant faire tourner ces modèles sur du matériel embarqué à fréquence de contrôle élevée, plutôt que dans des démonstrations hors ligne. Les gains restent toutefois mesurés en simulation, sur des bancs d'essai standards mais artificiels, et non sur des bras ou mains robotiques physiques : l'écart classique entre performance simulée et robustesse en conditions réelles reste à vérifier. La méthode s'inscrit dans la lignée des politiques de diffusion 3D (3D Diffusion Policy, DP3) qui se sont imposées pour la manipulation dextre depuis 2023-2024, en reprenant les modèles de cohérence initialement conçus pour accélérer la génération d'images dans la communauté vision par ordinateur, ici adaptés à l'espace d'action de dimension bien plus faible pour une convergence rapide. Il s'agit d'une publication de recherche académique, sans annonce d'intégration commerciale ni de partenaire industriel à ce stade. Les suites attendues pour ce type de travaux sont généralement une validation sur robot physique et une comparaison face à d'autres approches génératives rapides, VLA ou politiques distillées, qui visent le même compromis entre expressivité et latence de contrôle.

RecherchePaper

1 source

2arXiv cs.RO

RoboFlow4D : un modèle du monde de flux léger pour la manipulation robotique guidée par flux en temps réel

Des chercheurs ont publié le 22 mai 2026 sur arXiv (référence 2605.17522) les travaux autour de RoboFlow4D, un modèle de planification en flux 3D destiné à la manipulation robotique temps réel. L'approche repose sur ce que les auteurs appellent un "flow world model" : plutôt que d'empiler plusieurs sous-modèles spécialisés dans un pipeline modulaire classique, RoboFlow4D prédit directement des flux de mouvement 3D sur plusieurs trames temporelles à partir d'observations visuelles et d'instructions textuelles. Ce flux explicite sert de plan intermédiaire pour guider la génération d'actions motrices, bouclant ainsi un cycle perception-planification-exécution en une seule architecture de bout en bout. L'exécution repose sur une collaboration dite "slow-fast" entre le prédicteur de flux et le contrôleur d'action, visant à réduire la latence globale. Les résultats présentés couvrent des benchmarks en simulation et des expériences en environnement réel, avec des gains annoncés sur les taux de succès de manipulation et sur l'efficacité computationnelle, sans que les chiffres précis soient détaillés dans l'abstract. L'intérêt de cette direction de recherche réside dans la réduction de la charge de calcul associée aux pipelines VLA (Vision-Language-Action) contemporains. Les architectures modulaires dominantes, comme celles utilisées dans Pi-0 (Physical Intelligence) ou les variantes de GR00T N2 (NVIDIA), impliquent des inférences en cascade coûteuses qui limitent la réactivité en conditions industrielles. RoboFlow4D tente de consolider perception et planification dans un seul modèle léger, ce qui, si les performances se confirment à l'échelle, pourrait abaisser les exigences matérielles pour déployer des politiques de manipulation dextres sur des robots à ressources contraintes. Du côté du contexte compétitif, le domaine des planificateurs par flux optique 3D est actif depuis les travaux sur UniFlow et Flowbot3D, mais leur intégration dans des boucles temps réel reste un défi ouvert. RoboFlow4D se positionne comme une réponse légère à ces limitations. Il s'agit pour l'instant d'un preprint non évalué par les pairs, sans code ni modèle publiés, ce qui invite à la prudence avant tout benchmark indépendant. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks standardisés type RLBench ou LIBERO, et une comparaison directe avec les baselines modulaires qu'il prétend dépasser.

RechercheOpinion

1 source

3arXiv cs.RO

ElasticFlow : une politique à horizon temporel élastique pour la manipulation guidée par le langage

ElasticFlow est un cadre de politique robotique pour la manipulation guidée par le langage, présenté dans un preprint arXiv (2605.08799) publié en mai 2026. L'approche vise à résoudre le principal défaut des politiques de diffusion, dominantes en robotique incarnée depuis 2023: leur processus itératif de débruitage génère une latence incompatible avec le contrôle temps réel. ElasticFlow atteint une inférence en une seule évaluation réseau (1-NFE, Neural Function Evaluation) à environ 71 Hz, sans recourir à la distillation. La méthode est validée sur trois benchmarks standard: LIBERO, CALVIN et RoboTwin, où elle surpasse OpenVLA et Pi-0 (Physical Intelligence) sur des tâches à long horizon temporel. Le coeur de la contribution est double. D'une part, les auteurs reconstruisent la Mean Field Theory pour modéliser directement le champ de vitesse moyen, ce qui permet un mapping direct bruit-vers-action en une seule passe, sans sacrifier la cohérence physique des trajectoires. D'autre part, le mécanisme "Elastic Time Horizons" encode explicitement la granularité de contrôle afin d'aligner les instructions sémantiques en langage naturel avec les horizons d'exécution physique, adressant le Spectral Bias inherent aux réseaux neuronaux profonds. Si ces gains se confirment sur matériel réel, l'impact pour les intégrateurs est concret: des politiques VLA (Vision-Language-Action) déployables en temps réel sur des contrôleurs embarqués à ressources limitées, sans pipeline de distillation complexe à maintenir. Ce travail s'inscrit dans une compétition dense autour des architectures VLA: Pi-0 de Physical Intelligence, OpenVLA de Berkeley, RT-2 de Google DeepMind, ou encore les récents modèles de manipulation de Figure AI et 1X Technologies ont tous posé des jalons dans cette catégorie. Le backbone diffusion en robotique a été popularisé par Diffusion Policy (Chi et al., 2023), devenu une référence de facto. ElasticFlow cible précisément son goulot d'étranglement computationnel. Le papier reste un preprint non évalué par les pairs, et les expériences présentées reposent exclusivement sur des benchmarks simulés. Aucune validation sur plateforme matérielle réelle n'est annoncée, ce qui laisse entière la question du sim-to-real gap et nuance les affirmations de "cohérence physique" avancées par les auteurs.

RechercheOpinion

1 source

4arXiv cs.RO

D'une seule démonstration à une politique générale pour la manipulation avec contact

Une équipe de recherche publie sur arXiv (réf. 2605.17601, mai 2026) un framework d'apprentissage par démonstration capable de généraliser à partir d'un seul exemple sur des tâches de manipulation impliquant des contacts répétés avec l'environnement. Le système repose sur un pipeline en quatre étapes : abstraction de la démonstration en primitives de contraintes environnementales, exploration autonome pour lever les ambiguïtés, correction ciblée par un opérateur humain pour couvrir les variantes hors-distribution, et enfin récupération en ligne des détails géométriques via interaction compliante. Validé sur sept tâches réelles multi-étapes à contact riche, le framework atteint un taux de succès supérieur à 90 %. Aucune entreprise spécifique ni plateforme robotique n'est mentionnée dans le préprint, qui reste une contribution académique sans déploiement industriel annoncé. Le point central de l'approche est de représenter une tâche non pas comme une trajectoire à imiter, mais comme une séquence de contraintes environnementales à exploiter. Ce changement de paradigme permet au robot de distinguer la structure générale d'une tâche (types de contraintes, transitions entre elles) des détails spécifiques à une instance donnée (poses exactes, géométrie locale). Pour un intégrateur ou un décideur industriel, cela signifie qu'une seule démonstration suffit potentiellement là où les méthodes de behavior cloning classiques en réclament des centaines. Le résultat de 90 %+ sur des tâches à contact riche est notable car ce domaine concentre la majorité des échecs en manipulation robotique réelle, notamment à cause de la sensibilité aux variations de pose et aux dynamiques de contact non modélisées. L'apprentissage par démonstration est un champ très actif depuis une décennie, concurrencé récemment par les politiques de diffusion (Diffusion Policy, Pi-0 de Physical Intelligence), les architectures VLA (RT-2, GR00T N2 de NVIDIA) et les méthodes ACT (Action Chunking with Transformers). L'originalité revendiquée ici est de traiter les contraintes environnementales comme biais inductif plutôt que d'augmenter massivement les données d'entraînement ou la puissance du modèle. La limite principale reste l'absence d'évaluation sur des plateformes humanoïdes ou collaboratives standard, ce qui rend difficile la comparaison directe avec les benchmarks du secteur. Les suites naturelles seraient un passage à des environnements ouverts et une validation sur des robots commerciaux comme le Franka Research 3 ou les bras UR.

RecherchePaper

1 source