RecherchearXiv cs.RO 22 septembre 2026

Conditionnement centré sur l'objet pour le mise en correspondance de flux visuomoteur

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs en robotique proposent SlotFlow, une nouvelle politique de manipulation visuomotrice fondée sur le flow matching, détaillée dans un article publié sur arXiv (2609.24155v1). Le travail part d'une méthode récente appelée Action-to-Action (A2A) flow matching, qui accélère l'inférence en initialisant la génération de trajectoires à partir d'actions passées plutôt que de bruit aléatoire pur, réduisant ainsi le nombre d'étapes nécessaires au calcul. Les auteurs identifient une faiblesse de cette approche: des schémas de mouvement historiques devenus obsolètes combinés à des représentations visuelles globales trop enchevêtrées dégradent la robustesse du robot face à des changements spatiaux inédits (out-of-distribution) et à des distracteurs visuels dans la scène. SlotFlow corrige cela en séparant l'observation de la scène en deux flux distincts: un flux sémantique ("quoi", l'identité des objets) et un flux spatial léger dans le plan image ("où", leur position). Des expériences en simulation et en conditions réelles montrent une robustesse accrue face aux distracteurs visuels et aux perturbations spatiales sévères, tout en conservant l'efficacité d'inférence à faible nombre d'étapes propre à A2A.

Pour les intégrateurs et les équipes qui développent des politiques de manipulation par apprentissage (VLA), cette étude touche directement à l'écart bien connu entre démonstration et déploiement réel: une politique qui excelle sur des scènes contrôlées échoue souvent dès qu'un objet est déplacé ou que l'arrière-plan change. SlotFlow suggère qu'une meilleure structuration de la perception, en dissociant explicitement identité et position des objets, peut compenser ce défaut sans nécessiter davantage de données d'entraînement ni de modèles plus lourds. Les ablations menées par les auteurs indiquent que l'ancrage sur les objets ("object-centric grounding") est la principale source des gains observés, mais qu'il complète les a priori de mouvement historiques d'A2A plutôt que de les remplacer, un signal utile pour les équipes qui cherchent à combiner rapidité d'inférence et généralisation.

Le flow matching s'est imposé ces dernières années comme une alternative aux modèles autorégressifs et de diffusion pour l'apprentissage de politiques robotiques, popularisé notamment par des familles de modèles comme Pi-0 ou GR00T N2. SlotFlow s'inscrit dans la lignée des représentations centrées objets (slot-based), appliquées ici spécifiquement à l'amélioration de l'A2A flow matching. Il s'agit à ce stade d'une contribution de recherche publiée sur arXiv, validée en simulation et par des expériences réelles limitées, sans annonce de partenariat industriel, de déploiement commercial ni de calendrier de transfert vers un produit.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

DiMaS : mise en correspondance des distributions pour piloter les modèles vision-langage-action

Des chercheurs présentent DiMaS (Distribution-Matching Steering), une méthode pour orienter finement le comportement des modèles vision-langage-action (VLA) bases sur le flow matching, sans reentrainement complet. Publie sur arXiv sous la référence 2607.14280, le travail s'attaque a un manque identifie dans le contrôle comportemental fin des robots: la capacité d'intervenir directement sur les représentations internes d'un modèle pour modifier la manière dont il execute une tache. Le "représentation steering" est un outil déjà bien établi en interpretabilite pour les grands modèles de langage et les modèles vision-langage, ou les traits comportementaux s'encodent généralement comme des directions linéaires dans l'espace latent. Les auteurs montrent que ces méthodes classiques échouent sur les VLA. DiMaS remplace le simple décalage le long d'une direction fixe par un transport entre distributions de représentations, et l'équipe démontre son efficacité sur deux VLA de pointe non nommes dans le résume. Elle etudie aussi la généralisation de la méthode a mesure que les taches d'apprentissage et d'évaluation divergent, en cartographiant ou le contrôle comportemental se transféré et ou il s'affaiblit. Code et résultats, avec des vidéos de démonstration, sont disponibles publiquement sur GitHub (pegah-kh/dimas) et sur une page projet dédiée. Pour les équipes qui développent ou intègrent des politiques robotiques génératives, cette avancée ouvre une piste de personnalisation fine et peu couteuse: ajuster un comportement (prudence, vitesse d'exécution, style de préhension) sans reentrainer le modèle complet. L'apport le plus significatif est cependant diagnostique. En montrant que les traits comportementaux de l'"action expert", le module qui génère les trajectoires du robot, sont linéairement decodables mais pas linéairement pilotables, l'étude remet en question une hypothèse importée telle quelle des LLM: qu'un concept identifiable linéairement peut aussi être manipule linéairement. Une nuance utile face a l'engouement actuel pour les VLA généralistes dans la lignée de Pi-0 ou GR00T N2, ou expliquer une décision robotique ne garantit pas la capacité a la corriger simplement. Ces travaux s'inscrivent dans la montée en puissance des politiques VLA a base de flow matching pour la manipulation, une famille de modèles qui a progressivement supplante des architectures de clonage comportemental plus rigides. Le champ de l'interpretabilite dont s'inspirent les auteurs est bien documente cote texte et vision, avec des méthodes de steering déjà utilisées pour orienter le ton ou la sécurité des grands modèles de langage; DiMaS transpose cette logique au domaine visuomoteur, ou elle n'avait pas encore été validée rigoureusement. Aucun acteur français ou européen de la robotique (Wandercraft, Pollen Robotics, Enchanted Tools) n'est implique: il s'agit d'un travail de recherche fondamentale, pas d'une annonce produit. Les auteurs annoncent vouloir étendre l'étude de généralisation a des taches encore plus éloignées, pour mieux cerner les limites du transfert comportemental entre contextes.

RecherchePaper

1 source

2arXiv cs.RO

Correspondance de flux action-à-action

Des chercheurs proposent dans un preprint arXiv (arXiv:2506.07322v2, mis à jour en 2026) une nouvelle architecture de politique robotique baptisée A2A (Action-to-Action Flow Matching), qui remplace le point de départ aléatoire habituel des modèles de diffusion par une initialisation ancrée dans l'action proprioceptive précédente du robot. Concrètement, au lieu de générer une trajectoire d'action à partir d'un bruit gaussien pur, A2A encode une séquence d'états proprioceptifs historiques (positions articulaires, vitesses, couples) dans un espace latent de haute dimension, et utilise ce vecteur comme point de départ du processus de flow matching. Le résultat le plus saillant : A2A produit des actions de haute qualité en une seule étape d'inférence, contre plusieurs dizaines d'étapes pour les politiques par diffusion standard, ce qui réduit drastiquement la latence au moment de l'exécution. Les auteurs rapportent également une meilleure robustesse aux perturbations visuelles (changements d'éclairage, objets parasites) et une généralisation supérieure à des configurations non vues durant l'entraînement. L'enjeu industriel est direct : la latence d'inférence est l'un des principaux verrous à l'adoption des politiques diffusion pour le contrôle temps-réel sur des manipulateurs ou des humanoïdes. Les architectures comme Diffusion Policy (Chi et al., 2023) ou Pi-0 de Physical Intelligence ont démontré une expressivité remarquable, mais leur coût computationnel par pas de contrôle reste prohibitif à haute fréquence. En ramenant l'inférence à un seul pas, A2A ouvre la voie à des boucles de contrôle plus rapides sans sacrifier la qualité des trajectoires, une contrainte particulièrement critique pour les tâches de manipulation dextre ou les robots mobiles en environnement dynamique. Le fait que la méthode tire parti de la continuité temporelle du mouvement, plutôt que de l'ignorer comme une condition statique, représente un changement de paradigme dans la modélisation des politiques robotiques. A2A s'inscrit dans la continuité des travaux sur le flow matching (Lipman et al., 2022), une alternative au processus de diffusion de Langevin qui permet des trajectoires plus droites dans l'espace latent et donc moins d'étapes d'intégration. Les politiques par diffusion pour la robotique ont émergé comme standard de facto entre 2023 et 2025, portées par des travaux comme ACT, Diffusion Policy et plus récemment GR00T N2 de NVIDIA ou Pi-0. A2A se positionne comme une optimisation d'inférence sur ce paradigme plutôt qu'une rupture architecturale. Les auteurs étendent également la méthode à la génération vidéo, suggérant une applicabilité au-delà du contrôle moteur pur. Le projet dispose d'un site public, mais aucun déploiement industriel ni partenariat n'est annoncé à ce stade : il s'agit d'une contribution académique à valider sur des benchmarks plus larges avant toute intégration en production.

RechercheOpinion

1 source

3arXiv cs.RO

Pré-entraînement contrastif action-image pour le contrôle visuomoteur

Des chercheurs ont publié CAIP (Contrastive Action-Image Pre-training), un encodeur visuel pour la robotique qui exploite 32 041 heures de vidéo égocentrique humaine, complétées par seulement 88 heures de données de manipulation robotique. Le principe central consiste à extraire les poses 3D des mains humaines depuis des vidéos filmées en vue subjective, et à les utiliser comme signal de substitution pour les actions d'effecteur terminal, un proxy qui s'aligne naturellement avec les espaces d'action des bras robotiques. Via un objectif d'apprentissage contrastif, CAIP apprend une représentation unifiée liant images et actions. Évalué sur deux mains dextres réelles (Dexmate Vega et Sharpa Wave), le modèle affiche des gains supérieurs à 30% sur des tâches de manipulation précise : pliage de tissu, versage de liquide, et manipulations en dextérité fine. Ce résultat touche directement un verrou bien connu dans la communauté : la pénurie de données robotiques étiquetées freine la pré-formation de grands encodeurs visuels, là où le NLP ou la vision généraliste disposent de milliards d'exemples. CAIP propose une voie de passage scalable sans collecter davantage de trajectoires robot, en exploitant la vidéo humaine disponible à l'échelle d'Internet comme source implicite de signaux d'action. En surpassant DINOv2, SigLIP, MVP et R3M sur des benchmarks en conditions réelles (et non en simulation), l'approche renforce l'hypothèse que le sim-to-real gap peut être partiellement contourné en ancrant la représentation visuelle dans des dynamiques d'action humaine, plutôt qu'en augmentant les données robot brutes. Ce travail s'inscrit dans un courant de recherche actif autour des politiques visuomotrices apprenant depuis la vidéo humaine. Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et les approches issues d'OpenVLA croisent des signaux similaires, bien que depuis des angles différents. CAIP se distingue en isolant le signal de pose 3D des mains comme modalité intermédiaire explicite, plutôt que d'ingérer du langage ou des représentations d'action latentes. Le code et les modèles ne sont pas encore publiés au moment de la soumission (arXiv:2606.17256, juin 2026). La prochaine étape naturelle serait de tester la généralisation à des morphologies robotiques plus variées et à des tâches bimanuelles, domaine où les pipelines VLA (Vision-Language-Action) peinent encore à démontrer une robustesse hors laboratoire.

RechercheOpinion

1 source

4arXiv cs.RO

NeurRAFT : planification de mouvement pour robots par mise en correspondance de flux au niveau des ancrages avec réglage de préférence sensible à la garde au sol

Une équipe de recherche décrit NeurRAFT, un système de planification de mouvement pour bras robotiques, publié le 26 août 2026 sur arXiv sous la référence 2608.24026v1. Le modèle génère des trajectoires à partir d'observations sensorielles brutes, en s'appuyant sur des points d'ancrage compacts plutôt que sur des séquences denses de points de passage, via du flow matching entraîné par une perte pondérée par le jacobien qui priorise l'impact de chaque ancre dans l'espace de la tâche. À l'inférence, deux étapes d'intégration suffisent à générer ces ancres, puis une interpolation en spline cubique restitue une trajectoire lisse et complète. Une phase de Direct Preference Optimization corrige ensuite les trajectoires trop proches des obstacles en orientant le planificateur vers des solutions plus dégagées, sans surcoût de calcul à l'exécution; testé sur un bras Franka Emika, le système transfère en conditions réelles ("zero-shot") sous une perception de profondeur bruitée et partiellement occultée, avec des vidéos publiées sur neurraft.github.io. Le travail cible un angle mort classique de l'apprentissage par imitation: entraîné sur des démonstrations positives, un planificateur ne distingue pas une trajectoire sûre d'une trajectoire frôlant la collision, si bien que des comportements dangereux subsistent au moment du test. En appliquant aux trajectoires une préférence directe, technique popularisée par l'alignement des grands modèles de langage, NeurRAFT corrige ce biais sans vérification de collision post-hoc ni surcoût à l'inférence, un atout pour les intégrateurs qui opèrent des bras robotiques en environnement encombré avec une perception souvent imparfaite. Le résultat nuance l'idée que les planificateurs neuronaux de bout en bout resteraient cantonnés à des conditions de simulation contrôlées, même si les auteurs ne fournissent, dans leur résumé, aucune comparaison chiffrée indépendante face aux méthodes géométriques classiques. NeurRAFT s'inscrit dans la lignée des planificateurs neuronaux de bout en bout, qui remplacent les pipelines géométriques classiques comme RRT ou les champs de distance signée par des politiques apprises, et dans la vague des modèles génératifs par flow matching déjà utilisés en robotique. L'article revendique des améliorations substantielles face à des planificateurs qualifiés d'état de l'art sans les nommer explicitement, une réserve à garder en tête avant de généraliser les chiffres annoncés. Il s'agit à ce stade d'une publication de recherche en preprint, non relue par les pairs et non d'un produit déployé: la validation se limite à un seul bras de laboratoire et à des vidéos choisies par les auteurs, sans calendrier annoncé de portage vers d'autres plateformes comme des manipulateurs mobiles ou des humanoïdes.

RecherchePaper

1 source