RecherchearXiv cs.RO 18 septembre 2026

Apprentissage de l'anticipation sans trajectoires explicites pour les politiques de diffusion 3D

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un preprint publié sur arXiv en septembre 2026 (2609.20669) présente Movement Trend Guidance (MTG), une méthode qui améliore les politiques de diffusion 3D en manipulation robotique. Construite au-dessus du modèle de référence DP3 (3D Diffusion Policy), elle n'ajoute que 3,52% de paramètres supplémentaires. À partir d'un court historique d'observations, le système apprend une représentation latente compacte de l'évolution de l'interaction, supervisée à l'entraînement par des états futurs épars du gripper; à l'inférence, seul ce latent sert de signal de conditionnement, injecté via une branche FiLM ajoutée au goulot d'étranglement du réseau UNet. Les gains face à DP3 sont nets sur trois bancs d'essai: 62,8% contre 56,1% en entraînement mixte sur 50 tâches de RoboTwin2.0, 71,93% contre 37,08% sur LIBERO-40, et 72,0% contre 49,0% sur cinq tâches évaluées en conditions réelles, sur le benchmark DexArt.

L'enjeu dépasse le score brut. Les politiques de diffusion génèrent des mouvements géométriquement plausibles à partir de l'observation présente, mais laissaient jusqu'ici l'anticipation de la suite de l'interaction émerger implicitement de l'apprentissage de l'action seule. MTG rend cette anticipation explicite sans imposer de trajectoire planifiée, une alternative légère aux modèles du monde ou à la prédiction de trajectoire explicite, plus coûteux en calcul. Pour les intégrateurs et les équipes de recherche, le signal clé est que ce gain de robustesse, dont un quasi-doublement du taux de réussite sur LIBERO-40, s'obtient pour un surcoût d'architecture marginal, ce qui facilite une adoption dans des piles déjà basées sur DP3. Le travail reste toutefois un résultat de preprint non relu par les pairs, évalué selon le protocole propre des auteurs; l'écart entre benchmark et déploiement industriel réel reste à confirmer à plus grande échelle.

DP3 combine diffusion générative et observations en nuages de points 3D pour l'apprentissage par imitation de tâches de manipulation. RoboTwin2.0, LIBERO-40 et DexArt sont des bancs d'essai standards du secteur pour comparer les politiques de manipulation, en simulation et, pour partie, en conditions réelles. MTG s'inscrit dans une recherche plus large, menée en parallèle des grands modèles vision-langage-action comme Pi-0, GR00T N2 ou Helix, qui cherchent tous à doter les politiques robotiques d'une meilleure anticipation à long horizon sans planification de trajectoire coûteuse. Aucun acteur commercial français ou européen n'est associé à ces travaux, qui restent une contribution académique; ni date de publication du code ni pilote industriel ne sont mentionnés, la suite logique étant une revue par les pairs puis une éventuelle intégration dans des piles VLA commerciales existantes.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Dynamique de contact différentiable pour la locomotion à pattes : apprentissage de politiques et optimisation de trajectoire à contact implicite

Des chercheurs publient sur arXiv (2610.35852, première version) une méthode de gradient analytique lisse pour le contact frottant. Ils l'appliquent à l'apprentissage de politiques et à l'optimisation de trajectoire à contact implicite pour la locomotion à pattes. Le point de départ est que la sensibilité exacte du contact existe en forme close, mais qu'elle ne décrit que les variations à l'intérieur du mode de contact courant (séparation, adhérence ou glissement). Elle ne donne donc aucune information de premier ordre vers les modes voisins. Le gradient proposé ne remplace cette sensibilité que dans la passe arrière. Le solveur de contact dur de la passe avant reste inchangé, et la trajectoire simulée reste donc réalisable. Concrètement, le problème de complémentarité à cône du second ordre avec correction de de Saxcé, qui modélise le frottement de Coulomb, est relaxé le long du chemin central. La sensibilité est évaluée par une itération de Newton initialisée à la solution dure. Elle reste continue aux transitions de mode et converge vers la sensibilité exacte quand la relaxation disparaît. Avec 100 000 échantillons et moins de 2 minutes d'entraînement sur un PC de bureau, la politique obtenue est transférée au robot sans réglage fin. Au trot, le robot encaisse des poussées et franchit des débris et un sol glissant. En optimisation de trajectoire, la méthode atteint des solutions riches en contacts que les gradients exacts et les gradients de Signorini relaxés manquent. L'intérêt tient au coût d'apprentissage. Quelques minutes sur une machine de bureau contrastent avec les campagnes de RL massivement parallèle sur GPU, ce qui suggère que les simulateurs différentiables pourraient redevenir compétitifs en efficacité d'échantillons. La prudence s'impose toutefois. Le résumé ne nomme pas le robot, ne donne ni taux de réussite ni comparaison chiffrée avec PPO, et les essais matériels sont décrits qualitativement. Il s'agit d'un préprint non relu par les pairs, sur locomotion à pattes, sans démonstration humanoïde ni manipulation. Ce travail s'inscrit dans la lignée des simulateurs différentiables (Brax, MuJoCo MJX, Dojo, Warp) et du lissage du contact, dont le problème central est que les gradients exacts sont nuls ou non informatifs aux changements de mode. Il se positionne face au RL sans gradient popularisé par Isaac Gym et Legged Gym, qui domine aujourd'hui le transfert sim-to-real des quadrupèdes et des humanoïdes. Aucun acteur européen n'est cité dans le résumé. La suite logique, que les auteurs n'annoncent pas, serait de tester la méthode sur des bipèdes et des tâches de manipulation, plus exigeants en contacts. Le code et les vidéos sont annoncés sur la page projet diffcontact.github.io.

RecherchePaper

1 source

2arXiv cs.RO

Apprentissage en ligne auto-supervisé pour la co-adaptation dans les politiques de diffusion hiérarchiques

Des chercheurs proposent ORCHID, un cadre d'auto-entraînement présenté sur arXiv (2603.05291) qui s'attaque à un problème structurel de la manipulation robotique longue durée : la désynchronisation entre planificateur haut niveau et contrôleur bas niveau au sein des politiques hiérarchiques. Dans ces architectures, un planificateur décompose une instruction en langage naturel en sous-objectifs intermédiaires, que le contrôleur exécute physiquement. La difficulté est que les deux modules, entraînés séparément, opèrent sur des distributions de sous-objectifs incompatibles. ORCHID corrige cela en ligne : le système génère des trajectoires, les filtre selon le feedback de l'environnement (réussite ou échec de la tâche complète), puis distille les trajectoires conjointement réussies dans les deux modules via apprentissage supervisé. Il en résulte une co-adaptation bidirectionnelle : le planificateur ancre ses sous-objectifs dans les capacités réelles du contrôleur, tandis que le contrôleur se spécialise dans les structures de trajectoire que produit le planificateur. Sur le benchmark CALVIN, référence pour la manipulation séquentielle guidée par le langage, un modèle léger entraîné avec ORCHID surpasse les méthodes purement offline, y compris un modèle Vision-Language-Action (VLA) deux fois plus grand en paramètres. L'impact est notable sur deux points. En termes d'efficacité paramétrique, qu'un modèle léger dépasse un VLA deux fois plus lourd remet en question l'hypothèse courante que l'échelle seule suffit pour les tâches complexes. En termes de stabilité d'entraînement, combiner RL hiérarchique et modèles de diffusion est notoirement instable à cause de la propagation des gradients. ORCHID contourne ce problème en substituant la distillation supervisée sur échantillons filtrés au RL gradient classique, une voie potentiellement plus praticable dans les contextes industriels où la reproductibilité de l'entraînement est critique. Le mécanisme de co-adaptation proposé constitue un principe architectural plus général, transférable à d'autres familles de politiques hiérarchiques au-delà des modèles de diffusion. Le travail s'inscrit dans la dynamique actuelle autour des politiques de diffusion pour la robotique, portée par des frameworks comme Diffusion Policy (Chi et al., 2023) et π₀ de Physical Intelligence. ORCHID se distingue en ciblant non l'architecture mais la coordination inter-niveaux, un aspect souvent sous-traité par les approches VLA end-to-end qui fusionnent planification et contrôle dans un seul réseau. Le benchmark CALVIN, développé à l'Université de Freiburg, est la référence principale pour évaluer la généralisation en manipulation séquentielle sur des tâches à horizon long. Les prochaines étapes naturelles incluent une validation sur robots physiques et une extension à des horizons temporels plus longs, deux points que cet article n'aborde pas encore.

RechercheOpinion

1 source

3arXiv cs.RO

Apprentissage par imitation sans entraînement via des politiques de diffusion en forme close

Des chercheurs ont publié sur arXiv (réf. 2606.01238) une approche baptisée Closed-Form Diffusion Policies (CFDP), qui supprime entièrement la phase d'entraînement offline des politiques de diffusion pour l'apprentissage par imitation. Plutôt que d'entraîner un réseau de neurones pendant plusieurs heures, CFDP calcule analytiquement la fonction score directement à partir du jeu de démonstrations, en forme fermée. Résultat : une politique opérationnelle en quelques millisecondes, déployée et testée en temps réel sur un CPU mobile standard, sans GPU dédié. L'enjeu industriel est direct : dans le cycle données → politique → déploiement → nouvelles données, la phase d'entraînement constitue aujourd'hui le principal goulot d'étranglement. Pouvoir générer une politique compétitive à partir d'un dataset de démonstrations sans entraînement réduit ce délai de plusieurs heures à quelques millisecondes. Sur les benchmarks d'imitation learning testés, CFDP se montre compétitif face aux baselines neuronales classiques, qui nécessitent elles des heures de calcul. Cela remet en cause l'hypothèse selon laquelle la puissance expressive des politiques de diffusion est indissociable de leur coût computationnel. Pour les intégrateurs robotiques ou les équipes de recherche appliquée qui itèrent fréquemment sur leurs démos, ce type de pipeline sans entraînement change concrètement le rythme de développement. Les politiques de diffusion ont émergé comme référence en manipulation robotique ces deux dernières années, avec des travaux notables comme Diffusion Policy (Chi et al., 2023) ou Pi-0 (Physical Intelligence). Leur principal défaut reconnu reste précisément le coût d'entraînement et la rigidité vis-à-vis de nouvelles démonstrations. CFDP s'inscrit dans ce contexte comme un primitif composable : les auteurs montrent qu'il peut s'interfacer avec des politiques neuronales pré-entraînées existantes, permettant du policy guidance ou de l'augmentation de démonstrations à l'inférence. Aucun déploiement industriel ni partenariat applicatif n'est annoncé à ce stade ; il s'agit d'un preprint académique, dont les résultats restent à valider sur des tâches plus complexes et des robots à dextérité élevée.

RechercheOpinion

1 source

4arXiv cs.RO

Apprentissage de politiques de trajectoire multi-modales pour la manipulation robotique efficace en données

Des chercheurs ont publié le 1er juin 2026 sur arXiv (2606.01047) MATE (Multi-Modal Trajectory Policies), un cadre de prédiction de trajectoires pour la manipulation robotique construit sur une architecture Mixture-of-Experts (MoE). MATE traite simultanément des entrées hétérogènes, observations visuelles, instructions en langage naturel et représentations de trajectoires, en introduisant un routeur cosinus cross-modal qui garantit une affectation stable entre experts spécialisés, indépendamment de l'échelle des représentations. Un mécanisme de routage à température contrôlée avec injection de bruit stochastique prévient l'effondrement prématuré des experts (expert collapse). Sur le benchmark LIBERO, MATE améliore le taux de succès moyen de 4,75% par rapport aux politiques guidées par trajectoires existantes, particulièrement dans des scénarios à faible volume de données d'entraînement. Des tests en conditions réelles sur un robot jouant au ping-pong complètent la validation expérimentale. Le problème ciblé est la "modality interference" : quand une politique transformer unique traite dans le même espace de paramètres des signaux aussi disparates que des images RGB, du texte et des coordonnées de trajectoire, les représentations se perturbent mutuellement et les performances chutent. C'est un goulot d'étranglement bien documenté dans le développement des VLAs (Vision-Language-Action models) : les données de démonstration de qualité coûtent cher à collecter en environnement industriel. En proposant un découplage fin au niveau sub-token par spécialisation d'experts, MATE réduit cette interférence sans nécessiter de données supplémentaires. Pour les équipes robotique opérant avec des budgets de téléopération limités, c'est un signal positif, bien que les gains absolus (+4,75%) restent modestes et mesurés sur un benchmark académique contrôlé. La manipulation robotique généraliste est sous forte compétition depuis l'émergence des architectures transformer dédiées à la robotique vers 2022-2023. Des travaux comme ACT, Diffusion Policy, puis les VLAs OpenVLA (Berkeley/Stanford), pi0 de Physical Intelligence et GR00T N2 de NVIDIA ont progressivement unifié vision, langage et action. L'approche MoE reste moins explorée en robotique qu'en LLMs (GPT-4, Mixtral, DeepSeek-MoE), et MATE tente d'en résoudre les instabilités de routage propres aux modalités hétérogènes. Le benchmark LIBERO, développé par des institutions académiques américaines, est devenu une référence standard pour évaluer la généralisation en manipulation. À ce stade, il n'y a pas de déploiement industriel ni de partenariat annoncé : MATE est une preuve de concept académique, avec validation réelle limitée à un robot de ping-pong.

RechercheOpinion

1 source