Aller au contenu principal
OASIS : alignement espace observation-action par prédiction de trajectoire SE(3) pour la manipulation robotiqueIllustration générée par IA
RecherchearXiv cs.RO 

OASIS : alignement espace observation-action par prédiction de trajectoire SE(3) pour la manipulation robotique

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs ont soumis sur arXiv (réf. 2505.25829) OASIS, un nouveau modèle de politique visuomotrice pour la manipulation robotique dont le nom complet est "Observation-Action Space Alignment via SE(3) Trajectory Prediction". L'architecture combine un encodeur de features 3D qui fusionne données visuelles, linguistiques et de profondeur métrique, avec un prédicteur de trajectoire dans le groupe SE(3), l'espace mathématique des rotations et translations rigides en trois dimensions. Ce prédicteur génère une trajectoire de l'effecteur terminal dans le référentiel caméra; ses états cachés, supervisés par pose, conditionnent ensuite un décodeur d'actions qui produit des blocs d'actions ("action chunks") géométriquement cohérents. Les auteurs rapportent des expériences en simulation et en conditions réelles sur des tâches de manipulation, surpassant les baselines VLA et WAM sur le taux de succès et la généralisation hors-distribution. Aucun chiffre absolu n'est fourni dans l'abstract, ce qui invite à attendre la lecture complète du papier avant toute conclusion quantitative.

Le problème visé est structurel dans les modèles VLA actuels : leurs représentations intermédiaires restent dans l'espace d'observation (pixels, tokens) alors que la manipulation exige une géométrie de corps rigide. Forcer le décodeur à récupérer cette géométrie implicitement introduit un biais que les auteurs considèrent coûteux en données et en robustesse. L'alignement explicite via SE(3) est une piste sérieuse, et l'amélioration annoncée sur la généralisation hors-distribution est la métrique la plus pertinente pour les intégrateurs industriels, pour qui re-collecter des données à chaque nouvelle variante de tâche est prohibitif. Si les résultats se confirment à la lecture complète, OASIS apporte un argument concret au débat sur la bonne inductive bias à injecter dans les VLA.

Le champ des VLA a été structuré ces dix-huit mois par Pi-0 (Physical Intelligence), OpenVLA, RoboVLMs, et plus récemment GR00T N2 de NVIDIA, tous cherchant à unifier compréhension linguistique et contrôle moteur fin. Les WAMs ont ajouté la prédiction d'états visuels futurs comme signal auxiliaire. OASIS s'inscrit dans ce second courant en changeant l'espace de prédiction : des pixels vers une trajectoire géométrique explicite en SE(3), un choix qui converge avec des travaux antérieurs comme SE(3)-DiffusionFields ou EquiBot. L'URL du projet (npuhandsome.github.io) suggère une affiliation avec la Northwestern Polytechnical University de Xi'an, laboratoire actif en robotique et apprentissage. Le papier est un preprint non encore évalué par les pairs; les démonstrations vidéo sur la page projet sont à interpréter avec la prudence habituelle avant tout déploiement applicatif.

À lire aussi

A³-VLA : alignement automatique de l'attention guidé par la perception pour la manipulation robotique
Illustration générée par IA
1arXiv cs.RO 

A³-VLA : alignement automatique de l'attention guidé par la perception pour la manipulation robotique

A³-VLA, un cadre d'entraînement décrit dans le preprint arXiv 2611.06447, vise à corriger un défaut connu des modèles Vision-Language-Action (VLA), ces systèmes qui s'appuient sur un modèle vision-langage pour convertir images et instructions textuelles en actions de manipulation. Les auteurs constatent que l'objectif de prédiction d'actions ne fournit aucune supervision perceptive fine propre à la tâche. Le modèle apprend alors des raccourcis visuels sans rapport avec la tâche, et son attention s'écarte des objets cibles et des zones d'interaction. A³-VLA génère d'abord, à partir des changements visuels provoqués par l'interaction, des régions candidates heuristiques pour les objets cibles et pour le robot. Un modèle de segmentation les affine ensuite hors ligne. Ces régions servent de guidage via deux pertes complémentaires.

RecherchePaper
1 source
Apprentissage de politiques de trajectoire multi-modales pour la manipulation robotique efficace en données
Illustration générée par IA
2arXiv cs.RO 

Apprentissage de politiques de trajectoire multi-modales pour la manipulation robotique efficace en données

Des chercheurs ont publié le 1er juin 2026 sur arXiv (2606.01047) MATE (Multi-Modal Trajectory Policies), un cadre de prédiction de trajectoires pour la manipulation robotique construit sur une architecture Mixture-of-Experts (MoE). MATE traite simultanément des entrées hétérogènes, observations visuelles, instructions en langage naturel et représentations de trajectoires, en introduisant un routeur cosinus cross-modal qui garantit une affectation stable entre experts spécialisés, indépendamment de l'échelle des représentations. Un mécanisme de routage à température contrôlée avec injection de bruit stochastique prévient l'effondrement prématuré des experts (expert collapse). Sur le benchmark LIBERO, MATE améliore le taux de succès moyen de 4,75% par rapport aux politiques guidées par trajectoires existantes, particulièrement dans des scénarios à faible volume de données d'entraînement.

RechercheOpinion
1 source
Latent Diffusion Policy : structurer les espaces latents pour la manipulation robotique par diffusion
Illustration générée par IA
3arXiv cs.RO 

Latent Diffusion Policy : structurer les espaces latents pour la manipulation robotique par diffusion

Une équipe de chercheurs propose dans un preprint arXiv publié en juin 2026 (réf. 2606.08657) une architecture baptisée Latent Diffusion Policy (LDP), conçue pour améliorer les politiques visuomotrices basées sur la diffusion appliquées à la manipulation robotique. LDP fonctionne en deux étapes : un encodeur CVAE (variational autoencoder conditionnel) conditionné par l'observation absorbe d'abord la compréhension de la scène, puis un modèle de flow matching génère les trajectoires dans cet espace latent pré-structuré. Pour gérer les dépendances temporelles entre tokens, les auteurs introduisent un entraînement par diffusion forcing par token et un schéma d'inférence en escalier (staircase inference sampling) pour corriger le décalage de distribution qui en résulte.

RechercheOpinion
1 source
FRAM : sélection de traits visuels guidée par la trajectoire pour manipulation robotique légère conditionnée au langage
Illustration générée par IA
4arXiv cs.RO 

FRAM : sélection de traits visuels guidée par la trajectoire pour manipulation robotique légère conditionnée au langage

Une équipe de recherche présente FRAM (Future Representation Action Model), un modèle vision-langage-action compact pour la manipulation robotique, dans une prépublication arXiv (2609.30965, fin septembre 2026). FRAM relie la trajectoire future de l'effecteur terminal à l'image courante : les coordonnées prédites servent de pointeurs spatiaux pour extraire les caractéristiques visuelles locales liées au mouvement. Les étiquettes de trajectoire sont générées automatiquement à partir des démonstrations et de la géométrie caméra, sans annotation manuelle. Avec 138,7 millions de paramètres, encodeur de langage figé compris, FRAM atteint 92,2 % de réussite moyenne sur les quatre suites LIBERO, contre 94,2 % pour Pi-0 de Physical Intelligence (3,3 milliards de paramètres, soit 24 fois plus), et 67,3 % sur LIBERO-Plus sans entraînement additionnel.

RechercheActu
1 source