RecherchearXiv cs.RO 11 juin 2026

PLUME : modélisation probabiliste unifiée du monde et estimation de paramètres pour la manipulation multi-doigts

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente PLUME (Probabilistic Latent Unified World Modeling and Parameter Estimation), une architecture de modèle du monde conçue pour la manipulation dextre avec des mains multi-doigts. L'article, déposé sur arXiv en juin 2026, s'attaque à un obstacle bien documenté en robotique : les politiques entraînées en simulation échouent souvent en déploiement réel parce que des paramètres physiques clés, forme des objets, pose initiale, coefficients de friction, sont inconnus au moment de l'exécution. PLUME apprend conjointement un espace latent représentant plusieurs paramètres physiques hétérogènes et un modèle de dynamique conditionné sur ces paramètres, permettant une inférence en ligne sans ré-entraînement ni fine-tuning. Le système est évalué sur quatre tâches en simulation (vissage de tournevis, rotation de vanne, levage de seau, projection de disque) puis validé sur une tâche de vissage réelle en zéro-shot, surpassant les baselines de référence en apprentissage par renforcement offline et en imitation augmentée par modèle du monde.

Ce résultat conteste l'hypothèse que la randomisation de domaine suffit pour les tâches de précision. Visser un tournevis avec une friction faible ou élevée ne demande pas la même stratégie motrice : la politique doit changer qualitativement, pas simplement se robustifier. PLUME répond à cela via une mise à jour bayésienne de la croyance sur les paramètres au fil de l'exécution, fonctionnant comme un système d'adaptation en temps réel sans accès aux vrais paramètres. Le transfert zéro-shot sur hardware est le point fort concret de l'article, même si les conditions exactes du banc d'essai (matériau des objets, tolérances mécaniques de la main utilisée) ne sont pas précisées dans le résumé public, ce qui limite la reproductibilité immédiate.

La manipulation dextre multi-doigts reste un problème ouvert depuis plusieurs décennies, avec des tentatives notables chez OpenAI (Dactyl, arrêté en 2021) ou ETH Zurich. PLUME s'inscrit dans une tendance récente couplant modèles du monde et inférence de paramètres, approche complémentaire aux VLA (Vision-Language-Action models) mais plus ciblée sur l'incertitude physique. Les travaux concurrents les plus proches incluent DreamerV3, TD-MPC2 et des méthodes d'inférence contextuelle comme PEARL. La prochaine étape naturelle serait l'extension à des tâches bi-manuelles ou impliquant des objets déformables, domaines où l'incertitude sur les paramètres est encore plus sévère.

Dans nos dossiers

World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

Modèles du monde pour la manipulation robotique

Des chercheurs ont publié en juin 2026 sur arXiv (2606.24742) un modèle généraliste de valeur pour la manipulation robotique, le WVM (World Value Model). La proposition centrale consiste à substituer les backbones VLM (Vision-Language Model) habituellement utilisés par un modèle de monde, nativement mieux adapté à la modélisation temporelle nécessaire pour évaluer la progression d'une tâche. Sur les benchmarks standards, WVM atteint les meilleures performances connues en Value-Order Correlation (VOC), la métrique de référence pour les modèles de valeur robotiques. L'équipe introduit également Suboptimal-Value-Bench, un benchmark multi-embodiment composé de 800 trajectoires sous-optimales annotées frame par frame par des humains, comblant un angle mort des évaluations existantes qui ne contenaient que des données expertes. L'enjeu est directement opérationnel pour quiconque entraîne des systèmes de manipulation à grande échelle : les données collectées en conditions réelles sont rarement uniformément expertes. Un modèle de valeur précis permet de pondérer ou filtrer ces trajectoires hétérogènes, améliorant la qualité de l'entraînement sans nettoyage manuel coûteux. WVM démontre des gains de performance sur plusieurs approches d'extraction de politique, en simulation comme en déploiement réel, ce qui renforce la thèse que l'estimation de valeur est un composant orthogonal et complémentaire au choix d'architecture de politique. La robustesse maintenue sur données sous-optimales est l'aspect le plus significatif : c'est précisément dans ce régime que les VLMs classiques décrochent, leurs préentraînements sur observations visuelles statiques ne suffisant pas à capturer les dynamiques temporelles longues. La montée en puissance des VLA comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA a rendu critique la question de la qualité des données d'entraînement à grande échelle. L'approche WVM s'inscrit dans une tendance émergente qui consiste à spécialiser les composants : un backbone temporel dédié pour l'évaluation de la valeur, distinct du modèle d'action. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans cet article purement académique. Les prochaines étapes naturelles incluent l'intégration du WVM dans des pipelines d'imitation à grande échelle ou en combinaison avec du reinforcement learning offline (IQL, CQL), et une extension à des environnements multi-tâches plus complexes.

RechercheOpinion

1 source

2arXiv cs.RO

Téléopération bilatérale du corps entier avec estimation multi-étapes des paramètres d'objets pour la locomanipulation humanoïde à roues

Un article mis à jour sur arXiv (référence 2508.09846, version 2) décrit un système de téléopération bilatérale corps entier pour un robot humanoïde à roues effectuant des tâches de manipulation en mouvement. L'apport technique central est un module d'estimation en ligne, en plusieurs étapes, des paramètres inertiels de l'objet saisi (masse, centre de masse, inertie). Le pipeline enchaîne un estimateur de taille par vision, une estimation initiale générée par un grand modèle vision-langage (VLM), puis un raffinement par échantillonnage hiérarchique découplé en plusieurs hypothèses, conçu pour limiter l'impact d'une erreur du VLM. Ce module tourne en parallèle d'une simulation haute-fidélité et du matériel réel, avec mise à jour en temps réel du point d'équilibre du robot. Les auteurs valident l'approche sur un prototype maison équipé d'une pince robotique et d'une interface homme-machine, démontrant en temps réel des tâches de levage, transport et dépose d'une charge représentant environ un tiers du poids corporel du robot. Pour l'industrie robotique, ce travail cible un verrou concret de la téléopération à retour haptique : sans connaissance des propriétés physiques de l'objet manipulé, le retour de force transmis à l'opérateur reste imprécis, ce qui brise la dynamique du contrôle corps entier. Combiner vision et VLM pour réduire l'espace de recherche avant d'affiner par échantillonnage accélérerait, selon les auteurs, l'estimation par rapport à des méthodes purement stochastiques ; l'abstract ne fournit toutefois aucun temps de cycle chiffré ni comparaison directe, ce qui invite à la prudence sur l'ampleur réelle du gain. L'intérêt pour les intégrateurs est de voir les VLM utilisés non pas pour générer des politiques d'action autonomes à la manière des approches VLA, mais comme prior physique exploitable en téléopération, une piste intermédiaire entre autonomie complète et contrôle humain pur. Cette publication s'inscrit dans la recherche sur la téléopération bilatérale de robots humanoïdes, où l'estimation dynamique des objets manipulés reste un problème ouvert. Elle se distingue des approches commerciales dominantes de robots humanoïdes bipèdes visant l'autonomie complète via des modèles VLA génératifs, en misant plutôt sur une plateforme à roues pilotée par un opérateur humain en boucle, un choix qui privilégie stabilité et charge utile relative. L'article ne précise ni institution porteuse ni calendrier de commercialisation : il s'agit d'une démonstration de faisabilité en laboratoire, sans pilote industriel ni partenaire annoncé à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

RoboInter1.5 : une suite de représentations intermédiaires holistiques pour la modélisation du monde incarné et la manipulation robotique

Les chercheurs à l'origine du projet RoboInter publient RoboInter1.5, une suite de données et de modèles conçue pour standardiser les représentations intermédiaires utilisées dans la robotique manipulatrice, selon un article déposé sur arXiv (arXiv:2607.18709v1) le 24 juillet 2026. Ce travail prolonge une version antérieure, RoboInter1.0. Le cœur du système, RoboInter-Data, rassemble plus de 230 000 épisodes de manipulation répartis sur 571 scènes, chacun annoté image par image selon plus de dix types de représentations intermédiaires : sous-tâches, compétences élémentaires, ancrage des objets et du gripper, segmentation, cartes d'affordance, poses de préhension, points de contact et trajectoires de mouvement. Sur cette base, RoboInter-VQA introduit des tâches de question-réponse spatiales et temporelles pour évaluer et entraîner un modèle vision-langage dédié, RoboInter-VLM. RoboInter-VLA étudie ensuite comment ces représentations améliorent l'exécution d'actions, via trois approches distinctes : implicite, explicite, et modulaire en plan-puis-exécution. Enfin, RoboInter-World exploite ces mêmes annotations comme signaux de conditionnement pour prédire l'évolution future d'un environnement. L'enjeu dépasse la simple publication d'un jeu de données. Les modèles vision-langage-action (VLA) actuels, qu'il s'agisse de Pi-0, de GR00T N2 ou de Helix, souffrent d'un manque de données annotées finement et généralisables au-delà d'un robot ou d'un environnement précis, ce qui freine leur passage à l'échelle industrielle. En proposant une structure unifiée de représentations intermédiaires plutôt qu'un simple signal interprétable en sortie de modèle, RoboInter1.5 vise à combler l'écart entre démonstration en laboratoire et déploiement réel : ces annotations serviraient à la fois à contraindre les espaces d'action de bas niveau et à limiter les dérives des simulateurs physiques en monde ouvert, deux points de friction identifiés dans la course actuelle à l'IA embarquée pour la robotique. Le projet s'inscrit dans une tendance de recherche qui cherche à mutualiser les coûts de collecte de données robotiques, historiquement chers et spécifiques à chaque plateforme matérielle. En documentant explicitement l'ensemble des sous-composants (Data, VQA, VLM, VLA, World) et en publiant des benchmarks associés, les auteurs positionnent RoboInter1.5 comme une infrastructure de référence potentielle plutôt qu'un modèle isolé, ouvrant la voie à des comparaisons systématiques avec d'autres approches de représentations intermédiaires pour la manipulation.

RecherchePaper

1 source

4arXiv cs.RO

Champs de vitesse robotiques modélisés en flux de probabilité pour la manipulation d'objets

Une équipe de chercheurs a publié sur arXiv (réf. 2606.23090v2) un framework appelé Flow as Flow pour la manipulation d'objets en robotique. La méthode modélise les flux robotiques (champs de vitesse des robots) comme des flux de probabilité via une formulation de flow matching. Là où les approches précédentes représentaient les mouvements par des déplacements de keypoints épars, Flow as Flow génère des champs de vitesse denses, mieux alignés avec la nature continue du mouvement dans le temps. Sur les benchmarks standards, la méthode surpasse les baselines sur les métriques habituelles et atteint une vitesse de génération environ 33 fois supérieure. En conditions réelles, 9 méthodes ont été comparées sur 260 essais chacune et 13 tâches de manipulation distinctes: Flow as Flow affiche un taux de succès moyen supérieur à tous les systèmes testés. Ce gain de 33x à la génération a une portée concrète: dans un système robotique opérant en temps réel, la latence de planification de trajectoire conditionne directement la réactivité et la sécurité du bras. Sur le plan architectural, le travail s'inscrit dans la dynamique des modèles de fondation cross-embodiment, entraînés sur des données hétérogènes issues de plusieurs morphologies de robots. Utiliser les champs de vitesse comme représentation agnostique du corps permettrait de mutualiser des jeux de données entre humanoïdes, bras industriels et manipulateurs mobiles sans recoder les politiques de contrôle. L'approche adresse aussi un angle mort fréquent des VLA actuels: la cohérence temporelle des trajectoires générées, souvent dégradée par l'interpolation entre keypoints discrets. Le flow matching est une technique issue des modèles génératifs popularisée à partir de 2022-2023, et son import en robotique s'accélère. Dans la course aux politiques de manipulation généralisables, pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et des variantes comme OpenVLA font déjà référence. Flow as Flow ne propose pas une architecture complète rivale mais une représentation du mouvement alternative, potentiellement intégrable dans ces pipelines existants. La solidité du corpus expérimental mérite d'être soulignée: 260 essais par méthode sur 13 tâches représente une couverture inhabituelle pour une publication académique en manipulation, ce qui limite le risque de cherry-picking sur des démonstrations sélectionnées. L'étape suivante logique serait l'intégration dans des jeux de données cross-embodiment à grande échelle comme Open X-Embodiment ou DROID, pour tester la montée en généralisation sur des robots hétérogènes.

RechercheOpinion

1 source