Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
HeteroGenManip : manipulation généralisable pour les interactions avec des objets hétérogènes
RecherchearXiv cs.RO19h

HeteroGenManip : manipulation généralisable pour les interactions avec des objets hétérogènes

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié en mai 2026 sur arXiv (identifiant 2605.10201) un framework baptisé HeteroGenManip, conçu pour améliorer la manipulation robotique d'objets hétérogènes, c'est-à-dire d'objets appartenant à des catégories morphologiques différentes. L'architecture repose sur deux modules distincts : un module de saisie guidé par correspondance structurelle (Foundation-Correspondence-Guided Grasp) qui localise le point de contact initial, et une politique de diffusion multi-modèles (Multi-Foundation-Model Diffusion Policy, MFMDP) qui planifie la trajectoire d'interaction selon la catégorie de l'objet détecté. Les résultats expérimentaux annoncés font état d'une amélioration moyenne de 31 % en simulation sur un panel large de types d'objets, et d'un gain de 36,7 % sur quatre tâches réelles impliquant des types d'interactions différents. Aucun détail sur les sites de déploiement industriel ou les partenaires terrain n'est mentionné dans la publication.

Ce travail s'attaque à un verrou bien identifié dans la manipulation robotique généraliste : les approches bout-en-bout (end-to-end) basées sur des modèles de fondation confondent la localisation du contact et la planification du mouvement, ce qui amplifie les erreurs sur les tâches longues (long-horizon tasks). En routant chaque objet vers un modèle spécialisé par catégorie via un mécanisme de double attention croisée (dual-stream cross-attention), HeteroGenManip tente de réconcilier généralisation inter-catégories et précision géométrique fine. Si les gains annoncés se confirment hors conditions de laboratoire, cela représente un argument sérieux contre l'hypothèse que les VLA (Vision-Language-Action models) end-to-end suffisent pour la diversité réelle du monde industriel.

La problématique de la manipulation hétérogène est au coeur des efforts de nombreux groupes de recherche, notamment autour des politiques de diffusion comme Pi-0 de Physical Intelligence ou des travaux sur GR00T N2 chez NVIDIA. HeteroGenManip se positionne comme une alternative structurée en pipeline, s'appuyant sur des priors géométriques plutôt que sur l'apprentissage massif de données de démonstration. La publication reste à ce stade un résultat académique sans annonce de transfert industriel ni de code public répertorié, ce qui invite à attendre une validation reproductible avant toute extrapolation sur les cas d'usage en intégration réelle.

Dans nos dossiers

NVIDIA GR00TPhysical Intelligence — π0Manipulation robotiquearXiv cs.RO

À lire aussi

AGILE : reconstruction des interactions main-objet à partir de vidéo par génération à base d'agents
1arXiv cs.RO 

AGILE : reconstruction des interactions main-objet à partir de vidéo par génération à base d'agents

Une équipe de chercheurs a présenté AGILE (arXiv:2602.04672v3), un framework de reconstruction d'interactions dynamiques main-objet à partir de vidéos monoculaires, ciblant deux applications majeures : la collecte de données pour la manipulation dextère en robotique et la création de jumeaux numériques pour la simulation et la réalité virtuelle. La méthode s'attaque à deux verrous techniques qui paralysent les approches existantes : d'une part, le rendu neuronal classique produit sous forte occultation des géométries fragmentées, inutilisables directement en simulation physique ; d'autre part, l'initialisation par Structure-from-Motion (SfM) est notoriellement fragile sur des vidéos captées en conditions réelles. AGILE bascule du paradigme de reconstruction vers ce que les auteurs appellent une "génération agentique" : un Vision-Language Model (VLM) pilote un modèle génératif pour synthétiser un mesh objet complet, fermé (watertight) et texturé haute fidélité, sans dépendre du contenu vidéo occulté. Une stratégie dite "anchor-and-track" initialise la pose de l'objet sur une unique frame d'interaction via un modèle fondation, puis propage cette pose temporellement en exploitant la similarité visuelle entre l'asset généré et les frames vidéo. Une optimisation finale dite contact-aware intègre des contraintes sémantiques, géométriques et de stabilité d'interaction pour garantir la plausibilité physique. Sur les benchmarks HO3D, DexYCB et ARCTIC, AGILE surpasse les baselines en précision géométrique globale. L'intérêt industriel de cette approche réside dans la production d'assets directement exploitables en simulation, une propriété validée par les auteurs via du retargeting real-to-sim pour des applications robotiques. C'est précisément le point de friction qui freinait l'adoption des pipelines de reconstruction vidéo dans les boucles d'entraînement de politiques de manipulation : les meshes obtenus par NeRF ou reconstruction multi-vues classique nécessitaient un travail de remaillage manuel avant d'être injectables dans un moteur physique comme MuJoCo ou Isaac Sim. En contournant le SfM, AGILE devient également utilisable sur des données de terrain non contrôlées, ce qui ouvre la voie à la collecte passive de démos humaines à grande échelle, un prérequis pour les approches VLA (Vision-Language-Action) qui peinent encore à obtenir suffisamment de trajectoires dextères annotées. Le problème de la reconstruction main-objet est étudié depuis plusieurs années, avec des datasets de référence comme HO-3D (2020) et DexYCB (2021), et des méthodes basées sur les modèles paramétriques MANO pour la main. L'originalité d'AGILE est de déporter la reconstruction de l'objet vers une génération guidée, plutôt que de l'estimer directement depuis le signal vidéo dégradé. Les concurrents directs sont les méthodes NeRF-based adaptées aux scènes dynamiques (D-NeRF, HO-NeRF) et les pipelines SfM+MVS classiques, tous sensibles aux occultations. Du côté des acteurs industriels, cette direction intéresse directement les équipes travaillant sur la télé-opération et l'imitation learning pour bras robotiques dextères, notamment chez Dexterous Robotics, Physical Intelligence (Pi) ou les labos académiques proches de Figure et Apptronik. Le projet dispose d'une page dédiée (agile-hoi.github.io) ; aucun code ni dataset supplémentaire n'est annoncé à ce stade.

RecherchePaper
1 source
Organisation robotique de bureau : une approche multi-primitive pour manipuler des objets hétérogènes via les contraintes environnementales
2arXiv cs.RO 

Organisation robotique de bureau : une approche multi-primitive pour manipuler des objets hétérogènes via les contraintes environnementales

Une équipe de recherche a déposé sur arXiv (référence 2605.02135, mai 2025) un framework de manipulation pour robots de service dédié à l'organisation de bureaux, capable de traiter simultanément des objets rigides et déformables posés à plat sur une surface. Le système repose sur trois primitives de manipulation exploitant l'environnement physique : un saisissement par contact direct pour les petits objets, un push-grasp assisté par le bord de la table pour les objets rigides plans, et un geste de levering (soulèvement par effet de levier) pour les objets déformables plans comme des feuilles de papier ou des pochettes. Un pipeline de perception géométrique, entraîné sur des datasets augmentés d'objets de bureau peu courants, assure l'estimation de pose et la détection des contraintes physiques disponibles, notamment les arêtes de table. Un planificateur de tâches orchestre ces primitives pour des séquences multi-objets incluant collecte et empilement. Les expériences en conditions réelles démontrent la robustesse de l'approche, et le code source ainsi que les vidéos sont publiés en accès libre. L'intérêt principal de ce travail est l'exploitation systématique des contraintes environnementales comme ressource de manipulation plutôt que comme obstacle, une inversion de perspective qui améliore la robustesse sans nécessiter de hardware dédié tel que ventouses ou pinces spécialisées. La gestion des objets déformables, longtemps considérée comme un verrou pour les robots de service, est ici abordée sans apprentissage end-to-end, ce qui favorise la traçabilité et le débogage en contexte d'intégration industrielle. Pour un intégrateur ou un COO logistique, ce type de framework à primitives explicites est plus directement industrialisable que les approches VLA (Vision-Language-Action) dont la robustesse en déploiement réel à grande échelle reste discutée dans la littérature. Ce travail s'inscrit dans le courant du task-and-motion planning (TAMP), qui cherche à combiner la robustesse des primitives classiques avec la flexibilité perceptive nécessaire aux environnements non structurés, en alternative aux méthodes d'imitation ou de reinforcement learning pur. Il se positionne sans atteindre encore leur généralisabilité sur de larges catalogues d'objets, ce qui constitue la limite principale de l'approche. Les acteurs actifs sur la manipulation fine de bureau incluent Google DeepMind avec ses travaux RT-2 et π0, Physical Intelligence, et côté académique des labos comme ETH Zurich ou CMU ; aucun acteur francophone ou européen n'est directement impliqué dans ce papier. Les suites naturelles seraient d'étendre ces primitives à des objets tridimensionnels non plans et d'évaluer le passage à l'échelle sur des manipulateurs commerciaux comme le Kinova Gen3 ou le Franka Research 3.

RecherchePaper
1 source
AnyPos : des actions automatisées indépendantes de la tâche pour la manipulation bimanuele
3arXiv cs.RO 

AnyPos : des actions automatisées indépendantes de la tâche pour la manipulation bimanuele

Une équipe de chercheurs a publié sur arXiv (référence 2507.12768) AnyPos, un pipeline d'apprentissage automatisé conçu pour la manipulation bimane généraliste. Le système repose sur un principe de modélisation dite "task-agnostic" : au lieu d'entraîner le robot sur des trajectoires liées à des tâches précises, AnyPos génère à grande échelle des paires image-action indépendantes couvrant l'ensemble de l'espace de travail atteignable. Ces données alimentent un apprentissage par dynamique inverse, combinant un décodeur directionnel et une séparation explicite entre les mouvements du bras et de l'effecteur terminal, pour stabiliser les prédictions en dehors de la distribution d'entraînement. Testée sur cinq tâches domestiques (actionner un micro-ondes, griller du pain, plier des vêtements, arroser des plantes, frotter des assiettes), l'approche améliore les taux de réussite de 30 à 40% par rapport aux baselines de référence, avec un gain de 51% en précision sur les évaluations test. Ce résultat pointe un problème structurel du secteur : la rareté des données de manipulation robotique et leur entanglement avec une plateforme ou une tâche spécifique. La plupart des politiques visuomotrices actuelles, qu'il s'agisse de VLA (vision-language-action models) ou de diffusion policies, nécessitent des données séquentielles coûteuses à collecter et quasiment non transférables entre robots. En découplant la modélisation de l'embodiment de l'apprentissage de politique de haut niveau, AnyPos propose une réutilisation des données d'action cross-tâches et cross-plateformes, sans modèle physique explicite ni simulation intensive. L'argument est directement dirigé contre le "sim-to-real gap" : les représentations sont ici apprises depuis des données réelles générées automatiquement à grande échelle, contournant les biais de simulation. L'approche rejoint une tendance récente consistant à séparer embodiment modeling et politique de haut niveau, visible chez Physical Intelligence (modèle pi0), Figure AI ou 1X Technologies. Elle se distingue par son refus de la télé-opération intensive ou de la simulation massive, préférant une exploration automatisée du workspace réel. Le pipeline est conçu pour se coupler à des modèles de politique existants, le positionnant potentiellement comme une couche de préentraînement réutilisable et échangeable. L'article ne mentionne ni déploiement industriel, ni partenariat commercial : AnyPos reste à ce stade une contribution de recherche académique, sans timeline de mise en production annoncée.

RechercheOpinion
1 source
Filtre de sécurité en ligne pour la manipulation d'objets déformables avec des opérateurs neuronaux sans horizon fixe
4arXiv cs.RO 

Filtre de sécurité en ligne pour la manipulation d'objets déformables avec des opérateurs neuronaux sans horizon fixe

Des chercheurs ont publié le 1er mai 2026 sur arXiv (arXiv:2605.01069) un filtre de sécurité en ligne pour la manipulation robotique d'objets déformables, fluides, textiles, matières souples. La méthode repose sur deux composants : un opérateur neuronal "horizon-agnostique" qui apprend la dynamique aux équations aux dérivées partielles (PDEs) de ces matériaux à partir de leurs conditions aux limites, et une fonction de barrière de contrôle (Control Barrier Function, CBF) qui certifie la satisfaction des contraintes via un programme quadratique léger. Le filtre intercepte en temps réel la politique nominale de contrôle et la corrige à la marge pour éviter toute violation de contrainte, sans retraining requis quelle que soit la durée du rollout. Évalué sur des tâches de manipulation de fluides dans l'environnement de simulation FluidLab, le filtre améliore le taux de trajectoires sûres de jusqu'à 22 points de pourcentage par rapport aux politiques non filtrées, tout en réduisant le nombre de pas nécessaires pour atteindre l'ensemble sûr. L'enjeu central est la distinction entre sécurité indirecte et garantie certifiée. Les approches d'apprentissage existantes traitent la sécurité via le reward shaping, sans aucune garantie formelle de satisfaction des contraintes au déploiement. Ici, la contrainte de sécurité devient affine dans le taux d'entrée aux frontières, ce qui la rend calculable en temps réel. Pour les intégrateurs déployant des robots en contexte chimique, pharmaceutique ou agroalimentaire, la différence est réglementairement et commercialement substantielle : une politique "apprise à éviter le danger" n'est pas équivalente à une contrainte certifiée formellement. La capacité à généraliser à des longueurs de rollout variables sans retraining réduit également le coût d'adaptation à de nouvelles tâches. La manipulation d'objets déformables reste un angle mort de la robotique industrielle : leur état est continu et haute-dimension, régi par des PDEs complexes. Les opérateurs neuronaux, comme FNO ou DeepONet, ont émergé ces dernières années comme approximateurs de solutions d'EDPs, mais leur intégration dans des boucles de contrôle sûres reste rare. Les CBFs, bien établies pour les systèmes dynamiques à dimension finie, s'appliquent ici pour la première fois à des systèmes à dimension infinie. Ce preprint n'a pas encore été soumis à peer-review et les résultats sont exclusivement en simulation, sans validation sur hardware réel. Les approches concurrentes comme le safe RL (Constrained Policy Optimization, WCSAC) ou le MPC contraint ne sont pas directement comparées, ce qui laisse ouverte la question de positionnement dans l'état de l'art.

RecherchePaper
1 source