Aller au contenu principal
DiffDef : un modèle de diffusion pour générer des formes cibles multimodales de manipulation d'objets déformablesIllustration générée par IA
RecherchearXiv cs.RO 

DiffDef : un modèle de diffusion pour générer des formes cibles multimodales de manipulation d'objets déformables

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource uniqueImpact UE

La manipulation d'objets déformables par asservissement de forme (shape servoing) fait l'objet d'un nouveau système, DiffDef, décrit dans un preprint arXiv (2506.18779, version 2 remplaçant une première soumission). Ce réseau de neurones fonde sur un modèle de diffusion apprend une distribution de formes cibles plausibles plutôt que de prédire une unique configuration déterministe, ce qui évite l'effet de moyennage des modes typique des prédicteurs classiques. La méthode a été évaluée en simulation puis sur deux plateformes robotiques physiques : le da Vinci Research Kit (dVRK), plateforme de recherche en chirurgie robotique, et un système bimanual base sur des bras KUKA. Les taches testées s'inspirent de scenarios de fabrication industrielle et d'applications chirurgicales. Un site dédié (sites.google.com/view/diffdef) accompagne la publication.

La manipulation d'objets déformables (tissus, câbles, textiles, organes) reste l'un des problèmes les plus difficiles de la robotique, loin derrière la maturité atteinte sur les objets rigides. Les approches existantes d'asservissement de forme dépendent généralement de méthodes d'acquisition de la forme cible peu praticables en conditions réelles, ingénierie manuelle de connaissances métier ou démonstration physique par un opérateur, et supposent un objectif unique et déterministe. Or de nombreuses taches réelles admettent plusieurs formes cibles distinctes menant toutes a une réussite, un cas multimodal que les méthodes actuelles géraient mal. En montrant une amélioration mesurable des performances sur des plateformes chirurgicales et industrielles réelles, DiffDef fournit une preuve de concept que la modélisation probabiliste par diffusion peut combler cet écart, avec un intérêt direct pour les intégrateurs travaillant sur la chirurgie assistée par robot ou l'automatisation de taches textiles et de câblage en usine.

Ce travail s'inscrit dans une ligne de recherche académique sur l'asservissement de forme, domaine ou la génération de formes cibles a longtemps repose sur l'ingénierie manuelle plutôt que sur l'apprentissage automatique. Le choix des plateformes de validation, le dVRK largement utilise dans la communauté de recherche en chirurgie robotique, et un bras bimanual KUKA, marque allemande courante en robotique industrielle et de recherche, situe DiffDef comme un travail de validation croisée entre milieu médical et manufacturier plutôt que comme un produit commercial. Il s'agit a ce stade d'un résultat de recherche publie en preprint, sans annonce de déploiement industriel ni de partenariat commercial associe ; la suite logique pour la communauté robotique consistera a vérifier si l'approche généralisé a d'autres classes d'objets déformables et si le code sera rendu public au-delà du site web dédié a la publication.

Impact France/UE

Le systeme est valide sur une plateforme bimanuelle KUKA, entreprise allemande, ce qui interesse la communaute robotique industrielle europeenne sans deploiement ni partenariat commercial confirme.

Dans nos dossiers

À lire aussi

PointCast : un seul modèle du monde pour la manipulation d'objets rigides, articulés et déformables
Illustration générée par IA
1arXiv cs.RO 

PointCast : un seul modèle du monde pour la manipulation d'objets rigides, articulés et déformables

PointCast, un modèle du monde pour la manipulation robotique, est présente dans un article publie sur arXiv le 24 septembre 2026 (arXiv:2609.28393v1). Il represente une scene comme un nuage de points 3D sur l'objet manipule et sur l'effecteur du robot, sans maillage ni topologie fixe, chaque point gardant son identité le long de sa trajectoire. Le moteur est un transformeur de diffusion de 19,8 millions de paramètres qui debruite une courte fenêtre de positions futures, conditionnée par l'historique des points et le mouvement commande a l'effecteur. Une seule architecture et un seul entrainement couvrent quatre régimes, objets rigides, tissu, corde et meubles articules, chacun avec son point de contrôle propre. En simulation, compare a quatre références, il est meilleur sur trois régimes sur quatre; sur un jeu de téléopération réel, il obtient l'erreur la plus faible dans quatre catégories sur six et surpasse le modèle de référence du jeu de données dans les six. Couple a un controle predictif par modèle avec une seule évaluation réseau par fenêtre, il égale ou dépasse chaque référence sur quatre taches simulées totalisant 64 épisodes. L'intérêt tient a l'unification: un réseau léger de moins de 20 millions de paramètres traite rigide, articule et déformable, trois familles d'objets habituellement gérées par des représentations distinctes, maillages, squelettes ou particules. Pour les équipes de R&D en manipulation, cela indique qu'un modèle du monde générique peut remplacer des pipelines spécialisés et alimenter un controle predictif en quasi temps réel avec une seule passe réseau par fenêtre de planification. Les performances supérieures aux références en simulation comme sur données réelles, ainsi qu'une généralisation zero-shot partielle vers le réel, vont dans le sens d'un rapprochement entre simulation et monde réel, écart qui demeure le principal obstacle des méthodes de manipulation apprises. Le travail s'inscrit dans la lignée des modèles du monde appliques a la robotique, qui prédisent les conséquences d'une action avant exécution, ici via une représentation par points plutôt que par pixels ou maillage. Aucun acteur français ou européen n'est cite: il s'agit d'une contribution de recherche évaluée en simulation et sur un jeu de téléopération existant, sans déploiement industriel annonce. Le site du projet, pointcast-wm.github.io, met a disposition code et démonstrations pour une vérification indépendante des résultats.

RecherchePaper
1 source
DefFlow : manipulation d'objets déformables conditionnée par un but, via des flux de points 3D
Illustration générée par IA
2arXiv cs.RO 

DefFlow : manipulation d'objets déformables conditionnée par un but, via des flux de points 3D

DefFlow est un cadre d'apprentissage par démonstration pour la manipulation d'objets déformables conditionnée par un but, décrit dans un preprint arXiv (2610.22827v1). Au lieu de prédire uniquement la trajectoire du robot, le modèle prédit conjointement le flux de points 3D du robot et celui de l'objet déformable, en fonction de la configuration 3D cible. Les auteurs l'évaluent sur trois familles d'objets: la corde, les milieux granulaires et le tissu, avec des configurations initiales et cibles variées. Ils affirment qu'il surpasse nettement deux types de références, la prédiction directe d'actions conditionnée par le but et la prédiction du seul flux du robot, sur le taux de réussite et sur les métriques de distance au but. Une démonstration sur robot réel est également présentée, à partir de nuages de points réels et de configurations cibles jamais vues à l'entraînement. Le résumé ne donne ni chiffres de performance, ni nom de robot, ni nombre de démonstrations, et aucune entreprise n'est citée. L'intérêt tient à un verrou précis de la manipulation déformable. Quand l'éventail des états initiaux et finaux s'élargit, le robot doit choisir entre des comportements très différents, par exemple quand saisir, relâcher ou ressaisir, en plus de produire des mouvements continus précis. Prédire seulement le flux du robot oblige le modèle à déduire ces décisions de façon implicite. En modélisant aussi l'évolution de l'objet, DefFlow rend ces choix explicites, ce qui peut aider à généraliser à des buts nouveaux. Pour les intégrateurs, la manipulation de câbles, de textiles ou de matières en vrac reste un point faible de l'automatisation, et une approche pilotée par un but 3D, sans modèle physique explicite de l'objet, irait dans le sens de politiques plus généralistes. Les réserves sont nettes. Les résultats viennent surtout de benchmarks, probablement en simulation, et la part réelle semble limitée à une démonstration qualitative, sans taux de réussite chiffré. L'écart entre simulation et réalité n'est donc pas démontré comme résolu. Le travail s'inscrit dans la lignée des méthodes fondées sur le flux, qui représentent l'action comme le mouvement de points dans l'espace plutôt que comme des commandes articulaires, ce qui favorise le transfert entre morphologies et la compréhension de la scène. Il répond aussi aux limites des politiques de type diffusion ou VLA (vision-langage-action), qui peinent sur les objets à nombreux degrés de liberté. Le résumé ne cite pas de concurrents ni de calendrier. Les suites logiques seraient des évaluations chiffrées sur robot, des objets plus complexes comme les vêtements ou les câbles industriels, et une comparaison avec les grands modèles de fondation robotiques.

RecherchePaper
1 source
MPC multimodale par optimisation bayésienne d'ensembles pour la manipulation dynamique d'objets linéaires déformables
Illustration générée par IA
3arXiv cs.RO 

MPC multimodale par optimisation bayésienne d'ensembles pour la manipulation dynamique d'objets linéaires déformables

Des chercheurs présentent BM2PC (Bayesian Multimodal MPC), un cadre de commande prédictive par modèle (MPC) destiné à la manipulation dynamique d'objets linéaires déformables (DLO), comme des cordes ou des câbles. Le travail, publié sur arXiv (2610.31852), s'appuie sur le formalisme du « control-as-inférence » et traite la planification multimodale comme un problème d'optimisation d'ensemble. Celui-ci équilibre qualité de commande et diversité des comportements. Une mise à jour incrémentale maintient plusieurs modes de commande prometteurs pour un surcoût de calcul limité. Pour le déploiement réel, un modèle de dynamique d'exécution prédit le mouvement effectif de l'effecteur et compense l'écart entre commande et exécution lors des gestes rapides. Les tests portent sur le suivi de trajectoire de corde et l'évitement d'obstacles, en simulation et sur matériel, ainsi que sur le rejet de perturbations en simulation uniquement. Sur les trajectoires inédites, BM2PC généralise mieux qu'une référence par apprentissage, sans entraînement de politique spécifique ni réglage fin. Sur la tâche la plus longue en conditions réelles, l'erreur quadratique moyenne (RMSE) baisse de 44,0 %. En évitement d'obstacles, les performances sont comparables à celles des MPC multimodaux existants, avec un temps de planification réduit de 29 % à 66 %. L'intérêt tient à l'association de deux difficultés rarement traitées ensemble. Les DLO sont sous-actionnés, de grande dimension et répondent avec retard à la commande. Leur manipulation dynamique admet souvent plusieurs solutions valides autour d'un obstacle, ce qui piège les planificateurs à mode unique. Le fait de garder plusieurs hypothèses sans alourdir le calcul compte pour la temps réel. Le résultat contredit aussi, pour ce cas, l'idée qu'il faut une politique apprise de bout en bout pour être agile : une approche à base de modèle généralise sans réentraînement. Pour un intégrateur, les applications possibles sont le câblage de faisceaux, la manipulation de tuyaux ou de câbles en atelier, où les variations de géométrie rendent les politiques apprises fragiles. Les réserves sont claires : il s'agit de résultats académiques, sans chiffres de cadence, de taux de réussite industriel ni d'intégration dans une cellule de production. La comparaison porte sur une seule référence apprise, et la perturbation n'est validée qu'en simulation. Le contexte est celui d'une manipulation d'objets déformables longtemps dominée par des modèles lents ou par l'apprentissage par imitation et par renforcement, coûteux en données et peu transférables. Les MPC par échantillonnage, de type MPPI, ont gagné du terrain grâce au calcul parallèle sur GPU, mais restent généralement unimodaux. Les méthodes multimodales existantes, auxquelles BM2PC se compare, paient cette diversité en temps de calcul. Les auteurs publient l'implémentation de base et des vidéos sur GitHub (Longyouyuan/BM2PC), ce qui permet une reproduction indépendante. Les suites logiques seraient des tests sur des objets plus variés, avec contacts et auto-collisions, puis une confrontation avec les politiques généralistes de type VLA, qui visent le même terrain de la manipulation d'objets déformables.

RecherchePaper
1 source
Estimation en ligne du matériau pour une politique de diffusion conditionnée dans la mise en forme d'objets linéaires déformables
Illustration générée par IA
4arXiv cs.RO 

Estimation en ligne du matériau pour une politique de diffusion conditionnée dans la mise en forme d'objets linéaires déformables

Une équipe de recherche publie sur arXiv (2609.12634v1) une méthode pour façonner des objets linéaires déformables, câbles, cordes ou tuyaux, dont le comportement varie selon la rigidité et l'élasticité du matériau. Le système associe une politique de diffusion à un label de matériau estimé en ligne pendant la manipulation par un réseau récurrent, qui analyse en continu des images multi-vues et les états articulaires du robot. Les auteurs ont collecté 480 démonstrations réelles couvrant quatre matériaux et trois tâches de placement en rainure. Une politique conditionnée seulement par la tâche atteint 45,8% de réussite; avec le label de matériau exact, elle grimpe à 60,0%; la méthode proposée, sans connaissance préalable du matériau, atteint 60,8%, un niveau équivalent au label exact. Ce résultat répond à un verrou concret de l'apprentissage par imitation appliqué aux objets déformables: une politique unique doit produire des gestes différents pour un même objectif de forme selon le matériau saisi, sans que celui-ci soit connu à l'avance. Pour les intégrateurs confrontés à du routage de câbles, de l'assemblage de faisceaux électriques ou de la pose de joints en rainure sur des lignes mêlant plusieurs matériaux, cela ouvre la voie à des politiques qui s'adaptent sans étiquetage manuel ni reprogrammation entre lots. Le travail illustre aussi les limites persistantes du domaine: un taux de succès plafonné autour de 60%, loin d'une fiabilité industrielle, et un échec marqué lié à la confusion entre deux matériaux proches, signe que l'estimation en ligne reste fragile face à des textures similaires. Ce travail s'inscrit dans la lignée des politiques de diffusion conditionnées, devenues courantes en apprentissage par imitation robotique, où l'enjeu est de généraliser au-delà des conditions vues à l'entraînement sans multiplier les politiques spécialisées par objet. Publié comme préprint arXiv sans affiliation industrielle mise en avant, il s'agit d'une contribution académique et non d'un produit commercialisé. Les auteurs comparent leur approche à des politiques spécialistes par matériau et à une politique conditionnée par label exact, et pointent la confusion inter-matériaux comme piste de travail future, sans pilote industriel ni calendrier de déploiement annoncés à ce stade.

RecherchePaper
1 source