RecherchearXiv cs.RO 21 août 2026

DiffDef : un modèle de diffusion pour générer des formes cibles multimodales de manipulation d'objets déformables

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

La manipulation d'objets déformables par asservissement de forme (shape servoing) fait l'objet d'un nouveau système, DiffDef, décrit dans un preprint arXiv (2506.18779, version 2 remplaçant une première soumission). Ce réseau de neurones fonde sur un modèle de diffusion apprend une distribution de formes cibles plausibles plutôt que de prédire une unique configuration déterministe, ce qui évite l'effet de moyennage des modes typique des prédicteurs classiques. La méthode a été évaluée en simulation puis sur deux plateformes robotiques physiques : le da Vinci Research Kit (dVRK), plateforme de recherche en chirurgie robotique, et un système bimanual base sur des bras KUKA. Les taches testées s'inspirent de scenarios de fabrication industrielle et d'applications chirurgicales. Un site dédié (sites.google.com/view/diffdef) accompagne la publication.

La manipulation d'objets déformables (tissus, câbles, textiles, organes) reste l'un des problèmes les plus difficiles de la robotique, loin derrière la maturité atteinte sur les objets rigides. Les approches existantes d'asservissement de forme dépendent généralement de méthodes d'acquisition de la forme cible peu praticables en conditions réelles, ingénierie manuelle de connaissances métier ou démonstration physique par un opérateur, et supposent un objectif unique et déterministe. Or de nombreuses taches réelles admettent plusieurs formes cibles distinctes menant toutes a une réussite, un cas multimodal que les méthodes actuelles géraient mal. En montrant une amélioration mesurable des performances sur des plateformes chirurgicales et industrielles réelles, DiffDef fournit une preuve de concept que la modélisation probabiliste par diffusion peut combler cet écart, avec un intérêt direct pour les intégrateurs travaillant sur la chirurgie assistée par robot ou l'automatisation de taches textiles et de câblage en usine.

Ce travail s'inscrit dans une ligne de recherche académique sur l'asservissement de forme, domaine ou la génération de formes cibles a longtemps repose sur l'ingénierie manuelle plutôt que sur l'apprentissage automatique. Le choix des plateformes de validation, le dVRK largement utilise dans la communauté de recherche en chirurgie robotique, et un bras bimanual KUKA, marque allemande courante en robotique industrielle et de recherche, situe DiffDef comme un travail de validation croisée entre milieu médical et manufacturier plutôt que comme un produit commercial. Il s'agit a ce stade d'un résultat de recherche publie en preprint, sans annonce de déploiement industriel ni de partenariat commercial associe ; la suite logique pour la communauté robotique consistera a vérifier si l'approche généralisé a d'autres classes d'objets déformables et si le code sera rendu public au-delà du site web dédié a la publication.

Impact France/UE

Le systeme est valide sur une plateforme bimanuelle KUKA, entreprise allemande, ce qui interesse la communaute robotique industrielle europeenne sans deploiement ni partenariat commercial confirme.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

PointCast : un seul modèle du monde pour la manipulation d'objets rigides, articulés et déformables

PointCast, un modèle du monde pour la manipulation robotique, est présente dans un article publie sur arXiv le 24 septembre 2026 (arXiv:2609.28393v1). Il represente une scene comme un nuage de points 3D sur l'objet manipule et sur l'effecteur du robot, sans maillage ni topologie fixe, chaque point gardant son identité le long de sa trajectoire. Le moteur est un transformeur de diffusion de 19,8 millions de paramètres qui debruite une courte fenêtre de positions futures, conditionnée par l'historique des points et le mouvement commande a l'effecteur. Une seule architecture et un seul entrainement couvrent quatre régimes, objets rigides, tissu, corde et meubles articules, chacun avec son point de contrôle propre. En simulation, compare a quatre références, il est meilleur sur trois régimes sur quatre; sur un jeu de téléopération réel, il obtient l'erreur la plus faible dans quatre catégories sur six et surpasse le modèle de référence du jeu de données dans les six. Couple a un controle predictif par modèle avec une seule évaluation réseau par fenêtre, il égale ou dépasse chaque référence sur quatre taches simulées totalisant 64 épisodes. L'intérêt tient a l'unification: un réseau léger de moins de 20 millions de paramètres traite rigide, articule et déformable, trois familles d'objets habituellement gérées par des représentations distinctes, maillages, squelettes ou particules. Pour les équipes de R&D en manipulation, cela indique qu'un modèle du monde générique peut remplacer des pipelines spécialisés et alimenter un controle predictif en quasi temps réel avec une seule passe réseau par fenêtre de planification. Les performances supérieures aux références en simulation comme sur données réelles, ainsi qu'une généralisation zero-shot partielle vers le réel, vont dans le sens d'un rapprochement entre simulation et monde réel, écart qui demeure le principal obstacle des méthodes de manipulation apprises. Le travail s'inscrit dans la lignée des modèles du monde appliques a la robotique, qui prédisent les conséquences d'une action avant exécution, ici via une représentation par points plutôt que par pixels ou maillage. Aucun acteur français ou européen n'est cite: il s'agit d'une contribution de recherche évaluée en simulation et sur un jeu de téléopération existant, sans déploiement industriel annonce. Le site du projet, pointcast-wm.github.io, met a disposition code et démonstrations pour une vérification indépendante des résultats.

RecherchePaper

1 source

2arXiv cs.RO

LeHome : un environnement de simulation pour la manipulation d'objets déformables en contexte domestique

Des chercheurs ont publié LeHome, un environnement de simulation open-source consacré à la manipulation d'objets déformables en contexte domestique, accessible en préprint sur arXiv (2604.22363) et accompagné d'une page de démonstration. LeHome couvre un spectre large d'objets typiques des foyers, vêtements, aliments, textiles, avec une modélisation dynamique haute-fidélité destinée à reproduire les interactions complexes que les simulateurs existants peinent à rendre correctement. L'environnement supporte plusieurs morphologies robotiques et place explicitement les robots à faible coût au centre de sa conception, permettant d'évaluer des tâches ménagères de bout en bout sur du matériel à budget contraint. Le problème que tente de résoudre LeHome est structurant pour la robotique domestique : les objets déformables représentent une part massive des tâches quotidiennes (plier du linge, manipuler des aliments, ranger des textiles), mais leur simulation réaliste reste un angle mort des environnements dominants comme Isaac Sim, MuJoCo ou Gazebo. Sans simulation fiable de ces matériaux, le transfert sim-to-real, technique centrale dans l'entraînement des politiques modernes par renforcement ou imitation, produit des modèles qui s'effondrent dès qu'ils quittent les objets rigides. LeHome prétend combler ce fossé en proposant un banc de test scalable, ce qui pourrait accélérer le développement de politiques de manipulation généralistes pour l'environnement résidentiel. Le problème du "deformable gap" est documenté depuis plusieurs années : des projets comme DexDeform (Stanford), SoftGym ou PyBullet Cloth ont proposé des approches partielles, sans jamais couvrir l'ensemble des catégories domestiques avec un accent sur les plateformes accessibles. LeHome s'inscrit dans un mouvement plus large où des laboratoires ciblent explicitement le segment low-cost, Boston Dynamics, Figure ou 1X restant hors de portée de la plupart des équipes académiques. À ce stade, il s'agit d'un préprint sans validation industrielle ni déploiement annoncé : la crédibilité du projet dépendra de la capacité des auteurs à démontrer un transfert réel sur des plateformes concrètes telles que Low Cost Robot, SO-ARM ou des équivalents open-hardware.

UELes équipes académiques européennes travaillant sur la manipulation domestique pourraient adopter LeHome pour entraîner des politiques sur plateformes low-cost open-hardware, mais aucun impact institutionnel ou industriel direct n'est documenté à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

Estimation en ligne du matériau pour une politique de diffusion conditionnée dans la mise en forme d'objets linéaires déformables

Une équipe de recherche publie sur arXiv (2609.12634v1) une méthode pour façonner des objets linéaires déformables, câbles, cordes ou tuyaux, dont le comportement varie selon la rigidité et l'élasticité du matériau. Le système associe une politique de diffusion à un label de matériau estimé en ligne pendant la manipulation par un réseau récurrent, qui analyse en continu des images multi-vues et les états articulaires du robot. Les auteurs ont collecté 480 démonstrations réelles couvrant quatre matériaux et trois tâches de placement en rainure. Une politique conditionnée seulement par la tâche atteint 45,8% de réussite; avec le label de matériau exact, elle grimpe à 60,0%; la méthode proposée, sans connaissance préalable du matériau, atteint 60,8%, un niveau équivalent au label exact. Ce résultat répond à un verrou concret de l'apprentissage par imitation appliqué aux objets déformables: une politique unique doit produire des gestes différents pour un même objectif de forme selon le matériau saisi, sans que celui-ci soit connu à l'avance. Pour les intégrateurs confrontés à du routage de câbles, de l'assemblage de faisceaux électriques ou de la pose de joints en rainure sur des lignes mêlant plusieurs matériaux, cela ouvre la voie à des politiques qui s'adaptent sans étiquetage manuel ni reprogrammation entre lots. Le travail illustre aussi les limites persistantes du domaine: un taux de succès plafonné autour de 60%, loin d'une fiabilité industrielle, et un échec marqué lié à la confusion entre deux matériaux proches, signe que l'estimation en ligne reste fragile face à des textures similaires. Ce travail s'inscrit dans la lignée des politiques de diffusion conditionnées, devenues courantes en apprentissage par imitation robotique, où l'enjeu est de généraliser au-delà des conditions vues à l'entraînement sans multiplier les politiques spécialisées par objet. Publié comme préprint arXiv sans affiliation industrielle mise en avant, il s'agit d'une contribution académique et non d'un produit commercialisé. Les auteurs comparent leur approche à des politiques spécialistes par matériau et à une politique conditionnée par label exact, et pointent la confusion inter-matériaux comme piste de travail future, sans pilote industriel ni calendrier de déploiement annoncés à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

AssistDLO : téléopération assistée pour la manipulation d'objets linéaires déformables

Des chercheurs ont publié AssistDLO, un cadre de téléopération assistée conçu pour la manipulation d'objets linéaires déformables (DLOs, Deformable Linear Objects), tels que câbles, cordes ou fils industriels. Le système combine trois composants : une estimation d'état en temps réel par vision multi-vue, une assistance visuelle (VA) projetée dans l'interface opérateur, et un contrôleur de partage d'autonomie géométriquement conscient, baptisé SA-CBF, fondé sur les fonctions de barrière de contrôle (Control Barrier Functions). Le tout a été validé dans une étude utilisateur bimanuelle de dénouage de nœuds (N=22), sur des cordes de longueurs et rigidités variables. Le résultat clé : pour les opérateurs novices, SA-CBF fait passer le taux de succès de 71 % à 88 %, tandis que les opérateurs experts préfèrent la VA seule. Ce travail s'attaque à un verrou persistant de la robotique industrielle : les DLOs sont pratiquement impossibles à modéliser en temps réel en raison de leur espace de configuration de dimension infinie et de leurs dynamiques non linéaires. En téléopération, l'incertitude de profondeur aggrave encore la perception d'état. L'apport de SA-CBF est de fonctionner comme un entonnoir géométrique, guidant la saisie précise sans court-circuiter l'autorité de haut niveau de l'opérateur, contrairement aux méthodes classiques d'autonomie partagée qui utilisent de simples attracteurs géométriques. Pour des applications concrètes, câblage automobile, assemblage électronique ou chirurgie assistée, la démonstration d'un gain mesurable en conditions utilisateur réelles est plus significative qu'un résultat de simulation. Le problème de manipulation des DLOs mobilise la communauté robotique depuis plus d'une décennie, avec des approches allant du contrôle par retour visuel pur aux modèles physiques réduits. AssistDLO se distingue en intégrant explicitement le profil de l'opérateur dans la stratégie d'assistance, une piste dite "user-aware shared autonomy" encore peu exploitée à ce niveau de rigueur expérimentale. Les prochaines étapes probables incluent l'extension à des câbles multiconducteurs et l'intégration sur des plateformes industrielles existantes, potentiellement en lien avec des travaux européens sur la cobotique flexible. La conclusion des auteurs est claire : aucune stratégie fixe ne peut couvrir l'ensemble du spectre opérateur-matériau, et l'autonomie adaptative n'est plus une option mais une nécessité.

RecherchePaper

1 source