Aller au contenu principal
RecherchearXiv cs.RO 

DefFlow : manipulation d'objets déformables conditionnée par un but, via des flux de points 3D

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

DefFlow est un cadre d'apprentissage par démonstration pour la manipulation d'objets déformables conditionnée par un but, décrit dans un preprint arXiv (2610.22827v1). Au lieu de prédire uniquement la trajectoire du robot, le modèle prédit conjointement le flux de points 3D du robot et celui de l'objet déformable, en fonction de la configuration 3D cible. Les auteurs l'évaluent sur trois familles d'objets: la corde, les milieux granulaires et le tissu, avec des configurations initiales et cibles variées. Ils affirment qu'il surpasse nettement deux types de références, la prédiction directe d'actions conditionnée par le but et la prédiction du seul flux du robot, sur le taux de réussite et sur les métriques de distance au but. Une démonstration sur robot réel est également présentée, à partir de nuages de points réels et de configurations cibles jamais vues à l'entraînement. Le résumé ne donne ni chiffres de performance, ni nom de robot, ni nombre de démonstrations, et aucune entreprise n'est citée.

L'intérêt tient à un verrou précis de la manipulation déformable. Quand l'éventail des états initiaux et finaux s'élargit, le robot doit choisir entre des comportements très différents, par exemple quand saisir, relâcher ou ressaisir, en plus de produire des mouvements continus précis. Prédire seulement le flux du robot oblige le modèle à déduire ces décisions de façon implicite. En modélisant aussi l'évolution de l'objet, DefFlow rend ces choix explicites, ce qui peut aider à généraliser à des buts nouveaux. Pour les intégrateurs, la manipulation de câbles, de textiles ou de matières en vrac reste un point faible de l'automatisation, et une approche pilotée par un but 3D, sans modèle physique explicite de l'objet, irait dans le sens de politiques plus généralistes. Les réserves sont nettes. Les résultats viennent surtout de benchmarks, probablement en simulation, et la part réelle semble limitée à une démonstration qualitative, sans taux de réussite chiffré. L'écart entre simulation et réalité n'est donc pas démontré comme résolu.

Le travail s'inscrit dans la lignée des méthodes fondées sur le flux, qui représentent l'action comme le mouvement de points dans l'espace plutôt que comme des commandes articulaires, ce qui favorise le transfert entre morphologies et la compréhension de la scène. Il répond aussi aux limites des politiques de type diffusion ou VLA (vision-langage-action), qui peinent sur les objets à nombreux degrés de liberté. Le résumé ne cite pas de concurrents ni de calendrier. Les suites logiques seraient des évaluations chiffrées sur robot, des objets plus complexes comme les vêtements ou les câbles industriels, et une comparaison avec les grands modèles de fondation robotiques.

À lire aussi

Pointer, frapper : manipulation dynamique d'objets linéaires déformables conditionnée par la direction
1arXiv cs.RO 

Pointer, frapper : manipulation dynamique d'objets linéaires déformables conditionnée par la direction

Des chercheurs publient sur arXiv (2610.09573) une méthode de manipulation dynamique de cordes, cette fois conditionnée par la direction d'arrivée du bout de la corde. Jusqu'ici, les travaux sur les objets linéaires déformables (DLO) se contentaient de fixer comme objectif une position 3D que l'extrémité devait atteindre. Ici, une frappe en un seul balancement doit atteindre une position 3D précise avec une direction d'arrivée donnée, sur tout l'espace de travail et sur différentes cordes. L'équipe étend d'abord le simulateur DeformX avec accélération GPU, un solveur stable de tiges de Cosserat et un modèle aérodynamique à écoulement transverse. Le résultat, DeformX2.0, est plus de 20 000 fois plus rapide. Elle propose ensuite TRACE (Trace-rooted Adaptive Cross-Entropy), qui génère les données de frappe en initialisant chaque nouvelle cible à partir du balancement mémorisé dont la trajectoire de bout de corde passe le plus près. Son coût pénalise la flexion de la corde et les mouvements brusques de l'extrémité, afin de favoriser des gestes reproductibles. Une politique conditionnelle par flow matching, entraînée sur ces données, atteint 92,1 % de précision en simulation. Sur robot réel, la méthode RECAP (Residual Calibration Policy) ajuste les paramètres de corde et de banc du simulateur à partir de quelques balancements de calibration, puis corrige les actions par une politique résiduelle entraînée en simulation. Sur trois cordes, le taux de succès à 5 cm passe de 72 % à 87 % pour les objectifs de position. Pour les objectifs incluant la direction, le succès à 10 cm et 10° passe de 50 % à 79 %. L'intérêt tient moins à la tâche, plutôt académique, qu'à la méthodologie. Les auteurs traitent un cas où l'absence de démonstrations humaines et la difficulté de modéliser la dynamique empêchent l'apprentissage par imitation. Ils montrent qu'une simulation très rapide, couplée à une recherche par optimisation puis à une distillation dans une politique générative, fournit des données exploitables. Le résultat contredit l'idée qu'un écart sim-to-real sur objet déformable exige forcément beaucoup de données réelles : quelques balancements de calibration suffisent à gagner 15 à 29 points. Les auteurs précisent aussi que cet écart ne vient pas seulement de la corde, mais aussi du robot et du banc d'essai, ce qui justifie une calibration conjointe. Il faut toutefois rester prudent. Le chiffre de 92,1 % est obtenu en simulation, et sur matériel réel un balancement sur cinq reste hors tolérance pour les objectifs directionnels (79 %). L'évaluation ne porte que sur trois cordes dans un montage de laboratoire. Rien n'indique de transfert vers des applications industrielles comme la manipulation de câbles ou de flexibles, même si la logique de contrôle de l'arrivée, et pas seulement de la destination, y est pertinente. Ce travail prolonge la lignée des simulateurs de DLO et des manipulations dynamiques de cordes, où l'objectif se limitait à la position du bout. L'apport principal est un pipeline reproductible plutôt qu'un nouveau matériel. Un gain de vitesse de plus de 20 000 fois sur DeformX rend l'optimisation massive de trajectoires praticable, et la calibration résiduelle pourrait être réutilisée sur d'autres objets déformables. Il s'agit d'une préimpression (version 1) sans évaluation par les pairs, sans annonce de code ni de pilote industriel. La suite logique serait d'élargir la diversité des objets, de passer à des mouvements multi-balancements et de tester des tâches de manipulation de câbles proches de la production. Les approches concurrentes, fondées sur l'apprentissage par renforcement ou la téléopération pour les tâches dynamiques, restent à comparer à cette méthode sur des bancs communs.

RecherchePaper
1 source
FolDeX : un benchmark en conditions réelles pour la manipulation robotique longue durée d'objets déformables
2arXiv cs.RO 

FolDeX : un benchmark en conditions réelles pour la manipulation robotique longue durée d'objets déformables

FolDeX, benchmark présenté dans un article arXiv publié le 10 septembre 2026, évalue la manipulation robotique longue durée d'objets déformables à partir de données collectées exclusivement sur robots réels, avec le pliage de vêtements comme tâche principale. Le jeu de données compte plus de 2000 heures d'expérience physique, plus de 20 tâches et plus de 10 types de robots différents. Il s'organise autour de quatre axes : réutilisation des interventions humaines et des récupérations effectuées en déploiement, transfert de données entre tâches (du rigide au déformable, entre catégories de vêtements), réutilisation entre scènes avec éclairage, arrière-plan et agencement variables, et transfert entre plateformes robotiques. Une plateforme d'évaluation publique, hébergée sur ai.midea.com/#/fold-challenge par le groupe chinois Midea, permet de soumettre des politiques externes selon un protocole standardisé, avec objets tenus à l'écart de l'entraînement et initialisations contrôlées. Le projet cible l'écart bien connu entre simulation et monde réel dans l'IA incarnée : les modèles vision-langage-action et monde-action qui réussissent en simulation se dégradent souvent sur robot physique, en particulier sur des séquences longues et bimanuelles exigeant un suivi continu de l'état de l'objet. Les benchmarks existants couvrent surtout des tâches courtes sur objets rigides, laissant un vide pour juger la fiabilité réelle des politiques généralistes à grande échelle. En imposant un protocole externe avec objets et initialisations non divulgués à l'avance, FolDeX limite le risque de démonstrations sélectionnées, fréquentes dans les annonces du secteur humanoïde, et donne aux intégrateurs un moyen concret de vérifier si la manipulation fine tient hors des vidéos contrôlées. FolDeX s'inscrit dans la course actuelle à l'IA incarnée généraliste, aux côtés d'approches comme Figure 03 et Helix chez Figure AI, Optimus Gen 3 chez Tesla, la famille Pi-0 chez Physical Intelligence ou GR00T N2 chez Nvidia. Contrairement à ces annonces produits, il s'agit d'un outil de recherche ouvert, non d'un robot ou d'un modèle commercial livré. Son hébergement par Midea, groupe chinois de l'électroménager également actionnaire majoritaire de l'allemand Kuka dans la robotique industrielle, traduit l'intérêt croissant des fabricants asiatiques pour la manipulation d'objets souples, un enjeu clé pour le textile ou la logistique. La plateforme est déjà accessible pour des soumissions externes, sans calendrier de résultats ni classement encore communiqué.

UELe fabricant allemand Kuka, actionnaire majoritaire détenu par Midea, est indirectement associe a cette initiative qui pourrait intéresser les intégrateurs européens de robotique industrielle pour le textile et la logistique.

RecherchePaper
1 source
DiffDef : un modèle de diffusion pour générer des formes cibles multimodales de manipulation d'objets déformables
3arXiv cs.RO 

DiffDef : un modèle de diffusion pour générer des formes cibles multimodales de manipulation d'objets déformables

La manipulation d'objets déformables par asservissement de forme (shape servoing) fait l'objet d'un nouveau système, DiffDef, décrit dans un preprint arXiv (2506.18779, version 2 remplaçant une première soumission). Ce réseau de neurones fonde sur un modèle de diffusion apprend une distribution de formes cibles plausibles plutôt que de prédire une unique configuration déterministe, ce qui évite l'effet de moyennage des modes typique des prédicteurs classiques. La méthode a été évaluée en simulation puis sur deux plateformes robotiques physiques : le da Vinci Research Kit (dVRK), plateforme de recherche en chirurgie robotique, et un système bimanual base sur des bras KUKA. Les taches testées s'inspirent de scenarios de fabrication industrielle et d'applications chirurgicales. Un site dédié (sites.google.com/view/diffdef) accompagne la publication. La manipulation d'objets déformables (tissus, câbles, textiles, organes) reste l'un des problèmes les plus difficiles de la robotique, loin derrière la maturité atteinte sur les objets rigides. Les approches existantes d'asservissement de forme dépendent généralement de méthodes d'acquisition de la forme cible peu praticables en conditions réelles, ingénierie manuelle de connaissances métier ou démonstration physique par un opérateur, et supposent un objectif unique et déterministe. Or de nombreuses taches réelles admettent plusieurs formes cibles distinctes menant toutes a une réussite, un cas multimodal que les méthodes actuelles géraient mal. En montrant une amélioration mesurable des performances sur des plateformes chirurgicales et industrielles réelles, DiffDef fournit une preuve de concept que la modélisation probabiliste par diffusion peut combler cet écart, avec un intérêt direct pour les intégrateurs travaillant sur la chirurgie assistée par robot ou l'automatisation de taches textiles et de câblage en usine. Ce travail s'inscrit dans une ligne de recherche académique sur l'asservissement de forme, domaine ou la génération de formes cibles a longtemps repose sur l'ingénierie manuelle plutôt que sur l'apprentissage automatique. Le choix des plateformes de validation, le dVRK largement utilise dans la communauté de recherche en chirurgie robotique, et un bras bimanual KUKA, marque allemande courante en robotique industrielle et de recherche, situe DiffDef comme un travail de validation croisée entre milieu médical et manufacturier plutôt que comme un produit commercial. Il s'agit a ce stade d'un résultat de recherche publie en preprint, sans annonce de déploiement industriel ni de partenariat commercial associe ; la suite logique pour la communauté robotique consistera a vérifier si l'approche généralisé a d'autres classes d'objets déformables et si le code sera rendu public au-delà du site web dédié a la publication.

UELe systeme est valide sur une plateforme bimanuelle KUKA, entreprise allemande, ce qui interesse la communaute robotique industrielle europeenne sans deploiement ni partenariat commercial confirme.

RecherchePaper
1 source
SoftVTBench : un jeu de données et un benchmark visuo-tactiles pour la manipulation d'objets déformables
4arXiv cs.RO 

SoftVTBench : un jeu de données et un benchmark visuo-tactiles pour la manipulation d'objets déformables

SoftVTBench, jeu de données visuo-tactile pour la manipulation d'objets déformables, a été publié le 20 août 2026 sur arXiv (2608.18701). Il réunit 4 000 démonstrations expertes sur plus de 50 objets, dont des objets déformables volumétriques et leurs jumeaux rigides visuellement identiques. À 20 Hz, chaque épisode synchronise RGB multi-vues, capteurs tactiles RGB, suivi de marqueurs sur les deux doigts du gripper, proprioception, instructions en langage naturel, actions de préhension, et des états de référence par éléments finis (FEM) réservés à l'évaluation. Le benchmark associé introduit le Deformation-aware Success Rate (DSR), qui ne valide un essai que si la tâche réussit sans dépasser une tolérance de déformation calibrée par objet. Sur Diffusion Policy, π0.5 et FastWAM, les 12 configurations testées comptent toutes des succès classiques qui violent en réalité cette tolérance, dans 0,7% à 24% des cas. Sous changement de distribution, les versions avec toucher font mieux en réussite (six comparaisons sur six) et en DSR (cinq sur six), un avantage plus incertain en distribution. Le message clé pour l'industrie: un taux de réussite binaire masque des comportements physiquement problématiques, glissement ou compression excessive, un enjeu direct pour les intégrateurs manipulant des produits fragiles (agroalimentaire, textile, emballage, médical). Plus notable, ajouter des capteurs tactiles n'améliore pas automatiquement la manipulation: le gain n'est net que sous changement de distribution, signe que la fusion visuo-tactile reste un problème d'ingénierie non résolu plutôt qu'un simple avantage matériel. Cela nuance le discours courant sur les architectures vision-langage-action, où le toucher est souvent présenté comme un bonus de robustesse automatique. L'absence de jeux de données associant observations exploitables par une politique et vérité terrain physique indépendante était jusque-là le principal obstacle à une évaluation fine de l'interaction, la plupart des benchmarks existants se limitant à un succès binaire de tâche. SoftVTBench se positionne comme ressource commune pour étudier non seulement si une politique réussit, mais comment elle interagit physiquement avec un objet mou et quand le toucher améliore réellement cette interaction. Il s'agit d'une publication de recherche, sans annonce de déploiement industriel ni partenariat constructeur, et sans acteur français ou européen identifié dans cette étude.

RecherchePaper
1 source