RecherchearXiv cs.RO 31 août 2026

ChainSplat : un modèle inspiré de la physique et de la théorie des vis pour apprendre la dynamique d'objets linéaires déformables à partir de vidéos RGB multivues

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent ChainSplat, un cadre d'apprentissage qui reconstruit simultanément la géométrie 3D, l'apparence, la cinématique et la dynamique d'objets linéaires déformables (câbles, cordes, tuyaux) à partir de simples vidéos RGB multi-vues, sans capteur de profondeur. Publié sur arXiv (arXiv:2608.28570v1) le 28 août 2026, le système modélise l'objet déformable comme une chaîne ouverte de liaisons rigides reliées par des articulations rotoïdes, s'appuyant sur la théorie des vis (screw theory) pour obtenir une représentation d'état compacte paramétrée par les configurations articulaires. Cette formulation analytique est couplée au Gaussian splatting, ce qui permet un rendu RGB haute fidélité à partir de n'importe quel état reconstruit. Selon les auteurs, des expériences en conditions réelles montrent des performances état de l'art en prédiction de dynamique, reconstruction 3D et rendu visuel lors d'interactions dynamiques ; le code source et des vidéos de démonstration sont publiés sur chainsplat.github.io.

Pour l'industrie robotique, l'enjeu dépasse la simple reconstruction visuelle : la manipulation de câbles, tuyaux et cordes reste un point faible connu des lignes d'assemblage automatisées, car les méthodes existantes reposent sur des pipelines multi-étapes fragiles et des entrées de profondeur auxiliaires peu fiables lors de mouvements rapides, tout en générant des espaces d'état de trop haute dimension pour un contrôle en temps réel. En réduisant la dynamique d'un objet déformable à un modèle articulaire compact exploitable pour l'optimisation de trajectoire, ChainSplat s'attaque directement au goulot d'étranglement du contrôle basé modèle. Les auteurs revendiquent une estimation d'état et de force en temps réel, un argument clé pour des intégrateurs cherchant à automatiser le câblage, le sertissage de tuyaux ou la manipulation de harnais électriques, tâches jusqu'ici largement dévolues à des opérateurs humains faute de modèles physiques suffisamment légers et précis.

Ce travail s'inscrit dans une lignée de recherche académique visant à combiner modèles physiques explicites et représentations neuronales de scène, dans la continuité des avancées en Gaussian splatting pour la robotique. Contrairement aux approches purement data-driven à la Pi-0 ou GR00T N2 pour la manipulation générale, ChainSplat cible spécifiquement le sous-problème des objets linéaires déformables avec un a priori physique fort, une piste que plusieurs laboratoires explorent en parallèle pour contourner le coût d'apprentissage des dynamiques haute dimension. L'article ne précise pas de partenariat industriel ni de calendrier de transfert vers un produit commercial ; il s'agit à ce stade d'une contribution de recherche avec code ouvert, dont la prochaine étape naturelle serait une validation sur des tâches de manipulation robotique complètes plutôt que sur les seules métriques de reconstruction et de prédiction présentées ici.

Dans nos dossiers

NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

RopeDreamer : modèle d'espace d'état récurrent cinématique pour la dynamique des objets linéaires déformables

Une équipe de chercheurs propose RopeDreamer, une architecture de dynamique latente pour la prédiction du comportement d'objets linéaires déformables (DLOs) tels que câbles, cordes ou tubes flexibles, publiée en préprint sur arXiv (identifiant 2604.28161). Le modèle combine un Recurrent State Space Model (RSSM) avec une représentation cinématique quaternionique : plutôt que d'encoder chaque noeud du DLO en coordonnées cartésiennes indépendantes, la structure est décrite comme une chaîne de rotations relatives, contraignant structurellement le réseau à des configurations physiquement valides et préservant la constance des longueurs de segment. Une architecture à double décodeur découple la reconstruction d'état de la prédiction future, forçant l'espace latent à capturer la physique de la déformation plutôt que de simples corrélations statistiques. Évalué sur un dataset simulé de trajectoires pick-and-place incluant des auto-intersections complexes, RopeDreamer affiche une réduction de 40,52 % de l'erreur de prédiction en boucle ouverte sur des horizons de 50 pas de temps, et réduit le temps d'inférence de 31,17 % par rapport à la baseline de référence. La manipulation de DLOs constitue un goulot d'étranglement industriel concret dans le câblage automobile (harnais), l'assemblage électronique et la chirurgie robotisée (sutures, cathéters). Les approches data-driven précédentes, basées sur des réseaux récurrents ou des graph neural networks, produisaient des déformations non physiques, notamment des étirements de segments et des intersections fantômes rendant la planification long terme peu fiable. L'encodage quaternionique de RopeDreamer adresse directement ces artefacts en opérant sur la variété des rotations plutôt que l'espace euclidien. La capacité à maintenir la cohérence topologique lors de croisements multiples ouvre la voie à des tâches comme le routage de câbles ou le nouage. Limite importante : toutes les évaluations sont réalisées en simulation uniquement, le sim-to-real gap restant un problème non adressé dans ce travail. La manipulation de DLOs est étudiée depuis les années 2000, d'abord avec des modèles mécaniques continus (éléments finis, modèles de Cosserat), avant que les approches data-driven s'imposent à partir de 2018, portées par des équipes à Berkeley, l'ETH Zürich et au MIT. Des simulateurs comme MuJoCo et Isaac Lab de NVIDIA intègrent désormais des primitives DLO, facilitant la génération de données d'entraînement à grande échelle. RopeDreamer se distingue par son emprunt à la cinématique de corps articulés, représentation standard en animation 3D et robotique humanoïde, une convergence méthodologique encore peu exploitée pour les objets souples. L'affiliation institutionnelle des auteurs n'est pas mentionnée dans le préprint disponible. Les prochaines étapes naturelles incluent une validation sur robot physique, un défi dans lequel des équipes européennes, notamment à l'INRIA et au CNRS, sont actives sur des problèmes adjacents de manipulation déformable.

UELes équipes INRIA et CNRS, actives sur la manipulation d'objets déformables, pourraient s'appuyer sur cette approche cinématique quaternionique pour leurs travaux en robotique chirurgicale et assemblage industriel, sous réserve d'une validation sim-to-real.

RecherchePaper

1 source

2arXiv cs.RO

LD4WAM : apprendre les dynamiques latentes à partir de vidéos humaines pour des modèles d'action du monde

Des chercheurs ont publié en août 2026 sur arXiv un article présentant LD4WAM, une méthode pour entraîner des World Action Models à partir de vidéos humaines plutôt que de données de téléopération, coûteuses à collecter. Le système associe un Latent Dynamics Model, entraîné par reconstruction sémantique et alignement sur le mouvement réel, à un World Dynamics Action Model en mixture-of-transformers, qui génère des vidéos futures puis en extrait, via des requêtes apprenables, une dynamique latente conditionnant les actions du robot. Pré-entraîné sur un jeu de données unifié de plus de 5 000 heures de vidéos humaines et robotiques, le modèle affiche de bons résultats dans le simulateur RoboTwin et sur des robots réels équipés de pinces et de mains dexterisées, avec une généralisation à des objets et arrière-plans inédits. L'enjeu dépasse la prouesse technique. La vidéo humaine est bien plus abondante et moins chère à collecter que les démonstrations téléopérées, mais son exploitation butait sur un dilemme entre prédiction vidéo pixel par pixel, riche mais non actionnable, et retargeting du mouvement vers le squelette du robot, actionnable mais marqué par un fossé visuel entre corps humain et robot. En proposant une dynamique latente alignée sur le mouvement, agnostique à l'embodiment, LD4WAM cherche à combler ce fossé, ce qui pourrait réduire la dépendance des laboratoires aux campagnes de téléopération pour entraîner des politiques de manipulation, un des principaux goulots d'étranglement du passage à l'échelle des modèles vision-langage-action. Ce travail s'inscrit dans une vague de recherche plus large sur les modèles de monde en robotique, aux côtés d'efforts comme GR00T de NVIDIA, pi-0 de Physical Intelligence ou Helix de Figure, qui explorent aussi l'exploitation de données hétérogènes pour des politiques généralistes. LD4WAM se positionne explicitement contre les deux paradigmes qui l'ont précédé, prédiction vidéo pure et retargeting de mouvement. Il s'agit pour l'instant d'un article déposé sur arXiv, non encore relu par les pairs, sans code publié ni partenariat industriel annoncé, et les démonstrations réelles restent limitées au laboratoire, sans détail sur le taux de réussite.

RecherchePaper

1 source

3arXiv cs.RO

BoxTwin : apprendre la dynamique d'objets articulés élastoplastiques à partir de vidéos

BoxTwin est un framework de jumeau numérique interactif conçu pour apprendre, à partir de simples vidéos, la dynamique complète des objets articulés élastoplastiques (EAO) : des objets comme des boîtes en carton ou des structures pliables qui combinent élasticité non linéaire, déformation plastique irréversible et accumulation de dommages au fil des manipulations. Le pipeline reconstruit d'abord la scène filmée, puis identifie pour chaque objet un modèle constitutif informé par la physique, c'est-à-dire une représentation mathématique de son comportement mécanique réel plutôt qu'une approximation générique. Les auteurs ont testé leur méthode sur deux scénarios : le pliage manuel d'objets et leur manipulation par un bras robotique double (dual-arm). Résultat annoncé : le système suit précisément les trajectoires articulaires et reproduit le comportement plastique post-contact sur de longs horizons temporels, y compris après plusieurs cycles de déformation. Le travail est publié en préprint sur arXiv sous la référence 2607.17132v1. L'enjeu concret touche la logistique et la manipulation industrielle, deux domaines où le carton, les boîtes pliables et autres contenants déformables sont omniprésents mais mal pris en charge par les simulateurs actuels, la plupart supposant des objets rigides ou purement élastiques sans mémoire de déformation. Cette limite alimente l'écart classique entre simulation et réel (sim-to-real gap) : un robot entraîné sur un jumeau numérique qui ignore l'usure et le fluage plastique d'un carton risque d'échouer en conditions réelles après quelques manipulations répétées. En captant ce comportement directement depuis la vidéo plutôt que via un modelage manuel coûteux, BoxTwin ouvre une piste pour entraîner des politiques de manipulation plus robustes sur des entrepôts ou lignes d'emballage, notamment pour les systèmes de préparation de commandes ou de tri assistés par bras robotiques. Le sujet s'inscrit dans un champ de recherche encore restreint, à la croisée de la reconstruction 3D par vidéo, de la simulation physique différentiable et de la manipulation robotique de matériaux déformables (tissus, cartons, structures pliables), un terrain nettement moins mature que celui des jumeaux numériques pour robots rigides ou humanoïdes. S'agissant d'un préprint tout juste publié, aucun partenaire industriel, aucune intégration produit ni calendrier de déploiement n'est mentionné à ce stade : il s'agit d'une contribution académique, dont la suite logique serait une intégration dans des boucles de contrôle robotique pour une manipulation adaptative d'objets déformables en environnement non structuré, sans qu'un pilote concret soit annoncé pour l'instant.

RecherchePaper

1 source

4arXiv cs.RO

PhysCoRe : modèles du monde résiduels corrigés par la physique pour la dynamique déformable adaptée aux matériaux

Voici l'article traduit et résumé. Une équipe de recherche présente PhysCoRe, un modèle physique hybride destiné à prédire le comportement d'objets déformables manipulés par un robot, un problème resté longtemps non résolu en robotique. Le système combine un simulateur différentiable de type Material Point Method (MPM) avec deux réseaux de neurones feed-forward complémentaires. Le premier module, baptisé Material from Motion (MfM), déduit l'élasticité de chaque particule de l'objet à partir d'observations visuelles, ce qui ancre le simulateur dans la physique réelle propre à chaque objet plutôt que dans des paramètres génériques. Le second module, Residual from Dynamics (RfD), apprend l'écart entre les prédictions du simulateur analytique et la réalité observée, et corrige les biais systématiques que le modèle physique pur ne peut pas capturer. Sur des séquences réelles de manipulation d'objets déformables, PhysCoRe dépasse les méthodes de référence de l'état de l'art en précision de prédiction. Cette approche s'attaque directement à un compromis classique du secteur de la robotique de manipulation : les méthodes d'optimisation par objet, qui calibrent les paramètres matériaux au cas par cas, sont lentes et ne généralisent pas d'un objet à l'autre, tandis que les modèles appris de bout en bout extrapolent mal et violent souvent des contraintes physiques élémentaires (conservation de la masse, cohérence géométrique). En couplant simulation physique et correction résiduelle apprise, PhysCoRe vise un entre-deux praticable pour des tâches comme le pliage de tissu, la manipulation de câbles ou l'emballage d'objets mous, autant d'opérations encore mal maîtrisées en logistique et en assemblage industriel. Point notable pour les intégrateurs : le système permet une identification de matériau en ligne sur des objets jamais vus, le module MfM s'adaptant à partir d'un nombre limité d'interactions, et sa confiance prédictive orientant l'exploration robotique vers les zones où l'estimation reste la moins fiable, un signal utile pour guider l'apprentissage actif plutôt que l'exploration aléatoire. Le travail s'inscrit dans une lignée de recherche qui cherche à réconcilier simulateurs physiques différentiables et apprentissage profond, une piste explorée notamment autour des méthodes MPM depuis plusieurs années pour modéliser des matériaux mous, granulaires ou élastiques. Il se positionne face aux approches purement data-driven de prédiction de dynamique déformable, ainsi qu'aux pipelines classiques d'optimisation de paramètres matériaux par essais successifs. Publié comme prépublication arXiv (2607.20653), l'article ne mentionne pas de déploiement industriel ni de partenariat commercial à ce stade ; il s'agit d'un résultat de recherche validé sur des séquences de manipulation réelles en laboratoire, dont la suite logique serait une évaluation sur des tâches de manipulation plus longues et des objets plus variés.

RecherchePaper

1 source