RecherchearXiv cs.RO 21 juillet 2026

BoxTwin : apprendre la dynamique d'objets articulés élastoplastiques à partir de vidéos

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

BoxTwin est un framework de jumeau numérique interactif conçu pour apprendre, à partir de simples vidéos, la dynamique complète des objets articulés élastoplastiques (EAO) : des objets comme des boîtes en carton ou des structures pliables qui combinent élasticité non linéaire, déformation plastique irréversible et accumulation de dommages au fil des manipulations. Le pipeline reconstruit d'abord la scène filmée, puis identifie pour chaque objet un modèle constitutif informé par la physique, c'est-à-dire une représentation mathématique de son comportement mécanique réel plutôt qu'une approximation générique. Les auteurs ont testé leur méthode sur deux scénarios : le pliage manuel d'objets et leur manipulation par un bras robotique double (dual-arm). Résultat annoncé : le système suit précisément les trajectoires articulaires et reproduit le comportement plastique post-contact sur de longs horizons temporels, y compris après plusieurs cycles de déformation. Le travail est publié en préprint sur arXiv sous la référence 2607.17132v1.

L'enjeu concret touche la logistique et la manipulation industrielle, deux domaines où le carton, les boîtes pliables et autres contenants déformables sont omniprésents mais mal pris en charge par les simulateurs actuels, la plupart supposant des objets rigides ou purement élastiques sans mémoire de déformation. Cette limite alimente l'écart classique entre simulation et réel (sim-to-real gap) : un robot entraîné sur un jumeau numérique qui ignore l'usure et le fluage plastique d'un carton risque d'échouer en conditions réelles après quelques manipulations répétées. En captant ce comportement directement depuis la vidéo plutôt que via un modelage manuel coûteux, BoxTwin ouvre une piste pour entraîner des politiques de manipulation plus robustes sur des entrepôts ou lignes d'emballage, notamment pour les systèmes de préparation de commandes ou de tri assistés par bras robotiques.

Le sujet s'inscrit dans un champ de recherche encore restreint, à la croisée de la reconstruction 3D par vidéo, de la simulation physique différentiable et de la manipulation robotique de matériaux déformables (tissus, cartons, structures pliables), un terrain nettement moins mature que celui des jumeaux numériques pour robots rigides ou humanoïdes. S'agissant d'un préprint tout juste publié, aucun partenaire industriel, aucune intégration produit ni calendrier de déploiement n'est mentionné à ce stade : il s'agit d'une contribution académique, dont la suite logique serait une intégration dans des boucles de contrôle robotique pour une manipulation adaptative d'objets déformables en environnement non structuré, sans qu'un pilote concret soit annoncé pour l'instant.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

ChainSplat : un modèle inspiré de la physique et de la théorie des vis pour apprendre la dynamique d'objets linéaires déformables à partir de vidéos RGB multivues

Des chercheurs présentent ChainSplat, un cadre d'apprentissage qui reconstruit simultanément la géométrie 3D, l'apparence, la cinématique et la dynamique d'objets linéaires déformables (câbles, cordes, tuyaux) à partir de simples vidéos RGB multi-vues, sans capteur de profondeur. Publié sur arXiv (arXiv:2608.28570v1) le 28 août 2026, le système modélise l'objet déformable comme une chaîne ouverte de liaisons rigides reliées par des articulations rotoïdes, s'appuyant sur la théorie des vis (screw theory) pour obtenir une représentation d'état compacte paramétrée par les configurations articulaires. Cette formulation analytique est couplée au Gaussian splatting, ce qui permet un rendu RGB haute fidélité à partir de n'importe quel état reconstruit. Selon les auteurs, des expériences en conditions réelles montrent des performances état de l'art en prédiction de dynamique, reconstruction 3D et rendu visuel lors d'interactions dynamiques ; le code source et des vidéos de démonstration sont publiés sur chainsplat.github.io. Pour l'industrie robotique, l'enjeu dépasse la simple reconstruction visuelle : la manipulation de câbles, tuyaux et cordes reste un point faible connu des lignes d'assemblage automatisées, car les méthodes existantes reposent sur des pipelines multi-étapes fragiles et des entrées de profondeur auxiliaires peu fiables lors de mouvements rapides, tout en générant des espaces d'état de trop haute dimension pour un contrôle en temps réel. En réduisant la dynamique d'un objet déformable à un modèle articulaire compact exploitable pour l'optimisation de trajectoire, ChainSplat s'attaque directement au goulot d'étranglement du contrôle basé modèle. Les auteurs revendiquent une estimation d'état et de force en temps réel, un argument clé pour des intégrateurs cherchant à automatiser le câblage, le sertissage de tuyaux ou la manipulation de harnais électriques, tâches jusqu'ici largement dévolues à des opérateurs humains faute de modèles physiques suffisamment légers et précis. Ce travail s'inscrit dans une lignée de recherche académique visant à combiner modèles physiques explicites et représentations neuronales de scène, dans la continuité des avancées en Gaussian splatting pour la robotique. Contrairement aux approches purement data-driven à la Pi-0 ou GR00T N2 pour la manipulation générale, ChainSplat cible spécifiquement le sous-problème des objets linéaires déformables avec un a priori physique fort, une piste que plusieurs laboratoires explorent en parallèle pour contourner le coût d'apprentissage des dynamiques haute dimension. L'article ne précise pas de partenariat industriel ni de calendrier de transfert vers un produit commercial ; il s'agit à ce stade d'une contribution de recherche avec code ouvert, dont la prochaine étape naturelle serait une validation sur des tâches de manipulation robotique complètes plutôt que sur les seules métriques de reconstruction et de prédiction présentées ici.

RecherchePaper

1 source

2arXiv cs.RO

LD4WAM : apprendre les dynamiques latentes à partir de vidéos humaines pour des modèles d'action du monde

Des chercheurs ont publié en août 2026 sur arXiv un article présentant LD4WAM, une méthode pour entraîner des World Action Models à partir de vidéos humaines plutôt que de données de téléopération, coûteuses à collecter. Le système associe un Latent Dynamics Model, entraîné par reconstruction sémantique et alignement sur le mouvement réel, à un World Dynamics Action Model en mixture-of-transformers, qui génère des vidéos futures puis en extrait, via des requêtes apprenables, une dynamique latente conditionnant les actions du robot. Pré-entraîné sur un jeu de données unifié de plus de 5 000 heures de vidéos humaines et robotiques, le modèle affiche de bons résultats dans le simulateur RoboTwin et sur des robots réels équipés de pinces et de mains dexterisées, avec une généralisation à des objets et arrière-plans inédits. L'enjeu dépasse la prouesse technique. La vidéo humaine est bien plus abondante et moins chère à collecter que les démonstrations téléopérées, mais son exploitation butait sur un dilemme entre prédiction vidéo pixel par pixel, riche mais non actionnable, et retargeting du mouvement vers le squelette du robot, actionnable mais marqué par un fossé visuel entre corps humain et robot. En proposant une dynamique latente alignée sur le mouvement, agnostique à l'embodiment, LD4WAM cherche à combler ce fossé, ce qui pourrait réduire la dépendance des laboratoires aux campagnes de téléopération pour entraîner des politiques de manipulation, un des principaux goulots d'étranglement du passage à l'échelle des modèles vision-langage-action. Ce travail s'inscrit dans une vague de recherche plus large sur les modèles de monde en robotique, aux côtés d'efforts comme GR00T de NVIDIA, pi-0 de Physical Intelligence ou Helix de Figure, qui explorent aussi l'exploitation de données hétérogènes pour des politiques généralistes. LD4WAM se positionne explicitement contre les deux paradigmes qui l'ont précédé, prédiction vidéo pure et retargeting de mouvement. Il s'agit pour l'instant d'un article déposé sur arXiv, non encore relu par les pairs, sans code publié ni partenariat industriel annoncé, et les démonstrations réelles restent limitées au laboratoire, sans détail sur le taux de réussite.

RecherchePaper

1 source

3arXiv cs.RO

PokeNet : apprentissage de modèles cinématiques d'objets articulés à partir d'observations humaines

PokeNet, un nouveau framework de recherche présenté dans un article arXiv (2602.02741v2, version révisée), apprend le modèle cinématique complet d'un objet articulé à partir d'une seule démonstration humaine, sans connaissance préalable du nombre ou du type d'articulations. Le système reçoit une séquence d'observations en nuages de points capturant une personne en train de manipuler un objet inconnu (porte, tiroir, appareil à plusieurs axes), et en déduit trois choses simultanément : les paramètres des articulations (position et orientation des axes), l'ordre dans lequel les liaisons doivent être actionnées, et l'évolution de l'état de chaque articulation au fil du temps. Sur un ensemble d'objets variés, y compris des catégories jamais vues à l'entraînement, PokeNet améliore la précision d'estimation des axes et des états articulaires de plus de 27% en moyenne par rapport aux meilleures méthodes existantes, avec des résultats validés à la fois en simulation et en conditions réelles. L'enjeu dépasse la simple prouesse technique : la modélisation d'articulations est une brique de base pour toute manipulation robotique d'objets du quotidien, en amont de l'apprentissage de compétences ou de la planification de mouvements. Les approches précédentes butaient sur plusieurs limites pratiques, à commencer par la dépendance à des priors sur l'objet, l'incapacité à récupérer des articulations occultées qui ne se révèlent que pendant l'interaction, ou le besoin de dizaines d'images multi-vues par objet, difficilement compatible avec un déploiement réel. PokeNet s'attaque aussi à un point souvent négligé : l'ordre des manipulations, crucial pour des objets à plusieurs degrés de liberté comme un lave-vaisselle, où il faut ouvrir la porte avant de pouvoir sortir le panier. Un robot capable d'apprendre ce modèle à partir d'une simple démonstration humaine, sans instrumentation lourde, se rapproche d'un déploiement générique en environnement domestique ou industriel non structuré. Le travail s'inscrit dans la lignée des méthodes de "articulation modeling" qui cherchent à généraliser au-delà des catégories d'objets prédéfinies, un axe de recherche actif en robotique de manipulation ces dernières années. En s'appuyant uniquement sur une observation humaine plutôt que sur une exploration robotique coûteuse en essais, PokeNet ouvre la voie à des pipelines où un robot apprend par observation avant d'agir. Les auteurs ne précisent pas de calendrier d'intégration dans un système robotique complet, mais les résultats en environnement réel suggèrent une maturité suffisante pour des tests d'intégration à court terme sur des plateformes de manipulation existantes.

RecherchePaper

1 source

4arXiv cs.RO

WALA : apprendre des actions latentes exécutables à partir de démonstrations étiquetées et de vidéos sans action

Des chercheurs présentent WALA (arXiv:2607.11397), un framework qui apprend des actions latentes exécutables à partir de deux types de données distincts : des démonstrations robotiques annotées d'actions et de simples vidéos sans annotation d'action. Le problème visé est bien connu du secteur : les démonstrations robotiques étiquetées coûtent cher à collecter et passent mal à l'échelle, alors que les vidéos humaines et robotiques disponibles en masse restent inexploitables faute d'étiquettes d'action exécutables. WALA fonctionne en deux temps. D'abord, un pré-entraînement d'un modèle d'action latente sémantique-géométrique sur des vidéos, en modélisant l'évolution entre l'observation courante et des observations futures échantillonnées de façon éparse. Plutôt que de reconstruire les pixels bruts, le système prédit les deltas futurs dans l'espace de features DINOv3 et dans l'espace de profondeur dense, ce qui conserve la structure sémantique et géométrique utile à la tâche tout en réduisant la sensibilité aux détails d'apparence. Lors de l'entraînement de la politique, l'encodeur pré-entraîné fournit des cibles d'action latente stables, et le décodeur sert de modèle du monde latent entraînable, avec une supervision conjointe par prédiction d'action robotique, correspondance de cible d'action latente et prédiction de dynamique future. Résultat annoncé : un nouveau record sur RoboCasa avec 75,2% de taux de réussite moyen, ainsi que de bonnes performances sur RoboTwin et en manipulation réelle. L'enjeu pour l'industrie robotique tient moins à la performance brute qu'à la promesse de découplage entre données d'entraînement et coût d'annotation. Si une politique VLA peut effectivement tirer une supervision de dynamique utile de vidéos non annotées, cela ouvre la voie à des jeux de données d'entraînement bien plus vastes sans multiplier les campagnes de téléopération robotique, un goulot d'étranglement connu pour tout intégrateur ou labo qui cherche à généraliser au-delà d'un jeu de tâches restreint. Cela dit, il s'agit d'un résultat de recherche publié sur arXiv, pas d'un produit déployé : les métriques de succès sur RoboCasa et RoboTwin sont des benchmarks de simulation ou semi-contrôlés, et la mention de "manipulation réelle" reste peu détaillée dans l'abstract, sans précision sur le nombre de tâches, le taux de réussite exact en conditions réelles ni le hardware utilisé. Le travail s'inscrit dans la lignée des architectures vision-langage-action (VLA) comme Pi-0 ou GR00T N2, qui cherchent à unifier perception, langage et contrôle moteur dans un même backbone, et dans la tendance plus large des "world models" latents pour la robotique, où l'usage de features pré-entraînées (ici DINOv3) remplace la reconstruction pixel pour la supervision. Aucun acteur français ou européen n'est mentionné dans cet abstract. Les suites logiques incluraient une publication complète avec code et poids, ainsi que des tests de généralisation croisée entre familles de robots, un point sur lequel l'abstract reste volontairement vague.

RechercheActu

1 source