RecherchearXiv cs.RO5h

ObjRetarget : un cadre de retransfert de mouvement sensible aux objets, avec contraintes anthropomorphiques du bras et modélisation polyédrique de la main

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente ObjRetarget, un nouveau framework de retargeting de mouvement humain vers robot destiné à l'apprentissage de la manipulation dextre à partir de vidéos humaines, décrit dans un article publié sur arXiv (2607.03828v1). Le problème visé est classique en intelligence incarnée : transférer fidèlement l'intention humaine observée dans une vidéo vers des actions robotiques exécutables, tout en conservant un contact main-objet stable pendant la manipulation. La méthode combine deux briques. Pour le bras, des trajectoires de référence extraites des vidéos humaines servent de point de départ, affinées par des contraintes anthropomorphiques et une optimisation tenant compte de la redondance cinématique, afin de produire des mouvements naturels et précis. Pour la main, ObjRetarget modélise les contacts multi-doigts via des clusters polyédriques (polytopes) et préserve la structure de contact grâce à des invariants géométriques, ce qui améliore la stabilité du geste. Les tests sur robots réels montrent une amélioration des taux de réussite de manipulation et de la stabilité de contact sur plusieurs tâches dextres, avec une bonne généralisation à de nouvelles démonstrations, poses d'objets et configurations de tâche.

Ce travail s'inscrit dans un enjeu central pour l'industrie robotique actuelle : faire fonctionner l'apprentissage par imitation à partir de vidéos humaines à grande échelle, un des piliers annoncés des modèles VLA (vision-language-action) comme GR00T N2, Pi-0 ou Helix. Le point faible historique de ces approches est justement le retargeting, l'étape où l'intention humaine capturée en vidéo doit être traduite en gestes robotiques exploitables sans perdre la qualité du contact physique. En modélisant explicitement le contact plutôt qu'en s'en remettant au reinforcement learning, souvent gourmand en données et peu généralisable, ObjRetarget répond à une limite concrète freinant le passage de la démonstration vidéo à une manipulation dextre fiable en conditions réelles, un enjeu direct pour les intégrateurs travaillant sur des mains robotiques multi-doigts.

Le papier se positionne en creux face aux méthodes existantes de retargeting, jugées insuffisantes faute de modélisation de contact explicite. Il s'agit ici d'une contribution de recherche publiée sur arXiv, validée expérimentalement sur robots réels mais sans déploiement industriel ni partenaire commercial annoncé à ce stade, les suites logiques étant une intégration possible dans des pipelines d'apprentissage de politiques robotiques plus larges.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

RE4 : imitation des interactions avec les objets, sensible aux transformations, via des modes de manipulation

Une équipe de chercheurs a soumis le 24 juin 2026 sur arXiv (référence 2606.24403) RE4, un cadre d'apprentissage par imitation pour la manipulation d'objets en robotique. L'approche articule quatre étapes modulaires : estimation légère de la pose de l'objet cible par auto-supervision sur les données de démonstration disponibles, récupération d'une démonstration compatible avec le mode de manipulation identifié, transformation géométrique de cette démonstration pour correspondre à la configuration courante de la scène, puis replanification locale reliant l'état initial au point de récupération tout en respectant les contraintes de mode, avant de dérouler la séquence transformée. Le système a été évalué sur deux benchmarks de référence de la communauté : Push-T (en modalité image et état pur) et Robomimic. Un protocole adversarial spécifique a également été construit pour cibler les zones de données rares du Push-T en mode image, afin d'éprouver la robustesse de l'approche en dehors de la distribution d'entraînement. Ce travail s'attaque à une tension centrale de l'imitation learning : les méthodes de bout en bout basées sur la diffusion, comme Diffusion Policy, ou sur les flux normalisant atteignent de bonnes performances, mais sacrifient toute interprétabilité, ce qui complique le diagnostic et la validation en contexte industriel. RE4 démontre qu'il est possible de maintenir des performances compétitives en s'appuyant sur des briques théoriques issues de la manipulation planifiée, notamment la notion de mode de manipulation, qui encode des contraintes de contact et de transition de trajectoire. La robustesse observée en régime de données rares est un signal pertinent pour les intégrateurs industriels : les jeux de démonstrations terrain dépassent rarement quelques dizaines d'exemples par tâche, rendant la densité de données un critère de sélection concret. L'apprentissage par imitation pour la manipulation robotique a connu depuis 2022 une accélération portée par ACT, Diffusion Policy puis Pi-0 de Physical Intelligence et GR00T N2 de NVIDIA, architectures qui ont montré une généralisation impressionnante au prix d'une opacité croissante. RE4 s'inscrit dans un courant concurrent qui défend des approches hybrides combinant connaissance géométrique et représentations centrées objet, dans la lignée de PerAct ou RVT. Il convient de souligner qu'il s'agit d'un preprint académique sans validation sur robot physique publiée à ce stade : les résultats sont entièrement simulés ou en environnement de benchmark logiciel. Les prolongements naturels incluent une validation hardware et une extension à des tâches de manipulation multi-étapes, qui constitueront le vrai test de transférabilité de l'approche.

RecherchePaper

1 source

2arXiv cs.RO

Latents de mouvement sensibles à la géométrie pour des politiques de manipulation robustes

Ils entraînent GeoMoLa (Geometry-Aware Motion Latents) en prédisant l'évolution de nuages de points plutôt qu'en reconstruisant des images, pour capturer les transformations géométriques 3D sous-jacentes aux gestes de manipulation. Contrairement aux approches existantes qui nécessitent une reconstruction multi-vues, GeoMoLa atteint des performances état de l'art avec une seule caméra RGB-D en entrée. Les auteurs valident la méthode sur plusieurs bancs d'essai de manipulation robotique standards, ainsi que sur des expériences en conditions réelles, où le système parvient à manipuler des objets dans des environnements encombrés avec un nombre minimal de démonstrations. Leurs études d'ablation confirment que c'est la prédiction géométrique, et non la richesse visuelle, qui pilote la performance du modèle. Ce résultat pèse sur un débat central de la robotique manipulative actuelle: faut-il apprendre le mouvement à partir de motifs visuels (pixels, textures, apparence) ou à partir de la géométrie sous-jacente de la scène (formes, profondeur, déplacement des points dans l'espace)? En montrant que des latents entraînés sur la géométrie 4D (espace + temps) généralisent à des scènes visuellement inédites tout en produisant des transformations physiquement cohérentes, l'étude apporte un argument empirique en faveur d'une abstraction du mouvement indépendante de l'apparence. Pour les équipes qui développent des politiques de manipulation type VLA (vision-language-action) destinées à des bras robotiques ou des humanoïdes, cela suggère une voie pour réduire la dépendance à des configurations multi-caméras coûteuses, tout en gagnant en robustesse face au bruit visuel et au clutter, un problème récurrent des déploiements industriels réels. Cette recherche s'inscrit dans la lignée des travaux sur les représentations latentes discrètes pour le contrôle robotique, où plusieurs équipes académiques cherchent depuis quelques années à dépasser les limites des politiques purement pixel-to-action, jugées fragiles hors distribution. L'approche par nuages de points 4D rejoint des efforts plus larges en robotique combinant perception 3D (depth, LiDAR, RGB-D) et apprentissage de politiques, un axe également exploré par des laboratoires travaillant sur les modèles VLA généralistes comme Pi-0 ou GR00T N2. Le papier, publié sur arXiv début juillet 2026, ne précise pas de partenariat industriel ni de déploiement commercial: il s'agit à ce stade d'une contribution de recherche fondamentale, dont la prochaine étape naturelle serait une validation à plus grande échelle sur des plateformes robotiques commerciales.

RecherchePaper

1 source

3arXiv cs.RO

HAIC : contrôle agile d'interaction humanoïde avec les objets via un modèle du monde intégrant la dynamique

Des chercheurs ont publié sur arXiv (référence 2602.11758v2) un framework baptisé HAIC, Humanoid Agile Object Interaction Control, destiné à doter les robots humanoïdes d'une capacité de manipulation d'objets à dynamique indépendante, sans recours à des capteurs externes d'état. Le système repose sur un prédicteur de dynamique qui estime la vitesse et l'accélération d'un objet en contact uniquement à partir de l'historique proprioceptif du robot, c'est-à-dire ses propres données articulaires, sans caméra ni lidar dédié à l'objet. Ces estimations sont projetées sur des priors géométriques statiques pour générer une carte d'occupation dynamique spatialement ancrée, permettant au contrôleur d'inférer les limites de collision et les affordances de contact même dans les zones de l'espace occultées. Les tâches validées expérimentalement sur robot humanoïde incluent le skateboard, la poussée et traction de chariot sous charges variables, et le transport d'un carton sur terrain irrégulier avec plusieurs objets en interaction simultanée. L'apport industriel de HAIC est de combler un angle mort structurel de la robotique humanoïde actuelle : la quasi-totalité des méthodes d'interaction humain-objet (HOI) supposent que l'objet est rigidement couplé au robot et entièrement actionné. Cette hypothèse exclut les objets sous-actionnés à dynamique propre, roues, chariots, caisses sur sol glissant, qui sont précisément les objets courants en entrepôt logistique ou en atelier industriel. En gérant les forces de couplage et les perturbations inertielles de façon proactive, HAIC réduit la dépendance aux capteurs périphériques coûteux et améliore la robustesse aux variations de charge. Le mécanisme d'apprentissage asymétrique (asymmetric fine-tuning), où le world model s'adapte en continu à la politique apprise, adresse directement le problème de distribution shift, un point de fragilité classique des pipelines sim-to-real. La publication s'inscrit dans une course ouverte autour du contrôle whole-body pour humanoïdes, dominée par des approches VLA (Vision-Language-Action) comme pi0 de Physical Intelligence, GR00T N2 de NVIDIA, ou les travaux internes de Figure AI et Agility Robotics. HAIC se distingue en privilégiant une architecture model-based compacte plutôt qu'un grand modèle fondation, un choix de conception qui favorise la latence basse et l'embarquabilité. Le papier ne mentionne pas de partenaire industriel ni de timeline de déploiement ; il reste à ce stade une démonstration en laboratoire sur humanoïde non nommé, sans benchmark standardisé externe, ce qui rend la comparaison directe avec d'autres systèmes difficile à établir.

RechercheActu

1 source

4arXiv cs.RO

Politique de diffusion sensible aux phases et contrainte par la rugosité pour le polissage robotique multiphasé

Des chercheurs ont publié sur arXiv (2606.25754) une politique de diffusion baptisée SRDP (Stage-Aware and Roughness-Constrained Diffusion Policy) conçue pour le polissage robotique multi-étapes en environnement industriel. Le système cible en priorité l'aérospatiale, secteur où la qualité de surface conditionne directement la tenue mécanique et la fiabilité des pièces. SRDP infère en continu la phase de polissage en cours (ébauche, semi-finition, finition) à partir d'un historique d'observations multimodales, sans nécessiter d'étiquettes de phase fournies manuellement lors de l'exécution. Le générateur d'actions contraint ensuite la vitesse d'avance et la force de contact normale selon les vitesses de broche préréglées par étape, via un échantillonnage de diffusion orienté rugosité. Les expériences ont été menées sur deux scénarios représentatifs : polissage d'un revêtement de cabine de vaisseau spatial et finition de surfaces structurelles en cavité interne, avec validation sur robot réel. L'enjeu industriel est direct : le polissage reste l'une des tâches les plus difficiles à automatiser par apprentissage par imitation, en raison des dépendances temporelles longues, des transitions de phase incertaines et du couplage fort entre paramètres process (force, vitesse, rugosité cible). Les approches existantes échouent précisément parce qu'elles ignorent la nature séquentielle des étapes ou ne peuvent pas réguler les paramètres physiques de manière cohérente. SRDP rompt avec cette limite en conditionnant le processus de débruitage inverse sur la phase inférée, ce qui produit des actions cohérentes avec l'étape courante sans supervision externe. Les résultats montrent une meilleure stabilité lors des transitions de phase, une plus grande consistance des paramètres process et une qualité de surface finale améliorée par rapport aux baselines comparées. Ce travail s'inscrit dans une vague de politiques de diffusion pour la manipulation industrielle fine, portée depuis 2023 par les travaux de Chi et al. sur Diffusion Policy et accélérée par des architectures comme pi0 (Physical Intelligence) ou les politiques de contact de Lerobot. Le polissage était jusqu'ici dominé par des approches de contrôle en force classique ou d'asservissement d'impédance, moins flexibles face à la variété géométrique des pièces. Aucun partenaire industriel ni calendrier de transfert n'est mentionné dans la publication ; il s'agit donc d'un résultat de recherche académique, pas d'un produit commercialisé.

UEImpact indirect pour le secteur aérospatial européen (Airbus, Safran) dont la qualité de surface des pièces conditionne la certification, mais aucun partenaire industriel ni institution européenne n'est impliqué dans ce résultat académique.

RecherchePaper

1 source