Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

Retargeting humanoïde tenant compte de la géométrie via des EDO sur variétés

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont mis en ligne sur arXiv (référence 2610.41349, version 1) TaSP-KKT, une méthode de retargeting de mouvement pour humanoïdes qui préserve les interactions. Il s'agit de transposer des démonstrations humaines vers un robot humanoïde en conservant les relations spatiales avec les objets manipulés et le terrain. Le point de départ est OmniRetarget, qui traite ce problème par optimisation sous contraintes couplée dans le temps. Cette approche exige des itérations répétées de programmation quadratique séquentielle (SQP) à chaque image. Les auteurs reformulent le problème en modélisant la limite en temps continu des conditions de Karush-Kuhn-Tucker (KKT) image par image comme une équation différentielle ordinaire (ODE) sur la variété des configurations du robot. Les itérations SQP d'OmniRetarget y apparaissent comme une discrétisation arrière de cette ODE, ce qui permet de démontrer leur convergence locale sous hypothèses de régularité. TaSP-KKT (tangent-space parametrization for KKT flow) repose sur une discrétisation avant. Chaque pas ne demande qu'une projection pondérée sur un cône tangent et une mise à jour de la variété en forme close, sans boucle SQP interne. Selon les expériences numériques, la qualité de retargeting est comparable à celle d'OmniRetarget, mais légèrement inférieure, pour un temps de calcul environ deux fois plus court.

Le retargeting est une brique de la chaîne de production de données pour humanoïdes, car il convertit des mouvements humains en trajectoires exploitables pour l'apprentissage de politiques. Réduire son coût de moitié compte donc quand on traite de grands volumes de démonstrations. L'apport principal est surtout théorique, puisqu'il donne un cadre qui explique pourquoi les méthodes SQP convergent et qui en dérive une alternative moins coûteuse. Le gain de vitesse a toutefois une contrepartie assumée en qualité. Le résumé ne précise ni les métriques, ni les robots, ni les scénarios testés, et ne mentionne aucune validation sur matériel réel. Le facteur deux reste donc à confirmer sur des cas concrets.

Ce travail s'inscrit dans la montée en puissance des pipelines de données pour humanoïdes, où OmniRetarget sert de référence pour la préservation des interactions avec l'environnement. Les auteurs se positionnent explicitement par rapport à lui plutôt qu'à d'autres familles de méthodes. Il s'agit d'un préprint non relu par les pairs, sans produit ni déploiement associé. Les suites logiques seraient des comparaisons sur davantage de morphologies et de scènes riches en contacts, puis une intégration dans des chaînes d'entraînement complètes. Aucun acteur français ou européen n'est cité dans le résumé.

Dans nos dossiers

arXiv cs.RO

À lire aussi

RMRRT : RRT à métrique de barrière riemannienne pour un pilotage tenant compte des inégalités sur variétés d'égalité
1arXiv cs.RO 

RMRRT : RRT à métrique de barrière riemannienne pour un pilotage tenant compte des inégalités sur variétés d'égalité

Des chercheurs proposent RMRRT (Riemannian Barrier Metric RRT), un planificateur de mouvement par échantillonnage qui traite dans une même formulation géométrique les contraintes d'égalité et d'inégalité pour des systèmes robotiques de grande dimension. Dans les planificateurs classiques de type RRT, les contraintes d'égalité (par exemple garder un objet à l'horizontale pendant son transport) sont imposées par projection sur la variété admissible, tandis que les contraintes d'inégalité, dont l'évitement de collision, sont gérées à part par de simples tests de validité binaires. RMRRT construit d'abord une métrique de barrière ambiante à partir de termes sensibles aux inégalités, puis en déduit une métrique sur l'espace tangent via une projection G-orthogonale associée aux contraintes d'égalité. Cette métrique sert à la fois pour l'extension de l'arbre (steering) et pour le choix du plus proche voisin, ce qui éloigne l'exploration des frontières proches tout en conservant la cohérence au premier ordre avec les contraintes d'égalité. Les auteurs annoncent un taux de succès de 100 % sur diverses tâches de manipulation contrainte, en simulation et en conditions réelles, avec un temps de planification réduit par rapport à des références de planification contrainte. Une étude d'ablation indique que la métrique diminue le nombre d'échantillons rejetés et raccourcit les trajectoires. L'intérêt pratique tient à la manipulation sous contraintes, qui reste un point dur dans les cellules robotisées encombrées : tenir un récipient sans le pencher, insérer une pièce, évoluer près d'obstacles. Le temps de planification y pèse directement sur le temps de cycle et sur la facilité de reprogrammation, donc sur la rentabilité pour un intégrateur. Un planificateur qui gaspille moins d'échantillons en collision réduit la latence et la variabilité des calculs, ce qui compte pour des robots censés replanifier en ligne. Le résultat est toutefois à lire avec prudence. Les chiffres sont des mesures d'auteurs sur des tâches choisies par eux, le gain en temps n'est pas chiffré dans le résumé, et les baselines ne sont pas nommées. Autre limite explicite : la métrique repose sur des inégalités « proxy » issues de distances signées, qui orientent seulement les directions dans l'espace tangent. La faisabilité stricte reste garantie par les tests de validité habituels, donc la collision n'est pas traitée de façon formelle. Ces travaux s'inscrivent dans la lignée des planificateurs contraints par projection ou par atlas, qui ont popularisé la gestion des variétés d'égalité dans les RRT, et des méthodes à fonctions barrière issues de l'optimisation et de la commande, ici transposées à la géométrie de l'échantillonnage. Ils se positionnent face à l'optimisation de trajectoire (type CHOMP ou TrajOpt) et aux approches apprises, qui visent le même objectif de planification rapide en environnement contraint. L'article, publié sur arXiv (2610.06863), est une prépublication non évaluée par les pairs. Le site compagnon, aux ressources anonymisées, annonce la mise à disposition de vidéos et du code, ce qui permettra de vérifier les résultats sur d'autres plateformes. Aucun déploiement industriel ni partenaire n'est mentionné à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
SMR : apprentissage du retargeting de mouvement en flux continu pour humanoïdes à partir de la sémantique humaine
2arXiv cs.RO 

SMR : apprentissage du retargeting de mouvement en flux continu pour humanoïdes à partir de la sémantique humaine

Des chercheurs proposent SMR, un système de retargeting de mouvement en flux continu qui convertit les gestes humains en références exécutables par un humanoïde. L'approche repose sur des « experts physiques » qui suivent, en simulation, des cibles dérivées du mouvement humain: positions, orientations et vitesses de repères corporels, exprimées dans l'espace des tâches du robot. Ces experts doivent respecter les contacts, la dynamique et les limites des actionneurs. Seules les trajectoires réellement exécutées qui mènent le mouvement à son terme et passent des contrôles de validité sémantique et physique sont conservées. Elles servent ensuite à entraîner un unique Transformer strictement causal. À chaque image reçue, ce modèle n'utilise que les observations humaines courantes et passées pour produire une référence de mouvement, transmise à un contrôleur de corps entier en aval. L'étude, publiée sur arXiv (v1), ne fournit dans son résumé ni nombre de degrés de liberté, ni robot cible, ni latence chiffrée, ni résultat sur matériel réel. L'enjeu tient à deux limites des pipelines actuels. Les méthodes cinématiques font de la correspondance géométrique sans savoir si la trajectoire est exécutable par le robot. Les méthodes neuronales supervisées par la physique, elles, s'entraînent sur des trajectoires cinématiques raffinées, restent donc liées à ces solutions de départ, et exigent des modèles bidirectionnels sur séquences complètes, incompatibles avec le temps réel. En supprimant ce besoin de contexte futur, SMR vise la téléopération et l'imitation en direct, où le robot doit réagir sans attendre la fin du geste. Les auteurs affirment que les experts conditionnés par la sémantique produisent des mouvements plus fidèles et plus physiquement valides que l'optimisation directe, et que le retargeter obtient de meilleurs résultats en boucle fermée que les références cinématiques et physiquement raffinées, avec un même contrôleur de corps entier. Ces gains restent à vérifier: le résumé ne donne aucun chiffre, et un résultat obtenu en simulation ne garantit pas le transfert sim-to-real. Ce travail s'inscrit dans la vague de contrôle de corps entier pour humanoïdes alimentée par la capture de mouvement humain, où le retargeting sert de brique entre données humaines et politiques robotiques. La chaîne classique de cinématique inverse suivie d'un raffinement physique y est devenue un goulot d'étranglement, en coût de calcul comme en latence. SMR rejoint les approches qui distillent des experts de simulation vers un modèle léger, déployable en ligne. Il faudra attendre le texte complet, le code et d'éventuelles validations sur robot réel pour mesurer l'apport face aux baselines établies.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Retargeting de mouvement du haut du corps, de l'humain au robot, préservant la géométrie à partir d'une vidéo monoculaire
3arXiv cs.RO 

Retargeting de mouvement du haut du corps, de l'humain au robot, préservant la géométrie à partir d'une vidéo monoculaire

Des chercheurs proposent un cadre de retargeting de mouvement qui convertit une simple vidéo RVB monoculaire en mouvements coordonnés du haut du corps pour un robot dual-bras à main dextre. Le système repose sur une reconstruction unifiée corps-mains : les estimations image par image du corps, les observations à l'échelle de la vidéo et les détails des mains contraignent ensemble un unique état du Momentum Human Rig (MHR), un modèle corporel différentiable. Les artefacts transitoires sur les mains sont corrigés directement dans l'espace des paramètres. Le mouvement est ensuite décrit par des grandeurs géométriques (directions des segments du bras, configuration du coude, orientation relative des paumes, relations bilatérales des poignets), puis exécuté par une cinématique inverse en plusieurs étapes et une adaptation propre à la main du robot. Au sein d'un système plus large, Across-VAM gère la génération vidéo et Across-WAM la mise en correspondance humain-robot. L'évaluation porte sur 16 vidéos (1 769 images source), dont 10 séquences de langue des signes et 6 de saisie. L'erreur moyenne de reprojection des mains passe de 22,36 à 7,21 pixels par rapport à SAM 3D Body. Les 16 trajectoires ont été rejouées en simulation cinématique, et deux mouvements représentatifs (signes, saisie) ont été démontrés sur un robot réel. Pour l'industrie, l'intérêt tient à la source de données. La vidéo monoculaire est la matière première la moins chère pour l'apprentissage par démonstration, bien moins coûteuse que la téléopération ou les gants de capture. Mais le transfert vers un robot bute sur un problème concret : corps et mains sont reconstruits à des échelles différentes, les cinématiques divergent et les mouvements distaux fins se perdent. Une réduction de l'erreur de reprojection de plus des deux tiers sur les mains est significative pour la dextérité, là où les pipelines existants dégradent le plus. Des réserves s'imposent toutefois. L'échantillon est très réduit (16 vidéos), le succès en simulation ne mesure que la faisabilité cinématique, sans dynamique ni contact, et la validation physique se limite à deux démonstrations qualitatives, sans taux de réussite chiffré. Le gain est mesuré contre un seul point de comparaison, et le cas de la langue des signes, bien que parlant, reste éloigné de la manipulation industrielle. Ce travail s'inscrit dans la course à la donnée pour les modèles de politique robotique. Les acteurs comme Figure, Tesla (Optimus) ou Physical Intelligence cherchent à exploiter des vidéos humaines à grande échelle pour nourrir leurs VLA, et la qualité du retargeting devient un goulot d'étranglement. La séparation entre génération vidéo (Across-VAM) et mapping humain-robot (Across-WAM) suggère une architecture modulaire pensée pour relier des modèles génératifs à l'exécution. Les prochaines étapes à surveiller sont une évaluation sur davantage de séquences, des taux de succès en manipulation réelle avec contacts, et une intégration avec des politiques apprises. Le papier est un preprint sur arXiv, non évalué par les pairs, et aucun calendrier de déploiement n'est annoncé.

RecherchePaper
1 source
GWM-VLA : une modélisation latente du monde tenant compte de la géométrie pour le VLA
4arXiv cs.RO 

GWM-VLA : une modélisation latente du monde tenant compte de la géométrie pour le VLA

Publié sur arXiv sous la référence 2608.07619 (août 2026), GWM-VLA est un nouveau cadre de modélisation latente du monde pour les modèles vision-langage-action (VLA) utilisés en manipulation robotique. L'architecture combine trois éléments : un module d'encodage multi-vues géométriquement conscient, nommé VGGT-Ω, qui agrège à chaque pas de temps les flux de plusieurs caméras pour construire un état multi-vues cohérent ; un modèle du monde latent qui prédit uniquement les tokens de patch de l'étape suivante pour une vue cible unique, la caméra de poignet du bras robotique dans les expériences, plutôt que de reconstruire l'intégralité de la scène multi-vues ; et une représentation d'action latente partagée qui conditionne à la fois ce modèle du monde et une tête d'action par flow-matching, entraînée simultanément par supervision de prédiction latente et par les actions robotiques réelles. Les auteurs testent le système en simulation et sur robot réel, sans détailler de chiffres de performance dans le résumé public. L'enjeu vise une faiblesse connue des VLA : leurs performances de manipulation, solides en conditions contrôlées, se dégradent souvent face à des changements visuels ou environnementaux comme l'éclairage, la position de caméra ou l'arrière-plan. La plupart des modèles du monde latents existants encodent chaque vue caméra indépendamment et prédisent la dynamique globale de la scène sans modéliser explicitement les relations géométriques entre vues, ce qui fragilise la robustesse. En imposant une cohérence géométrique multi-vues dès l'encodage, GWM-VLA s'inscrit dans les efforts récents pour combler l'écart entre démonstrations en laboratoire et déploiement réel, un point sensible pour les intégrateurs qui évaluent des politiques VLA de type Pi-0, GR00T N2 ou Helix pour des lignes de production ou de la logistique, où la variabilité des scènes est la norme plutôt que l'exception. GWM-VLA s'ajoute à une vague de recherches associant modélisation du monde et apprentissage d'actions pour renforcer la généralisation des politiques robotiques, un axe explore en parallèle par plusieurs laboratoires travaillant sur les architectures VLA à grande échelle. L'article ne précise ni l'affiliation institutionnelle des auteurs ni de comparaison chiffrée avec des bases de référence publiées, ce qui en fait pour l'instant une contribution académique en preprint, non revue par les pairs, plutôt qu'un produit ou un déploiement industriel. Aucune date de publication en conférence, aucun partenariat industriel ni feuille de route de déploiement ne sont mentionnés ; la validation indépendante de la robustesse annoncée reste donc à établir par la communauté.

RecherchePaper
1 source