IA physiquearXiv cs.RO 3 juin 2026

SplitAdapter : loco-manipulation humanoïde sensible à la charge par adaptation factorisée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

SplitAdapter est une architecture présentée sur arXiv (identifiant 2606.03297) visant à améliorer le contrôle de robots humanoïdes en loco-manipulation, soit la combinaison simultanée de la marche bipède et de la manipulation d'objets physiques. Le système part d'une politique de manipulation de boîtes préentraînée qu'il fige, puis lui greffe deux encodeurs de contexte indépendants : l'un capture les propriétés de la charge et de l'objet saisi, l'autre modélise les dynamiques internes du robot. Ces représentations sont injectées via une modulation FiLM hiérarchique (Feature-wise Linear Modulation), combinée à des objectifs split world-model et une régularisation cross-adversariale par gradient reversal (GRL). Les expériences couvrent des objets de 2, 4 et 6 kg, à des hauteurs de prise et de dépôt de 0, 30 et 60 cm, testés en sim-to-sim puis en déploiement sur robot réel. SplitAdapter améliore le taux de succès en tâche complète face à la politique de base et aux baselines FiLM à encodeur unique, avec les gains les plus marqués sous forte charge (6 kg).

L'enjeu central est le transfert sim-to-réel sous charge variable : lorsqu'un humanoïde soulève un objet lourd, ses dynamiques changent sensiblement, et les adaptateurs existants qui fusionnent tous les signaux dans une seule représentation latente tendent à perdre en robustesse précisément dans les conditions les plus critiques. La factorisation proposée, un encodeur par source de variation, maintient une séparation explicite entre les incertitudes liées à l'objet et celles liées au robot, ce qui se révèle plus stable sous conditions extrêmes. Pour un intégrateur ou un OEM industriel, cela suggère qu'une politique généraliste préentraînée peut être adaptée modulairement selon la charge sans réentraînement complet, une propriété utile pour des lignes de production où les objets manipulés varient fréquemment.

La loco-manipulation sur humanoïdes concentre des investissements massifs : Figure AI déploie son Figure 03 chez BMW, Boston Dynamics pousse Atlas en partenariat avec Hyundai, et des labos comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2) misent sur des politiques généralisables de type VLA (Vision-Language-Action). SplitAdapter prend un pari différent, adapter une politique spécialisée existante plutôt que d'en entraîner une nouvelle de bout en bout, ce qui réduit les coûts de calcul mais soulève la question de la généralisabilité hors distribution. Le papier est une préimpression arXiv soumise début juin 2026, non encore évaluée par les pairs ; aucun déploiement industriel ni pilote commercial n'est annoncé à ce stade.

Dans nos dossiers

Figure Boston Dynamics NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Opt2VLA : modèle vision-langage-action sensible à la force pour la manipulation humanoïde à corps entier avec contacts

Un preprint arXiv publié le 22 septembre 2026 (2609.23968v1) présente Opt2VLA, un framework vision-language-action (VLA) pour la manipulation corps-entier de robots humanoïdes dans des tâches à contact riche. Le système introduit des commandes de force explicites à l'interface entre la politique VLA et les contrôleurs bas niveau : une seule politique multi-tâches prédit à la fois des objectifs de mouvement géométriques et des références de force de contact continues, suivies par des contrôleurs entraînés par apprentissage par renforcement. Les données d'entraînement sont générées par optimisation de trajectoire avec références de force explicites, garantissant des trajectoires dynamiquement réalisables. Le système a été testé sur trois tâches humanoïdes à contact riche, en simulation et sur matériel robotique réel. L'enjeu dépasse la démonstration académique. La plupart des modèles VLA actuels pour humanoïdes, à l'image de Pi-0, GR00T N2 ou Helix, représentent les actions uniquement par des objectifs de mouvement géométriques, sans raisonnement explicite sur les forces d'interaction, une limite critique dans les tâches où des mouvements similaires exigent des régimes de force différents, ou où la vision devient peu fiable après contact. Les auteurs montrent que le conditionnement explicite par la force améliore la précision et la stabilité de la régulation, et que la supervision physique issue de l'optimisation de trajectoire renforce encore ce suivi. Pour les intégrateurs industriels, cela suggère qu'une politique VLA unique peut arbitrer entre précision géométrique et contrôle de force sans multiplier les contrôleurs ad hoc, un prérequis pour des tâches fines comme le vissage ou l'insertion de connecteurs. Opt2VLA s'inscrit dans la vague de modèles VLA pour humanoïdes portée par des acteurs comme Physical Intelligence, NVIDIA ou Figure AI, jusqu'ici centrés sur la sémantique visuelle et le suivi de mouvement plutôt que sur la dynamique de contact. L'abstract ne précise ni l'affiliation des auteurs ni le modèle de robot utilisé pour les essais matériels, et les résultats restent ceux d'un preprint non encore relu par les pairs, validé sur trois tâches expérimentales. Les prochaines étapes attendues portent sur l'extension à davantage de tâches à contact riche et la validation de la génération de données par optimisation de trajectoire sur d'autres plateformes matérielles.

IA physiqueActu

1 source

2arXiv cs.RO

SUGAR : cadre d'apprentissage généralisable et extensible pour la loco-manipulation humanoïde par vidéos humaines

Des chercheurs présentent SUGAR (Scalable hUman-video-driven GenerAlizable humanoid loco-manipulation leaRning), un framework publié en préprint sur arXiv (arXiv:2605.20373, mai 2026), conçu pour entraîner des robots humanoïdes à des tâches de loco-manipulation à partir de vidéos humaines non structurées, sans ingénierie de récompenses propre à chaque tâche. Le pipeline se décompose en trois étapes : extraction automatisée de priors cinématiques (trajectoires humain-objet et labels de contact) depuis des vidéos brutes ; raffinement physique via un mimic reward unifié et un progressive state pool qui transforment ces priors imparfaits en mouvements physiquement cohérents ; puis distillation dans une politique hiérarchique composée d'un générateur et d'un suiveur de commandes. Le système a été évalué sur six tâches de loco-manipulation, en simulation et sur matériel humanoïde réel, avec transfert zero-shot vers le monde physique, récupération autonome après échec, et robustesse aux perturbations externes. L'enjeu central est la scalabilité : là où la téléopération humaine, méthode utilisée par Figure AI, Apptronik ou 1X, reste coûteuse et difficile à industrialiser, SUGAR exploite le corpus massif de vidéos humaines disponibles. Le verrou technique était que les priors cinématiques extraits de ces vidéos sont intrinsèquement bruités (occlusions, artefacts de contact, erreurs de retargeting) et inutilisables en l'état pour l'apprentissage. L'étape de raffinement physique est ici la contribution principale. Le fait que la performance scale clairement avec le volume de données vidéo est un résultat significatif : il oriente la recherche vers l'augmentation de données plutôt que l'ingénierie manuelle de récompenses, un changement de paradigme pour les équipes travaillant sur des humanoïdes généralistes. SUGAR s'inscrit dans la vague de contrôle humanoïde piloté par les données, en concurrence directe avec les approches VLA de Physical Intelligence (Pi-0), Google DeepMind, et Nvidia (GR00T N2). Le sim-to-real zero-shot revendiqué reste le défi emblématique du secteur ; les auteurs affirment l'atteindre de manière fiable avec récupération autonome des échecs, mais la sélection de seulement six tâches de démonstration mérite d'être notée. À ce stade, il s'agit d'un résultat académique sans timeline de déploiement commercial : les limites immédiates concernent la diversité des tâches et des environnements testés, qui conditionneront la généralisation à des déploiements industriels réels.

IA physiquePaper

1 source

3arXiv cs.RO

Retargeting de mouvement humain adapté à la morphologie pour la locomotion-manipulation d'un humanoïde à roues

Un preprint arXiv (2609.11357v1) présente un pipeline transférant des mouvements humains captés par motion capture vers le Galaxea R1 Pro, humanoïde à roues sans jambes : base à trois roues, torse et deux bras. Bâtie sur deux frameworks existants, GMR pour le retargeting de mouvement et BeyondMimic pour l'apprentissage en simulation physique, la chaîne convertit des données SMPLX issues de plusieurs jeux de données en mouvements exécutables via prétraitement morphologique, normalisation de la base, cinématique inverse adaptée à la morphologie, retargeting hiérarchique des bras et substitution du torse pour les flexions. Une couche de planification traduit ensuite le déplacement en commandes de direction et roulement des trois roues. Une politique de contrôle à 21 dimensions, baptisée BaseDecode, a été entraînée dans le simulateur Isaac Lab. La majorité des travaux de retargeting humain-humanoïde ciblent des humanoïdes à jambes ; les plateformes à roues, qui combinent mobilité et manipulation sans articulation de jambe, restent peu couvertes alors qu'elles intéressent les intégrateurs logistiques pour leur stabilité et leur coût de contrôle plus faible qu'un bipède. Le problème central résolu est la redistribution du mouvement des jambes humaines vers la base roulante et la posture du torse, sans déformer la géométrie des bras nécessaire à la manipulation. Le système produit un mouvement physiquement exécutable et non une simple animation, dans la lignée des efforts récents pour transformer des démonstrations humaines en politiques robotiques déployables. Les auteurs précisent toutefois que les comparaisons quantitatives entre politiques restent reportées à une révision ultérieure. Le travail s'inscrit dans la vague de recherche sur l'imitation de mouvement humain pour entraîner des politiques de manipulation, aux côtés d'approches comme Pi-0, GR00T N2 ou Helix, mais appliqué à une plateforme humanoïde à roues commerciale, le R1 Pro de Galaxea, plutôt qu'à un bipède comme l'Optimus de Tesla. Il réutilise les briques GMR et BeyondMimic plutôt que de repartir de zéro. Aucun acteur français ou européen n'est associé à ces travaux. La suite annoncée par les auteurs est la publication, dans une révision ultérieure du preprint, de comparaisons quantitatives entre politiques entraînées, pour vérifier si les performances confirment les démonstrations qualitatives de cette première version.

IA physiquePaper

1 source

4arXiv cs.RO

MotionWAM : vers des modèles fondation action-monde pour la loco-manipulation humanoïde en temps réel

Des chercheurs présentent MotionWAM (arXiv:2606.09215), un World Action Model (WAM) temps réel pour la loco-manipulation humanoïde, validé sur neuf tâches physiques avec un Unitree G1 piloté par une unique caméra égocentrique. Contrairement aux architectures dominantes qui séparent une politique pour les bras et un contrôleur pour la locomotion, le système prédit des tokens de mouvement corps-entier dans un espace d'action unifié couvrant locomotion, déplacements du torse, régulation de hauteur, interaction plantaire et manipulation des mains. Pour atteindre le temps réel, MotionWAM conditionne la politique sur les features intermédiaires de débruitage d'un modèle monde vidéo, évitant le débruitage itératif complet sur des latents haute dimension, goulot d'étranglement des WAMs antérieurs. Sur le hardware réel, le système dépasse de plus de 30 points les baselines Vision-Language-Action (VLA) entraînées sur les mêmes démonstrations et réalise des tâches d'interaction plantaire inatteignables par les politiques haut/bas-corps découplées. Le paradigme hiérarchique haut/bas-corps, présent dans des systèmes comme GR00T N2 (NVIDIA) et de nombreuses architectures humanoïdes commerciales, contraint les jambes à un simple rôle d'équilibre déconnecté de la manipulation. MotionWAM démontre sur matériel réel que cette contrainte n'est pas une fatalité et valide que des modèles monde pré-entraînés sur vidéo peuvent réduire la dépendance aux démonstrations robotiques coûteuses. Les métriques restent à contextualiser: neuf tâches sur un seul embodiment, sans publication de temps de cycle ni de robustesse aux variations de scène, restent loin d'une validation industrielle. Les WAMs appliqués à la robotique s'appuient sur des travaux antérieurs en manipulation tabletop (UniSim, Genie de Google DeepMind); MotionWAM étend ces techniques à la commande humanoïde corps-entier. Face aux approches VLA dominantes dans les publications de référence, notamment pi-0 (Physical Intelligence) et GR00T N2, cette architecture propose une alternative centrée sur la dynamique vidéo pré-entraînée. Les prochaines étapes naturelles concernent la validation multi-embodiment et des déploiements industriels semi-structurés, où la variabilité des environnements constituera le vrai test de maturité.

IA physiqueOpinion

1 source