RecherchearXiv cs.RO 28 octobre 2026

GRAFT : adaptation résiduelle sensible à la géométrie pour les modèles fondation de suivi

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent GRAFT, un cadre d'adaptation résiduelle sensible à la géométrie, destiné aux « behavior foundation models » (BFM) humanoïdes figés, publié sur arXiv (2610.36507). Les BFM sont des trackers de mouvement réutilisables: à partir d'une référence cinématique, ils produisent les commandes articulaires coordonnées du corps entier, pour le rejeu de mouvements, la téléopération ou le pilotage par VLA (modèles vision-langage-action). GRAFT laisse les paramètres du BFM et son interface de référence intacts. Un adaptateur léger n'ajoute que des corrections conditionnées par le terrain, limitées aux cibles d'exécution du bas du corps. Il est entraîné avec des récompenses de tâche et de géométrie du pied, et régularisé pour ne rien corriger sur sol plat. Il est distillé depuis des observations de terrain privilégiées (disponibles seulement en simulation) vers une perception par caméra de profondeur embarquée. Le cadre est instancié sur quatre trackers figés et évalué en simulation sur des escaliers, des trous et des plateformes. Une validation réelle a été menée sur un Unitree G1: le tracker SONIC adapté franchit le terrain avec la profondeur embarquée et des références non modifiées. Le résumé ne donne aucun chiffre de taux de réussite, de hauteur de marche ou de durée des essais.

Le point notable est architectural. Les BFM sont entraînés surtout sur sol plat et ne savent pas adapter placement du pied, garde au sol en phase de balancier et timing des contacts au relief. Beaucoup d'approches réentraînent ou affinent le tracker avec la perception, ce qui coûte en données et en calcul. Elles couplent aussi le suivi ordinaire au canal de perception. En figeant le BFM, GRAFT ramène l'apprentissage du terrain à un problème d'adaptation de l'exécution. Pour les équipes qui s'appuient déjà sur un tracker généraliste, cela suggère un module de perception ajoutable sans refaire l'entraînement du modèle de base ni casser le comportement validé sur sol plat. La compatibilité avec quatre trackers différents pointe vers une couche réutilisable, mais seul le G1 a été testé en conditions réelles. Il faut lire ce résultat avec prudence: les preuves publiées portent sur des obstacles ponctuels (escaliers, trous, plateformes), pas sur des terrains non structurés ni sur des déploiements prolongés.

Ce travail s'inscrit dans la montée en puissance des modèles de comportement de corps entier, dont SONIC fait partie, utilisés comme couche basse sous des politiques VLA et des systèmes de téléopération. Leur limite principale reste la locomotion hors terrain plat, que les approches de réentraînement conjoint avec perception tentent de lever au prix d'un fort coût d'entraînement. Le Unitree G1, plateforme humanoïde accessible, sert de banc d'essai courant pour la recherche académique. Reste à voir si l'approche tient sur des terrains plus variés, avec des références dynamiques plus exigeantes et sur d'autres robots. Il s'agit d'un préprint, sans annonce de produit, de pilote industriel ni de calendrier.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Unitree IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

ViTaR : adaptation résiduelle visuo-tactile pour la manipulation par modèles fondation VLA

Une équipe publie sur arXiv (2608.15816v1) ViTaR (Visuo-Tactile Residual Adaptation), qui comble un angle mort des modèles Vision-Language-Action (VLA) : entraînés sur de vastes a priori visuels, ils produisent la même action que le contact avec l'objet soit établi, perdu ou déstabilisé. Plutôt que de modifier l'intérieur du VLA, au risque d'un oubli catastrophique, ou de recourir à du renforcement en ligne près des conditions d'échec, ViTaR garde le modèle gelé et traite le tactile comme un modulateur d'exécution plutôt que comme une entrée génératrice d'action. Une première étape détermine si une correction résiduelle est localement justifiée à partir des résultats observés, une seconde la convertit en un gain continu calculé en temps réel. Sur le benchmark UniVTAC, sept tâches de manipulation à fort contact, ViTaR atteint 61,3% de réussite moyenne, soit 30,6 points de plus que le VLA gelé de base, devançant aussi des méthodes tactiles spécialisées ; des essais sur robot physique confirment le transfert au bruit et à la dynamique réels des capteurs. Ce résultat cible un point critique pour l'industrialisation des VLA, de plus en plus déployés sur bras manipulateurs et humanoïdes : ces modèles excellent sur des tâches visuelles généralistes mais restent fragiles dès qu'il faut saisir, insérer ou assembler avec un contact fin, un scénario omniprésent en logistique et en assemblage industriel. En montrant qu'une correction résiduelle bornée, greffée sur un VLA figé, suffit à gagner plus de 30 points de réussite sans réentraîner le modèle de base, ViTaR ouvre une voie pour ajouter de la robustesse tactile aux piles VLA existantes sans dégrader leurs capacités généralistes. Les approches précédentes laissaient au contraire au tactile une influence non bornée sur l'action générée, au risque de contredire les a priori qui font la généralisabilité de ces modèles. Le travail s'inscrit dans les efforts pour doter les modèles VLA de fondation, dans la lignée de familles comme Pi-0, GR00T ou Helix, d'une perception multimodale plus fine que la seule vision. Publié comme soumission arXiv nouvelle, ViTaR reste à ce stade une contribution de recherche validée sur un benchmark simulé et par des essais robot physique limités, sans annonce de déploiement industriel ni de partenariat commercial. Les auteurs ne donnent pas de calendrier pour une intégration dans des piles VLA commerciales existantes.

RecherchePaper

1 source

2arXiv cs.RO

RL sensible à la géométrie pour l'insertion de vêtements ajustés portables

Des chercheurs proposent un cadre d'apprentissage par renforcement (RL) pour l'habillage robotisé, testé sur l'enfilage d'un bracelet sur une main. Le travail, publié sur arXiv (2610.32143), part d'un constat connu: l'assistance à l'habillage est difficile à cause des ouvertures étroites des vêtements et des membres articulés. Une petite erreur de pose relative entre la main et l'ouverture suffit à provoquer un accrochage, une insertion manquée ou un habillage incomplet. Plutôt que de modéliser l'état complet de l'objet déformable, les auteurs formulent la tâche comme un problème d'insertion « conscient de la géométrie », qui ne retient que les relations spatiales utiles entre la partie du corps et l'ouverture. Leur politique s'appuie sur un curriculum par étapes, qui guide l'agent de l'alignement grossier vers l'insertion puis le placement final. Elle ajoute une « porte douce » d'insertion doigt par doigt, qui donne un retour continu sur la progression de chaque doigt et limite les insertions prématurées. L'évaluation couvre des bracelets rigides et déformables, avec des ablations de composants, des variations systématiques de la pose initiale de la main et une exécution en boucle fermée sur un robot réel. En évaluation déformable après entraînement, la méthode complète atteint 84,7 ± 1,2 % de réussite. La porte d'insertion apporte le gain le plus important, et l'ajout du curriculum par-dessus ce mécanisme donne le meilleur score. Sur un mannequin de main, la même politique réussit 15 essais sur 20 (75 %) en conditions réelles. Les auteurs ne détaillent pas dans ce résumé le robot utilisé, le nombre de répétitions simulées ni les conditions de test physique. Pour les intégrateurs et les équipes qui travaillent sur l'assistance à la personne, l'intérêt est surtout méthodologique. Représenter la tâche par quelques relations géométriques évite de simuler fidèlement le tissu, l'un des verrous du transfert simulation-réel pour les objets déformables. L'écart entre 84,7 % en simulation et 75 % en réel reste modeste, mais il apparaît sur un échantillon de 20 essais, ce qui laisse une marge d'incertitude large. Surtout, un mannequin n'a ni les mouvements involontaires, ni les variations morphologiques, ni les exigences de sécurité d'une personne réelle. Un taux de réussite de 75 % reste donc loin d'un niveau déployable pour un usage en soins, et la tâche, un bracelet, est bien plus simple qu'une manche ou une chaussette. Ce travail s'inscrit dans la robotique d'assistance, où l'habillage constitue un cas d'école de manipulation déformable en contact avec le corps humain. Les approches antérieures reposaient souvent sur des modèles explicites du vêtement ou sur de la démonstration, ce que cette formulation géométrique cherche à contourner. Les suites logiques seraient de passer à des vêtements plus complexes, à des mains humaines réelles et à des mesures de force de contact. Aucun partenariat industriel, calendrier de pilote ni acteur commercial n'est mentionné à ce stade, et il s'agit d'une prépublication non évaluée par des pairs.

RecherchePaper

1 source

3arXiv cs.RO

Champs de risque sémantique guidés par un modèle fondation et sensibles à la topologie pour la manipulation

Des chercheurs proposent un champ de risque sémantique 3D pour la planification de mouvement en manipulation, publié sur arXiv (2609.36640v1). Le système attribue à chaque paire objet manipulé / objet de la scène six poids de risque directionnels, ainsi qu'une échelle de décroissance spatiale propre à la paire, tous produits par un modèle de fondation. Ces a priori sont fusionnés avec la géométrie 3D voxelisée de la scène par un « shielding » sensible à la topologie (un obstacle protège l'objet sensible) et par une décroissance spatiale géodésique, c'est-à-dire mesurée le long des chemins réellement praticables. Un backend parallélisé sur GPU regroupe les calculs de distance et de risque par objet pour construire un champ 3D dense, utilisable comme terme de coût modulaire par n'importe quel planificateur en aval. L'évaluation porte sur trois scénarios domestiques en simulation, sur le comportement du shielding face à des barrières complètes ou partielles, et sur la comparaison avec une base de référence à a priori sémantiques calculés pixel par pixel. Les auteurs évaluent aussi le coût de calcul et la fiabilité du pipeline. Le résumé ne donne aucun chiffre précis (temps de calcul, taux de réduction d'exposition), et il n'indique ni le modèle de fondation utilisé ni de test sur robot réel. L'enjeu est de dépasser l'évitement de collision, qui traite tous les contacts et toutes les proximités de façon équivalente. Dans un foyer, passer un couteau au-dessus d'un ordinateur portable ou d'une assiette n'a pas le même risque que le passer près d'un mur. Les modèles de fondation peuvent fournir ce jugement contextuel, mais leurs sorties restent difficiles à intégrer dans un planificateur qui exige des garanties géométriques strictes. Ce travail répond à cette tension en séparant les deux niveaux. Les contraintes dures restent géométriques, et le risque sémantique entre comme un coût doux, ce qui préserve la modularité. Pour les intégrateurs, c'est une piste vers des manipulateurs de service plus acceptables en environnement non structuré. Il faut toutefois rester prudent : les résultats sont uniquement simulés, et la mesure principale, une « exposition sémantique » plus faible que celle de trajectoires sans risque sémantique, dépend de la définition choisie par les auteurs. Rien ne prouve encore que les poids produits par le modèle soient fiables ou reproductibles hors simulation. Ce travail s'inscrit dans la vague des approches qui associent modèles vision-langage et planification, comme les champs de valeur 3D de type VoxPoser ou les contraintes spécifiées par langage naturel. La plupart projettent la sémantique en 2D ou l'ignorent dans la topologie de la scène, ce que la base de comparaison pixel par pixel illustre ici. Les prochaines étapes probables sont une validation sur bras réel, un test sur des scènes encombrées et dynamiques, et une intégration avec des politiques VLA (vision-langage-action) de type Pi-0 ou GR00T. Aucun calendrier de déploiement ni partenaire industriel n'est annoncé, et il s'agit d'un préprint non évalué par des pairs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

GMT compliant : rendre le suivi de mouvement généraliste compliant grâce à l'adaptation résiduelle de la référence

Des chercheurs proposent Compliant GMT (C-GMT), un cadre modulaire qui donne à un humanoïde des réponses compliantes sur l'ensemble du corps tout en conservant la capacité de suivre n'importe quel mouvement. L'approche part d'un « général motion tracker » (GMT) préentraîné, c'est-à-dire une politique apprise par imitation de vastes bases de données de capture de mouvement, et lui ajoute un adaptateur résiduel. Ce module corrige la référence de mouvement en fonction d'un historique de proprioception (positions et vitesses articulaires, état interne du robot). Les auteurs comparent C-GMT aux GMT de l'état de l'art et à des politiques compliantes entraînées sur un seul mouvement. Ils annoncent une précision de suivi et une adhérence à la compliance compétitives face aux deux familles. Ils rapportent aussi une meilleure sécurité, une meilleure robustesse et une meilleure tolérance aux erreurs, en simulation et sur le Unitree G1 réel. Le résumé ne donne ni chiffres de performance, ni nombre de mouvements testés, ni protocole de perturbation. Les gains restent donc à vérifier dans l'article complet. L'enjeu est la sécurité du déploiement. Les GMT actuels imitent très bien des mouvements variés, mais ils sont entraînés pour être rigides. Face à une poussée, un contact inattendu ou un humain dans l'espace de travail, ils compensent de façon agressive, ce qui peut produire des comportements imprévus et dangereux. Pour un intégrateur ou un responsable de site, c'est un frein concret à la cohabitation avec des opérateurs. Jusqu'ici, il fallait choisir entre la compliance et la généralité. Les politiques compliantes de corps entier existent, mais elles sont taillées pour une seule référence. Si l'adaptateur résiduel tient ses promesses sur un large répertoire, il évite de réentraîner une politique compliante pour chaque tâche et ajoute une couche de sécurité à des contrôleurs généralistes existants. La démonstration reste toutefois limitée à une plateforme de recherche, le G1, sans preuve de déploiement industriel. Ce travail s'inscrit dans la montée des politiques de suivi de mouvement généralistes pour humanoïdes, issues de l'imitation à grande échelle de données de capture de mouvement. Leur rigidité était le revers d'une précision de suivi élevée. En greffant la compliance sur un modèle de base sans le réentraîner, C-GMT suit une logique modulaire proche de celle des modèles de fondation pour la robotique. Il reste à savoir comment la méthode se comportera sur d'autres morphologies, avec des charges utiles ou pendant des tâches de manipulation. Les acteurs industriels qui travaillent sur la sécurité des humanoïdes en environnement partagé, aux États-Unis, en Chine et en Europe, auront tout intérêt à suivre ce type d'approche. Une validation indépendante et la publication du code seront les prochaines étapes déterminantes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source