Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
HOIST : optimisation d'humanoïde par imitation et ajustement efficace pour la manipulation de charges suspendues
RecherchearXiv cs.RO 

HOIST : optimisation d'humanoïde par imitation et ajustement efficace pour la manipulation de charges suspendues

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs publient ce mois-ci sur arXiv (2606.00252) une approche hybride baptisée HOIST pour apprendre à un robot humanoïde à manipuler des charges suspendues, c'est-à-dire des objets oscillants accrochés à des câbles ou des crochets, sans contact direct permanent. Le système fonctionne en deux temps : une politique de type VLA (vision-language-action) est d'abord fine-tunée à partir de démonstrations humaines capturées en téléopération sous casque de réalité virtuelle, puis ses commandes sont exécutées par un contrôleur de corps entier (whole-body controller). Dans un second temps, des rollouts de cette politique VLA servent de données d'amorçage pour un apprentissage par renforcement itératif par lots, ce qui améliore la précision de placement final sans exposer le robot réel à des trajectoires aléatoires dangereuses. Par rapport à la politique VLA seule, HOIST réduit l'erreur de placement translationnel de 19,9 cm et l'erreur angulaire brute de 3,56 degrés, mesurées en simulation et sur un humanoïde physique.

Ce résultat est significatif pour un problème longtemps jugé difficile : une charge suspendue est un système sous-actionné, c'est-à-dire que le robot ne peut l'influencer qu'indirectement via sa propre cinématique et des contacts intermittents. L'imitation seule ne suffit pas à garantir la précision de dépose, et le RL from scratch sur robot réel est à la fois dangereux et prohibitivement coûteux en échantillons. HOIST démontre qu'un pipeline VLA + RL itératif peut combler ce gap sim-to-real sur une tâche de manutention industrielle concrète, ce qui intéresse directement les intégrateurs travaillant sur la logistique d'entrepôt ou l'assemblage assisté.

La manipulation de charges suspendues est un cas d'usage récurrent en industrie (accrochage de pièces, convoyage aérien, montage) que peu d'équipes humanoïdes ont adressé frontalement. Les travaux antérieurs sur les VLA humanoïdes, notamment ceux de Physical Intelligence avec pi0 ou les pipelines whole-body de Figure et 1X, se concentrent surtout sur la manipulation d'objets rigides posés sur des surfaces. HOIST, dont les auteurs n'indiquent pas encore d'affiliation institutionnelle claire dans cette version préprint, ouvre une piste de spécialisation sectorielle. Les prochaines étapes annoncées incluent des tests sur des scénarios de manutention plus complexes ; aucun déploiement industriel ni partenariat n'est mentionné à ce stade.

Dans nos dossiers

Physical Intelligence — π0arXiv cs.RO

À lire aussi

CWI : système d'imitation du corps entier pour la loco-manipulation de robots humanoïdes
1arXiv cs.RO 

CWI : système d'imitation du corps entier pour la loco-manipulation de robots humanoïdes

Des chercheurs ont publié fin juin 2026 sur arXiv (réf. 2606.27676) le framework CWI (Composite Whole-Body Imitation), une architecture de contrôle pour robots humanoïdes visant à coordonner locomotion et manipulation bimanuelle en simultané. Le système a été évalué en simulation puis déployé sur un LimX Oli, humanoïde pleine taille du fabricant chinois LimX Robotics. L'approche repose sur une dissociation du recours aux données de capture de mouvement (MoCap) : les données MoCap de manipulation diversifiées pilotent le contrôle du haut du corps, tandis que la locomotion est guidée par deux discriminateurs adversariaux (Adversarial Motion Prior, AMP) entraînés sur des clips curatés de marche et d'accroupissement. Une architecture multi-critique réduit les conflits entre objectifs de locomotion, de manipulation et de style de mouvement ; une étape de distillation enseignant-élève produit ensuite une politique conditionnée uniquement sur les poses des mains et des commandes de vitesse et hauteur. La loco-manipulation reste l'un des verrous majeurs de la robotique humanoïde. Les méthodes purement par renforcement, sans MoCap, souffrent de récompenses creuses et nécessitent des curricula finement réglés ; les méthodes imitant le corps entier butent sur le déséquilibre des datasets, les trajectoires de locomotion trop dynamiques dégradant la stabilité globale. CWI propose une dissociation architecturale qui contourne les deux écueils. Le résultat pratique est une téléopération sans équipement MoCap complet, ce qui abaisse le seuil d'intégration industrielle. Pour les intégrateurs et les décideurs B2B, cela signifie qu'un humanoïde capable d'agir dans des environnements mixtes (déplacements et saisie d'objets) devient envisageable sans infrastructure de capture de mouvement coûteuse. Cela dit, la publication ne fournit aucune métrique de temps de cycle ni de volumes de déploiement, ce qui invite à lire ces résultats comme une preuve de concept compétitive, pas comme un produit shipé. CWI s'inscrit dans une vague de travaux combinant apprentissage par renforcement et imitation de mouvement humain, dont l'Adversarial Motion Prior (AMP) de Peng et al. constitue la brique fondatrice. LimX Robotics reste un acteur discret face aux mastodontes du secteur : Figure AI (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0) ou encore Boston Dynamics (Atlas) travaillent sur des architectures comparables intégrant contrôle corps entier et politiques Vision-Language-Action (VLA). CWI ne mentionne ni calendrier de déploiement industriel, ni partenariat commercial : il s'agit d'un preprint arXiv sans revue par les pairs publiée. Les prochaines étapes probables passeront par une validation en conditions réelles plus variées et une publication dans une conférence robotique de référence (ICRA, IROS ou RAL).

RecherchePaper
1 source
Inversion partielle par recouvrement de croyances : replanification de flux centrée sur l'objet pour la loco-manipulation humanoïde
2arXiv cs.RO 

Inversion partielle par recouvrement de croyances : replanification de flux centrée sur l'objet pour la loco-manipulation humanoïde

Des chercheurs décrivent dans un préprint arXiv (2610.13087, octobre 2026) une méthode qui permet à un humanoïde de pousser un chariot dont la masse et la raideur des roulettes pivotantes sont inconnues au départ. L'idée vient des humains, qui poussent un peu un objet inconnu pour voir comment il réagit avant de décider de la suite. Le système referme trois briques en boucle: estimation en ligne des paramètres du chariot, planification par champ de flux centré sur l'objet, et contrôle du corps entier. Cette boucle crée un dilemme. Replanifier à chaque évolution de la croyance perturbe la manoeuvre en cours. Garder le plan laisse le robot sur une trajectoire que les mesures ont déjà invalidée. La méthode, nommée Belief-Overlap Partial Inversion (BOPI), proportionne la révision au désaccord entre l'ancienne et la nouvelle croyance. Elle inverse le flux sous l'ancienne croyance seulement sur la portion où les deux divergent, puis reconstruit la suite du plan sous la nouvelle. Sur 18 buts simulés, l'erreur finale agrégée baisse d'environ 33 % en position et 47 % en lacet (yaw), face à un replanning à profondeur fixe. Sur matériel réel, le robot translate et fait pivoter un chariot non holonome, c'est-à-dire dont les roulettes limitent les mouvements latéraux instantanés. Pour un intégrateur, l'intérêt est pratique. Pousser des chariots, rolls et transpalettes à charge variable est une tâche logistique courante, et la masse réelle comme l'état des roulettes ne sont presque jamais connus à l'avance. Le résultat suggère que la robustesse vient moins d'un modèle plus gros que d'une gestion explicite de l'incertitude: savoir quand abandonner une partie du plan et quand la conserver. Les gains chiffrés viennent surtout de la simulation, sur 18 buts, face à une seule famille de références. La démonstration matérielle reste qualitative dans le résumé, sans taux de réussite, temps de cycle ni plage de masses. On ne peut donc pas parler de fiabilité en conditions d'exploitation. Ce travail s'inscrit dans la course à la loco-manipulation, où les humanoïdes passent de la marche à des tâches de contact avec des objets lourds et déformables. Les approches dominantes misent sur des politiques apprises de bout en bout, de type VLA ou RL en simulation transférée au réel. BOPI relève plutôt de la planification à base de modèle, avec estimation en ligne, et s'attaque à un point faible connu: la cohérence temporelle quand le modèle est révisé en cours d'action. Le résumé ne précise ni la plateforme humanoïde utilisée ni de calendrier de déploiement. L'étape suivante probable est une validation sur des charges et des sols plus variés, puis une comparaison directe avec des politiques apprises sur les mêmes tâches.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Apprentissage de politiques par simulation pour la loco-manipulation des robots humanoïdes
3arXiv cs.RO 

Apprentissage de politiques par simulation pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs a publié le 9 juin 2026 sur arXiv (2606.08278) SIMPLE, un banc de test de simulation unifié pour l'apprentissage et l'évaluation de politiques de contrôle de robots humanoïdes. La plateforme couple la simulation de dynamique de contact de MuJoCo avec le rendu photoréaliste d'IsaacSim, et propose 60 tâches de loco-manipulation plein corps, 50 scènes d'intérieur et plus de 1 000 assets d'objets. Pour la collecte de données, deux pipelines sont intégrés : génération automatisée de trajectoires par planification de mouvement, et interface de téléopération VR à faible latence. Les auteurs y benchmarkent plusieurs familles de politiques humanoïdes : réseaux d'imitation légers, grands modèles vision-langage-action (VLA) et les récents modèles d'action du monde (WAM, World Action Models). Les expériences démontrent, selon les auteurs, un transfert zero-shot vers des robots humanoïdes physiques dans des configurations similaires. L'enjeu central est un goulot d'étranglement d'évaluation : les modèles fondationnels humanoïdes progressent plus vite que les protocoles pour les tester. Les benchmarks existants se concentrent sur la robotique de table ou les robots à roues, sans couvrir la loco-manipulation plein corps, compétence clé pour les humanoïdes déployés en environnement industriel ou domestique. Si la corrélation sim-to-real revendiquée dans l'article se confirme à plus grande échelle, elle légitime le recours massif à la simulation pour entraîner des politiques de contrôle, réduisant drastiquement les coûts de collecte de données en conditions réelles. C'est précisément le pari industriel de Physical Intelligence avec pi-0, et de Figure AI avec Figure 02 : remplacer les démos téléopérées coûteuses par des pipelines simulés reproductibles. La fragmentation des benchmarks est un problème structurel en robotique humanoïde : chaque laboratoire publie sur ses propres protocoles, rendant toute comparaison inter-équipes difficile. Des initiatives comme HumanoidBench, RoboVerse ou Isaac Lab ont tenté d'y répondre, mais sans couvrir la chaîne complète loco-manipulation avec rendu photoréaliste et pipelines de données intégrés. SIMPLE se positionne à cette intersection. Les équipes de Google DeepMind (GR00T N2, Helix), Agility Robotics (Digit) et Boston Dynamics sont directement concernées. Ce preprint arXiv n'est pas encore évalué par les pairs ; l'adoption par la communauté dépendra de la disponibilité publique du code et des assets, non encore confirmée.

RecherchePaper
1 source
KINO : une interface à images-clés pour la planification par VLM et le contrôle du corps entier en loco-manipulation humanoïde
4arXiv cs.RO 

KINO : une interface à images-clés pour la planification par VLM et le contrôle du corps entier en loco-manipulation humanoïde

Des chercheurs présentent KINO (arXiv:2609.18869v1), un framework hiérarchique pour la loco-manipulation de robots humanoïdes qui insère des « keyframes » de mouvement comme représentation intermédiaire entre un modèle vision-langage (VLM) chargé de la planification et un contrôleur par renforcement (RL) chargé de l'exécution corps entier. Chaque keyframe encode une pose cible pour l'ensemble du corps du robot et, si nécessaire, la pose de l'objet manipulé. À partir d'une instruction en langage naturel, d'observations de la scène et d'un retour d'exécution, le VLM sélectionne successivement des keyframes pertinentes dans une bibliothèque prédéfinie ; ces keyframes sont ensuite réajustées à la scène courante pour tenir compte de la position et des dimensions des objets, avant qu'une politique conditionnée par keyframe ne génère les actions articulaires. Les auteurs introduisent une stratégie d'échantillonnage de keyframes basée sur la saillance pour l'entraînement de la politique bas niveau, qui fait passer le taux de réussite de bout en bout de 44 % à 92 % lorsque le VLM ne fournit que des keyframes éparses. Le système a été évalué sur des tâches de prise, transport et dépose d'objets, en simulation et sur un humanoïde Unitree G1, avec manipulation à une et deux mains. Ce résultat s'inscrit dans un débat central du secteur robotique : comment relier des modèles vision-langage capables de raisonner sur des instructions abstraites à des contrôleurs bas niveau capables de produire des mouvements corps entier stables. Plutôt que de miser sur une architecture VLA (vision-language-action) de bout en bout, à l'image de Pi-0, GR00T N2 ou Helix, KINO mise sur une représentation intermédiaire discrète et interprétable, ce qui pourrait faciliter le débogage et le contrôle qualité pour des intégrateurs industriels tout en limitant la fréquence des appels au VLM, coûteux en calcul. Le saut de 44 % à 92 % de succès reste toutefois une mesure obtenue en conditions contrôlées de recherche, pas un chiffre de déploiement industriel, et mériterait d'être confirmé sur des tâches plus variées. Le travail s'inscrit dans la vague de recherches académiques cherchant à rendre les humanoïdes capables de manipulation généraliste sans réentraînement massif pour chaque nouvelle scène, un axe exploré en parallèle par les architectures VLA de Physical Intelligence, NVIDIA ou Figure. Le choix du Unitree G1, plateforme humanoïde accessible et déjà utilisée dans de nombreux laboratoires, en fait un banc d'essai plutôt qu'un produit fini : aucun partenariat industriel ni calendrier de commercialisation n'est mentionné dans l'article. Les auteurs indiquent que le système généralise à des emplacements de dépose non vus pendant l'entraînement, un point clé pour juger de sa robustesse au-delà des démonstrations sélectionnées, mais le nombre d'essais et les conditions exactes de ces tests de généralisation ne sont pas précisés.

RecherchePaper
1 source