RecherchearXiv cs.RO 19 octobre 2026

Planification tenant compte de l'embodiment pour la manipulation bimanuelle hétérogène

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent, dans un preprint arXiv (2610.23551v1), un cadre de planification dit « embodiment-aware » pour la manipulation bimanuelle hétérogène. L'idée est d'associer deux bras équipés de préhenseurs simples et différents, ici une ventouse et une pince parallèle à mâchoires, afin de réaliser des tâches qu'aucun des deux ne peut accomplir seul. À partir d'une unique démonstration humaine qui décrit le mouvement souhaité de l'objet, le planificateur découpe la tâche en segments. Pour chacun, il décide si un seul bras suffit ou si un transfert coordonné entre les deux bras est nécessaire. Il raisonne conjointement sur la faisabilité de la saisie pour chaque préhenseur, les contraintes de mouvement, la manipulabilité des bras et la compatibilité entre préhenseurs. Le problème est formulé comme une optimisation à horizon fini sur l'affectation des trajectoires aux bras, avec une régularisation explicite des changements d'affectation pour obtenir une solution globalement cohérente. Les expériences ont été menées sur une plateforme à deux bras Franka FR3. Les auteurs annoncent une faisabilité et une fiabilité améliorées sur des tâches impossibles avec un seul préhenseur. Le résumé ne donne ni taux de réussite, ni temps de cycle, ni nombre d'essais.

L'intérêt tient à une question très concrète pour les intégrateurs. Les cellules industrielles reposent presque toujours sur des ventouses ou des pinces parallèles, car ces outils sont robustes, bon marché et bien maîtrisés. Leur limite apparaît dès qu'une tâche enchaîne prise, réorientation, insertion et placement contraint. La réponse habituelle est une main dextre coûteuse et fragile, ou un changeur d'outil qui allonge le cycle. Ce travail défend une autre voie : composer des préhenseurs simples et complémentaires, et laisser le logiciel orchestrer les passages de main. Si la démarche se confirme, elle permettrait d'étendre des postes existants sans changer de technologie de préhension. Il faut toutefois rester prudent. Il s'agit d'un preprint non évalué par des pairs, testé sur un seul montage de laboratoire. Rien n'est dit sur la robustesse face à des objets variés, sur le temps de calcul du planificateur ni sur le temps de cycle, qui reste le critère décisif en production. L'article ne prouve donc pas encore un avantage économique.

Ce travail s'inscrit dans le courant de la manipulation par démonstration unique et de la planification de tâche et de mouvement (TAMP). Il se situe à côté des modèles vision-langage-action de type Pi-0 ou Helix, qui apprennent des politiques de bout en bout à partir de grandes quantités de données. Ici, l'approche est au contraire explicite et optimisée, donc plus interprétable, mais moins générale. Le choix du Franka FR3, plateforme de recherche répandue, facilite la reproduction par d'autres laboratoires. Les suites logiques seraient des essais sur des objets plus variés, des comparaisons chiffrées avec des mains dextres ou des changeurs d'outils, et une éventuelle intégration avec des politiques apprises. Aucun pilote industriel n'est annoncé.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Coordi-pi : une représentation d'actions des deux mains tenant compte de la coordination pour la manipulation dextre bimanuelle

Des chercheurs proposent Coordi-π, une nouvelle représentation des actions pour les politiques VLA (vision-language-action) appliquées à la manipulation dextre bimanuelle, décrite dans un preprint arXiv (2610.19753). Les politiques bimanuelles existantes concatènent, à chaque pas de contrôle, les actions bras-main droite et gauche dans un seul vecteur, ce qui laisse les interactions entre les deux mains implicites. Coordi-π fait autrement. Chaque côté (bras plus main) devient un token d'action distinct, et les tokens sont organisés en une séquence entrelacée où les deux côtés apparaissent explicitement. Un embedding d'identité de main apprenable distingue la droite de la gauche. Un codage positionnel rotatif (RoPE) factorisé sépare la position dans la séquence du pas de contrôle. Les deux actions d'un même pas partagent ainsi une coordonnée temporelle, tout en gardant des positions distinctes dans la séquence. Sur les cinq tâches bimanuelles dextres du benchmark DexJoCo, Coordi-π dépasse π0.5, la référence de Physical Intelligence. Le taux de succès moyen passe de 31,9 % à 51,3 % en configuration rand-obj, et de 18,3 % à 32,3 % en configuration rand-full. Les auteurs annoncent aussi des résultats supérieurs à π0.5 sur quatre tâches réelles, sans en donner les chiffres dans le résumé. L'intérêt est d'abord méthodologique. La manipulation bimanuelle avec mains dextres multiplie les degrés de liberté, et le goulot d'étranglement n'est plus seulement la perception ou le langage, mais la façon dont la politique modélise la coordination entre les deux côtés. Ce travail suggère qu'un choix de structuration des actions, sans changement de backbone, peut apporter un gain notable. Il faut toutefois relativiser. Les taux de succès restent modestes en valeur absolue, autour de 51 % et 32 %, ce qui est loin d'un niveau exploitable en production. Les résultats sont obtenus en simulation sur un benchmark précis, et la version rand-full, plus difficile, montre que la généralisation reste fragile. Les essais réels ne sont pas chiffrés dans le résumé. Pour un intégrateur ou un décideur industriel, cela relève de la recherche, pas d'un produit livrable. Le contexte est celui de la course aux modèles VLA généralistes, où la famille π de Physical Intelligence sert de référence ouverte. Les acteurs de l'humanoïde développent des architectures concurrentes, comme Helix chez Figure ou GR00T chez NVIDIA, avec des mains à nombreux degrés de liberté. Le passage de la pince à la main dextre bimanuelle est l'un des verrous les plus cités. Les prochaines étapes à surveiller sont la publication des détails des essais réels, la disponibilité du code, et la reproduction des résultats sur d'autres benchmarks et matériels. C'est ce qui dira si la représentation entrelacée tient hors de DexJoCo.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

WB-WAM : pré-entraînement hétérogène corps-main pour la locomanipulation humanoïde

Des chercheurs publient WB-WAM, un « World Action Model » (modèle qui prédit conjointement la vidéo future et les actions) conçu pour la manipulation mobile des humanoïdes (loco-manipulation). Il apprend à partir de 1 880,2 heures de vidéos et de données de mouvement annotées de façon partielle. Un espace d'action physique commun fusionne des annotations hétérogènes : articulations du corps, déplacement de la base (root) et doigts de la main dextre. Les priors ainsi obtenus sont affinés par une étape intermédiaire baptisée PICO, puis adaptés aux tâches robotiques avec une supervision auxiliaire par cinématique directe. Les auteurs ont construit WB-Datasets, qui combine démonstrations humaines égocentriques retargetées sur le robot et trajectoires robotiques. En simulation, le modèle atteint 81,9 % de réussite sur HumanoidArena. En conditions réelles, il affiche 84,0 % de succès moyen sur cinq tâches. L'article ne précise ni le robot utilisé, ni le nombre d'essais par tâche, ni les modèles de référence comparés dans ces chiffres. Le point central tient à la donnée. Les corpus de pré-entraînement robotique couvrent mal les mouvements du corps entier, alors que les humanoïdes doivent coordonner jambes, torse, bras et mains dans une même tâche. WB-WAM suggère qu'on peut combler ce manque en réutilisant des démonstrations humaines égocentriques, plus faciles à collecter que la téléopération sur robot. Les auteurs affirment que la mi-formation PICO alignée sur la tâche améliore les performances et réduit le nombre de démonstrations réelles nécessaires. Pour un intégrateur, c'est un levier de coût : le goulot d'étranglement actuel est le volume de données robot, pas l'architecture. À nuancer : 84 % de réussite sur cinq tâches reste un chiffre de laboratoire, sans information sur la durée de cycle, la robustesse hors distribution ou la fiabilité sur de longues périodes, qui comptent pour un déploiement industriel. Le résultat soutient la voie des modèles vidéo-action, sans prouver qu'elle passe à l'échelle en production. Ce travail s'inscrit dans la montée des modèles d'action fondés sur la vidéo générative, en parallèle des VLA (vision-langage-action) comme Pi-0, GR00T ou Helix. Ces derniers se concentrent souvent sur la manipulation à bras fixes ou semi-mobile, tandis que WB-WAM vise le corps entier, mains dextres comprises. Les acteurs de l'humanoïde industriel (Figure, Tesla avec Optimus, Agility, ainsi que les acteurs européens comme Wandercraft ou Enchanted Tools) font face au même problème de données, ce qui rend les approches de transfert depuis l'humain stratégiques. Il s'agit ici d'une prépublication arXiv (version 2), sans produit ni pilote annoncé. La suite à surveiller : la publication du code et des jeux de données WB-Datasets, la reproduction par d'autres équipes, et la validation sur des tâches plus longues et plus variées.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

MAVP : politiques visuomotrices tenant compte de la carte pour la manipulation mobile

Un travail de recherche en robotique publié sur arXiv le 23 septembre 2026 sous la référence 2609.26378v1 présente MAVP (Map-Aware Visuomotor Policies), un framework destiné à fiabiliser l'exécution des robots à manipulation mobile, c'est-à-dire combinant base roulante et bras articulé. Le constat de départ : les politiques entraînées par démonstration peinent souvent à reproduire fidèlement le déplacement de la base, ce qui provoque un désalignement spatial et fait échouer la manipulation qui suit. MAVP reconstruit une carte statique à partir de démonstrations téléopérées, exprime les trajectoires de base démontrées dans ce référentiel cartographique commun, puis, à l'exécution, prédit conjointement des poses cibles de base, des actions du bras et de la pince à partir d'images RGB, de l'état des articulations et de la pose courante du robot sur la carte. Un contrôleur de bas niveau suit ensuite ces cibles par anticipation de mouvement et retour d'erreur de pose, avec un bruit ajouté sur la pose pendant l'entraînement pour renforcer la robustesse. Sur six tâches de manipulation réelles et trois familles de politiques testées, MAVP obtient un taux de succès supérieur au contrôle de vitesse "non ancré" dans l'ensemble des cas, sans que le résumé ne publie de chiffres agrégés précis. Le résultat cible un point de friction bien identifié dans l'apprentissage par imitation appliqué à la manipulation mobile : le contrôle de vitesse pur de la base dérive avec le temps et casse la coordination entre déplacement et geste de préhension, un problème qui freine aujourd'hui le passage des démonstrations de laboratoire à des déploiements fiables en usine ou en entrepôt. En ancrant explicitement chaque politique à une carte et à une pose absolue plutôt qu'à une commande de vitesse relative, MAVP s'attaque directement à l'écart documenté entre démonstrations réussies et exécution robuste en conditions réelles, un enjeu central pour les intégrateurs qui évaluent des politiques génératives type VLA pour des robots mobiles manipulateurs ou des humanoïdes à base roulante. Pour les décideurs B2B, l'apport n'est pas un nouveau modèle de fondation mais une brique de contrôle complémentaire, validée sur trois familles de politiques différentes, ce qui suggère une méthode transposable plutôt qu'une solution propriétaire liée à un seul modèle. Le travail s'inscrit dans la lignée des recherches académiques cherchant à corriger les limites du contrôle de vitesse non ancré, pratique héritée de la robotique mobile classique et transposée telle quelle aux politiques d'apprentissage par imitation. Le site dédié au projet, hébergé sous une adresse GitHub Pages anonymisée, suggère un papier soumis en évaluation en double aveugle à une conférence de robotique ou d'apprentissage automatique, sans que les auteurs ni leur affiliation ne soient révélés à ce stade : il s'agit donc d'une contribution de recherche et non d'un produit commercial. Aucun acteur français ou européen n'apparaît dans ces travaux. Les auteurs annoncent la mise à disposition de vidéos et de résultats complémentaires en ligne, mais ne communiquent ni feuille de route produit ni partenariat industriel ; la suite logique, en cas d'acceptation, sera l'extension de la méthode à davantage de tâches et de plateformes pour confirmer sa généralité au-delà des six cas testés.

RecherchePaper

1 source

4arXiv cs.RO

Modèles du monde à embodiment croisé : passage à l'échelle pour la manipulation dextérique

Résumé des risques : aucun outil nécessaire, ceci est une tâche de traduction/synthèse d'article. Voici le texte. Une équipe de recherche propose dans un article publié sur arXiv (2511.01177v3, version révisée) une nouvelle approche pour construire des modèles du monde partagés entre différentes morphologies de mains, robotiques comme humaines. Le problème posé est concret : les différences de cinématique et d'espaces d'action entre robots empêchent aujourd'hui de mutualiser les données d'entraînement et de transférer du contrôle d'un système à l'autre. Les chercheurs représentent les mains, humaines et robotiques, comme des ensembles de particules 3D, et définissent les actions comme des champs de déplacement de ces particules à l'extrémité effectrice. Cette abstraction géométrique s'affranchit des espaces articulaires propres à chaque plateforme tout en conservant la géométrie et le mouvement pertinents pour l'interaction physique. Le modèle du monde, basé sur des réseaux de graphes, est entraîné sur des données d'interaction aléatoires issues de mains robotiques simulées variées et de mains humaines réelles, puis couplé à du contrôle prédictif par modèle (MPC) pour piloter du matériel inédit. Les expériences, menées sur des tâches de manipulation d'objets rigides et déformables, dégagent trois résultats. D'abord, plus la diversité des morphologies utilisées à l'entraînement est grande, meilleure est la généralisation à des mains jamais vues. Ensuite, combiner données simulées et données réelles dans de bonnes proportions surpasse l'usage de l'une ou l'autre source seule. Enfin, un même modèle appris permet de contrôler efficacement des mains robotiques aux cinématiques et degrés de liberté (DOF) distincts. Pour le secteur, ces résultats intéressent directement la question du transfert de compétences entre plateformes hétérogènes, un verrou connu pour les approches VLA classiques qui restent souvent liées à un espace d'action fixe. Il s'agit d'un travail de recherche académique, pas d'un produit ni d'un déploiement industriel : aucune entreprise, aucun robot commercial n'est nommé, et les résultats sont obtenus en environnement contrôlé, majoritairement simulé. La méthode s'inscrit dans la lignée des travaux récents sur les modèles du monde et le contrôle prédictif appliqués à la manipulation dextre, un axe de recherche actif face aux limites de généralisation des politiques bout-en-bout entraînées par embodiment.

RecherchePaper

1 source