Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Compositional : apprentissage de la manipulation fonctionnelle dextérique sans démonstrations
RecherchearXiv cs.RO 

Compositional : apprentissage de la manipulation fonctionnelle dextérique sans démonstrations

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

CoDex est un nouveau framework de manipulation dextre présente par un article arXiv (2606.31909v1) issu du Robin Lab de l'université du Texas a Austin. Il s'attaque a la manipulation fonctionnelle compositionnelle d'objets, c'est a dire des taches ou il faut a la fois orienter un objet vers une cible et actionner son mécanisme interne, comme viser une plante avec un pulvérisateur ou appliquer de la colle chaude sur du bois. Le système a été teste sur un bras robotique a 7 degrés de liberté équipe d'une main multi-doigts a 16 degrés de liberté, sur six taches impliquant des objets jamais vus a l'entrainement: pulvérisateurs, pistolets a colle, soufflettes a air, lampes de poche et moulins a poivre. Sans aucune démonstration humaine, CoDex utilise des modèles vision-langage pour déduire les contraintes sémantiques de la tache et de la scene, génère ensuite une courte liste de prises fonctionnelles candidates par optimisation analytique sous contrainte, puis affine ces prises via apprentissage par renforcement pour produire des politiques complètes de saisie, déplacement et actionnement, transférables de la simulation au monde réel.

L'intérêt principal tient a l'approche zero-démonstration. La plupart des systèmes de manipulation dextre récents, des modèles VLA comme Pi-0, GR00T N2 ou Helix, dépendent d'immenses jeux de démonstrations téléopérées, un goulot d'étranglement couteux quand il faut couvrir la longue traine d'outils du quotidien. En montrant qu'un pipeline combinant VLM et RL peut généraliser a des objets et mécanismes inédits sans collecte de données humaines, CoDex propose une alternative crédible pour les intégrateurs confrontes a des catalogues d'objets trop vastes pour être démontrés un par un.

Le travail s'inscrit dans la lignée des recherches sur le grasping fonctionnel et la manipulation dextre, en rupture avec le paradigme dominant de l'imitation learning massive. Il reste a ce stade une démonstration académique limitée a six taches et un seul bras robotique, sans annonce de déploiement industriel; les prochaines étapes attendues concernent l'extension a un plus grand nombre de catégories d'objets et de mécanismes d'actionnement plus complexes.

Dans nos dossiers

NVIDIA GR00TarXiv cs.RO

À lire aussi

Apprentissage de la manipulation dextérique via guidage par couple de contact issu de démonstrations humaines
1arXiv cs.RO 

Apprentissage de la manipulation dextérique via guidage par couple de contact issu de démonstrations humaines

Wandercraft, Exotec, Pollen et Enchanted Tools ne sont pas mentionnés dans le papier, donc aucune mention forcée. Voici l'article : Une équipe de recherche publie CHORD (Contact Wrench Guidance from Human Demonstration in Robotic Dexterous Manipulation), un framework d'apprentissage par renforcement pour la manipulation dextre à long horizon d'objets rigides et articulés, dans un preprint arXiv daté du 2 juillet 2026 (arXiv:2607.00033v1). L'idée centrale consiste à représenter les mouvements humains et robotiques non pas par des trajectoires articulaires brutes, mais par les forces et couples (wrench) qu'ils induisent sur l'objet manipulé, ce qui permet de comparer directement leur effet plutôt que leur cinématique. Les chercheurs ont construit un benchmark de simulation de 4 739 tâches de manipulation bimanuelle dextre, issu de jeux de données de capture de mouvement et de vidéos reconstruites en interne. Sur 1 831 tâches évaluées, CHORD atteint un taux de réussite moyen de 82,12 %. La méthode se généralise aussi à la manipulation corps entier à partir de démonstrations limitées aux mains ou filmées à la troisième personne, avec 90,77 % de réussite, et les politiques apprises se transfèrent vers le réel en boucle ouverte comme en boucle fermée. L'enjeu dépasse la simple prouesse académique : l'apprentissage par renforcement pour la manipulation riche en contacts est réputé difficile à faire passer à l'échelle, car les démonstrations humaines se transposent mal aux mains robotiques dont la cinématique diffère. En ancrant le signal de guidage dans la physique des forces plutôt que dans les gestes eux-mêmes, CHORD contourne en partie ce fossé d'incarnation. Un benchmark de près de 5 000 tâches, avec transfert vérifié sur robot réel et non seulement en simulation, constitue un test de scalabilité plus rigoureux que la plupart des démonstrations ponctuelles habituelles du secteur. Ce travail s'inscrit dans une tendance plus large exploitant la capture de mouvement et la vidéo humaine pour entraîner des politiques robotiques, en parallèle des approches par imitation ou des modèles vision-langage-action comme Pi-0 ou GR00T N2. Étant un preprint, il reste à valider par relecture par les pairs, avec une portée réelle encore limitée aux conditions de laboratoire décrites.

RecherchePaper
1 source
AdvDex : apprentissage de la manipulation dextérique à partir de démonstrations humaines par actions alignées sur les articulations et apprentissage adversarial
2arXiv cs.RO 

AdvDex : apprentissage de la manipulation dextérique à partir de démonstrations humaines par actions alignées sur les articulations et apprentissage adversarial

Une équipe de recherche présente AdvDex, un framework Vision-Language-Action (VLA) pour la manipulation dextre, dans un article publie sur arXiv (2608.14028v1). Le système combine trois éléments : OmniShare, un jeu de données multimodal de démonstrations de manipulation humaine offrant une supervision cinématique fine et des mesures tactiles sans recourir a une téléopération robotique couteuse ; le Joint-Aligned Action Space (JAAS), une représentation canonique de l'action associant une pose de poignet en SE(3) et 15 articulations des doigts, qui aligne fonctionnellement mains humaines, mains robotiques dextres et pinces parallèles ; et un apprentissage adversarial de domaine qui retire des représentations visuelles les indices spécifiques a chaque morphologie robotique. Les tests, portant sur la prédiction d'actions manuelles et sur des taches réelles de manipulation dextre, montrent des gains constants face aux méthodes de référence. Ce résultat répond a deux obstacles concrets du secteur : le cout de collecte des démonstrations robotiques et la faible portabilité d'une politique entre embodiments différents. AdvDex démontre un transfert zero-shot de l'humain vers le robot, une généralisation a des objets et environnements inédits, ainsi qu'une adaptation few-shot économe en données. Ce résultat appuie empiriquement une hypothèse centrale pour les modèles VLA comme Pi-0, GR00T N2 ou Helix : qu'une action canonique partagée peut réduire la dépendance a des flottes de téléopération dédiées par plateforme, un enjeu direct pour la vitesse de commercialisation des mains robotiques dextres. Le papier s'inscrit dans un courant de recherche visant a unifier les espaces d'action entre humains et robots pour exploiter les volumes de vidéo de manipulation humaine déjà disponibles, une direction également suivie par les équipes derrière Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI). Classe comme nouvelle publication sur arXiv, AdvDex reste a ce stade une contribution académique évaluée sur des bancs d'essai internes, sans date de commercialisation, partenaire industriel ni déploiement annonce. La taille exacte du jeu OmniShare et les conditions précises des tests de généralisation ne sont pas détaillées, ce qui limite l'évaluation de la portée réelle de ces résultats hors du cadre expérimental du papier.

RechercheActu
1 source
ManiSkillFormer : manipulation compositionnelle sans démonstration via des contrats géométriques liés à la tâche
3arXiv cs.RO 

ManiSkillFormer : manipulation compositionnelle sans démonstration via des contrats géométriques liés à la tâche

Une équipe de recherche a publié le 16 septembre 2026 sur arXiv (référence 2609.16331) une étude décrivant ManiSkillFormer, un système de manipulation robotique neuro-symbolique qui se passe entièrement de démonstrations humaines et d'entraînement de politique visuomotrice de bout en bout par objet. Le procédé repose sur des « contrats géométriques conditionnés par la tâche » : pour chaque compétence (saisir, verser, dévisser, plier), un agent basé sur un grand modèle de langage génère, à partir de structures définies par des humains, la liste des primitives 3D nécessaires (points clés d'un objet, normales de surface) et les modèles de mouvement associés. Un module de perception ancre ensuite ces primitives dans les observations du robot pour instancier des mouvements réutilisables issus d'une bibliothèque de compétences. Le système a été testé sur le bras bimanuel Galaxea R1-Lite selon trois protocoles : prise et dépose zero-shot sur 8 catégories d'objets et 30 instances, manipulation fonctionnelle (dévissage, versement, pression, pliage) et trois tâches à long horizon, avec des taux de réussite rapportés de 88,24%, 75,00% en moyenne et 50 à 80% de complétion respectivement, devant les bases de comparaison et deux versions ablationnées. Pour l'industrie, ce travail vise le goulot d'étranglement le plus coûteux des politiques de manipulation actuelles : la collecte de démonstrations et le réentraînement par objet. Si l'approche tient à plus grande échelle, elle offrirait aux intégrateurs un moyen d'ajouter objets et tâches sans nouvelle collecte de données, un argument frontal contre les modèles vision-langage-action entraînés de bout en bout. Les résultats restent toutefois obtenus sur un seul bras robotique et un jeu d'objets limité en laboratoire, sans confrontation à un déploiement industriel réel, ce qui invite à la prudence avant toute extrapolation. Ce travail s'inscrit dans le débat entre modèles VLA de bout en bout, tels Pi-0 ou GR00T N2, et approches structurées combinant perception symbolique et bibliothèques de compétences. En confiant à des LLM la génération automatique des contrats géométriques et des modèles de mouvement plutôt que leur codage manuel, les auteurs cherchent à marier flexibilité du langage naturel et fiabilité d'un pipeline géométrique explicite. Publié comme préprint arXiv sans affiliation industrielle ni calendrier de déploiement annoncé, ManiSkillFormer demeure à ce stade une contribution de recherche à valider sur d'autres plateformes et à plus grande échelle.

RecherchePaper
1 source
Auto-apprentissage à partir de démonstrations générées automatiquement pour la manipulation robotique visuelle
4arXiv cs.RO 

Auto-apprentissage à partir de démonstrations générées automatiquement pour la manipulation robotique visuelle

Un preprint publie sur arXiv le 11 aout 2026 (2608.07553) décrit une méthode d'apprentissage auto-supervise pour la manipulation robotique visuelle, dans laquelle le robot génère lui-même ses démonstrations autour d'une pose cible au lieu de dépendre d'une téléopération humaine ou d'un enseignement kinesthésique. Le pipeline, base sur ROS 2 et le simulateur Isaac Sim, produit des paires image-pose étiquetées sans calibration extrinsèque explicite entre camera et robot, avec deux jeux de données distincts, l'un pour l'affinage planaire, l'autre pour l'approche grossière en trois dimensions. Un réseau convolutif régressé la translation et la rotation relatives a partir d'une seule image RGB montee au poignet, et pilote un contrôleur grossier-vers-fin qui approche d'abord l'objet puis affine l'alignement final. Teste en simulation et sur un bras collaboratif réel UR5e équipe d'une pince et d'une camera monoculaire, le système réduit la dispersion planaire finale de 9,69 mm a 5,38 mm en simulation, et atteint en conditions réelles des taux de réussite de préhension de 66,6% et 63,6% sur deux des trois objets testes sans rotation, avec une robustesse partielle en cas de rotation. Cette approche cible un goulot d'étranglement connu de l'industrie: la plupart des pipelines de manipulation exigent une programmation spécifique a l'objet, une annotation manuelle ou une calibration camera-robot précise, ce qui freine le déploiement chez les intégrateurs. En générant ses propres démonstrations en simulation avant transfert vers le réel, la méthode réduit l'effort de mise en place, un argument qui parle directement aux intégrateurs voulant éviter des phases de téléopération couteuses. Les résultats restent toutefois modestes, avec des taux de réussite de 63 a 67% sur seulement trois objets, et les auteurs reconnaissent eux-mêmes des difficultés persistantes en prédiction de profondeur et en généralisation. Le travail se positionne ainsi en contrepoint des modèles de fondation VLA massifs de type GR00T N2 ou Pi-0: une alternative plus légère, ciblée sur une tache étroite, sans la promesse de généralisation zero-shot de ces derniers. Le papier s'inscrit dans une lignée académique de recherches sur le transfert sim-to-real et la génération automatique de données d'entrainement, sans affiliation industrielle mise en avant ni partenariat commercial annonce. Aucun pilote ni calendrier de déploiement n'est mentionne: les auteurs présentent ces travaux comme une preuve de concept, les prochaines étapes évoquées portant sur l'amélioration de l'estimation de profondeur et l'extension a un plus grand nombre d'objets avant d'envisager une application industrielle plus large.

RecherchePaper
1 source