Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
PokeNet : apprentissage de modèles cinématiques d'objets articulés à partir d'observations humaines
RecherchearXiv cs.RO 

PokeNet : apprentissage de modèles cinématiques d'objets articulés à partir d'observations humaines

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

PokeNet, un nouveau framework de recherche présenté dans un article arXiv (2602.02741v2, version révisée), apprend le modèle cinématique complet d'un objet articulé à partir d'une seule démonstration humaine, sans connaissance préalable du nombre ou du type d'articulations. Le système reçoit une séquence d'observations en nuages de points capturant une personne en train de manipuler un objet inconnu (porte, tiroir, appareil à plusieurs axes), et en déduit trois choses simultanément : les paramètres des articulations (position et orientation des axes), l'ordre dans lequel les liaisons doivent être actionnées, et l'évolution de l'état de chaque articulation au fil du temps. Sur un ensemble d'objets variés, y compris des catégories jamais vues à l'entraînement, PokeNet améliore la précision d'estimation des axes et des états articulaires de plus de 27% en moyenne par rapport aux meilleures méthodes existantes, avec des résultats validés à la fois en simulation et en conditions réelles.

L'enjeu dépasse la simple prouesse technique : la modélisation d'articulations est une brique de base pour toute manipulation robotique d'objets du quotidien, en amont de l'apprentissage de compétences ou de la planification de mouvements. Les approches précédentes butaient sur plusieurs limites pratiques, à commencer par la dépendance à des priors sur l'objet, l'incapacité à récupérer des articulations occultées qui ne se révèlent que pendant l'interaction, ou le besoin de dizaines d'images multi-vues par objet, difficilement compatible avec un déploiement réel. PokeNet s'attaque aussi à un point souvent négligé : l'ordre des manipulations, crucial pour des objets à plusieurs degrés de liberté comme un lave-vaisselle, où il faut ouvrir la porte avant de pouvoir sortir le panier. Un robot capable d'apprendre ce modèle à partir d'une simple démonstration humaine, sans instrumentation lourde, se rapproche d'un déploiement générique en environnement domestique ou industriel non structuré.

Le travail s'inscrit dans la lignée des méthodes de "articulation modeling" qui cherchent à généraliser au-delà des catégories d'objets prédéfinies, un axe de recherche actif en robotique de manipulation ces dernières années. En s'appuyant uniquement sur une observation humaine plutôt que sur une exploration robotique coûteuse en essais, PokeNet ouvre la voie à des pipelines où un robot apprend par observation avant d'agir. Les auteurs ne précisent pas de calendrier d'intégration dans un système robotique complet, mais les résultats en environnement réel suggèrent une maturité suffisante pour des tests d'intégration à court terme sur des plateformes de manipulation existantes.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

Dexterous Point Policy : apprentissage de politiques de main habile à partir de démonstrations humaines
1arXiv cs.RO 

Dexterous Point Policy : apprentissage de politiques de main habile à partir de démonstrations humaines

Une équipe de recherche a déposé le 10 juin 2026 sur arXiv (réf. 2606.10614) un framework baptisé Dexterous Point Policy (DPP), capable d'apprendre des politiques de manipulation dextère directement à partir de vidéos humaines, sans aucune démonstration sur robot. Le système extrait des points-clés 3D (keypoints) des objets de la tâche et des mains humaines, en ciblant spécifiquement les poignets et les bouts de doigts, puis entraîne un transformer autorégressif sur ces représentations unifiées. Sur un banc d'essai réel couvrant la saisie-dépôt (pick-and-place) et la manipulation d'outils, DPP atteint 75,0 % de succès, contre seulement 1,0 % pour le meilleur baseline de type VLA (Vision-Language-Action model) disponible. La méthode généralise également à des scénarios non vus pendant l'entraînement, notamment des environnements multi-objets et de nouvelles catégories d'objets. L'apport principal est d'éliminer le goulet d'étranglement le plus coûteux du cycle d'apprentissage robotique: la collecte de données en téléopération. Les auteurs rappellent que téléopérer une main multi-doigts pour une seule tâche atomique peut mobiliser plusieurs jours de travail humain, ce qui rend le fine-tuning classique des modèles de fondation sur données robotiques particulièrement onéreux à l'échelle. L'intuition centrale de DPP est que, au niveau des keypoints (poignets et bouts de doigts), les comportements humains et robotiques s'alignent suffisamment pour permettre un transfert direct de politique sans adaptation supplémentaire. Avec un écart de performance de 75x par rapport au baseline VLA, le résultat contredit l'idée selon laquelle combler l'embodiment gap entre humain et robot exige obligatoirement des données proprioceptives ou d'actionnement robotique. Ce travail s'inscrit dans le courant des modèles de fondation robotiques pré-entraînés sur vidéos humaines, dont Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA sont des représentants récents, qui butaient tous sur ce même problème de transfert au déploiement réel. DPP propose une réponse architecturale en choisissant une représentation intermédiaire qui abstrait la morphologie spécifique de chaque effecteur, rendant la politique agnostique à la géométrie exacte de la main robotique. Il s'agit pour l'instant d'un preprint non relu par les pairs, sans affiliation institutionnelle précisée dans le résumé public, et les tests restent limités à des tâches de complexité modérée. Les étapes naturelles seraient une validation sur des mains multi-doigts plus variées et des manipulations de plus haute complexité, comme l'assemblage de précision ou la manipulation d'outils déformables, pour confirmer la scalabilité réelle de l'approche.

RecherchePaper
1 source
Apprentissage d'une navigation sûre pour humanoïdes à partir de modèles d'ordre réduit
2arXiv cs.RO 

Apprentissage d'une navigation sûre pour humanoïdes à partir de modèles d'ordre réduit

Des chercheurs ont publié le 18 septembre 2026 sur arXiv (référence 2609.19272) une méthode de navigation autonome pour robots humanoïdes baptisée RoM-Nav, testée sur un Unitree G1. Le problème de départ est concret: un pipeline d'apprentissage par renforcement (RL) classique à un seul étage échoue à monter en échelle sur des terrains multi-niveaux et multi-étages, freiné par la difficulté des interactions pied-terrain complexes comme les escaliers. La solution proposée décompose la navigation en deux étapes. D'abord, une politique entraînée sur une dynamique d'ordre réduit (reduced order model) mais alimentée par des observations LiDAR 3D complètes apprend à se repérer dans un terrain complexe à plusieurs étages. Cette connaissance sert ensuite à amorcer une seconde politique opérant sur la dynamique complète du robot, avec une politique de locomotion déjà entraînée et figée intégrée dans la boucle. Un filtre de sécurité dit de Poisson est ajouté en sortie de la politique de navigation pour garantir la sécurité face à des obstacles inédits, sans dégrader le taux de réussite. Sur le G1, les essais ont couvert une navigation sans carte préalable (mapless) avec plus de 10 mètres de dénivelé vertical cumulé et plus de 100 mètres de trajet parcouru. L'intérêt pour le secteur tient à ce que ce travail s'attaque directement à un angle mort connu de la robotique humanoïde: la locomotion pure a beaucoup progressé, mais l'autonomie de navigation en environnement bâti réel, avec escaliers et changements d'étage, reste un goulot d'étranglement pour tout déploiement industriel ou logistique. En montrant qu'une décomposition hiérarchique (modèle réduit puis politique complète) permet de dépasser les limites du RL monolithique, et qu'un filtre de sécurité formel peut être ajouté sans sacrifier la performance, l'étude apporte un argument concret dans le débat sur la fiabilité des humanoïdes hors des démonstrations scénarisées. Ce résultat s'inscrit dans une recherche académique en cours plutôt que dans un produit commercial: il s'agit d'un preprint arXiv, non encore validé par relecture par les pairs, mais démontré sur du matériel réel plutôt qu'en simulation seule. Le choix du Unitree G1, plateforme largement utilisée par les laboratoires universitaires pour son accessibilité, souligne aussi que ce type d'expérimentation reste pour l'instant du ressort de la recherche plutôt que du déploiement en flotte. Les auteurs mettent à disposition une page projet avec vidéos (wdc3iii.github.io/rom-nav) mais n'annoncent pas de calendrier de transfert vers l'industrie.

RecherchePaper
1 source
Apprendre à explorer la cinématique cachée pour manipuler des objets articulés
3arXiv cs.RO 

Apprendre à explorer la cinématique cachée pour manipuler des objets articulés

Une équipe de chercheurs publie sur arXiv (v1, septembre 2026) une méthode pour manipuler des objets articulés, comme des portes et des tiroirs, dont la cinématique réelle ne se devine pas à la seule vue. Le système maintient une distribution de croyance sur le type d'articulation (rotoïde, prismatique) et sur ses paramètres. Cette croyance est initialisée par un prior génératif, puis mise à jour par filtrage bayésien à partir du mouvement observé de la pièce. Pour la fournir à la politique, les auteurs la convertissent en champ de flux d'articulation par point : le mouvement que le postérieur actuel prédit pour chaque point de l'objet. La politique est entraînée par apprentissage par renforcement, avec pour récompense l'entropie retirée du postérieur par chaque interaction. Sur le benchmark PartManip, la méthode dépasse les approches précédentes en manipulation de portes et de tiroirs. Elle atteint 61,7 % de succès sur ArticuRiddle, un nouveau jeu de données d'objets dont l'apparence suggère une mauvaise articulation, contre 44,4 % pour la meilleure méthode antérieure. Les résultats proviennent de simulation, et le résumé ne mentionne aucun test sur robot physique. L'enjeu dépasse la performance brute. Les méthodes de perception active existantes cherchent, à chaque pas, l'action unique qui réduit le plus l'incertitude. Cette recherche gloutonne ne s'étend pas sur un horizon long, faute de modèles directs de la dynamique de contact et d'inertie, eux-mêmes inconnus. Déplacer ce coût vers l'entraînement, pour que l'exploration informative devienne un comportement appris, évite un calcul d'inférence à chaque pas. Le choix de la représentation compte aussi : selon les auteurs, le flux d'articulation généralise mieux qu'un encodage latent de la croyance ou qu'un flux suivi sur l'observation, car il porte le biais inductif du mouvement articulé. Pour un intégrateur, la portée est concrète. Les robots de service, de logistique ou de cuisine rencontrent des portes, tiroirs et armoires dont l'apparence trompe. Cela dit, un gain de 17 points reste un score de 61,7 %, loin d'une fiabilité de déploiement. La différence avec ce que les grands modèles VLA font aujourd'hui reste nette : ils imitent des démonstrations plutôt que de lever activement une ambiguïté. Ce travail s'inscrit dans la lignée de la perception interactive et de l'estimation de modèles articulés, où PartManip a servi de référence pour la manipulation de parties d'objets. ArticuRiddle cible un point faible connu : les priors visuels appris qui échouent quand la forme trompe. Les auteurs ne citent pas de partenaire industriel, ni de calendrier de transfert. Les suites logiques sont une validation sur bras réels, où le bruit tactile et le frottement compliquent le filtrage bayésien, puis l'intégration dans des politiques généralistes. Le projet est documenté sur hiddenkinematics.github.io.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Human2Dex : apprentissage de la dextérité robotique à partir de démonstrations humaines centrées sur le poignet
4arXiv cs.RO 

Human2Dex : apprentissage de la dextérité robotique à partir de démonstrations humaines centrées sur le poignet

Des chercheurs proposent Human2Dex, une interface de démonstration humaine centrée sur le poignet, conçue pour qu'un seul corpus de démonstrations naturelles serve à entraîner des politiques sur plusieurs mains robotiques dextres, sans collecter de données de tâche sur chaque robot cible. Le système aligne les observations par une adaptation locale de l'apparence de la main et une représentation commune à 21 points, dont la structure garde le même sens sur l'humain et sur le robot. Il produit ensuite une supervision exécutable en retargetant le mouvement fusionné de la main humaine vers chaque main cible. Une représentation baptisée GPIR (Grasp-Pocket Interaction Representation) exprime la position des objets suivis par rapport à une « Functional Grasp Pocket » centrée sur la main. Le corpus est converti en jeux d'entraînement distincts pour la Linker O6 et la Wuji. Les étiquettes d'action, la normalisation, l'entraînement et les checkpoints de diffusion policy restent propres à chaque main. Sur six tâches réelles, Human2Dex réussit 109 essais sur 120 (90,8 %) avec la Linker O6 et 97 sur 120 (80,8 %) avec la Wuji. Sur les deux mains cumulées, la baseline « Human-Raw », qui exploite les données humaines brutes, n'atteint que 63 succès sur 240 (26,3 %), contre 206 sur 240 (85,8 %) pour la configuration complète. L'écart entre 26,3 % et 85,8 % est le résultat à retenir. Il indique que les données humaines brutes ne suffisent pas : l'alignement des observations, le retargeting et la représentation relative à la main de l'objet apportent l'essentiel du gain. Pour les intégrateurs et les équipes qui déploient des mains dextres, la promesse est de réduire le coût de la collecte de données. Aujourd'hui, chaque nouvelle main ou chaque nouvelle tâche impose souvent de la téléopération répétée sur le robot cible. Un corpus humain réutilisable déplace cet effort vers une collecte unique, plus rapide et moins chère. Les résultats vont aussi dans le sens d'une séparation entre ce qui se partage (observation et sémantique du mouvement) et ce qui doit rester spécifique à la machine (actions, normalisation, politique). Il faut toutefois rester prudent. Le titre parle d'un transfert entre mains « calibrées », ce qui suppose une calibration préalable. L'évaluation couvre seulement deux mains et six tâches, avec 20 essais par tâche et par main. Elle vient d'un seul groupe, sans validation externe à ce stade. Enfin, les 80 à 90 % de succès ne disent pas la robustesse en production, par exemple la variabilité des objets, la durée des cycles ou les reprises après échec. Ce travail s'inscrit dans la course aux données pour la manipulation dextre. Les approches concurrentes reposent sur la téléopération avec gants ou exosquelettes, sur des interfaces portables du type UMI, sur l'apprentissage à partir de vidéos humaines ou sur la simulation avec transfert sim-to-real. Les diffusion policies sont devenues la brique standard pour apprendre ces comportements à partir de démonstrations. Human2Dex cherche à unifier la collecte du côté humain tout en gardant un apprentissage par embodiment. Le papier, publié sur arXiv (2610.13119v1) avec un site de projet public, est une prépublication non relue par des pairs. Les prochaines étapes à surveiller sont l'extension à d'autres mains, comme les mains d'humanoïdes, le passage à des tâches à contacts plus riches et la réplication par d'autres laboratoires. Le papier ne mentionne ni partenaire industriel ni calendrier de commercialisation.

RecherchePaper
1 source