Aller au contenu principal
Estimation de pose des parties d'objets avec une stratégie d'apprentissage sans annotation de symétrie
RecherchearXiv cs.RO1j

Estimation de pose des parties d'objets avec une stratégie d'apprentissage sans annotation de symétrie

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont déposé le 19 mai 2026 sur arXiv (référence 2605.17033) un nouveau cadre d'apprentissage baptisé SAFAG (Symmetry Annotation-Free framework for Generalizable and Actionable Parts), destiné à améliorer l'estimation de pose des parties fonctionnelles d'objets pour la manipulation robotique. Le problème central adressé est celui de la perception cross-catégorie : un robot doit être capable d'identifier et d'utiliser les parties actionnables d'objets inconnus (poignées de tiroirs, vannes, leviers) sans annotations de symétrie produites manuellement. SAFAG propose une architecture à deux étapes de type candidat-vers-final pour la régression de quaternions (représentation mathématique de l'orientation 3D en espace), couplée à un mécanisme d'apprentissage auto-supervisé qui traite la symétrie des objets comme un problème de distribution de probabilité, supprimant ainsi la dépendance aux annotations manuelles.

L'enjeu industriel est concret : l'une des frictions majeures dans le déploiement de bras robotiques polyvalents en atelier ou en logistique est précisément la capacité à actionner des objets variés sans reprogrammation par référence. La symétrie géométrique des pièces (bouton rond, valve cylindrique) génère des ambiguïtés de pose qui font échouer les pipelines de perception classiques, contraignant les intégrateurs à constituer des datasets annotés par catégorie d'objet, une démarche coûteuse et non scalable. En automatisant la gestion de la symétrie via l'apprentissage auto-supervisé, SAFAG pourrait réduire significativement ce coût d'intégration pour des tâches pick-and-place sur objets non structurés, domaine où le sim-to-real reste un défi ouvert.

Le concept de GAParts (Generalizable and Actionable Parts) sur lequel s'appuie SAFAG a émergé ces dernières années dans la communauté de l'embodied AI, notamment autour de travaux sur la segmentation sémantique des parties d'objets articulés. Le paysage concurrent inclut AnyGrasp, FoundationPose de NVIDIA et UniGraspTransfer, qui visent tous à généraliser la préhension sans supervision dense. SAFAG se distingue par son traitement explicite de la symétrie sans annotation. Il s'agit néanmoins d'un preprint arXiv sans code publié ni évaluation externe disponible à ce stade : les performances revendiquées restent à reproduire de façon indépendante avant toute considération d'intégration industrielle.

À lire aussi

Une approche rigoureuse pour générer des démonstrations synthétiques haute fidélité en apprentissage par imitation
1arXiv cs.RO 

Une approche rigoureuse pour générer des démonstrations synthétiques haute fidélité en apprentissage par imitation

Une équipe de chercheurs a publié fin avril 2025 sur arXiv (arXiv:2605.01232) un cadre de synthèse de données d'entraînement robotiques combinant le rendu 3D Gaussian Splatting (3DGS) et les Dynamic Movement Primitives (DMP). Le système part d'une seule démonstration experte et d'un scan multi-vues court pour reconstruire une scène 3DGS, puis retargete la trajectoire originale vers de nouvelles configurations d'objets et de points de vue via des DMPs, encodant ainsi la forme spatiale et le profil temporel du mouvement de façon paramétrique. Pour éviter les collisions dans des scènes encombrées sans représentation géométrique additionnelle, les auteurs introduisent une formulation analytique des DMPs opérant directement sur le champ de densité continu induit par la représentation 3DGS. L'approche a été évaluée sur le robot mobile manipulateur Spot de Boston Dynamics, sur trois tâches de manipulation à sensibilité croissante à la fidélité de trajectoire. Comparée à des pipelines basés sur des planificateurs échantillonnés ou l'optimisation de trajectoire, la méthode réduit l'écart moyen à la trajectoire experte et le taux de collisions, et améliore le taux de succès des politiques visuomotrices de type diffusion entraînées sur ces données. Le résultat principal contredit une intuition répandue en apprentissage par imitation : augmenter la diversité des démonstrations ne garantit pas de meilleures politiques si cette diversité efface la structure fine de la trajectoire experte. Pour des manipulations en contact, saisie contrainte ou assemblage précis, c'est précisément cette structure spatiale et temporelle qui conditionne le succès ; les planificateurs classiques l'éliminent en cherchant des chemins valides alternatifs, augmentant la variance des données sans en accroître la valeur informative. Intégrer la géométrie 3DGS directement dans les DMPs plutôt que d'utiliser un module de collision séparé simplifie le pipeline et évite les incohérences entre rendu et raisonnement géométrique, un problème récurrent dans les systèmes hybrides sim-to-real. Ce travail s'inscrit dans un courant de recherche actif depuis la popularisation du 3DGS en 2023, qui cherche à exploiter cette technique de représentation de scène pour générer à bas coût des données de supervision robotique, en alternative aux moteurs de simulation physique comme Isaac Sim ou MuJoCo qui exigent une modélisation manuelle intensive. Des approches parallèles comme RoboGSim ont exploré cet espace, mais en découplant rendu et planification de mouvement. Le système reste à ce stade un preprint arXiv, évalué sur un seul robot dans des scènes relativement délimitées ; sa généralisation à des plateformes à plus haute dextérité (bras 7 DOF, mains multi-doigts) et son couplage avec des fondations de politiques de type pi-0 ou GR00T N2 constituent les prochaines étapes naturelles à tester.

RecherchePaper
1 source
Apprentissage par imitation : sélection efficace des données d'échec via les différences de distribution dans l'attention
2arXiv cs.RO 

Apprentissage par imitation : sélection efficace des données d'échec via les différences de distribution dans l'attention

Des chercheurs ont déposé sur arXiv en mai 2026 (arXiv:2605.07560) une méthode visant à exploiter les démonstrations d'échec dans l'apprentissage par imitation pour la robotique. La quasi-totalité des politiques d'imitation sont actuellement entraînées exclusivement sur des démonstrations réussies, bien que la collecte humaine produise inévitablement une proportion significative d'échecs. La méthode proposée apprend des représentations latentes des divergences succès-échec et les intègre dans le mécanisme d'attention du réseau, permettant au système de sélectionner au moment de l'inférence un mode latent adapté à partir de l'observation initiale. Les auteurs introduisent également une métrique post-entraînement qui quantifie la divergence d'attention entre chaque démonstration d'échec et le corpus de succès, afin de filtrer automatiquement les échantillons d'échec réellement bénéfiques à l'apprentissage. L'enjeu est considérable pour les pipelines industriels de collecte de données robotiques : une fraction structurelle des démonstrations humaines sont des échecs, jusqu'ici systématiquement écartés ou nécessitant un traitement manuel coûteux. Les approches existantes pour exploiter ces données s'appuient généralement sur des mises à jour itératives de la politique via des rollouts autonomes, ce qui complique leur intégration stable et directe dans un pipeline de production. Cette méthode opère en revanche directement sur les données brutes collectées sans itérations supplémentaires, ce qui la rend potentiellement plus accessible pour des équipes travaillant en conditions réelles de déploiement. Les résultats en simulation montrent une amélioration des taux de succès par rapport à un entraînement basé uniquement sur des démonstrations réussies, et la métrique proposée identifie correctement les échantillons d'échec dont l'ajout est bénéfique. L'apprentissage par imitation est devenu un paradigme central en robotique manipulatrice, porté par des architectures comme ACT, Diffusion Policy ou pi-0 de Physical Intelligence, et la gestion des données hors-distribution reste un défi ouvert du domaine. Que faire des trajectoires partiellement réussies ou des démonstrations ambiguës constitue une question de recherche active, d'autant que les coûts de re-collecte sur robot physique sont prohibitifs à grande échelle. Ce travail s'inscrit dans ce courant sans rupture radicale : les résultats sont limités à la simulation et aucun déploiement sur hardware réel n'est mentionné dans le preprint, ce qui appelle une validation expérimentale indépendante. La prochaine étape naturelle sera la validation sur robots physiques en manipulation dextère, contexte où le taux d'échec lors de la collecte humaine est structurellement élevé et où le gain potentiel d'un tel filtrage automatique serait le plus significatif.

RecherchePaper
1 source
Apprentissage robotique à partir de vidéos humaines : une synthèse
3arXiv cs.RO 

Apprentissage robotique à partir de vidéos humaines : une synthèse

Une équipe de chercheurs a publié sur arXiv (arXiv:2604.27621) un état de l'art complet sur l'apprentissage des compétences robotiques à partir de vidéos humaines. Le papier recense les techniques permettant de transférer des habiletés gestuelles filmées vers des robots manipulateurs, en s'appuyant sur la masse de vidéos d'activités humaines disponibles en ligne. Les auteurs proposent une taxonomie hiérarchique structurée en trois axes : l'apprentissage orienté tâche (le robot déduit l'objectif), l'apprentissage orienté observation (alignement visuel entre humain et robot), et l'apprentissage orienté action (estimation directe des mouvements moteurs). Le survey couvre également les fondements de données, en analysant les principaux jeux de données de vidéos humaines existants ainsi que les schémas de génération vidéo synthétique. Une liste exhaustive des travaux référencés est disponible sur GitHub (IRMVLab/awesome-robot-learning-from-human-videos). Ce travail de synthèse arrive à un moment clé : le manque de données robotiques à grande échelle constitue aujourd'hui le principal goulot d'étranglement pour les systèmes d'IA incarnée généralistes. Les vidéos humaines représentent une ressource passive quasi illimitée, et leur exploitation pourrait contourner le coût exorbitant de la collecte de démonstrations téléopérées. Le papier analyse explicitement comment les différentes approches se comportent selon les paradigmes d'apprentissage (imitation, renforcement, diffusion) et les configurations de données, ce qui est directement utile pour des intégrateurs qui cherchent à choisir une architecture VLA (Vision-Language-Action) selon leur contrainte de données terrain. Le survey souligne aussi honnêtement les limitations du champ : le gap démo-réalité reste non résolu dans la plupart des pipelines, et les métriques de transfert restent hétérogènes d'un papier à l'autre. Ce type de survey émerge dans un contexte où plusieurs labos et startups misent sur le video-based learning comme levier de scalabilité : Physical Intelligence (pi-0), NVIDIA (GR00T N2), et Google DeepMind ont tous intégré des données humaines ou des vidéos internet dans leurs pipelines d'entraînement récents. Côté recherche académique, les travaux comme R3M, UniPi ou RoboAgent ont posé les jalons de cette approche ces deux dernières années. Ce survey offre donc une base de référence structurée pour les équipes qui entrent maintenant dans ce champ, avec des pistes de recherche ouvertes notamment sur la synchronisation temporelle corps-robot et la génération de données vidéo simulées pour la diversification des trajectoires.

UELes équipes de recherche françaises (CEA-List, INRIA) et les startups européennes travaillant sur des architectures VLA peuvent exploiter cette taxonomie structurée pour orienter leurs choix méthodologiques selon leurs contraintes de données terrain.

RecherchePaper
1 source
HoMMI : apprentissage de la manipulation mobile corps entier à partir de démonstrations humaines
4arXiv cs.RO 

HoMMI : apprentissage de la manipulation mobile corps entier à partir de démonstrations humaines

Une équipe de chercheurs a publié sur arXiv (arXiv:2603.03243v2) HoMMI, pour Whole-Body Mobile Manipulation Interface, un framework d'apprentissage par imitation permettant à un robot mobile de maîtriser la manipulation bimanuelle et la navigation à partir de démonstrations humaines réalisées sans robot. Le principe : un opérateur humain porte une interface portative héritée du projet UMI (Universal Manipulation Interface), enrichie d'une caméra égocentrique capturant le contexte global de la scène (position dans l'espace, état de l'environnement). Ces données brutes alimentent une politique apprise, transférée ensuite sur un robot à corps entier (bras, torse, base mobile) sans que celui-ci n'ait été présent lors de la collecte. La difficulté centrale que HoMMI cherche à résoudre est l'"embodiment gap" : la différence morphologique et sensorielle entre humain et robot rend le transfert de politique difficile, particulièrement en perception égocentrique où les champs de vue et hauteurs d'oeil divergent fortement. Les auteurs proposent trois briques techniques pour combler cet écart : une représentation visuelle agnostique à l'embodiment, une représentation d'action "head relaxed" qui neutralise les variations de mouvement de tête, et un contrôleur corps entier réalisant les trajectoires main-oeil sous contraintes physiques du robot. Ces choix permettent des tâches longue-séquence mobilisant navigation, perception active et coordination bimanuelle, le type de scénario que les architectures Vision-Language-Action (VLA) comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA visent également à résoudre. Les résultats, présentés sous forme de vidéos sur hommi-robot.github.io, restent à valider en conditions non contrôlées et sur des benchmarks standardisés. HoMMI s'inscrit dans la continuité directe du projet UMI (Columbia/Stanford, 2024), qui avait popularisé la collecte portable de démonstrations pour la manipulation fixe sur table. L'extension au robot mobile ajoute la dimension navigation, saut de complexité majeur pour le sim-to-real et la généralisation hors laboratoire. Les approches concurrentes incluent Mobile ALOHA (Stanford), les pipelines de distillation de données de Physical Intelligence, et les travaux de manipulation bimanuelle ALOHA/ACT de Berkeley. HoMMI reste à ce stade un preprint arXiv sans déploiement industriel annoncé ni métriques de taux de succès publiées, une limite habituelle des publications en robotique d'apprentissage avant revue par les pairs.

RecherchePaper
1 source