Aller au contenu principal
Estimation de pose des parties d'objets avec une stratégie d'apprentissage sans annotation de symétrieIllustration générée par IA
RecherchearXiv cs.RO 

Estimation de pose des parties d'objets avec une stratégie d'apprentissage sans annotation de symétrie

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs ont déposé le 19 mai 2026 sur arXiv (référence 2605.17033) un nouveau cadre d'apprentissage baptisé SAFAG (Symmetry Annotation-Free framework for Generalizable and Actionable Parts), destiné à améliorer l'estimation de pose des parties fonctionnelles d'objets pour la manipulation robotique. Le problème central adressé est celui de la perception cross-catégorie : un robot doit être capable d'identifier et d'utiliser les parties actionnables d'objets inconnus (poignées de tiroirs, vannes, leviers) sans annotations de symétrie produites manuellement. SAFAG propose une architecture à deux étapes de type candidat-vers-final pour la régression de quaternions (représentation mathématique de l'orientation 3D en espace), couplée à un mécanisme d'apprentissage auto-supervisé qui traite la symétrie des objets comme un problème de distribution de probabilité, supprimant ainsi la dépendance aux annotations manuelles.

L'enjeu industriel est concret : l'une des frictions majeures dans le déploiement de bras robotiques polyvalents en atelier ou en logistique est précisément la capacité à actionner des objets variés sans reprogrammation par référence. La symétrie géométrique des pièces (bouton rond, valve cylindrique) génère des ambiguïtés de pose qui font échouer les pipelines de perception classiques, contraignant les intégrateurs à constituer des datasets annotés par catégorie d'objet, une démarche coûteuse et non scalable. En automatisant la gestion de la symétrie via l'apprentissage auto-supervisé, SAFAG pourrait réduire significativement ce coût d'intégration pour des tâches pick-and-place sur objets non structurés, domaine où le sim-to-real reste un défi ouvert.

Le concept de GAParts (Generalizable and Actionable Parts) sur lequel s'appuie SAFAG a émergé ces dernières années dans la communauté de l'embodied AI, notamment autour de travaux sur la segmentation sémantique des parties d'objets articulés. Le paysage concurrent inclut AnyGrasp, FoundationPose de NVIDIA et UniGraspTransfer, qui visent tous à généraliser la préhension sans supervision dense. SAFAG se distingue par son traitement explicite de la symétrie sans annotation. Il s'agit néanmoins d'un preprint arXiv sans code publié ni évaluation externe disponible à ce stade : les performances revendiquées restent à reproduire de façon indépendante avant toute considération d'intégration industrielle.

À lire aussi

AdaptManip : apprentissage du levage et de la livraison adaptatifs d'objets en corps entier, avec estimation d'état récurrente en ligne
Illustration générée par IA
1arXiv cs.RO 

AdaptManip : apprentissage du levage et de la livraison adaptatifs d'objets en corps entier, avec estimation d'état récurrente en ligne

Des chercheurs publient AdaptManip, un cadre entièrement autonome qui permet à un robot humanoïde d'enchaîner navigation, saisie et livraison d'un objet, le tout appris par apprentissage par renforcement (RL) en simulation, sans démonstration humaine ni données de téléopération. Le système repose sur trois briques couplées. Un estimateur récurrent suit l'objet manipulé en temps réel malgré un champ de vision limité et des occlusions. Une politique de base corps entier assure une locomotion robuste, complétée par un contrôle de manipulation « résiduel » (une correction ajoutée à la politique de marche) pour soulever et livrer l'objet de façon stable. Enfin, un estimateur de position globale par LiDAR fournit une localisation peu sujette à la dérive. Tout est entraîné en simulation puis déployé sur matériel réel en zero-shot, sans réglage supplémentaire. Les auteurs affirment que la méthode surpasse nettement les approches de référence, dont celles par apprentissage par imitation, en adaptabilité et en taux de réussite global, et montrent une séquence complète autonome sur un humanoïde réel. L'article est une version révisée (v2) d'un dépôt arXiv de février 2026. L'intérêt tient à la cible visée : la fragilité des politiques par imitation face aux perturbations. Ces approches dépendent de démonstrations coûteuses à collecter, et leur robustesse hors distribution reste leur point faible. Montrer qu'un pipeline purement RL, sans téléopération, peut transférer au réel une tâche mêlant locomotion et manipulation corps entier irait dans le sens d'une thèse défendue par une partie du secteur : le sim-to-real devient viable pour la loco-manipulation, et pas seulement pour la marche. Pour un intégrateur, le point le plus concret est l'estimateur d'état qui continue de suivre l'objet quand la caméra le perd de vue, un cas fréquent en logistique, où les bras et la charge masquent la scène. Les réserves restent classiques : il s'agit d'un résumé académique, sans charge utile, temps de cycle, taux de réussite chiffrés ni modèle d'humanoïde précisés, et rien n'indique la variété d'objets ou d'environnements testés. Ce travail s'inscrit dans la course aux politiques corps entier pour humanoïdes. Elle oppose les approches de modèles vision-langage-action (VLA) entraînés sur des données de téléopération, comme celles de Figure (Helix) ou de Physical Intelligence (Pi-0), à des approches RL en simulation. AdaptManip se range dans la seconde famille, plus économe en données mais dépendante de la fidélité du simulateur. La suite logique serait une validation sur des charges et des objets plus variés, des mesures de cycle en conditions réelles, puis un test hors laboratoire. Aucun pilote industriel ni calendrier n'est annoncé : on reste au stade de la recherche.

RecherchePaper
1 source
EquiBim : apprentissage d'une politique équivariante par symétrie pour la manipulation bimanuelle
Illustration générée par IA
2arXiv cs.RO 

EquiBim : apprentissage d'une politique équivariante par symétrie pour la manipulation bimanuelle

Des chercheurs présentent EquiBim, un cadre d'apprentissage par imitation qui impose une contrainte de symétrie bilatérale aux politiques de manipulation bimanuelle. Publié sur arXiv (2603.08541, version 3, une révision d'un article déjà soumis), le travail part d'un constat simple: les bras robotiques à deux membres partagent souvent une symétrie morphologique gauche-droite, tout comme de nombreuses tâches qu'ils exécutent, mais les politiques entraînées par imitation classique ne l'exploitent pas et produisent des comportements incohérents face à des observations pourtant symétriques. EquiBim formalise cette symétrie physique comme une action de groupe sur les espaces d'observation et d'action, puis impose une contrainte d'équivariance aux prédictions du modèle pendant l'entraînement. Le framework se veut agnostique au modèle sous-jacent: il s'intègre à des pipelines variés, qu'ils reposent sur des nuages de points ou des images, et que les actions soient paramétrées dans l'espace cartésien de l'effecteur ou dans l'espace articulaire. Les auteurs valident l'approche sur RoboTwin, une plateforme de simulation à cinématique bimanuelle symétrique, avant de la tester sur un système bras double réel. L'intérêt pour l'industrie tient à la nature du gain rapporté: une amélioration constante des performances et de la robustesse face aux changements de distribution, en simulation comme en conditions réelles. C'est un signal utile dans un secteur où l'écart entre démonstrations impressionnantes et fiabilité en déploiement reste un point de friction majeur pour les intégrateurs de robots bimanuels et humanoïdes. Injecter un biais inductif structurel, plutôt que de compter uniquement sur le volume de données de démonstration, est une piste que plusieurs laboratoires explorent pour réduire le besoin en données coûteuses tout en stabilisant le comportement des politiques VLA. Le contexte est celui d'une littérature déjà riche sur l'équivariance en apprentissage robotique, jusqu'ici surtout appliquée aux bras uniques. EquiBim l'étend au cas bimanuel, dans un paysage où des architectures comme GR00T N2, Pi-0 ou Helix cherchent aussi à généraliser au-delà des données d'entraînement. À ce stade, il s'agit d'un résultat académique reproductible sur banc d'essai et sur un prototype réel, pas d'un produit commercial: la suite logique serait son adoption ou son adaptation par des équipes développant des piles de contrôle bimanuelles en conditions industrielles.

RecherchePaper
1 source
Uni-PNP : apprentissage unifié de politiques de préhension et de manipulation sans préhension pour atteindre des poses d'objets généralisables
Illustration générée par IA
3arXiv cs.RO 

Uni-PNP : apprentissage unifié de politiques de préhension et de manipulation sans préhension pour atteindre des poses d'objets généralisables

Uni-PNP est une politique unifiée qui apprend conjointement la manipulation préhensile (avec saisie) et non préhensile (pousser, basculer, faire glisser) pour amener un objet dans une pose cible, quels que soient l'objet et le préhenseur. Les auteurs, dont le code et la page projet sont annoncés publiquement, procèdent en deux temps. Un encodeur de géométrie est d'abord pré-entraîné à prédire le mouvement d'un objet induit par un contact, à partir d'un jeu de données de dynamique de contact issu de simulations d'interactions entre objets et pinces variés. La politique est ensuite entraînée par apprentissage par renforcement en deux étapes, des objets saisissables vers des objets non saisissables, afin de favoriser la découverte d'interactions non préhensiles et leur combinaison avec la saisie. En simulation, le taux de succès atteint 76,39 % sur plusieurs centaines d'objets vus avec leurs pinces, et 57,91 % sur des objets inédits, soit 20,52 et 17,79 points de pourcentage de plus que la meilleure référence de pose-reaching testée. Les chercheurs décrivent aussi un transfert vers un scénario réel. L'intérêt tient à ce que la plupart des systèmes existants enchaînent des primitives distinctes (pousser, puis saisir) avec des objectifs intermédiaires prescrits, ce qui limite la coordination fine entre contact et prise. Ils restent en outre sensibles à la géométrie de l'objet et de la pince, et dépendent de supports précis dans l'environnement, un frein concret au déploiement en entrepôt ou en atelier où les pièces et les outils varient. Les comportements émergents rapportés vont dans le sens d'une manipulation plus robuste : repositionnement avec ou sans saisie, prise obtenue après avoir fait basculer l'objet, réorientation en s'appuyant sur la table pendant la saisie. Il faut toutefois relativiser : 57,91 % sur objets inédits reste loin d'une fiabilité industrielle, ces chiffres viennent de la simulation, et la validation réelle est présentée de façon qualitative. L'écart entre démonstration et production demeure donc entier. Ce travail s'inscrit dans la lignée des recherches sur la manipulation non préhensile et sur l'apprentissage par renforcement avec curriculum en simulation, qui traitaient jusqu'ici saisie et contact comme deux compétences à assembler. Il se positionne face aux approches séquentielles par primitives et aux politiques de pose-reaching généralistes. C'est une publication académique (arXiv, v1), sans produit, prix ni calendrier de déploiement. Les suites logiques seront des évaluations réelles plus étendues, avec davantage de pinces et de scènes, et l'intégration éventuelle de ces politiques dans des modèles vision-langage-action plus larges.

RecherchePaper
1 source
OneDemo : apprentissage de politique et génération de données unifiés à partir d'une seule démonstration
Illustration générée par IA
4arXiv cs.RO 

OneDemo : apprentissage de politique et génération de données unifiés à partir d'une seule démonstration

OneDemo, un framework d'apprentissage par renforcement décrit dans un preprint arXiv (2610.18188, version 2), propose de transformer une unique démonstration réussie en une politique de contrôle et en un générateur de données. Au lieu de collecter des centaines de démonstrations expertes, l'éditeur appris adapte la démonstration initiale à de nouvelles configurations de tâche. Il décide à partir de récompenses éparses, uniquement fondées sur le succès de la tâche, quand passer d'un segment de trajectoire centré sur un objet au suivant, et comment adapter géométriquement chaque segment. Sur 15 tâches Meta-World, la méthode atteint en moyenne 92,7 % de réussite après 53,7 k interactions avec l'environnement. Sur 9 tâches DexMimicGen, qui impliquent de la manipulation dextre, elle génère des démonstrations réussies dans 98,4 % des cas. Des politiques BC-RNN (clonage comportemental avec réseau récurrent) entraînées sur ces données atteignent 99,6 % de réussite moyenne à taille de jeu de données équivalente. L'enjeu est le coût de la donnée, qui reste l'un des principaux freins aux politiques apprises, qu'il s'agisse de VLA ou de clonage comportemental. Les méthodes d'augmentation existantes dépendent de règles de transformation écrites à la main ou de planification de trajectoire complexe, ce qui exige de l'ingénierie spécifique à chaque tâche. Si les résultats se confirment, un opérateur pourrait fournir une seule démonstration, puis laisser le système produire un jeu de données varié sans expert supplémentaire. Cela intéresserait les intégrateurs qui redéploient souvent des cellules de manipulation. Il faut toutefois rester prudent : toutes les évaluations sont menées en simulation, sur des benchmarks établis mais relativement structurés. Rien n'est dit sur la robustesse face à la perception réelle, au bruit de capteurs ou au transfert sim-to-real. Le taux de 99,6 % mesure aussi un entraînement sur données générées dans le même simulateur, ce qui ne dit rien de la performance en conditions réelles. Ce travail s'inscrit dans la lignée de MimiGen et de DexMimicGen, qui génèrent des données à partir de peu de démonstrations en recombinant des segments centrés sur les objets, mais avec des règles conçues manuellement. OneDemo remplace ces règles par un éditeur appris par renforcement, au prix de plusieurs dizaines de milliers d'interactions par tâche. Le texte ne précise pas de calendrier de publication du code ni de validation sur robot physique. Les prochaines étapes à surveiller sont donc le passage sur matériel réel, la tenue face à des objets inconnus et la comparaison directe avec les approches de génération de données fondées sur des modèles génératifs ou des modèles du monde.

RecherchePaper
1 source