Aller au contenu principal
PoseRefer : paramètres locaux de chemin pour la résolution de références sémantiquesIllustration générée par IA
RecherchearXiv cs.RO 

PoseRefer : paramètres locaux de chemin pour la résolution de références sémantiques

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de recherche publiée sur arXiv (2605.24622, mai 2026) propose PoseRefer, une architecture d'ancrage sémantique destinée à résoudre des références déictiques en robotique, du type "pose la tasse sur celle-là". Le système fusionne trois canaux d'information : la gestuelle corporelle (pose 3D), le langage naturel, et la géométrie de la scène encodée dans un graphe de scène 3D. Pour l'évaluation, les auteurs s'appuient sur MM-Conv, un corpus capturant des gestes co-verbaux naturels lors d'interactions dyadiques en réalité virtuelle, avec motion capture corps entier et annotations de scène 3D. L'architecture retenue est un late-fusion découplé : les branches pose et texte ne partagent aucun paramètre appris. La fusion avec des embeddings de catégorie MiniLM figés dépasse la branche pose seule et la meilleure configuration texte seule sur tous les types de référence, atteignant 31,9 % en top-1.

Ce résultat a une implication méthodologique directe pour les équipes qui développent des systèmes de grounding sémantique, notamment pour les VLA (Vision-Language-Action models) déployés en manipulation robotique. La valeur de 31,9 % peut sembler modeste, mais l'apport principal n'est pas le chiffre absolu : c'est le diagnostic architectural. Les auteurs montrent qu'un "scalar gate" appris change de politique selon que la branche texte a accès ou non aux catégories d'objets. Sans découplage strict des branches, il devient impossible de distinguer un gain de fusion réel d'un artefact lié à la représentation des catégories. Autrement dit, de nombreuses évaluations de systèmes multimodaux publiées jusqu'ici pourraient surestimer la contribution réelle de la gestuelle.

Les benchmarks 3D existants présentent des biais connus : descriptions rédigées après coup, gestes modélisés hors contexte, pointage mis en scène pour la caméra. MM-Conv tente de combler cet écart en capturant des interactions spontanées. Dans le paysage concurrentiel du grounding multimodal, les approches à fusion jointe (paramètres partagés entre modalités) dominent encore les classements publics, mais PoseRefer suggère que ces gains peuvent être trompeurs. Aucun déploiement industriel ni partenariat n'est annoncé à ce stade : il s'agit d'un papier de recherche fondamentale, dont l'impact dépendra de l'adoption de MM-Conv comme protocole d'évaluation standard par la communauté HRI et robotique manipulation.

À lire aussi

Apprentissage de compétences atomiques sémantiques pour la manipulation robotique multitâche
Illustration générée par IA
1arXiv cs.RO 

Apprentissage de compétences atomiques sémantiques pour la manipulation robotique multitâche

Des chercheurs ont mis en ligne une nouvelle version (v2) de leur article "Learning Semantic Atomic Skills for Multi-Task Robotic Manipulation" sur arXiv (2512.18368), présentant AtomSkill, un framework d'apprentissage par imitation pour la manipulation robotique multi-tâches. La méthode s'attaque à trois obstacles connus de l'apprentissage par démonstration à grande échelle : démonstrations sous-optimales, multi-modalité des comportements et interférences destructrices entre tâches lorsqu'un même modèle doit apprendre plusieurs compétences simultanément. AtomSkill découpe les démonstrations en compétences atomiques de longueur variable, alignées sémantiquement grâce à un objectif contrastif qui impose à la fois cohérence sémantique et cohérence temporelle, formant une bibliothèque de compétences compacte et réutilisable.

RecherchePaper
1 source
Politiques de récupération sensibles aux différences pour l'apprentissage par imitation
Illustration générée par IA
2arXiv cs.RO 

Politiques de récupération sensibles aux différences pour l'apprentissage par imitation

Une équipe du Weird Lab de l'Université de Washington publie sur arXiv (arXiv:2606.09758, juin 2026) une méthode appelée DARP (Difference-Aware Retrieval Policies for Imitation Learning), une approche semi-paramétrique d'apprentissage par imitation. Le principe central : plutôt que d'apprendre un mapping global état-action via un réseau de neurones pur (behavior cloning standard), DARP entraîne un modèle à prédire des actions en s'appuyant sur les k plus proches voisins (k-NN) extraits des démonstrations expertes, leurs actions associées, et les vecteurs de distance relative entre les états voisins et l'état requête courant.

RecherchePaper
1 source
SABER : apprentissage d'une affordance sémantique par attention pour la locomotion des robots à pattes
Illustration générée par IA
3arXiv cs.RO 

SABER : apprentissage d'une affordance sémantique par attention pour la locomotion des robots à pattes

SABER, une politique d'apprentissage par renforcement sans planificateur, est présentée dans un article publié sur arXiv le 21 septembre 2026 (2609.21572). Elle ajoute à la géométrie du terrain, déjà exploitée par les politiques de locomotion perceptive, une couche de permission de contact sémantique : chaque cellule d'une carte terrain unifiée encode la géométrie 3D locale et un coût de contact. Son mécanisme central modifie la cross-attention par un biais sémantique signé et appris, pondéré selon ce coût et la distance au pied le plus proche, si bien qu'un obstacle n'influence l'attention que tant qu'il peut affecter le prochain appui.

RecherchePaper
1 source
MAPL : apprentissage des préférences multi-objectifs pour la locomotion robotique
Illustration générée par IA
4arXiv cs.RO 

MAPL : apprentissage des préférences multi-objectifs pour la locomotion robotique

Des chercheurs présentent MAPL (Multi-Objective AI-Informed Preference Learning), un cadre d'apprentissage par renforcement pour la locomotion quadrupède qui remplace les fonctions de récompense manuelles par des préférences générées par LLM. Publié sur arXiv (réf. 2606.25398) en juin 2025, le système soumet des paires de trajectoires à un grand modèle de langage, qui les évalue selon plusieurs critères sémantiques distincts, formulés en langage naturel générique et invariants selon le terrain. Ces préférences par objectif alimentent un modèle de scoring à plusieurs têtes, dont les sorties sont agrégées en récompense scalaire pour l'optimisation de politique. Sur quatre environnements de simulation quadrupède, les auteurs rapportent des performances comparables ou supérieures à des récompenses conçues par des experts du domaine.

RecherchePaper
1 source