Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
PoseRefer : paramètres locaux de chemin pour la résolution de références sémantiques
RecherchearXiv cs.RO 

PoseRefer : paramètres locaux de chemin pour la résolution de références sémantiques

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publiée sur arXiv (2605.24622, mai 2026) propose PoseRefer, une architecture d'ancrage sémantique destinée à résoudre des références déictiques en robotique, du type "pose la tasse sur celle-là". Le système fusionne trois canaux d'information : la gestuelle corporelle (pose 3D), le langage naturel, et la géométrie de la scène encodée dans un graphe de scène 3D. Pour l'évaluation, les auteurs s'appuient sur MM-Conv, un corpus capturant des gestes co-verbaux naturels lors d'interactions dyadiques en réalité virtuelle, avec motion capture corps entier et annotations de scène 3D. L'architecture retenue est un late-fusion découplé : les branches pose et texte ne partagent aucun paramètre appris. La fusion avec des embeddings de catégorie MiniLM figés dépasse la branche pose seule et la meilleure configuration texte seule sur tous les types de référence, atteignant 31,9 % en top-1.

Ce résultat a une implication méthodologique directe pour les équipes qui développent des systèmes de grounding sémantique, notamment pour les VLA (Vision-Language-Action models) déployés en manipulation robotique. La valeur de 31,9 % peut sembler modeste, mais l'apport principal n'est pas le chiffre absolu : c'est le diagnostic architectural. Les auteurs montrent qu'un "scalar gate" appris change de politique selon que la branche texte a accès ou non aux catégories d'objets. Sans découplage strict des branches, il devient impossible de distinguer un gain de fusion réel d'un artefact lié à la représentation des catégories. Autrement dit, de nombreuses évaluations de systèmes multimodaux publiées jusqu'ici pourraient surestimer la contribution réelle de la gestuelle.

Les benchmarks 3D existants présentent des biais connus : descriptions rédigées après coup, gestes modélisés hors contexte, pointage mis en scène pour la caméra. MM-Conv tente de combler cet écart en capturant des interactions spontanées. Dans le paysage concurrentiel du grounding multimodal, les approches à fusion jointe (paramètres partagés entre modalités) dominent encore les classements publics, mais PoseRefer suggère que ces gains peuvent être trompeurs. Aucun déploiement industriel ni partenariat n'est annoncé à ce stade : il s'agit d'un papier de recherche fondamentale, dont l'impact dépendra de l'adoption de MM-Conv comme protocole d'évaluation standard par la communauté HRI et robotique manipulation.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

Apprentissage de compétences atomiques sémantiques pour la manipulation robotique multitâche
1arXiv cs.RO 

Apprentissage de compétences atomiques sémantiques pour la manipulation robotique multitâche

Des chercheurs ont mis en ligne une nouvelle version (v2) de leur article "Learning Semantic Atomic Skills for Multi-Task Robotic Manipulation" sur arXiv (2512.18368), présentant AtomSkill, un framework d'apprentissage par imitation pour la manipulation robotique multi-tâches. La méthode s'attaque à trois obstacles connus de l'apprentissage par démonstration à grande échelle : démonstrations sous-optimales, multi-modalité des comportements et interférences destructrices entre tâches lorsqu'un même modèle doit apprendre plusieurs compétences simultanément. AtomSkill découpe les démonstrations en compétences atomiques de longueur variable, alignées sémantiquement grâce à un objectif contrastif qui impose à la fois cohérence sémantique et cohérence temporelle, formant une bibliothèque de compétences compacte et réutilisable. La politique apprise prédit à la fois la position finale (keypose) d'une compétence et les actions immédiates, ce qui permet des transitions fluides entre compétences en fonction de la progression. Lors de l'inférence, un échantillonneur par diffusion génère des séquences de compétences plausibles, tandis que les keyposes prédites déclenchent automatiquement l'enchaînement. Les auteurs annoncent des résultats supérieurs aux méthodes de référence en imitation learning et aux approches par compétences existantes, en simulation comme en conditions réelles. L'enjeu dépasse la seule prouesse technique : la plupart des bibliothèques de compétences actuelles sont soit trop dépendantes de la structure du langage utilisé pour les décrire, soit mal alignées sémantiquement d'une tâche à l'autre, ce qui limite leur capacité à généraliser. Résoudre ce compromis conditionne directement la viabilité des politiques multi-tâches pour des applications industrielles comme le picking, l'assemblage ou la manutention, où un même robot doit enchaîner des gestes variés sans réapprentissage complet à chaque nouvelle tâche. C'est aussi un signal dans le débat actuel sur les modèles vision-langage-action (VLA) : la promesse d'une politique unique capable de généraliser à grande échelle reste difficile à tenir, et des architectures hiérarchiques par compétences comme AtomSkill pourraient constituer une alternative plus robuste que les VLA monolithiques. L'article s'inscrit dans une lignée de recherche en concurrence directe avec des approches VLA de bout en bout telles que Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. Contrairement à ces annonces industrielles très médiatisées, il s'agit ici d'une publication académique sans chiffres de benchmark détaillés ni précisions sur le matériel utilisé dans l'abstract, et sans affiliation commerciale indiquée. Les auteurs renvoient vers une page de projet (atom-skill.github.io) pour le code et les démonstrations vidéo ; la validation à plus grande échelle sur robots physiques reste, comme souvent à ce stade de publication, la prochaine étape à surveiller.

RecherchePaper
1 source
Politiques de récupération sensibles aux différences pour l'apprentissage par imitation
2arXiv cs.RO 

Politiques de récupération sensibles aux différences pour l'apprentissage par imitation

Une équipe du Weird Lab de l'Université de Washington publie sur arXiv (arXiv:2606.09758, juin 2026) une méthode appelée DARP (Difference-Aware Retrieval Policies for Imitation Learning), une approche semi-paramétrique d'apprentissage par imitation. Le principe central : plutôt que d'apprendre un mapping global état-action via un réseau de neurones pur (behavior cloning standard), DARP entraîne un modèle à prédire des actions en s'appuyant sur les k plus proches voisins (k-NN) extraits des démonstrations expertes, leurs actions associées, et les vecteurs de distance relative entre les états voisins et l'état requête courant. En reformulant le problème d'imitation en termes de structure de voisinage local plutôt que de mappings directs, la méthode revendique des gains de performance de 15 à 46 % sur behavior cloning standard, mesurés sur des benchmarks de contrôle continu et de manipulation robotique, y compris avec des représentations visuelles haute dimension. L'amplitude de cette fourchette suggère des variations importantes selon les tâches et les domaines évalués. L'intérêt concret de DARP réside dans sa capacité à atténuer le problème de "compounding errors" : lors du déploiement, un agent entraîné par behavior cloning accumule des erreurs en rencontrant des états hors distribution, dégradant rapidement les performances. En réutilisant les données d'entraînement au moment de l'inférence, DARP introduit une forme de mémoire épisodique sans nécessiter de collecte de données supplémentaires, de feedback expert en ligne, ni de connaissance spécifique à la tâche. C'est là la distinction clé vis-à-vis de méthodes comme DAgger (Ross et Bagnell, 2011), qui résolvent la distribution shift mais exigent des requêtes à l'expert pendant l'entraînement, une contrainte souvent rédhibitoire en robotique industrielle réelle. Le behavior cloning reste une méthode de référence pour son absence de contraintes opérationnelles, mais sa fragilité face à la distribution shift en limite la portée pour des déploiements à grande échelle. DARP s'inscrit dans un courant de méthodes semi-paramétriques qui connaît un regain d'intérêt avec la montée des politiques génératives : l'idée de conserver explicitement une mémoire des démonstrations plutôt que de tout comprimer dans des poids de réseau est cohérente avec les architectures hybrides actuelles, comme les VLA Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). Les résultats sur représentations visuelles haute dimension ouvrent la voie à des applications sur des manipulateurs avec vision RGB, domaine où les approches purement paramétriques montrent encore des limites significatives. Le code et les démonstrations sont disponibles publiquement via le site des auteurs.

RecherchePaper
1 source
SABER : apprentissage d'une affordance sémantique par attention pour la locomotion des robots à pattes
3arXiv cs.RO 

SABER : apprentissage d'une affordance sémantique par attention pour la locomotion des robots à pattes

SABER, une politique d'apprentissage par renforcement sans planificateur, est présentée dans un article publié sur arXiv le 21 septembre 2026 (2609.21572). Elle ajoute à la géométrie du terrain, déjà exploitée par les politiques de locomotion perceptive, une couche de permission de contact sémantique : chaque cellule d'une carte terrain unifiée encode la géométrie 3D locale et un coût de contact. Son mécanisme central modifie la cross-attention par un biais sémantique signé et appris, pondéré selon ce coût et la distance au pied le plus proche, si bien qu'un obstacle n'influence l'attention que tant qu'il peut affecter le prochain appui. Testée en conditions réelles sur un robot quadrupède Unitree B2, en intérieur et extérieur, face à quatre classes d'obstacles sémantiques, la politique montre par ablation qu'un retrait du seul biais sémantique fait grimper les contacts interdits de 55%, sans dégrader le suivi de vitesse. Ce résultat cible un angle mort concret pour la robotique industrielle : une politique purement géométrique peut juger traversable un tuyau, une pelouse ou un carton fragile, alors qu'un contact à cet endroit peut endommager l'équipement, déstabiliser le robot ou mettre en danger le site. Pour les intégrateurs déployant des robots à pattes en usine ou en entrepôt, SABER comble une limite connue des politiques apprises : la géométrie seule ne garantit pas un comportement sûr autour d'objets sensibles. Son apport principal tient à l'absence de coût mesurable sur le suivi de trajectoire, ce qui contredit l'hypothèse répandue selon laquelle des règles de sécurité supplémentaires dégraderaient nécessairement l'agilité. Cela confirme aussi que les mécanismes d'attention, déjà centraux dans les modèles vision-langage-action, peuvent structurer des politiques bas niveau pour la locomotion. SABER prolonge une recherche sur la locomotion perceptive qui a surtout intégré la géométrie du terrain, sans traiter systématiquement le sens des surfaces. Contrairement aux approches à planificateur explicite, elle reste une politique bout-en-bout entraînée directement par renforcement. Le choix du Unitree B2, quadrupède très utilisé en recherche académique, situe ce travail comme une validation scientifique sim-to-real, sans partenaire industriel ni pilote annoncé, les suites possibles visant d'autres morphologies, davantage de classes sémantiques, ou une intégration à des piles combinant perception, navigation et manipulation.

RecherchePaper
1 source
Évaluation de l'inférence d'affordance sémantique par VLM pour des morphologies robotiques non humanoïdes
4arXiv cs.RO 

Évaluation de l'inférence d'affordance sémantique par VLM pour des morphologies robotiques non humanoïdes

Une équipe de chercheurs publie sur arXiv (2604.19509) une évaluation empirique des modèles vision-langage (VLM) pour l'inférence d'affordances sur des robots à morphologie non humanoïde. L'"affordance" désigne ici la capacité d'un modèle à déterminer quelles actions sont physiquement réalisables par un robot donné face à un objet spécifique. Les auteurs ont constitué un jeu de données hybride combinant des annotations réelles de relations affordance-objet et des scénarios synthétiques générés par VLM, couvrant plusieurs catégories d'objets et plusieurs types de morphologies robotiques. Les résultats montrent une généralisation prometteuse aux formes non humanoïdes, mais des performances très variables selon les domaines d'objets. Le constat central est un schéma systématique de faible taux de faux positifs associé à un fort taux de faux négatifs, révélant que les VLM adoptent des prédictions trop conservatrices. Ce biais est particulièrement prononcé pour les outils inédits et les manipulations non conventionnelles. Pour les intégrateurs qui envisagent d'utiliser les VLM comme couche de planification sémantique, ce résultat est structurellement important. Le biais conservateur offre un avantage de sécurité intrinsèque, les robots n'entreprenant pas d'actions impossibles ou dangereuses, mais le taux élevé de faux négatifs freine l'exploitation réelle : le système refuse des tâches qu'il pourrait pourtant accomplir. Pour un architecte de système ou un COO industriel, cela confirme qu'un VLM seul ne peut pas servir de module d'affordance universel pour des cobots ou des AMR (robots mobiles autonomes) aux morphologies spécifiques. Des couches complémentaires, simulation physique ou vérification cinématique, restent nécessaires pour corriger ce défaut sans sacrifier la sécurité. La recherche sur les affordances VLM s'est construite massivement sur des corpus centrés sur l'interaction humain-objet, laissant les robots non humanoïdes structurellement sous-représentés. Des architectures VLA (Vision-Language-Action) comme pi-zero de Physical Intelligence ou GR00T N2 de NVIDIA ont été évaluées principalement sur des tâches de manipulation humain-like. Cette étude pointe un enjeu distinct pour des plateformes comme Spot de Boston Dynamics ou ANYmal d'ANYbotics, dont les effecteurs et degrés de liberté (DOF) diffèrent fondamentalement de la main humaine. Les auteurs proposent des architectures hybrides et des jeux de données morpho-spécifiques comme prochaines étapes pour réduire le biais conservateur tout en préservant les faibles taux de faux positifs, seul acquis de sécurité clairement démontré.

UELes intégrateurs européens déployant des AMR ou cobots non humanoïdes (ANYmal d'ANYbotics, Spot) doivent anticiper des couches de vérification cinématique complémentaires aux VLM avant tout déploiement autonome en planification sémantique.

RechercheOpinion
1 source