Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Robots humanoïdes : planification de préhension guidée par affordance sémantique via VLM
RecherchearXiv cs.RO 

Robots humanoïdes : planification de préhension guidée par affordance sémantique via VLM

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente SAGP (Semantic Affordance-Guided Grasp Planning), une méthode de planification de prise robotique qui combine raisonnement sémantique et géométrie pure, décrite dans un preprint arXiv (2607.29374). Le constat de départ : les planificateurs de prise classiques, purement géométriques, génèrent des prises physiquement valides (antipodales, sans collision) mais parfois absurdes du point de vue fonctionnel, comme saisir une tasse par le bord, un couteau par la lame ou une bouteille près du bouchon. SAGP fonctionne sans apprentissage supplémentaire (training-free) : le nuage de points de l'objet est d'abord découpé en zones grossières (haut, milieu, bas, côtés latéraux, protubérances) via un alignement par PCA suivi d'un clustering DBSCAN basé sur la distance, sans recourir à une segmentation apprise. Un modèle vision-langage (VLM) pré-entraîné évalue ensuite la qualité de prise de chaque zone via une requête structurée en zero-shot, et ces scores sont fusionnés avec des signaux géométriques, d'accessibilité et d'adéquation à la tâche pour reclasser les candidats de prise antipodaux. Les tests, menés sur des objets du jeu YCB en simulation PyBullet avec un bras Franka Panda, montrent que SAGP conserve le taux de réussite élevé de la planification purement géométrique tout en améliorant nettement la pertinence fonctionnelle des prises sélectionnées, notamment sur les objets asymétriques munis d'une poignée, où la géométrie seule ne suffit pas.

L'intérêt pour l'industrie tient au problème ciblé : l'écart entre "prise valide" et "prise utile" est une source connue d'échecs en aval dans le pick-and-place, la logistique et la manipulation fine, même quand les métriques géométriques classiques sont satisfaites. En évitant à la fois la segmentation fine par catégorie d'objet et l'inférence directe de pose par VLM (sujette aux hallucinations spatiales), SAGP propose une voie intermédiaire potentiellement plus robuste et moins coûteuse à déployer que les approches entièrement apprises.

Le travail s'inscrit dans la lignée des planificateurs de prise antipodaux classiques, qu'il cherche à augmenter plutôt qu'à remplacer, et dans la vague plus récente d'approches VLM appliquées à la manipulation. À ce stade, la validation reste limitée à la simulation ; aucune expérimentation sur robot réel n'est rapportée, ce qui laisse ouverte la question du transfert sim-to-real.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Évaluation de l'inférence d'affordance sémantique par VLM pour des morphologies robotiques non humanoïdes
1arXiv cs.RO 

Évaluation de l'inférence d'affordance sémantique par VLM pour des morphologies robotiques non humanoïdes

Une équipe de chercheurs publie sur arXiv (2604.19509) une évaluation empirique des modèles vision-langage (VLM) pour l'inférence d'affordances sur des robots à morphologie non humanoïde. L'"affordance" désigne ici la capacité d'un modèle à déterminer quelles actions sont physiquement réalisables par un robot donné face à un objet spécifique. Les auteurs ont constitué un jeu de données hybride combinant des annotations réelles de relations affordance-objet et des scénarios synthétiques générés par VLM, couvrant plusieurs catégories d'objets et plusieurs types de morphologies robotiques. Les résultats montrent une généralisation prometteuse aux formes non humanoïdes, mais des performances très variables selon les domaines d'objets. Le constat central est un schéma systématique de faible taux de faux positifs associé à un fort taux de faux négatifs, révélant que les VLM adoptent des prédictions trop conservatrices. Ce biais est particulièrement prononcé pour les outils inédits et les manipulations non conventionnelles. Pour les intégrateurs qui envisagent d'utiliser les VLM comme couche de planification sémantique, ce résultat est structurellement important. Le biais conservateur offre un avantage de sécurité intrinsèque, les robots n'entreprenant pas d'actions impossibles ou dangereuses, mais le taux élevé de faux négatifs freine l'exploitation réelle : le système refuse des tâches qu'il pourrait pourtant accomplir. Pour un architecte de système ou un COO industriel, cela confirme qu'un VLM seul ne peut pas servir de module d'affordance universel pour des cobots ou des AMR (robots mobiles autonomes) aux morphologies spécifiques. Des couches complémentaires, simulation physique ou vérification cinématique, restent nécessaires pour corriger ce défaut sans sacrifier la sécurité. La recherche sur les affordances VLM s'est construite massivement sur des corpus centrés sur l'interaction humain-objet, laissant les robots non humanoïdes structurellement sous-représentés. Des architectures VLA (Vision-Language-Action) comme pi-zero de Physical Intelligence ou GR00T N2 de NVIDIA ont été évaluées principalement sur des tâches de manipulation humain-like. Cette étude pointe un enjeu distinct pour des plateformes comme Spot de Boston Dynamics ou ANYmal d'ANYbotics, dont les effecteurs et degrés de liberté (DOF) diffèrent fondamentalement de la main humaine. Les auteurs proposent des architectures hybrides et des jeux de données morpho-spécifiques comme prochaines étapes pour réduire le biais conservateur tout en préservant les faibles taux de faux positifs, seul acquis de sécurité clairement démontré.

UELes intégrateurs européens déployant des AMR ou cobots non humanoïdes (ANYmal d'ANYbotics, Spot) doivent anticiper des couches de vérification cinématique complémentaires aux VLM avant tout déploiement autonome en planification sémantique.

RechercheOpinion
1 source
Affordance-Based : planification de manipulation guidée par du texte et généralisation sim-vers-réel via conversion réel-vers-sim
2arXiv cs.RO 

Affordance-Based : planification de manipulation guidée par du texte et généralisation sim-vers-réel via conversion réel-vers-sim

Des chercheurs présentent un système de planification de manipulation robotique fondé sur la reconnaissance d'affordances (les possibilités d'action qu'offre un objet) et la prédiction des effets des actions. Concrètement, le système génère plusieurs futurs visuels possibles à partir de l'état actuel de la scène, puis sélectionne le plan dont le résultat prédit correspond le mieux à un objectif exprimé en langage naturel au moment de l'exécution, via un module de correspondance objectif-image multimodal. Sa particularité: le suivi de la position des objets nommés dans la consigne reste actif même lorsqu'ils deviennent occlus ou que leur apparence change en cours de tâche, ce qui permet de continuer à planifier là où un système classique perdrait la cible. Les auteurs ajoutent un module de conversion d'image "réel-vers-simulation", qui traduit les images d'un environnement physique, avec des objets de formes et de textures variées, vers une représentation visuelle standardisée proche de celle utilisée en simulation, pour faciliter le transfert vers un robot réel. Le système est évalué module par module puis testé de bout en bout sur des tâches de manipulation jugées difficiles, en simulation et sur banc matériel. L'enjeu dépasse la démonstration technique: c'est une tentative de répondre frontalement au problème du sim-to-real, en normalisant visuellement la scène réelle plutôt qu'en essayant de faire converger deux domaines visuels différents par entraînement. Pour les équipes qui développent des robots pilotables par consigne textuelle, la persistance du suivi d'objet malgré l'occlusion est un point dur classique des pipelines de manipulation, souvent négligé dans les démonstrations en conditions idéales. Le papier ne revendique pas de généralisation zero-shot totale, mais isole méthodiquement les briques (affordances, prédiction, matching texte-image, conversion visuelle) plutôt que de les noyer dans un modèle monolithique de bout en bout, ce qui facilite le diagnostic des points de rupture. Ce travail s'inscrit dans la lignée des systèmes de planification par affordances et des modèles vision-langage-action récents (RT-2, OpenVLA, Pi-0, GR00T N2, Helix), mais s'en distingue par une architecture modulaire plutôt qu'un modèle end-to-end unique. Publié comme preprint arXiv le 14 juillet 2026, sans affiliation ni benchmarks chiffrés détaillés dans le résumé, il reste à ce stade non revu par les pairs; les suites logiques seraient une comparaison directe avec les approches VLA sur des benchmarks standardisés.

RecherchePaper
1 source
Robot humanoïde : planification dynamique de tâches guidée par LLM et logique temporelle hiérarchique pour le transfert d'objets
3arXiv cs.RO 

Robot humanoïde : planification dynamique de tâches guidée par LLM et logique temporelle hiérarchique pour le transfert d'objets

Des chercheurs proposent un nouveau cadre neuro-symbolique pour piloter des tâches de transfert d'objets (handover) entre plusieurs robots en présence d'humains, en combinant modèles de langage (LLM) et logique temporelle formelle. Le système traduit une instruction humaine en langage naturel en spécifications hiérarchiques de type LTLf (Linear Temporal Logic sur traces finies), puis résout un problème conjoint d'allocation de tâches et de planification, appelé STAP (Simultaneous Task Allocation and Planning). Contrairement aux approches statiques classiques, l'architecture intègre une boucle de planification à horizon glissant (receding horizon planning) couplée à une perception en temps réel, ce qui lui permet de réajuster dynamiquement les plans lorsque l'environnement change, par exemple si une personne se déplace ou modifie sa consigne. Les auteurs rapportent des expériences menées à la fois en simulation et sur des robots réels. Ce travail s'attaque à un problème central pour l'industrie robotique : les LLM permettent aujourd'hui à des non-experts de formuler des tâches complexes en langage naturel, mais les plans générés restent souvent cinématiquement infaisables ou inefficaces sur des horizons longs, faute de garanties formelles. À l'inverse, les méthodes de logique temporelle offrent des garanties de correction et d'optimalité, mais fonctionnent généralement hors-ligne et passent mal à l'échelle. En démontrant un gain mesurable de taux de réussite, de fluidité d'interaction et une réduction du surcoût de replanification par rapport à des méthodes de référence, cette approche illustre une piste concrète pour fiabiliser les systèmes multi-robots collaboratifs en environnement partagé avec des humains, un enjeu direct pour les intégrateurs qui cherchent à dépasser le stade de la démonstration contrôlée. Le papier s'inscrit dans la lignée des travaux cherchant à combiner l'expressivité des LLM avec la rigueur des méthodes formelles de planification, un axe de recherche actif face aux limites connues des architectures purement neuronales de type VLA (vision-language-action) pour les tâches longues et critiques en sécurité. Il s'agit d'une republication (replace) sur arXiv, signe d'une révision par les auteurs ; le texte ne précise pas d'affiliation industrielle ni de calendrier de déploiement commercial, ce qui en fait une contribution de recherche plutôt qu'une annonce produit.

RecherchePaper
1 source
Robots humanoïdes : la planification de trajectoire diversifiée par inférence de Stein contrainte globalisée
4arXiv cs.RO 

Robots humanoïdes : la planification de trajectoire diversifiée par inférence de Stein contrainte globalisée

Des chercheurs viennent de publier sur arXiv (référence 2607.12732v1) une nouvelle méthode baptisée SteinSQP, pour Stein Variational Sequential Quadratic Programming, destinée à la planification de mouvement robotique. Le constat de départ est simple: les planificateurs classiques ne renvoient généralement qu'une seule trajectoire, alors que le problème est par nature multimodal, avec plusieurs solutions à faible coût possibles. Les approches probabilistes existantes tentent de maintenir une distribution de mouvements plutôt qu'une trajectoire unique, mais peinent à garantir que chaque échantillon respecte les contraintes strictes propres à la robotique: évitement de collisions, limites articulaires, conditions de contact et cohérence dynamique. SteinSQP fait évoluer un ensemble de particules en interaction, à la manière des méthodes Stein variationnelles classiques, tout en intégrant directement ces contraintes dans un sous-problème de programmation quadratique séquentielle en espace noyau. Ce sous-problème contraint de type Stein-Newton est résolu via un algorithme primal-dual sans matrice explicite, optimisé pour le GPU, ce qui permet des mises à jour groupées de l'ensemble de particules. Sur cinq tâches de planification sous contraintes, la méthode produit des ensembles entièrement faisables tout en conservant des alternatives de mouvement diversifiées. L'enjeu dépasse la seule performance algorithmique. Pour les intégrateurs et les équipes de recherche en robotique, disposer de plusieurs trajectoires faisables plutôt que d'une seule change la donne pour le replanning en temps réel, la gestion des échecs d'exécution ou l'arbitrage entre plusieurs stratégies de mouvement selon le contexte. La méthode s'attaque frontalement à un écart connu du secteur: beaucoup de techniques d'échantillonnage diversifié fonctionnent bien sans contraintes, mais s'effondrent dès qu'il faut garantir la faisabilité physique de chaque particule à l'échelle du robot. Les auteurs affirment une convergence plus rapide et plus robuste, une meilleure faisabilité par particule, et un temps de résolution par lot inférieur à celui obtenu avec des bases Stein de premier ordre ou du multistart séquentiel en programmation non linéaire. Ce travail s'inscrit dans la lignée des méthodes d'inférence variationnelle de Stein (SVGD) appliquées à la planification de mouvement, un champ qui cherche à dépasser les limites des planificateurs mono-solution historiques comme CHOMP ou TrajOpt. Il s'agit ici d'une publication de recherche, sans déploiement matériel ni partenaire industriel annoncé; les auteurs comparent leur approche à des méthodes concurrentes de premier ordre et à des solveurs NLP classiques, sans préciser de calendrier vers une intégration en conditions réelles.

RecherchePaper
1 source