Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RelAfford6D : graphes d'affordance 6D relationnels pour la manipulation robotique guidée par contraintes
RecherchearXiv cs.RO 

RelAfford6D : graphes d'affordance 6D relationnels pour la manipulation robotique guidée par contraintes

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont déposé en juin 2026 sur arXiv (référence 2606.27036) RelAfford6D, un framework sans entraînement pour la manipulation robotique d'objets articulés. Le système s'appuie sur un graphe d'affordances 6D relationnel : à partir d'une consigne en langage naturel, il déduit une topologie sémantique reliant la partie principale d'interaction d'un objet à son ancre physique. Ces noeuds topologiques sont ensuite convertis en poses métriques précises dans l'espace SE(3), soit six degrés de liberté complets en position et orientation, via des modèles de vision fondamentaux pré-entraînés. L'exécution est formulée comme un problème de satisfaction de contraintes cinématiques : le robot génère des trajectoires continues en suivant des variétés physiques strictement définies, qu'il s'agisse d'orbites rotoïdes (rotation) ou prismatiques (translation). Un mécanisme de suivi en boucle fermée assure la replanification en temps réel face aux perturbations.

L'approche tranche avec la majorité des politiques data-driven actuelles, comme les VLA basés sur l'imitation ou les méthodes à affordances latentes, qui extraient des points de contact isolés sans contraintes cinématiques explicites. En formulant la manipulation comme satisfaction de contraintes, RelAfford6D obtient des taux de succès zero-shot supérieurs aux baselines data-driven testées, avec une généralisation inter-catégories documentée sur des objets articulés variés (tiroirs, portes, manettes) aussi bien en simulation que dans des environnements physiques réels. Pour les intégrateurs industriels, l'absence d'entraînement spécifique à la tâche est significative : le framework peut s'adapter à de nouveaux mécanismes sans collecter de données de démonstration supplémentaires.

La manipulation d'objets articulés en open-world reste l'un des verrous majeurs de la robotique de service et industrielle. Les approches récentes à base de VLA ont progressé sur la flexibilité sémantique mais peinent à garantir la précision géométrique requise pour des mécanismes contraints comme des vannes, portes ou tiroirs industriels. RelAfford6D s'inscrit dans une tendance émergente combinant fondations visuelles pré-entraînées et raisonnement géométrique analytique, sans fine-tuning coûteux. Parmi les travaux concurrents figurent CabiNet, les méthodes à affordance implicite comme GNFactor ou F3RM, et les approches VLA récentes telles que Pi-0. Ce preprint constitue une démonstration académique validée sur banc réel, sans partenariat industriel ni timeline de déploiement annoncé à ce stade.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

AffordSim : un générateur de données évolutif et un benchmark pour la manipulation robotique guidée par les affordances
1arXiv cs.RO 

AffordSim : un générateur de données évolutif et un benchmark pour la manipulation robotique guidée par les affordances

AffordSim est un générateur de données simulées et benchmark pour la manipulation robotique consciente des affordances, publié en preprint sur arXiv en mai 2026 (référence 2604.11674). Le système répond à un problème structurel : les estimateurs de préhension génériques optimisent la stabilité sans logique de tâche et sélectionnent souvent la mauvaise zone fonctionnelle de l'objet, tandis que les annotations manuelles de contact doivent être réécrites pour chaque nouvel objet et chaque nouvelle tâche. AffordSim intègre la prédiction d'affordances 3D à vocabulaire ouvert dans un pipeline de simulation : à partir d'une instruction en langage naturel, il synthétise la scène, localise les régions fonctionnelles pertinentes sur les surfaces d'objets (la poignée d'une casserole, le bouton d'un tiroir), échantillonne des prises conditionnées à ces régions, puis sélectionne les trajectoires exécutables par planification de mouvement. La randomisation de pose, texture, éclairage et bruit d'image est intégrée pour favoriser le transfert sim-to-real. Le benchmark couvre 50 tâches, cinq embodiments robotiques distincts et plus de 500 objets rigides et articulés. Les politiques VLA (Vision-Language-Action) entraînées sur ces données transfèrent zéro-shot vers un Franka FR3 réel avec 24 % de succès moyen, sans aucun fine-tuning sur données physiques. La zone fonctionnelle d'un objet, l'affordance, est précisément le point de défaillance ignoré par les benchmarks de manipulation génériques : saisir le mauvais endroit rend l'action aval impossible quel que soit le planificateur. AffordSim atteint 93 % du taux de succès des annotations manuelles sur les tâches critiques d'affordance, et 89 % sur les tâches composites difficiles, ce qui valide l'annotation automatisée comme substitut crédible à l'annotation humaine à grande échelle. Pour les équipes développant des modèles de fondation robotique ou des politiques VLA, cela réduit drastiquement le coût de génération de données diversifiées. Le score de 24 % en zero-shot reste modeste, mais il constitue une preuve de principe importante : un pipeline entièrement simulé peut produire des politiques opérationnelles sur matériel réel, condition nécessaire à un déploiement industriel scalable. AffordSim s'inscrit dans la vague des générateurs de données synthétiques pour la manipulation, aux côtés de RoboGen, GenSim et des pipelines Nvidia Isaac. Le Franka FR3, bras académique de référence vendu autour de 15 000 euros, est l'unique plateforme réelle testée, ce qui limite la portée des conclusions hors de ce contexte de laboratoire. Les modèles de fondation robotique comme pi0 (Physical Intelligence) ou OpenVLA constituent le terrain applicatif naturel de cet outil. En Europe, des équipes comme le LAAS-CNRS à Toulouse et des startups comme Enchanted Tools (Paris, robots manipulateurs expressifs) pourraient exploiter ce type de générateur pour réduire leur dépendance aux plateformes de données propriétaires américaines. Ce travail restant un preprint non encore évalué par les pairs, les métriques avancées devront être confirmées lors d'une soumission en conférence (CoRL, RSS ou ICRA).

UELes équipes européennes comme le LAAS-CNRS (Toulouse) et Enchanted Tools (Paris) pourraient exploiter AffordSim pour réduire leur dépendance aux plateformes de données propriétaires américaines dans le développement de politiques VLA.

RechercheOpinion
1 source
AffordTrajDP : apprentissage dynamique de politiques visuomotrices guidées par affordance pour la manipulation robotique
2arXiv cs.RO 

AffordTrajDP : apprentissage dynamique de politiques visuomotrices guidées par affordance pour la manipulation robotique

Des chercheurs proposent AffordTrajDP, un nouveau framework d'apprentissage par imitation guidé par affordances pour la manipulation robotique, publié en préprint sur arXiv début août 2026. Contrairement aux approches classiques qui figent un point de contact statique entre l'effecteur et l'objet cible, ce système construit une trajectoire d'affordance dynamique : à partir d'une observation RGB-D, un point d'ancrage est propagé dans le temps en suivant la pose SE(3) de l'objet, ce qui donne une guidance cohérente tout au long du geste plutôt qu'une simple instruction figée en début de tâche. Sur le benchmark simulé ManiSkill3, la méthode atteint un taux de réussite moyen de 70,0 %, soit jusqu'à 17,8 points de mieux que les meilleures méthodes concurrentes. Des essais en conditions réelles ont été menés sur des bras robotiques Galaxea A1 et UR7e, sur six tâches de précision (empilement de cubes, prise de gobelet, insertion d'adaptateur, anneau sur tige, dépôt en bol, insertion USB), avec des tests sur objets vus et non vus pour le bras Galaxea A1. L'enjeu dépasse la simple performance chiffrée : les affordances statiques dérivent souvent après le contact initial, surtout dans les tâches de précision ou quand la position de l'objet varie légèrement, un problème classique de fossé entre démonstration en labo et robustesse en conditions réelles. En rendant la guidance sensible à l'état de l'objet plutôt qu'à un point fixe défini à l'avance, AffordTrajDP s'attaque directement à ce goulot d'étranglement, un signal pertinent pour les intégrateurs qui cherchent des politiques visuo-motrices capables de tolérer le désordre réel d'un poste de production ou d'entrepôt, plutôt que des démonstrations calibrées en environnement contrôlé. Le travail s'inscrit dans la lignée des méthodes d'apprentissage par imitation guidées par affordances, qui cherchent à compresser la perception visuelle en contraintes géométriques exploitables pour réduire les besoins en données d'entraînement. Les auteurs présentent des ablations pour isoler la contribution de chaque composant du système. À ce stade, il s'agit d'un résultat de recherche en préprint, non d'un produit commercial ni d'un déploiement industriel annoncé.

RecherchePaper
1 source
MAST-VLA : adaptation conditionnée par compétence avec a priori d'affordance de trajectoire pour la manipulation robotique multi-compétences
3arXiv cs.RO 

MAST-VLA : adaptation conditionnée par compétence avec a priori d'affordance de trajectoire pour la manipulation robotique multi-compétences

MAST-VLA, proposé dans un preprint arXiv (2610.32312), est un cadre de politique vision-langage-action (VLA) destiné à la manipulation robotique multi-compétences. Il s'attaque à une faiblesse des VLA généralistes actuels, qui modélisent mal deux aspects d'une même consigne : quelle compétence élémentaire exécuter (saisir, pousser, ouvrir, etc.) et où, comment entrer en contact avec l'objet et le déplacer. Le système repose sur deux mécanismes. Dans le LLM qui sert de colonne vertébrale, des adaptateurs LoRA-MoE (mélange d'experts à faible rang) conditionnés par la compétence utilisent des « skill-query tokens » et des biais de routage pour spécialiser chaque expert. En parallèle, une carte d'affordance prédite, c'est-à-dire une carte de chaleur des zones d'interaction pertinentes, est convertie en prior spatial au niveau des patchs d'image, qui alimente la tête d'action. Sur le benchmark CALVIN ABC→D, qui teste l'enchaînement de tâches longues dans une scène jamais vue à l'entraînement, MAST-VLA atteint une longueur moyenne de 4,65 tâches sur des séquences de cinq sous-tâches, un résultat présenté comme l'état de l'art. Des essais sur robot réel sont aussi mentionnés. L'intérêt tient à la méthode plus qu'au score. Les VLA généralistes plafonnent souvent sur les séquences longues, où l'erreur d'une étape se propage aux suivantes. Séparer explicitement le « quoi » (la compétence) du « où » (l'affordance) est une piste crédible pour gagner en robustesse sans multiplier les données. L'usage de LoRA-MoE est aussi pragmatique : on spécialise des sous-réseaux légers au lieu de réentraîner un modèle entier, ce qui intéresse les intégrateurs qui adaptent un modèle de base à de nouveaux gestes. Il faut toutefois rester prudent. CALVIN est un benchmark simulé, et une moyenne de 4,65 sur 5 approche la saturation, ce qui limite sa valeur discriminante. Le résumé ne donne ni nombre de tâches réelles, ni taux de réussite, ni type de robot, et les mots « validé sous bruit de perception et de contrôle » ne remplacent pas des chiffres. L'écart entre démonstration et déploiement reste donc entier. Ce travail s'inscrit dans la course aux politiques VLA ouvertes et généralistes, avec des références comme Pi-0 de Physical Intelligence, OpenVLA, GR00T de NVIDIA ou Helix de Figure, qui privilégient en général l'échelle des données et des modèles. MAST-VLA suit une autre voie, plus structurée, qui injecte des priors de compétence et de géométrie dans l'architecture. Plusieurs travaux récents sur CALVIN suivent des idées proches, avec des affordances ou des trajectoires intermédiaires. Le preprint n'a pas encore été relu par des pairs, et le résumé n'annonce ni code ni poids publiés. La suite à surveiller est donc la publication de ces éléments, des tests sur des benchmarks plus exigeants (LIBERO, SimplerEnv) et des résultats réels chiffrés avant de juger sa portée industrielle.

RecherchePaper
1 source
KAM-WM : cartes d'affordance cinématique à partir de modèles du monde latents pour la manipulation robotique
4arXiv cs.RO 

KAM-WM : cartes d'affordance cinématique à partir de modèles du monde latents pour la manipulation robotique

Des chercheurs présentent KAM-WM, une méthode qui extrait des indices visuels d'interaction directement d'un modèle de monde vidéo latent déjà entraîné, sans avoir besoin de le réentraîner ni de simuler de rollouts complets. Le système interroge une seule fois un modèle de génération image-vers-vidéo par flow matching et interprète sa vélocité latente en une étape comme une carte d'affordance cinématique (KAM), qui indique à la fois où le robot doit agir et selon quelle direction de mouvement initier le geste. Un module Perceiver léger compresse cette carte en tokens qui viennent conditionner une politique de diffusion, combinée aux images RGB et aux données de proprioception. Sur les benchmarks LIBERO et RoboTwin2.0, la méthode atteint 90,6% de réussite moyenne sur LIBERO, et respectivement 65,7% et 22,4% sur les configurations Easy et Hard de RoboTwin2.0. L'intérêt principal tient à la distinction entre position et direction du geste. Les approches classiques d'affordance, basées sur des masques de segmentation statiques, indiquent uniquement où interagir mais pas comment amorcer le mouvement. Les comparaisons contrôlées menées par les auteurs montrent qu'une partie significative des gains provient justement de cette information directionnelle, et non de la seule localisation spatiale. Pour l'apprentissage par imitation à partir de peu de démonstrations, cela ouvre une piste pour réduire le nombre d'exemples nécessaires sans coût de calcul supplémentaire au moment de l'exécution, puisqu'aucun rollout du modèle de monde n'est requis en test. Ce travail s'inscrit dans la lignée des recherches sur les priors visuels pour la manipulation robotique, où les politiques conditionnées par affordance cherchent à combler l'écart entre perception et action sans dépendre d'architectures VLA massives comme Pi-0 ou GR00T N2. Contrairement à ces modèles génériques entraînés de bout en bout, KAM-WM mise sur la réutilisation d'un modèle de monde figé, une direction distincte des approches propriétaires des grands acteurs humanoïdes. Les auteurs restent prudents: les résultats se limitent pour l'instant aux environnements simulés LIBERO et RoboTwin2.0, une validation en conditions réelles restant l'étape suivante logique.

RecherchePaper
1 source