Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
La fonction des objets plutôt que leur nature : espaces latents fonctionnels pour le raisonnement sur les affordances
RecherchearXiv cs.RO 

La fonction des objets plutôt que leur nature : espaces latents fonctionnels pour le raisonnement sur les affordances

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs présente A4D, un système de planification robotique qui raisonne sur ce que les objets permettent de faire plutôt que sur leur apparence visuelle. Publié sur arXiv (ref. 2606.05533), le système encode les observations visuelles dans un espace latent dit "fonctionnel", structuré autour d'affordances comme "déplaçable" ou "saisissable", au lieu de regrouper les objets par similitude visuelle. Les performances annoncées : 94 % de précision sur les affordances connues, soit plus de 15 points au-dessus des approches de l'état de l'art, une montée de 70 % à plus de 90 % de précision sur des affordances inédites avec moins de 10 % des données d'entraînement initiales, et une inférence 100 fois plus rapide. Un mécanisme de découverte automatique d'affordances permet au système de s'adapter aux scénarios non vus en étendant dynamiquement cet espace latent.

Le problème que cible A4D est central en manipulation robotique : la généralisation à des objets nouveaux. Les systèmes actuels échouent dès qu'un robot rencontre un objet visuellement différent de ceux vus à l'entraînement, même si sa fonction est identique. Raisonner par fonction plutôt que par apparence permettrait aux robots industriels et de service de s'adapter sans cycle de réentraînement complet, ce qui représente un verrou majeur pour le déploiement en environnements non structurés. L'efficacité en données est ici particulièrement notable : atteindre 90 % de précision sur de nouvelles catégories avec moins de 10 % du dataset original réduit drastiquement le coût d'intégration pour un nouvel environnement de travail. Ces résultats restent toutefois issus d'évaluations de laboratoire, et la robustesse en conditions industrielles réelles n'est pas encore documentée.

Le concept d'affordance en robotique est hérité de la psychologie écologique de James Gibson (années 1970), mais son opérationnalisation dans des systèmes de planification automatisée reste un défi ouvert depuis deux décennies. Les approches concurrentes incluent les Vision-Language-Action models (VLA) type pi0 de Physical Intelligence ou OpenVLA, qui misent sur des modèles fondation massifs pour la généralisation, et les méthodes de représentation basées sur des descripteurs sémantiques. A4D se positionne comme une alternative plus légère et interprétable. Le code, les vidéos et les données sont disponibles sur le site du projet ; aucun partenariat industriel ni déploiement pilote n'est annoncé à ce stade.

Dans nos dossiers

Physical Intelligence — π0OpenVLA / RT-XManipulation robotiquearXiv cs.RO

À lire aussi

Raisonnement guidé par ontologie pour des explications fondées sur les affordances en navigation robotique
1arXiv cs.RO 

Raisonnement guidé par ontologie pour des explications fondées sur les affordances en navigation robotique

Des chercheurs ont publié en juin 2026 sur arXiv (2606.00117) une méthode d'explication de la navigation robotique fondée sur le raisonnement ontologique et la théorie des affordances. L'approche construit, en temps réel, une ontologie locale représentant les entités proches du robot avec leurs affordances (ce qu'elles permettent de faire), leurs états possibles, et leurs relations spatiales qualitatives. Face à un obstacle, le système ne se contente pas de détecter le blocage : il évalue des hypothèses de changement d'état -- une porte peut-elle être ouverte, une chaise déplacée -- afin de générer des explications actionnables sur la manière de poursuivre la navigation. L'approche est validée sur un benchmark centré sur un scénario de robot bibliothécaire, avec des cas de navigation générés de manière procédurale. Les résultats montrent que le raisonnement ontologique identifie les facteurs d'explication pertinents avec une précision supérieure à une approche purement sémantique (semantic-only baseline), et reste robuste lorsque la densité d'objets non pertinents augmente -- ce qu'on appelle le semantic clutter, l'un des talons d'Achille des systèmes de navigation en environnement humain réel. Pour un intégrateur déployant des robots dans des espaces partagés (entrepôts mixtes, hôpitaux, bureaux), la capacité à expliquer les décisions de navigation répond à une exigence opérationnelle et réglementaire croissante, notamment sous l'AI Act européen. L'explication n'est pas ici cosmétique : elle est structurellement liée au raisonnement, ce qui la rend vérifiable et auditable par un opérateur humain. L'approche s'inscrit dans le courant de l'IA explicable (XAI) appliquée à la robotique. La théorie des affordances, conceptualisée par le psychologue James Gibson dans les années 1970, connaît un regain d'intérêt depuis l'émergence des vision-language models (VLMs) et des LLMs. Les approches concurrentes incluent les scene graphs sémantiques utilisés par Boston Dynamics et Sanctuary AI, ainsi que les planificateurs fondés sur LLM comme SayCan (Google DeepMind). Par rapport à ces méthodes, l'ontologie locale proposée ici est plus légère et plus explicite formellement, mais reste évaluée sur un benchmark synthétique limité -- le passage à des environnements réels non contrôlés reste à démontrer. Aucun partenariat industriel ni timeline de déploiement n'est mentionné : ce travail est une contribution académique de fond, pas un produit en voie de commercialisation.

UEL'approche répond structurellement aux exigences de l'AI Act pour les systèmes autonomes navigant en environnement humain, en fournissant des explications auditables sur les décisions de navigation, pertinent pour les intégrateurs européens déployant des robots en espaces partagés.

RecherchePaper
1 source
Estimation de pose et de forme d'objets pour la saisie : est-ce que ça fonctionne ?
2arXiv cs.RO 

Estimation de pose et de forme d'objets pour la saisie : est-ce que ça fonctionne ?

Une étude publiée en preprint sur arXiv (2605.26944, mai 2026) s'attaque à une question centrale de la manipulation robotique : les méthodes modulaires, qui estiment d'abord la pose et la forme 3D d'un objet avant de générer des préhensions par échantillonnage antipolaire, surpassent-elles les approches bout-en-bout qui synthétisent directement des poses de saisie ? Le cadre expérimental se limite aux pinces à mâchoires parallèles, aux préhensions à 7 degrés de liberté (7-DOF), et à une entrée monoculaire RGB(-D). Trois pipelines modulaires sont évalués : deux s'appuient sur des modèles encodeur-décodeur (SAM3D, LRM, CRISP), le troisième sur des modèles de reconstruction par diffusion (InstantMesh, Zero123, SceneComplete), tous capables de reconstruire des formes 3D de façon catégorie-agnostique. Ces pipelines sont comparés à une méthode bout-en-bout de référence représentant l'état de l'art. Les résultats sont sans ambiguïté : les méthodes modulaires surpassent la baseline bout-en-bout dans l'intégralité des expériences, y compris sur les petits objets où l'approche bout-en-bout échoue complètement. Ce constat remet en question l'hypothèse dominante selon laquelle les architectures bout-en-bout s'imposent naturellement en manipulation. La qualité des préhensions reste cependant conditionnée à la précision de l'estimation de pose et de forme : dans les scènes encombrées (cluttered scenes), les performances se dégradent, exposant une limite structurelle des méthodes actuelles de reconstruction 3D monoculaire. Les auteurs montrent par ailleurs que ces pipelines modulaires peuvent être augmentés avec des modèles vision-langage (VLM) pour produire des préhensions conditionnées par des instructions en langage naturel depuis une seule image RGB-D, avec des performances comparables à la baseline LERF-TOGO. Ces travaux s'inscrivent dans une dynamique plus large de reconstruction 3D open-set portée par des modèles génératifs larges. Les approches encodeur-décodeur comme SAM3D ou LRM, et les modèles par diffusion comme InstantMesh ou Zero123, ont démontré une généralisation hors-distribution qui rend la reconstruction catégorie-agnostique exploitable en robotique industrielle. Côté positionnement concurrentiel, les méthodes bout-en-bout comme GraspNet restent des références, mais ce preprint suggère qu'un paradigme modulaire combinant estimation de forme et échantillonnage géométrique peut les surpasser dès lors que la reconstruction est suffisamment précise. La robustesse en scènes encombrées reste le défi ouvert majeur pour les équipes de recherche et les intégrateurs industriels.

RecherchePaper
1 source
FORGE : généraliser l'utilisation fonctionnelle d'outils par raisonnement sur trajectoires de points clés
3arXiv cs.RO 

FORGE : généraliser l'utilisation fonctionnelle d'outils par raisonnement sur trajectoires de points clés

Une équipe de recherche publie sur arXiv (arXiv:2607.05780) un système baptisé FORGE, conçu pour résoudre un problème concret de la robotique manipulatrice : un robot entraîné à utiliser un outil précis échoue généralement à transférer cette compétence à un objet différent partageant pourtant la même fonction, par exemple utiliser une pierre ou une chaussure pour planter un clou comme le ferait un humain. Les chercheurs ont testé plusieurs représentations intermédiaires (images d'affordance, vidéos de démonstration humaine, trajectoires de points-clés en 2D) et retiennent les trajectoires de points-clés comme le meilleur compromis entre expressivité fonctionnelle et capacité à être traduites en actions robotiques. FORGE fonctionne en deux étapes distinctes : d'abord prédire des trajectoires de points-clés génériques à partir de données sans action associée, puis les ancrer en commandes motrices concrètes grâce à un nombre limité de démonstrations. Sur un banc d'essai de sept outils dédié à une tâche de type "frapper pour enfoncer", la méthode dépasse les approches de référence sur des outils jamais vus, en simulation comme en conditions réelles, avec plus du double du taux de réussite moyen. Cette avancée cible un verrou connu des politiques d'apprentissage par imitation et des modèles vision-langage-action (VLA) : la plupart généralisent mal dès qu'un outil change de forme, même si sa fonction reste identique. Pour les intégrateurs qui envisagent des robots humanoïdes ou des bras manipulateurs en environnement non structuré, où l'outil disponible n'est pas toujours celui prévu, cette capacité d'improvisation fonctionnelle est un prérequis pour sortir de la démonstration contrôlée et aller vers un déploiement réel. FORGE s'inscrit dans une tendance de recherche plus large visant à découpler le raisonnement de haut niveau de l'exécution motrice, une logique que l'on retrouve dans des systèmes comme GR00T N2, Pi-0 ou Helix, qui cherchent tous à réduire la dépendance à des démonstrations robotiques coûteuses en s'appuyant sur des données vidéo ou des données sans action. Il s'agit ici d'un travail académique publié en préprint, sans partenaire industriel identifié ni déploiement annoncé : la prochaine étape logique serait d'étendre la validation au-delà de ce banc d'essai de sept outils vers des tâches de manipulation plus variées.

RecherchePaper
1 source
Atomic-WAM : un raisonnement sur des mouvements atomiques ancré dans l'exécution pour les modèles d'action du monde
4arXiv cs.RO 

Atomic-WAM : un raisonnement sur des mouvements atomiques ancré dans l'exécution pour les modèles d'action du monde

Atomic-WAM est un cadre de commande robotique décrit dans un preprint arXiv (2610.20157v1) qui cible les World Action Models (WAMs). Ces modèles adaptent des modèles de fondation vidéo au contrôle de robots en prédisant conjointement la vidéo future et les actions. Le système suit une logique « comprendre puis exécuter ». Un raisonneur vision-langage lit l'instruction de la tâche et le contexte visuel, puis décrit le prochain mouvement local, dit « atomique ». Cette description guide le WAM, qui génère la vidéo future et un « action chunk », c'est-à-dire une séquence d'actions prédite d'un bloc. Les auteurs ont aussi construit un pipeline d'annotation automatique. Il produit, à partir des démonstrations multi-vues du jeu de données DROID, une supervision alignée dans le temps et enrichie d'informations de contact. Le raisonneur est post-entraîné avec EG-GRPO (Execution-Grounded GRPO). Le WAM reste figé, et le raisonneur est récompensé selon la pertinence du mouvement décrit et la réussite de l'exécution. Dans une évaluation « real-to-sim » sur RoboLab, Atomic-WAM atteint 39,6 % de succès avec les instructions par défaut et 31,6 % avec des instructions vagues. Le travail s'attaque à une faiblesse connue des modèles à instructions de haut niveau. Une consigne de tâche laisse souvent indéterminée la prochaine interaction physique, qui dépend de l'état courant de la scène. Faire produire au raisonneur une description de mouvement intermédiaire, puis l'ajuster sur le résultat réel de l'exécution plutôt que sur la seule plausibilité linguistique, est une piste crédible pour relier raisonnement sémantique et contrôle. La baisse limitée de 39,6 % à 31,6 % face à des consignes vagues suggère une certaine robustesse à l'ambiguïté. Il faut toutefois rester prudent. Un taux de succès inférieur à 40 % reste loin des seuils exigés en production. L'évaluation se fait en simulation à partir de données réelles, pas sur robot physique. Le résumé ne donne ni modèle de référence, ni écart face aux méthodes concurrentes, ni temps de cycle, ni matériel. Il s'agit donc d'un résultat de recherche, sans produit ni déploiement. Cette approche s'inscrit dans la montée des WAMs et des modèles vision-langage-action (VLA), qui se disputent la généralisation sur manipulation. DROID, corpus de démonstrations multi-vues largement utilisé, sert ici de base à l'annotation. Atomic-WAM se place dans la lignée des méthodes de raisonnement hiérarchique, qui séparent planification sémantique et contrôle bas niveau, et applique l'apprentissage par renforcement de type GRPO à la couche de raisonnement. Une page de projet est annoncée, mais le résumé ne mentionne ni code, ni pilotes industriels, ni calendrier. La suite logique serait une validation sur robots réels et des comparaisons directes avec les VLA de référence.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source