Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
CRAFT-E : un cadre neuro-symbolique interprétable et modifiable pour la recherche active d'objets fondée sur les affordances
RecherchearXiv cs.RO 

CRAFT-E : un cadre neuro-symbolique interprétable et modifiable pour la recherche active d'objets fondée sur les affordances

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (version 2 révisée) CRAFT-E, un cadre modulaire neuro-symbolique pour la récupération d'objets guidée par les affordances, c'est-à-dire par ce qu'un objet permet de faire. Le système part d'une requête en langage naturel décrivant une action, par exemple « couper » ou « verser », et doit désigner un objet visible dans la scène, adapté à cette fonction (y compris pour des usages improvisés) et physiquement saisissable. Il assemble trois briques: un graphe de connaissances verbe-propriété-objet généré par un LLM, un alignement visuel fondé sur CLIP, et un raisonnement de préhension à base d'énergie qui intègre la faisabilité de la saisie dans l'inférence. Les auteurs ont aussi construit un jeu de données unifiant compatibilité verbe-objet, segmentation et candidats de préhension, puis déployé la chaîne complète sur un robot physique. L'évaluation couvre des scènes statiques, des essais réels avec 20 verbes et 39 objets, une récupération fonctionnelle sur ImageNet et un transfert vers COCO-Tasks. Le résumé ne chiffre aucun taux de réussite, ce qui empêche de juger l'ampleur des résultats.

L'intérêt pratique tient à l'interprétabilité. Les approches dominantes prédisent directement un objet à partir d'un modèle opaque ou d'étiquettes d'affordance figées, ce qui rend les échecs difficiles à diagnostiquer. CRAFT-E expose des chemins de raisonnement lisibles, attribue les erreurs à un composant précis (perception, graphe ou préhension) et permet de modifier le graphe sans réentraînement. Pour un intégrateur de robotique d'assistance, cela ouvre une voie de personnalisation et d'audit. Le constat reste nuancé: le système égale les bons a priori LLM « à plat » dans plusieurs configurations, sans les surpasser de façon démontrée. Le gain annoncé porte donc sur la contrôlabilité et le diagnostic, pas sur la performance brute.

Ces travaux s'inscrivent dans la recherche sur le raisonnement d'affordances pour des robots en environnement non structuré, où les LLM fournissent des connaissances de bon sens mais sans ancrage physique garanti. La combinaison avec CLIP et un module de saisie vise à combler cet écart. Le benchmark publié devrait servir de base de comparaison, et la mention d'un a priori « sans entraînement » suggère une intégration possible comme couche de planification au-dessus de politiques apprises. Les 39 objets des essais réels restent un périmètre restreint, et aucune échéance de déploiement hors laboratoire n'est annoncée.

Dans nos dossiers

arXiv cs.RO

À lire aussi

La fonction des objets plutôt que leur nature : espaces latents fonctionnels pour le raisonnement sur les affordances
1arXiv cs.RO 

La fonction des objets plutôt que leur nature : espaces latents fonctionnels pour le raisonnement sur les affordances

Une équipe de chercheurs présente A4D, un système de planification robotique qui raisonne sur ce que les objets permettent de faire plutôt que sur leur apparence visuelle. Publié sur arXiv (ref. 2606.05533), le système encode les observations visuelles dans un espace latent dit "fonctionnel", structuré autour d'affordances comme "déplaçable" ou "saisissable", au lieu de regrouper les objets par similitude visuelle. Les performances annoncées : 94 % de précision sur les affordances connues, soit plus de 15 points au-dessus des approches de l'état de l'art, une montée de 70 % à plus de 90 % de précision sur des affordances inédites avec moins de 10 % des données d'entraînement initiales, et une inférence 100 fois plus rapide. Un mécanisme de découverte automatique d'affordances permet au système de s'adapter aux scénarios non vus en étendant dynamiquement cet espace latent. Le problème que cible A4D est central en manipulation robotique : la généralisation à des objets nouveaux. Les systèmes actuels échouent dès qu'un robot rencontre un objet visuellement différent de ceux vus à l'entraînement, même si sa fonction est identique. Raisonner par fonction plutôt que par apparence permettrait aux robots industriels et de service de s'adapter sans cycle de réentraînement complet, ce qui représente un verrou majeur pour le déploiement en environnements non structurés. L'efficacité en données est ici particulièrement notable : atteindre 90 % de précision sur de nouvelles catégories avec moins de 10 % du dataset original réduit drastiquement le coût d'intégration pour un nouvel environnement de travail. Ces résultats restent toutefois issus d'évaluations de laboratoire, et la robustesse en conditions industrielles réelles n'est pas encore documentée. Le concept d'affordance en robotique est hérité de la psychologie écologique de James Gibson (années 1970), mais son opérationnalisation dans des systèmes de planification automatisée reste un défi ouvert depuis deux décennies. Les approches concurrentes incluent les Vision-Language-Action models (VLA) type pi0 de Physical Intelligence ou OpenVLA, qui misent sur des modèles fondation massifs pour la généralisation, et les méthodes de représentation basées sur des descripteurs sémantiques. A4D se positionne comme une alternative plus légère et interprétable. Le code, les vidéos et les données sont disponibles sur le site du projet ; aucun partenariat industriel ni déploiement pilote n'est annoncé à ce stade.

RecherchePaper
1 source
Raisonnement sémantique relationnel sur des graphes de scènes 3D pour la recherche interactive d'objets en monde ouvert
2arXiv cs.RO 

Raisonnement sémantique relationnel sur des graphes de scènes 3D pour la recherche interactive d'objets en monde ouvert

Des chercheurs présentent SCOUT (Scene Graph-Based Exploration with Learned Utility), un système permettant à un robot domestique de retrouver un objet inconnu dans un environnement ouvert, sans carte préalable ni liste d'objets fixe. Publié sur arXiv (2603.05642v2), le travail propose de représenter l'environnement sous forme de graphes de scène 3D, où chaque pièce, chaque frontière inexplor ée et chaque objet reçoit un score d'utilité calculé à partir d'heuristiques relationnelles : la probabilité qu'un objet cible se trouve dans telle pièce (containment), ou qu'il soit co-localisé avec d'autres objets connus (co-occurrence). Le robot explore ainsi en priorité les zones les plus prometteuses, sans interroger un LLM à chaque étape. Pour conserver la généralisation en vocabulaire ouvert, les auteurs introduisent un cadre de distillation procédurale hors ligne : les connaissances relationnelles sont extraites d'un grand modèle de langage une fois, puis compressées dans des modèles légers exécutables directement sur le robot. Un benchmark symbolique baptisé SymSearch est également proposé pour évaluer le raisonnement sémantique dans ce type de tâches. L'enjeu central est l'équilibre entre pertinence sémantique et faisabilité temps réel, un point de friction majeur pour les intégrateurs en robotique de service. Les méthodes fondées sur la similarité d'embeddings vision-langage (type CLIP) sont rapides mais échouent sur les relations contextuelles : un robot cherchant un médicament ne déduit pas spontanément "salle de bain" depuis un embedding. Les LLMs résolvent cela mais sont trop lents et trop coûteux pour un déploiement embarqué. SCOUT, selon les évaluations menées en simulation et dans des environnements physiques réels, égale les performances des LLMs tout en restant computationnellement léger, ce qui ouvre la voie à une navigation sémantique réactive sur du matériel standard. La démonstration en environnement réel, avec des contraintes de capteurs et de navigation authentiques, atténue en partie le reproche habituel de sim-to-real gap, même si aucune métrique quantitative de transfert n'est détaillée dans le résumé. Ce travail s'inscrit dans un champ actif depuis les approches de navigation sémantique par graphes de scène (ScanQA, SceneGraph-Fusion, 3DSG), face auxquelles SCOUT se distingue par la distillation offline plutôt que par l'appel LLM en ligne. Les concurrents directs incluent les méthodes basées sur ESC, CoNaV ou L3MVN, qui exploitent des embeddings ou des LLMs pour guider l'exploration. Aucune intégration industrielle ni partenariat commercial n'est annoncé à ce stade : il s'agit d'une contribution académique avec benchmark et expériences réelles, dont la prochaine étape naturelle serait une évaluation sur des plateformes robotiques standards comme Spot ou Hello Robot Stretch.

RecherchePaper
1 source
Mémoire intégrée et compétences réutilisables : un cadre centré sur la mémoire pour les modèles vision-langage-action (VLA)
3arXiv cs.RO 

Mémoire intégrée et compétences réutilisables : un cadre centré sur la mémoire pour les modèles vision-langage-action (VLA)

Des chercheurs proposent Optimus-R, un cadre de type VLA (Vision-Language-Action) centré sur la mémoire, qui traite l'adaptation d'un robot à une nouvelle tâche comme un réglage explicite d'une mémoire requête-compétence, plutôt que comme un réentraînement des paramètres du modèle. Le dispositif repose sur trois briques. Une interface de mémoire « en ligne » insère des tokens de mémoire apprenables dans le flux de préfixe du VLA, ce qui permet au backbone d'extraire des représentations de requête et de compétence liées au contrôle, dans son circuit natif de conditionnement de l'action. Une banque de mémoire requête-compétence externalise ensuite ces compétences : des prototypes de requêtes décident quoi récupérer, des valeurs de compétence précisent comment agir. Enfin, un mécanisme léger « Bridge-and-Adapt » aligne les requêtes et compétences du domaine cible sur l'espace mémoire existant, via un adaptateur et des mises à jour résiduelles. Les auteurs rapportent des expériences en adaptation intra-domaine, inter-domaines et en apprentissage continu. Leur conclusion est un apprentissage de compétences économe en données, avec un oubli catastrophique atténué. Le résumé ne fournit ni taux de réussite, ni nom de robot, ni taille de modèle, ni benchmark. Il s'agit d'un travail de recherche publié sur arXiv, sans produit ni déploiement associé. L'enjeu est très concret pour qui veut déployer des VLA en production. Aujourd'hui, adapter un modèle généraliste à un nouveau poste, une nouvelle pièce ou un nouvel effecteur passe le plus souvent par du fine-tuning. Celui-ci coûte du calcul et des démonstrations, et il peut dégrader les tâches déjà maîtrisées. Pour un intégrateur qui maintient plusieurs cellules, ce risque de régression oblige à revalider l'existant à chaque mise à jour. Déplacer l'apprentissage vers une mémoire externe, extensible avec peu de paramètres modifiés, irait vers une logique plus modulaire, où l'on ajoute une compétence sans toucher au reste. L'approche reste cependant à démontrer. Faute de chiffres dans le résumé, on ignore l'ampleur du gain, la nature des domaines testés (simulation ou matériel réel) et la façon dont la banque se comporte quand le nombre de compétences croît. L'écart entre résultats de laboratoire et exploitation industrielle reste donc entier. Ce travail s'inscrit dans un courant de recherche sur l'apprentissage continu pour les politiques robotiques et l'adaptation efficiente en paramètres, déjà exploré par des méthodes de type adaptateurs ou LoRA appliquées aux VLA. Il rejoint aussi l'intérêt croissant pour les mémoires externes et la récupération de compétences dans les modèles de fondation. Les acteurs industriels comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) travaillent sur des modèles généralistes, mais leurs méthodes d'adaptation propres ne sont pas détaillées publiquement dans ce cadre. La suite logique est la publication du code et des détails expérimentaux, puis une comparaison avec ces approches sur des benchmarks communs et sur robot réel. Tant que ces éléments manquent, Optimus-R relève d'une piste de recherche prometteuse et non d'une solution éprouvée.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
ROMA : un système LLM pour la perception active multisensorielle centrée sur les objets en conditions réelles
4arXiv cs.RO 

ROMA : un système LLM pour la perception active multisensorielle centrée sur les objets en conditions réelles

Des chercheurs publient sur arXiv (2610.06955v1) ROMA, un système à base de grand modèle de langage (LLM) pour la perception active multi-sensorielle centrée sur l'objet, testé en conditions réelles. Il intègre la vision, l'audio, le tactile et la force dans une boucle raisonnement, interaction, retour sensoriel. Le modèle repère les preuves manquantes, puis choisit l'objet cible, l'interaction et la modalité à utiliser. Une interface physique exécute l'action et renvoie les mesures. Pour l'entraîner, l'équipe a construit ROMI-2K, un jeu de données d'interactions réelles couvrant près de 2 000 objets et 6 interactions atomiques, avec un retour sensoriel synchronisé. L'entraînement se fait en deux étapes : alignement des modalités, puis apprentissage de trois compétences. Ces compétences sont évaluer si les preuves suffisent, sélectionner les interactions les plus informatives et raisonner sur le retour multi-sensoriel. Les auteurs définissent aussi des « chaînes de perception », où chaque preuve acquise guide l'interaction suivante. Ils proposent ROMA Bench, qui évalue trois cas : un seul attribut, plusieurs attributs sur un long horizon, et une perception guidée par l'intention. L'abstract ne donne ni chiffres de performance, ni noms des modèles comparés, ni détail sur le matériel robotique. L'intérêt tient au déplacement du problème. La plupart des systèmes multi-sensoriels fusionnent des entrées déjà disponibles. ROMA traite la perception comme une décision : quelle information manque, comment l'obtenir, quand s'arrêter. C'est utile pour les tâches où la vision seule ne suffit pas, comme estimer la masse, la rigidité, le contenu d'un contenant ou la matière d'une surface. Le travail suggère aussi qu'un LLM peut servir de planificateur d'interactions informatives, pas seulement d'exécutant de commandes. Reste une réserve : le papier ne précise pas ici le taux de réussite, le temps par chaîne de perception ni la robustesse hors des objets du jeu de données. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel annoncé. Ce travail s'inscrit dans la montée des modèles vision-langage-action (VLA) et des modèles de fondation pour la manipulation. Ceux-ci restent surtout dominés par la vision et le langage, et le tactile, la force et l'audio y sont encore peu exploités. ROMI-2K et ROMA Bench pourraient servir de références communes, à condition d'être publiés et reproductibles. Aucun pilote ni calendrier n'est annoncé. La prochaine étape logique est de brancher cette perception sur des agents incarnés capables d'agir sur les objets identifiés, ce que les auteurs présentent comme une « base perceptuelle ». Un intégrateur devra surtout vérifier si ces gains tiennent sur des pièces industrielles, en cadence réelle, avec des capteurs tactiles et de force du commerce.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source