RecherchearXiv cs.RO 23 juillet 2026

Robot Sensor : préhension guidée par le langage dans des scènes complexes à plusieurs morphologies

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs du Intelligent Systems Lab de l'Université de Toronto ont publié SeededGrasp, un nouveau framework de saisie robotique guidée par le langage, capable de fonctionner dans des scènes encombrées avec plusieurs types de robots (multi-embodiment). Plutôt que de demander à un modèle vision-langage (VLM) de prédire directement la prise à effectuer, ce qui limite sa compréhension spatiale, ou d'entraîner un VLM conjointement avec le modèle de saisie, ce qui exige un volume de données et de calcul considérable, l'équipe découple les deux étapes : le VLM se contente de désigner un point d'amorçage (seed point) sur l'objet cible, qui sert ensuite de conditionnement à un modèle de génération de prise léger et spécialisé. Pour entraîner cette architecture, les chercheurs publient également le premier jeu de données de saisie multi-embodiment sur table, comprenant plus de 2,5 millions de prises annotées dans des scènes encombrées. Les résultats expérimentaux font état de 72% de réussite en simulation et 78% en conditions réelles, surpassant les approches de référence existantes. Le code et les données sont disponibles sur le site du projet (uoft-isl.github.io/seeded-grasp).

Pour les intégrateurs et les équipes de recherche en robotique, l'intérêt de SeededGrasp tient à son efficacité en données : en séparant le raisonnement sémantique de haut niveau (comprendre quel objet saisir et pourquoi) de l'exécution géométrique de bas niveau (calculer une prise stable), la méthode évite l'entraînement de bout en bout très coûteux qu'exigent les modèles VLA (vision-langage-action) intégrés. Elle permet aussi de réutiliser le même module de perception sémantique sur différents robots et pinces, un problème récurrent pour l'industrie qui doit aujourd'hui redévelopper des pipelines de saisie spécifiques à chaque plateforme. Le fait que le taux de réussite en réel (78%) dépasse celui en simulation (72%) est notable : il suggère que le découplage limite l'écart classique entre démonstration simulée et déploiement physique, plutôt que de le masquer par une simulation trop favorable.

Cette publication s'inscrit dans un mouvement plus large de recherche sur les modèles vision-langage-action appliqués à la manipulation robotique, aux côtés de travaux comme RT-2, OpenVLA ou les approches de saisie zero-shot guidée par instructions textuelles, qui cherchent toutes à rapprocher la compréhension du langage naturel et le contrôle physique des robots. La contribution principale de SeededGrasp reste ici la mise à disposition ouverte d'un dataset de grande échelle spécifiquement conçu pour la généralisation entre plusieurs types de robots, une ressource rare dans le domaine et qui pourrait accélérer les travaux d'autres laboratoires sur la saisie en environnement encombré. Aucune date de déploiement industriel n'est mentionnée : il s'agit pour l'instant d'une contribution de recherche académique, publiée sur arXiv, sans partenariat commercial annoncé.

Dans nos dossiers

IA physique & VLA OpenVLA / RT-X Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Évaluation de la compréhension des collisions dans les modèles vision-langage pour une collaboration homme-robot sécurisée

Une équipe de chercheurs a publié TouchSafeBench (arXiv:2605.31196), un benchmark pour évaluer ce qu'ils nomment le "collision grounding" dans les modèles de vision-langage (VLM) : la capacité à relier des observations visuelles à la géométrie du robot, la disposition de la scène et la proximité humaine pour déduire un contact présent ou imminent. Construit dans le simulateur Habitat 3.0 de Meta, il comprend 2 940 épisodes de coprésence indoor simulés, couvrant navigation sociale et réorganisation spatiale, avec des observations RGB-D multi-vues synchronisées, des cartes de trajectoire top-down et des labels de contact dérivés directement du simulateur. Trois VLMs orientés robotique ou frontier models ont été testés sur neuf représentations visuelles, autour de deux tâches : classifier l'état de sécurité courant et anticiper une collision imminente avant tout contact physique. Le meilleur score moyen Macro-F1 obtenu reste inférieur à 50 %. Ce chiffre souligne une limite fondamentale : la fluidité visuelle n'implique pas la responsabilité physique. Un modèle capable de décrire précisément une scène peut échouer à détecter si un bras robotique effleure un opérateur. Pour les intégrateurs travaillant sur la collaboration homme-robot, le signal est sans ambiguité : les VLMs actuels ne peuvent pas jouer le rôle de moniteurs de sécurité sans couche d'abstraction géométrique explicite. L'étude montre également que le contact robot-scène (obstacles, mobilier) est systématiquement plus difficile à détecter que la proximité humaine, contredisant l'intuition courante. Plus frappant encore : la profondeur RGB-D n'est pas automatiquement convertie en évidence de collision corps-robot, faute de représentation morphologique intégrée dans ces modèles. Ces résultats arrivent au moment où les architectures vision-langage-action (VLA) comme RT-2, OpenVLA ou pi0 de Physical Intelligence s'imposent dans les pipelines robotiques, en pariant sur la généralisation sémantique des VLMs pour piloter manipulateurs et robots mobiles. TouchSafeBench constitue un contrepoids empirique à cet enthousiasme : la généralisation linguistique ne résout pas la conscience géométrique nécessaire à la sécurité fonctionnelle. La plateforme sous-jacente, Habitat 3.0, est développée par Meta AI Research et fait référence en navigation sociale simulée. Le benchmark sera publié à l'acceptation de l'article. Les auteurs identifient comme prochaine étape des représentations liant explicitement point de vue caméra, morphologie du robot et géométrie métrique, potentiellement via des approches hybrides VLM et modèles cinématiques.

UELes intégrateurs européens développant des cobots sous contraintes AI Act doivent intégrer que les VLMs actuels ne sont pas des moniteurs de sécurité fiables sans couche d'abstraction géométrique explicite, ce qui impacte directement les architectures VLA en cours de déploiement industriel.

RecherchePaper

1 source

2arXiv cs.RO

MorphIt : approximation sphérique flexible de la morphologie robotique pour l'adaptation guidée par représentation

Une équipe de chercheurs présente MorphIt (arXiv:2507.14061), un cadre d'approximation sphérique conçu pour rendre adaptable la représentation morphologique d'un robot, plutôt que de la traiter comme une contrainte fixe. Le système décompose la géométrie d'un bras ou d'un corps robotique en ensembles de sphères dont la résolution est pilotée par descente de gradient, avec des paramètres ajustables permettant de naviguer entre précision géométrique et coût computationnel. Les auteurs rapportent des temps de génération jusqu'à 100 fois inférieurs aux méthodes existantes, tout en maintenant une fidélité géométrique supérieure avec un nombre de sphères réduit, face aux deux baselines testées : VSSA (Variational Sphere Set Approximation) et AMAA (Adaptive Medial-Axis Approximation). Les gains sont validés sur des tâches de détection de collisions, de simulation d'interactions en contact et de navigation en espace contraint. L'enjeu dépasse la seule accélération de calcul. Actuellement, la quasi-totalité des pipelines robotiques impose une représentation géométrique unique pour toutes les tâches, qu'il s'agisse de planification à haute cadence ou de manipulation fine en contact. Ce compromis dégrade soit la précision, soit le temps de cycle. MorphIt traite cette représentation comme une ressource modulable en temps réel : un même robot pourrait opérer en mode grossier pour l'évitement d'obstacles et en mode haute résolution pour l'assemblage de précision, sans reconfiguration matérielle. Le framework s'intègre avec l'infrastructure robotique existante, ce qui limite les frictions d'adoption pour les intégrateurs. Les méthodes d'approximation sphérique comme VSSA et AMAA existent depuis plusieurs années, mais ont été conçues principalement pour la visualisation, pas pour le calcul embarqué temps réel. MorphIt s'inscrit dans un mouvement plus large vers des représentations géométriques différentiables et optimisables, un principe déjà exploré dans le sim-to-real pour les modèles VLA (Vision-Language-Action). Les résultats présentés restent expérimentaux : le paper est un preprint sans validation en déploiement réel à grande échelle. Les suites naturelles incluent l'intégration avec des planificateurs de mouvement différentiables et des tests sur des plateformes hardware comme des bras collaboratifs ou des humanoïdes.

RecherchePaper

1 source

3arXiv cs.RO

Gradients de valeur pour la conception de robots à morphologies multiples

Des chercheurs ont publié le 2 juin 2026 sur arXiv (référence 2606.00702) une méthode visant à accélérer la conception de robots via ce qu'ils nomment les "value gradients". Le principe consiste à entraîner une unique fonction de valeur issue du reinforcement learning sur un ensemble varié de morphologies robotiques, puis à utiliser cette fonction, une fois gelée, comme proxy différentiable pour optimiser de nouveaux designs sans relancer de cycle d'apprentissage complet. Les expériences portent sur des modèles entraînés sur jusqu'à 50 robots distincts, couvrant des espaces de conception de plus de 1 100 paramètres continus d'embodiment: longueurs de membres, configurations articulaires, propriétés mécaniques. La méthode a été évaluée sur des variantes perturbées d'un même robot mais aussi sur des morphologies entièrement nouvelles appartenant à des classes non vues à l'entraînement, testant ainsi sa capacité de généralisation. Le problème que ce travail adresse est central en co-conception robotique: optimiser conjointement la morphologie d'un robot et son contrôleur nécessite traditionnellement de relancer un cycle complet de reinforcement learning pour chaque design candidat, une opération computationnellement prohibitive qui freine l'exploration de l'espace de conception. En gelant la fonction de valeur après un premier entraînement généralisé, les auteurs la transforment en oracle différentiable, permettant d'optimiser directement les paramètres physiques via descente de gradient, sans resimulation coûteuse. Au-delà de l'optimisation, l'analyse des gradients permet d'identifier quels paramètres de design ou de contrôle limitent les performances, une capacité analytique précieuse pour les ingénieurs souhaitant localiser des goulots d'étranglement avant d'engager des cycles de prototypage physique coûteux. La co-conception robotique est un domaine actif depuis plusieurs années, avec des approches concurrentes allant des algorithmes évolutionnaires aux méthodes de simulation physique différentiable explorées notamment par MIT CSAIL, ETH Zurich ou Google DeepMind. La particularité de cette contribution est de ne pas exiger de simulateur différentiable lors de l'optimisation: seule la fonction de valeur préentraînée suffit, la rendant potentiellement compatible avec des pipelines de simulation standard non différentiables. Les suites naturelles concernent l'extension à des espaces de conception encore plus larges, des tâches multi-objectifs et des morphologies plus complexes comme les manipulateurs industriels ou les humanoïdes. Il s'agit à ce stade d'une contribution purement académique, sans partenariat industriel ni déploiement annoncé.

RecherchePaper

1 source

4arXiv cs.RO

RoboProcessBench : un benchmark pour évaluer la compréhension des processus dans la manipulation robotique vision-langage

Des chercheurs ont publié le 16 juin 2026 sur arXiv (référence 2606.13040) RoboProcessBench, un benchmark conçu pour évaluer la compréhension processuelle des modèles vision-langage (VLM) appliqués à la manipulation robotique. L'outil décompose cette capacité en deux axes complémentaires : la surveillance statique (static monitoring) et le raisonnement dynamique (dynamic reasoning), déclinés en 12 familles de questions diagnostiques couvrant la phase d'exécution, le contact physique, le mouvement, la coordination, la progression locale, l'ordre temporel, les résultats et les transitions entre primitives. Le corpus associé, ProcessData, regroupe environ 58 000 paires questions-réponses extraites de 260 tâches de manipulation physiquement simulées, divisé en deux sous-ensembles : ProcessData-SFT pour le fine-tuning et ProcessData-Eval pour l'évaluation. Appliqué à plusieurs VLM représentatifs du marché, le benchmark révèle des lacunes systématiques sur la quasi-totalité des 12 familles de tâches. Toutefois, après fine-tuning sur ProcessData-SFT, les modèles Qwen2.5-VL-7B (Alibaba) et InternVL-3-8B (Shanghai AI Lab) affichent des gains mesurables sur la détection d'état local, de mouvement, de progression et de primitives. Ce travail pointe une faille structurelle dans l'usage croissant des VLM comme critiques visuels, générateurs de récompenses et détecteurs d'échecs dans les pipelines de contrôle robotique : ces modèles sont habituellement évalués sur le succès final d'une tâche, pas sur la qualité de son déroulement. Or, pour un intégrateur ou un COO industriel qui déploie un bras manipulateur en production, la capacité d'un modèle à détecter un contact mal positionné en milieu de séquence ou un désalignement temporel entre deux primitives est aussi critique que le résultat terminal. RoboProcessBench fournit un cadre d'évaluation granulaire là où les benchmarks existants restaient aveugles à cette dimension intermédiaire. Les résultats montrent que les gains obtenus après fine-tuning ciblé sont réels mais localisés, ce qui suggère que la compréhension processuelle fine n'émerge pas spontanément à partir des données d'entraînement généralistes actuels. L'initiative s'inscrit dans une tendance de fond : depuis 2024, les laboratoires de robotique cherchent à intégrer les VLM comme modules de supervision autonomes, à la suite des travaux sur les Visual Language Action models (VLA) comme pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). Le benchmark comble un angle mort laissé par des suites comme RoboSuite, LIBERO ou BehaviorBench, qui mesurent principalement les taux de succès end-to-end. Côté compétiteurs directs dans l'espace des benchmarks de compréhension robotique, on citera MECCANO et ProcTHOR, mais aucun n'adresse explicitement le suivi de primitives en contexte de manipulation physique. La page projet est publiquement accessible, et les données ProcessData sont présentées comme réutilisables pour l'entraînement, ce qui pourrait accélérer leur adoption dans les pipelines de RL basés sur des récompenses apprises. Aucun déploiement industriel ni partenariat n'est annoncé à ce stade : il s'agit d'un preprint académique.

RecherchePaper

1 source