Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Les VLM décrivent mais ne mesurent pas : comprendre les scènes centrées sur les objets pour la manipulation robotique
RecherchearXiv cs.RO 

Les VLM décrivent mais ne mesurent pas : comprendre les scènes centrées sur les objets pour la manipulation robotique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie un article arXiv (2609.28184v1) proposant un système de perception modulaire piloté par un modèle vision-langage (VLM) pour la manipulation robotique en environnement inconnu. Partant d'une seule observation RGB-D, le pipeline segmente la scène en régions au niveau objet, les fait annoter sémantiquement par un VLM, puis ancre ces annotations avec les données de profondeur pour construire une représentation centrée sur les objets, indépendante de la tâche à accomplir. Les auteurs ont testé leur approche sur 151 scènes de table (tabletop scènes) et montrent que cette décomposition conserve la qualité sémantique d'un VLM classique tout en améliorant nettement la localisation et l'estimation de profondeur par rapport à une inférence géométrique directe par le VLM seul. La représentation obtenue a ensuite été intégrée à un module de planification de tâches pour piloter l'exécution robotique, en s'appuyant sur des briques logicielles existantes plutôt que sur un modèle entraîné de bout en bout.

Le constat de fond, résumé par le titre même de l'article, cible une faiblesse connue mais rarement quantifiée des VLM appliqués à la robotique: ils décrivent bien une scène mais mesurent mal les distances, positions et profondeurs nécessaires à une prise fiable. Pour les intégrateurs qui misent sur des architectures vision-langage-action pour de la manipulation générique, ce travail confirme qu'il est risqué de confier au VLM la géométrie brute et suggère plutôt une architecture hybride où le modèle gère la sémantique tandis que des capteurs et des méthodes de segmentation classiques gèrent la métrique. C'est un signal utile face à l'engouement actuel pour les modèles VLA supposés tout résoudre en bout en bout: la précision spatiale reste un maillon faible qui nécessite un ancrage explicite plutôt qu'une confiance aveugle dans les sorties du modèle.

Cette publication s'inscrit dans le débat plus large sur l'écart entre les capacités sémantiques impressionnantes des VLM récents et leur fiabilité métrique, un sujet qui traverse actuellement la recherche en robotique de manipulation autant que le développement de robots humanoïdes généralistes. L'article ne présente ni produit commercial ni déploiement industriel: il s'agit d'une contribution méthodologique construite à partir d'approches existantes ("off-the-shelf"), dont la suite logique serait une validation au-delà des scènes de table, sur des environnements moins contraints et des tâches de manipulation plus complexes.

Dans nos dossiers

IA physique & VLAManipulation robotiquearXiv cs.RO

À lire aussi

Compréhension vidéo découplée centrée sur les objets pour la génération de commandes de manipulation robotique
1arXiv cs.RO 

Compréhension vidéo découplée centrée sur les objets pour la génération de commandes de manipulation robotique

Des chercheurs ont publié en juin 2026 sur arXiv (2606.16470) un framework de compréhension vidéo orienté objets, conçu pour traduire automatiquement des démonstrations gestuelles en commandes exécutables par un bras robotique, sans passer par une syntaxe de programmation classique. La méthode combine des modules TSM (Temporal Shift Module) pour la classification spatio-temporelle d'actions avec un algorithme original de sélection d'objets qui identifie, dans chaque séquence, les objets fonctionnellement pertinents via trois critères : classification de rôle par trajectoire, détection de flou, et minimisation de chevauchements. Les objets retenus sont ensuite analysés par des VLMs (Vision-Language Models) pour la reconnaissance de catégorie et la généralisation zero-shot. Évalué sur une version modifiée du benchmark Something-Something V2, le système atteint 86,79 % de précision en classification d'actions, un score BLEU-4 de 0,337 sur des objets connus et 0,261 sur des objets inédits, soit des gains respectifs de +80,2 % et +143,9 % face au meilleur baseline spécialisé. Sur METEOR et CIDEr, les gains montent à +157,9 % et +171,7 % pour les objets inconnus. Ce résultat est notable pour deux raisons distinctes. D'abord, la généralisation sur des objets non vus durant l'entraînement, qui est précisément le point de rupture habituel des systèmes task-specific : un robot industriel déployé dans un environnement variable ne peut pas être ré-entraîné pour chaque référence produit. Ensuite, l'architecture modulaire découplée (reconnaissance d'action d'un côté, identification d'objet de l'autre) facilite la maintenance et le débogage en production, à l'inverse des architectures bout-en-bout opaques. Sur le papier, ce type de système pourrait réduire la dépendance à la téléopération manuelle pour constituer des datasets de manipulation, un coût majeur pour les déploiements à grande échelle. Il s'agit ici d'un preprint académique, pas d'un produit validé en environnement réel : les métriques sont mesurées sur un benchmark vidéo, pas sur un robot physique, ce qui laisse entier le sim-to-real gap. Le benchmark Something-Something V2 reste un cadre contrôlé, éloigné du désordre d'un atelier de production. Ce travail s'inscrit dans un mouvement plus large de recherche sur les VLA (Vision-Language-Action models), où des acteurs comme Physical Intelligence (pi), Google DeepMind ou le MIT tentent de résoudre exactement ce problème : faire apprendre un robot par observation vidéo plutôt que par démonstration manuelle coûteuse. La prochaine étape naturelle serait une validation sur hardware réel avec un bras collaboratif standard (UR, Franka), ce que le papier ne documente pas encore.

RechercheOpinion
1 source
Les futurs prédits ne suffisent pas : apprendre des objectifs exécutables pour la manipulation robotique
2arXiv cs.RO 

Les futurs prédits ne suffisent pas : apprendre des objectifs exécutables pour la manipulation robotique

Des chercheurs proposent une méthode baptisée Entity-Level Goal Readout, décrite dans un preprint arXiv (2610.09309), qui fait de l'objectif terminal exécutable une sortie explicite d'un modèle du monde fondé sur des traces 3D. Le système combine une prédiction de pose centrée sur les objets avec une translation ancrée dans la profondeur observée, ce qui produit un but compact dans SE(3), c'est-à-dire une position et une orientation 3D. Un exécuteur commun, le Pose-Native Executor, consomme ce but fixe avec un retour de pose d'objet en ligne pour piloter le robot en boucle fermée, sans relancer le modèle du monde. Sur cinq tâches de manipulation, le pipeline atteint un taux de succès moyen de 79,69 %. En déploiement zero-shot sur un bras Franka, il obtient 73,33 % de réussite sur StackCube nominal, 66,67 % avec des objets distracteurs et 75,00 % sur PickPlate, avec une cible absente de l'entraînement de la politique. Les auteurs ajoutent des diagnostics qui mesurent directement la précision du but terminal, ainsi que des perturbations contrôlées de translation qui caractérisent la dégradation de l'exécution quand le but est erroné. L'enjeu tient à une hypothèse implicite de nombreux travaux sur les modèles du monde génératifs : si le modèle prédit un futur plausible, le contrôle saura l'exploiter. Or ces futurs, souvent des images ou des traces, n'exposent pas directement les variables compactes dont un contrôleur a besoin. Lorsque l'entraînement supervise uniquement la prédiction du futur, la précision du but final n'est pas un objectif d'apprentissage, même quand une reconstruction géométrique reste possible. Les auteurs soutiennent donc que l'interface entre prédiction et exécution doit être un composant appris à part entière, et non un post-traitement accessoire. Pour un intégrateur ou un ingénieur, l'intérêt pratique est double : un but figé et mesurable permet de diagnostiquer séparément l'erreur de planification et l'erreur d'exécution, et l'absence de nouvelle inférence du modèle du monde à chaque pas allège le calcul embarqué. Il faut toutefois rester prudent : les chiffres portent sur des tâches de laboratoire simples (empilement de cubes, dépose d'une assiette), avec des taux autour de 67 à 80 %, loin des seuils de fiabilité exigés en production, et le document ne détaille pas le nombre d'essais réels. Ce travail s'inscrit dans la montée des approches « world model + planification » face aux politiques VLA de bout en bout, qui prédisent directement des actions. Il s'appuie sur des représentations de trajectoires 3D et sur le retour de pose d'objet, un choix qui suppose une estimation de pose fiable en cours de tâche, ce qui reste une limite en environnement encombré ou avec des objets inconnus. Le résultat sur une cible non vue à l'entraînement suggère une certaine généralisation, sans pour autant la démontrer à grande échelle. Il s'agit d'une publication de recherche, sans produit, client ni calendrier de déploiement annoncé. Une page de projet est disponible, et les prochaines étapes naturelles seraient des tests sur des tâches plus longues, des scènes plus variées et des comparaisons directes avec des politiques VLA de référence.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
DynaSlots : préentraînement de la dynamique 3D centré sur les slots pour la manipulation robotique
3arXiv cs.RO 

DynaSlots : préentraînement de la dynamique 3D centré sur les slots pour la manipulation robotique

Des chercheurs proposent DynaSlots, un cadre de préentraînement pour la manipulation robotique qui travaille sur des nuages de points 3D sans actions ni étiquettes. Chaque trame est décomposée en un petit nombre de « slots », des groupes de points censés rester cohérents d'une image à l'autre. Un module de propagation temporelle maintient cette cohérence d'affectation. Un modèle de dynamique inverse extrait ensuite une action latente par slot à partir des différences de caractéristiques entre deux trames. Un modèle de dynamique directe à base de diffusion prédit l'état futur de chaque slot. Une tête d'interaction auto-supervisée apprend en parallèle des relations de proximité et de mouvement entre paires de slots. Les tests portent sur les benchmarks de simulation Meta-World et Adroit, ainsi que sur un bras RealMan RM65-B en conditions réelles. Les auteurs affirment de meilleurs taux de succès que les références modélisant la dynamique à l'échelle de la scène, et une bonne robustesse au désordre et aux objets inconnus. L'article ne fournit, dans ce résumé, ni chiffres de gain, ni nombre de tâches, ni détail des essais réels. L'intérêt tient à une critique de fond des méthodes actuelles de préentraînement visuel 3D, y compris celles qui intègrent la dynamique. Elles compressent le mouvement de toute la scène en une seule action latente globale. Or, en manipulation, le changement est local : saisir une tasse déplace la tasse, pas le reste. Une représentation globale mélange des transitions de nature différente, masque les dépendances entre zones qui bougent et reste sensible au contenu sans rapport avec la tâche. Une approche par objet ou par région pourrait donc améliorer la généralisation sans annotations coûteuses, ce qui compte pour les équipes qui n'ont pas de données téléopérées en grand volume. Il faut toutefois rester prudent : il s'agit d'un préprint sans relecture par les pairs, évalué sur des benchmarks académiques classiques et un seul bras, sans mesure de passage à l'échelle ni de cadence industrielle. L'écart entre ces résultats et un déploiement en atelier reste entier. Ce travail s'inscrit dans la lignée des représentations visuelles préentraînées pour la manipulation et des modèles à action latente, qui apprennent depuis des vidéos ou des nuages de points sans étiquettes d'action. DynaSlots reprend l'idée des représentations centrées sur les objets (« slot attention ») et l'applique à la dynamique 3D. Il se positionne face aux méthodes 3D dynamiques au niveau de la scène, que l'article ne nomme pas dans ce résumé. Le code est annoncé via une page de projet anonymisée, signe d'une soumission en cours de relecture. Les prochaines étapes à surveiller sont la publication des chiffres détaillés, la comparaison avec les modèles vision-langage-action (VLA) à grande échelle, et des validations sur davantage de robots et de tâches longues.

RecherchePaper
1 source
Apprentissage de priors de mouvement centrés sur l'objet à partir de vidéos humaines pour la manipulation dextérique robotique
4arXiv cs.RO 

Apprentissage de priors de mouvement centrés sur l'objet à partir de vidéos humaines pour la manipulation dextérique robotique

Des chercheurs proposent une méthode qui apprend, à partir de jeux de données d'interactions humain-objet (HOI), à prédire de façon globale les états futurs de la main et de l'objet, plutôt que de simplement imiter les démonstrations humaines. Ces états d'objet prédits servent ensuite de terme de récompense généraliste pour l'apprentissage par renforcement, ce qui évite de concevoir une fonction de récompense propre à chaque tâche. Les auteurs ont testé l'approche sur trois tâches de manipulation, en simulation et sur matériel réel, avec des mains robotiques à plusieurs doigts. Ils affirment dépasser les méthodes de l'état de l'art en taux de réussite et en généralisation à des objets inédits, et avoir déployé les compétences apprises sur des mains robotiques différentes. L'article, publié sur arXiv sous la référence 2611.05979, ne précise ni le nombre de degrés de liberté des mains, ni les noms des plateformes, ni les volumes de données ou les taux de réussite chiffrés dans son résumé. Il s'agit d'un travail de recherche, sans produit ni déploiement industriel. L'intérêt tient à deux points qui freinent la manipulation dextre. Le premier est l'ingénierie de récompense. Pour des mains à plusieurs doigts, dont l'espace d'action est de grande dimension et la dynamique de contact complexe, écrire une récompense adaptée à chaque tâche reste un goulot d'étranglement coûteux. Utiliser la trajectoire future prédite de l'objet comme signal de récompense réutilisable déplace l'effort vers l'apprentissage à partir de données humaines, qui sont plus faciles à collecter que des téléopérations robotiques. Le second point est la compatibilité entre morphologies : si le résultat se confirme, une même représentation centrée sur l'objet pourrait alimenter des mains différentes, ce qui réduirait le coût de portage pour les intégrateurs. Il faut toutefois rester prudent. Le résumé ne donne que trois tâches, aucun chiffre et aucune comparaison détaillée, et le terme « état de l'art » dépend du choix des méthodes de référence. La robustesse hors laboratoire reste à démontrer. Ce travail s'inscrit dans un courant qui exploite les vidéos et les jeux de données humains pour la dextérité, en alternative à la collecte massive de démonstrations robotiques, une voie que suivent aussi plusieurs modèles vision-langage-action et des équipes industrielles développant des mains humanoïdes. La difficulté historique tient au fossé de transfert entre simulation et réel et à l'écart de morphologie entre la main humaine et celle du robot. Les approches de pure imitation reproduisent les gestes mais généralisent mal à de nouveaux objets, d'où l'intérêt de raisonner sur l'objet plutôt que sur la main. La suite dépendra de la publication du code, des détails expérimentaux et de tests sur des tâches plus longues ou plus variées. Aucun calendrier de pilote ni partenaire industriel n'est annoncé.

RecherchePaper
1 source