Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
ObjDream : guider les modèles vision-langage-action (VLA) par la compréhension au niveau des objets et la prédiction d'états futurs
RecherchearXiv cs.RO 

ObjDream : guider les modèles vision-langage-action (VLA) par la compréhension au niveau des objets et la prédiction d'états futurs

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont mis en ligne sur arXiv (référence 2610.20223, première version) ObjDream, un cadre de modèle vision-langage-action (VLA) centré sur les objets. Un VLA génère des actions de robot à partir d'observations visuelles et d'instructions en langage naturel. Ici, un encodeur spatio-temporel organise les images en « slots » d'objets temporels, avec un canal pour l'identité persistante de chaque objet et un autre pour son état dynamique. Ces représentations sont insérées dans la séquence de tokens du modèle vision-langage (VLM) sous-jacent, et un routage guidé par l'identité oriente l'attention vers les tokens de l'objet concerné. Un module de dynamique conditionné par les actions prédit en outre des états futurs compacts des objets pertinents pour la manipulation. Ce module ne sert qu'à l'entraînement, comme supervision, et n'est pas exécuté à l'inférence. Les évaluations portent sur les benchmarks de simulation LIBERO, LIBERO-Plus et RoboTwin 2.0, puis sur des essais sur robot réel avec de nouveaux agencements d'objets et des changements de fond.

L'intérêt tient au point faible bien connu des VLA : leur robustesse se dégrade dès que la disposition des objets, l'encombrement ou l'arrière-plan s'écartent des données d'entraînement. Faire de l'objet l'unité de représentation, plutôt que l'image entière, est une réponse structurelle à ce problème. Comme la prédiction du futur est abandonnée à l'inférence, le gain ne s'accompagnerait pas d'un surcoût de calcul au déploiement, point central pour des intégrateurs sensibles aux temps de cycle. Les auteurs affirment une meilleure généralisation, mais le résumé ne donne aucun taux de succès, ni la plateforme robotique, ni le nombre d'essais réels. Il s'agit d'un preprint non relu, et la portée industrielle des résultats reste à établir.

Le contexte est celui de VLA, de la famille de Pi-0 notamment, qui héritent de représentations visuelles globales issues de backbones vision-langage préentraînés. Deux pistes concurrentes tentent de corriger ce défaut : les modèles du monde et la prédiction vidéo, souvent coûteux en calcul, et les représentations par objets ou slots, que ObjDream combine avec une supervision dynamique. LIBERO-Plus a justement été conçu pour mesurer la fragilité face aux perturbations. La suite dépendra de la publication éventuelle du code et des poids, d'une reproduction indépendante, et de tests en conditions d'atelier réellement encombrées.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

NavPatch : correction de costmap au niveau objet guidée par preuves avec des modèles vision-langage
1arXiv cs.RO 

NavPatch : correction de costmap au niveau objet guidée par preuves avec des modèles vision-langage

Des chercheurs présentent NavPatch, une couche de correction au niveau objet destinée aux robots mobiles qui s'appuie sur un modèle vision-langage pour ajuster les cartes de coûts géométriques utilisées en navigation. Le système applique trois types de correction (ADD, REMOVE, EXTEND) à des catégories d'objets pertinentes pour la navigation, comme un câble bas ignoré par les capteurs, un rideau souple créant un blocage fictif, ou un plot de signalisation nécessitant une zone d'exclusion plus large que son empreinte réelle. La localisation des objets repose sur du grounding en vocabulaire ouvert, complété par des données LiDAR et RGB-D pour le support 3D, avec un filtrage de la qualité des observations et un suivi inter images qui décide quand chaque correction est validée, remplacée ou annulée. Sur 50 essais réels répartis sur cinq configurations d'environnement, NavPatch atteint un taux de réussite global de 86,0%. Une étude d'ablation portant sur quatre configurations et 200 essais au total montre une progression du taux de réussite de 70,0% à 86,0%, et une réduction du taux de fausses validations de 68,4% à 40,7% par rapport à une approche fondée uniquement sur l'observation courante. Ce travail s'attaque à un problème concret pour les intégrateurs de robotique mobile: les cartes géométriques classiques, construites à partir de nuages de points ou de grilles d'occupation, peinent à représenter correctement des objets ambigus, transparents, filiformes ou nécessitant une marge de sécurité contextuelle. En montrant qu'une correction sémantique pilotée par un modèle vision-langage réduit significativement les faux positifs de blocage tout en améliorant le taux de succès en navigation réelle, l'étude apporte une preuve empirique que l'ajout d'une compréhension de scène au-dessus de la géométrie brute améliore la robustesse en conditions réelles, plutôt que de rester une simple démonstration en simulation. Pour les équipes déployant des AMR (robots mobiles autonomes) en entrepôt ou en environnement industriel, cela suggère une voie pour réduire les arrêts intempestifs et les erreurs de planification de trajectoire sans reconcevoir entièrement la pile de perception existante. Cette approche s'inscrit dans la tendance plus large consistant à combiner cartographie géométrique traditionnelle et modèles vision-langage pour de la navigation robotique, un axe de recherche actif alors que les capacités de grounding en vocabulaire ouvert des modèles multimodaux progressent rapidement. L'article, publié sous la référence arXiv:2609.14543v1, ne précise pas l'identité des auteurs ni leur affiliation institutionnelle dans les éléments fournis, et les essais restent limités à 50 essais réels sur cinq configurations, un périmètre expérimental modeste qui laisse ouvertes les questions de généralisation à des environnements industriels plus vastes ou plus dynamiques. Aucun partenariat industriel, déploiement commercial ou suite annoncée n'est mentionné à ce stade, ce qui situe clairement ce travail au stade de la recherche académique plutôt que du produit prêt à déployer.

RecherchePaper
1 source
Corriger le OÙ, préserver le COMMENT : généralisation compositionnelle des modèles vision-langage-action (VLA) par guidage référentiel
2arXiv cs.RO 

Corriger le OÙ, préserver le COMMENT : généralisation compositionnelle des modèles vision-langage-action (VLA) par guidage référentiel

Des chercheurs proposent ReGuide (Referential Guidance), un module d'enrobage « training-free » qui s'ajoute à des politiques Vision-Language-Action (VLA) déjà entraînées, sans toucher à leurs poids ni à leur architecture. À partir des poses d'objets fournies par un module de grounding externe, il combine un « rebinding » sémantique et un « rebinding » géométrique. Il guide l'effecteur terminal vers des configurations couvertes par les démonstrations d'entraînement, centrées sur le référent désigné par l'instruction. La politique gelée reprend alors le contrôle et termine la tâche. Les tests en simulation ont porté sur plusieurs architectures VLA, puis sur un robot réel. Les gains de taux de réussite sous décalage compositionnel atteignent jusqu'à 56,8 points de pourcentage en simulation et 75,0 points sur le robot physique. Les performances sur les tâches standard sont préservées. L'article est un préprint arXiv (v1), donc non évalué par les pairs. Il ne précise pas, dans son résumé, les noms des modèles testés, le robot utilisé ni le nombre d'essais. Ces résultats visent un point faible connu des VLA. Entraînés de bout en bout sur des jeux de données robotiques peu variés, ces modèles exploitent des raccourcis visuels : ils associent une action à des éléments sans rapport avec la tâche (arrière-plan, disposition de la scène) plutôt qu'à la sémantique de l'instruction. Un objet, une destination ou un décor déjà vus séparément ne peuvent alors pas être recombinés dans une configuration nouvelle. Les auteurs observent que, dans ce cas, le VLA échoue surtout à se localiser globalement (WHERE), tout en conservant ses compétences de manipulation locale (HOW). Corriger la cible plutôt que réapprendre le geste évite le recours à de nouvelles données ou à un réentraînement par backbone. Pour un intégrateur, c'est une piste pratique pour fiabiliser une politique déjà déployée. Le revers est la dépendance à un module de perception qui fournit des poses d'objets fiables. Les gains les plus élevés correspondent aussi à des scénarios de décalage choisis par les auteurs, et non à des conditions d'usine. Les approches existantes reposent sur une perception centrée sur la tâche ou sur une diversification ciblée des données. Elles n'offrent pas de mécanisme explicite pour la recomposition d'éléments inédits et exigent des modifications spécifiques à chaque architecture, avec réentraînement. ReGuide se positionne comme un correctif extérieur, compatible avec différents backbones. Sa validité à grande échelle reste à démontrer : le résumé ne mentionne ni tâches longues, ni scènes encombrées, ni déploiement industriel. Les prochaines étapes à surveiller sont la publication du code et des détails expérimentaux, la comparaison avec des politiques réentraînées sur des données plus diversifiées, et la robustesse face aux erreurs du module de grounding.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Modèles vision-langage-action tenant compte du système de préhension
3arXiv cs.RO 

Modèles vision-langage-action tenant compte du système de préhension

Une équipe de recherche publie sur arXiv, sous la référence 2608.24603, une étude introduisant MiGA, un jeu de données pour la manipulation robotique par modèles vision-langage-action (VLA), et GVLA, le modèle associé. MiGA couvre cinq types de pinces distincts répartis sur plusieurs robots, pour un total de 103 000 démonstrations capturant la divergence des stratégies de préhension selon l'effecteur pour un même objectif. GVLA combine un tokenizer multi-gripper et un routage de politique par adaptateurs, avec des représentations internes conditionnées par le type de pince. En simulation comme sur robots réels, GVLA surpasse les modèles de référence, avec une meilleure généralisation à des objets et tâches inédits et une adaptation plus rapide entre pinces. L'apport tient surtout au diagnostic : la plupart des VLA actuels supposent implicitement une invariance au type de pince, alors que la stratégie de préhension dépend de l'effecteur terminal, une pince parallèle et une ventouse exigeant des interactions distinctes pour saisir un même objet. Or les jeux de données d'entraînement existants reposent presque exclusivement sur des pinces parallèles, limitant la généralisation vers les ventouses ou pinces adaptatives utilisées en logistique et en manipulation industrielle. Pour les intégrateurs exploitant des flottes hétérogènes d'effecteurs, un modèle entraîné sur pince parallèle ne transfère pas trivialement à un bras équipé de ventouse. L'étude montre ainsi que le passage à l'échelle des VLA doit intégrer l'hétérogénéité matérielle des effecteurs, pas seulement celle des tâches ou des objets. Cette publication s'inscrit dans la vague de recherche sur les modèles vision-langage-action, qui ont démontré ces dernières années leur capacité à traduire des instructions en langage naturel en séquences d'actions robotiques, en se concentrant surtout sur la diversité des tâches et des scènes plutôt que sur celle des effecteurs. Il s'agit ici d'une contribution de recherche déposée sur arXiv, sans annonce de déploiement industriel : MiGA et GVLA sont pour l'instant validés en simulation et sur essais robots en laboratoire, sans précision sur une mise à disposition publique du code ou du dataset. La suite attendue est leur publication effective et une éventuelle reprise par des laboratoires confrontés, sur le terrain, à la diversité réelle des effecteurs de préhension.

RechercheActu
1 source
DropVLA : une attaque par porte dérobée au niveau des actions sur les modèles vision-langage-action
4arXiv cs.RO 

DropVLA : une attaque par porte dérobée au niveau des actions sur les modèles vision-langage-action

Des chercheurs présentent DropVLA, une attaque de type backdoor visant les modèles Vision-Language-Action (VLA), ces systèmes qui traduisent perception multimodale et instructions en langage naturel en commandes robotiques exécutables. Contrairement aux attaques précédentes qui perturbaient la tâche entière, DropVLA cible une action précise : forcer un primitive réutilisable (par exemple open_gripper) à s'exécuter à un instant choisi par l'attaquant, en n'empoisonnant qu'une fraction infime des données d'entraînement. Testée sur OpenVLA-7B avec la suite d'évaluation LIBERO, une contamination purement visuelle atteint un taux de réussite de l'attaque (ASR) de 98,67 à 99,83% avec seulement 0,31% d'épisodes empoisonnés, tout en conservant 98,50 à 99,17% de performance sur les tâches normales. L'action ciblée se déclenche en moins de 25 pas de contrôle à 500 Hz, soit 0,05 seconde. Les déclencheurs textuels seuls s'avèrent instables à faible budget d'empoisonnement (0,72% d'ASR) et leur combinaison avec le visuel n'apporte aucun gain constant. Les auteurs valident aussi la faisabilité en environnement physique sur un bras Franka à 7 degrés de liberté (DoF) piloté par pi0-fast, malgré la dérive du déclencheur dans le plan image due au mouvement relatif de la caméra. Ce résultat est significatif pour l'industrie robotique car il expose une vulnérabilité de sécurité critique dans une classe de modèles de plus en plus déployée comme couche de contrôle générique pour des bras manipulateurs et humanoïdes. Que le backdoor reste indétectable sur les métriques de performance nominale tout en atteignant une fiabilité proche de 100% avec une contamination minime remet en question la confiance accordée aux pipelines d'entraînement VLA, notamment quand les données proviennent de sources tierces ou de démonstrations crowdsourcées. Pour les intégrateurs et décideurs B2B qui envisagent de déployer des VLA sur des tâches physiques sensibles (préhension, assemblage, environnements partagés avec des humains), cela souligne l'urgence d'audits de la chaîne de données et de mécanismes de détection de déclencheurs avant mise en production, un sujet jusqu'ici largement éclipsé par les annonces de performance de modèles comme Pi-0, GR00T N2 ou Helix. Ce travail s'inscrit dans une littérature émergente sur les attaques adverses ciblant les modèles fondation robotiques, qui jusqu'ici se concentrait sur des attaques non ciblées ou un détournement au niveau de la tâche globale plutôt que sur le contrôle fin d'actions individuelles. La méthode s'appuie sur un schéma de réétiquetage cohérent par fenêtre temporelle, adapté au fine-tuning par blocs d'actions (chunked fine-tuning), dans un cadre réaliste où l'attaquant n'a qu'un accès limité à l'empoisonnement des données et traite le pipeline comme une boîte noire. Le backdoor résiste à des variations modérées du déclencheur et se transfère entre suites d'évaluation (96,27% et 99,09% d'ASR), renforçant l'idée qu'il exploite une faiblesse structurelle plutôt qu'un artefact spécifique au benchmark. Les auteurs ne mentionnent pas de contre-mesure déployée à ce stade, laissant la détection et la défense contre ce type d'attaque comme prochaine étape ouverte pour la communauté.

UECette vulnérabilité concerne directement les intégrateurs européens qui envisagent de déployer des VLA en environnement industriel ou partage avec des humains, dans un contexte ou l'AI Act impose des exigences de robustesse pour les systèmes a haut risque.

RechercheActu
1 source