Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

FoveaVLA : des actions de fovéation remplacent la caméra de poignet dans les modèles VLA

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv FoveaVLA, un modèle vision-langage-action (VLA) qui supprime la caméra poignet et la remplace par des actions de « fovéation » apprises. À chaque requête, la politique prédit, en plus du segment d'actions (action chunk), la région d'interaction à observer lors de la requête suivante. Elle reçoit ensuite des recadrages de cette zone, extraits des images en résolution d'origine, en complément des vues complètes. Le modèle est construit sur π0.5 de Physical Intelligence, en deux configurations : Single, avec une caméra stéréo externe, et Dual, avec deux. Les deux utilisent des entrées RGB et profondeur, en vue complète et fovéale. Le post-entraînement s'appuie sur DROID, avec les annotations d'interaction RoboInter. Sur quatre suites de tâches réelles, Single atteint 70,8 % de réussite avec une seule vue RGB-D externe et Dual 77,1 %, contre 52,1 % pour π0.5 équipé de sa caméra poignet. Les résultats sont équivalents sur le pick-and-place simple et meilleurs avec des objets distracteurs, la manipulation de tissu et les objets éloignés.

Les caméras externes voient toute la scène, mais leurs images sont réduites avant d'entrer dans le VLA, ce qui fait perdre le détail utile à la manipulation fine. Ce travail suggère que le goulot d'étranglement vient autant du budget de résolution que de la taille du modèle. Il suggère aussi qu'un choix logiciel peut remplacer un capteur monté sur l'effecteur, avec moins de câblage, de calibration et d'occultations. Il faut toutefois lire ces chiffres avec prudence. Il s'agit d'un preprint dont le résumé ne donne ni le nombre d'essais, ni les intervalles de confiance, ni la latence ajoutée par la prédiction de régions. La comparaison porte sur un seul modèle de référence, et FoveaVLA bénéficie en plus d'une profondeur stéréo que la base de comparaison n'utilise pas forcément. Aucun déploiement industriel n'est évoqué.

La caméra poignet est un standard des jeux de données et des plateformes de téléopération comme DROID, et π0.5 prolonge la lignée π0 de Physical Intelligence. Les alternatives courantes consistent à augmenter la résolution ou le nombre de tokens visuels, au prix d'un calcul plus lourd. La fovéation, inspirée de la vision humaine, déplace plutôt l'attention. Les prochaines étapes à surveiller sont la validation sur d'autres robots que ceux de DROID, sur des tâches longues et sous contraintes de temps réel, ainsi qu'une éventuelle publication du code et des poids.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLAPhysical Intelligence — π0arXiv cs.RO

À lire aussi

WARP-VLA : adaptation de la caméra de poignet pour une exécution robuste aux changements de point de vue dans les modèles vision-langage-action
1arXiv cs.RO 

WARP-VLA : adaptation de la caméra de poignet pour une exécution robuste aux changements de point de vue dans les modèles vision-langage-action

WARP-VLA, un modèle décrit dans un preprint arXiv (2610.11508v1), s'attaque à une faiblesse connue des modèles Vision-Language-Action (VLA) pour la manipulation robotique : leur sensibilité à la configuration des caméras. Les auteurs ciblent en particulier la caméra montée au poignet, dont le point de vue se déplace avec le robot. Un léger écart de fixation suffit alors à modifier les indices géométriques fins dont dépend la politique. Leur solution repose sur une architecture Mixture-of-Experts (MoE) : chaque expert apprend une transformation de features propre à un type de vue, et un routeur les combine à partir d'informations de vue implicites. La politique peut ainsi être déployée sans fournir les paramètres extrinsèques de la caméra en entrée. Sur le benchmark LIBERO, le taux de succès moyen de pi-0.5 passe de 39,2 % à 78,3 % sous perturbations de la vue poignet, soit un doublement. Des essais sur robot réel indiquent que l'adaptation au niveau des features, apprise en simulation, se transfère à plusieurs configurations de déploiement. Le benchmark de robustesse aux points de vue poignet et une implémentation « plug-and-play » sont publiés. Ce résultat touche un point bloquant du passage des VLA du laboratoire à l'atelier. Reproduire exactement la pose de caméra utilisée à l'entraînement est quasi impossible d'un site à l'autre. Les supports se desserrent, les intégrateurs choisissent des fixations différentes et les générations de robots varient. Une politique qui perd la moitié de ses performances pour un déplacement modéré du capteur oblige à recalibrer ou à réentraîner à chaque déploiement, ce qui pèse directement sur les coûts d'intégration. Le gain mesuré sur pi-0.5 montre que cette fragilité vient en bonne part de la représentation visuelle, et qu'on peut la corriger sans exiger les extrinsèques en entrée. Il faut toutefois rester prudent : les chiffres viennent surtout de LIBERO, un benchmark simulé aux tâches relativement standardisées. Le résumé ne chiffre pas la performance sur robot réel, ni le nombre de plateformes, de tâches ou d'essais. Le taux de 78,3 % reste aussi nettement inférieur à ce qu'exigerait une exploitation industrielle, et le texte fourni ne dit pas quel est le niveau de référence sans perturbation. Le travail s'inscrit dans une série de recherches sur la robustesse des VLA aux changements de point de vue, après l'essor de modèles généralistes comme pi-0 et pi-0.5 de Physical Intelligence. Ces modèles sont entraînés sur des données massives, mais avec des configurations de caméras peu variées. Les approches concurrentes passent par l'augmentation de données multi-vues, la randomisation de domaine ou l'injection explicite de la géométrie de caméra. WARP-VLA évite l'entrée extrinsèque et mise sur un routage implicite, ce qui simplifie le déploiement. Le code et le benchmark publics permettront à d'autres équipes de comparer leurs méthodes, une étape utile avant toute validation en conditions de production. Aucune annonce de pilote industriel n'accompagne ce preprint, qui n'a pas encore été évalué par des pairs.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
SAM3D pour aligner les représentations centrées sur l'objet dans les modèles vision-langage-action
2arXiv cs.RO 

SAM3D pour aligner les représentations centrées sur l'objet dans les modèles vision-langage-action

Cette recherche présente un cadre d'alignement de représentations 3D centré sur l'objet, appliqué au modèle vision-langage-action (VLA) $\pi0$. Les auteurs utilisent SAM3D, un modèle 3D figé servant de "professeur", pour injecter des connaissances géométriques sur les objets cibles pendant l'entraînement : les objets pertinents pour la tâche sont localisés via des modèles de reconnaissance, des masques sont générés, puis SAM3D en extrait des représentations 3D denses alignées avec les caractéristiques visuelles intermédiaires de $\pi0$. Fait notable, ce module 3D n'intervient qu'à l'entraînement : au moment de l'inférence, le pipeline reste purement RGB-langage-vers-action, sans besoin de profondeur, nuage de points, masques ou calculs SAM3D supplémentaires. Les résultats en simulation atteignent 99,1% de réussite sur le benchmark LIBERO et une longueur moyenne de tâches de 4,11 sur CALVIN, avec des gains confirmés en conditions réelles, notamment sur des scénarios de manipulation longue durée impliquant plusieurs sous-tâches et objets cibles différents. L'enjeu pour l'industrie robotique est la résolution d'un point faible connu des modèles VLA actuels : leur dépendance à des backbones vision-langage 2D qui peinent face à l'occlusion, aux variations de pose ou d'échelle, et aux interactions spatiales précises. En démontrant qu'on peut internaliser une compréhension 3D fine sans alourdir le pipeline de déploiement, ce travail répond à une critique récurrente du secteur : les architectures VLA génériques marchent bien en démo contrôlée mais échouent sur des tâches de manipulation fine en conditions réelles. Pour les intégrateurs et décideurs B2B, cela suggère une voie pour améliorer la robustesse des politiques de manipulation sans complexifier ni ralentir le matériel embarqué, un compromis critique pour le déploiement industriel à grande échelle de bras robotiques et de robots humanoïdes. Ce travail s'inscrit dans la lignée des modèles VLA construits sur $\pi_0$ (Physical Intelligence), déjà positionné comme concurrent direct des approches comme GR00T N2 de NVIDIA ou Helix de Figure AI dans la course à des politiques de manipulation généralistes. L'apport spécifique ici est méthodologique plutôt qu'un nouveau produit ou déploiement terrain : il s'agit d'une technique d'entraînement, testée pour l'instant en simulation (LIBERO, CALVIN) et en expérimentations réelles limitées, sans annonce de déploiement commercial ni de partenariat industriel. Les prochaines étapes attendues porteraient sur l'extension à d'autres backbones VLA et sur la validation à plus grande échelle en environnement réel, au-delà des bancs d'essai académiques actuels.

RecherchePaper
1 source
Forçage temporel : alignement de représentation 4D pour les modèles vision-langage-action
3arXiv cs.RO 

Forçage temporel : alignement de représentation 4D pour les modèles vision-langage-action

Des chercheurs présentent Temporal Forcing, une méthode d'alignement de représentation 4D pour les modèles vision-langage-action (VLA), détaillée dans un article publié sur arXiv (2608.30643v1) le 30 août 2026 ou aux alentours. Le système ajoute une voie dédiée à l'historique des observations, permettant à un modèle VLA standard de condenser cet historique en représentations latentes tenant compte du temps. Ces représentations sont ensuite alignées avec les caractéristiques géométriques extraites par un modèle de fondation 4D préentraîné, capable de capturer l'évolution d'une scène 3D dans le temps de façon géométriquement cohérente. Sur le benchmark LIBERO, Temporal Forcing atteint un taux de réussite de 98,8%, soit 2,2 points de plus que son modèle de base. Sur une tâche physique de placement d'objet caché ("hidden-placement"), le taux de réussite complet de la tâche passe de 20,0% à 43,3%. Le code source doit être rendu public, sans date de disponibilité précisée dans l'article. Cette avancée cible un problème connu des VLA actuels: la confusion entre états visuellement similaires (observation aliasing) et la difficulté à gérer des manipulations longues, deux limites qui découlent du fait que les représentations 3D classiques ne capturent qu'un instant figé de la scène, sans mémoire de son évolution. En démontrant qu'ajouter une dimension temporelle à l'alignement géométrique améliore concrètement le taux de succès sur une tâche physique réelle, et pas seulement en simulation, ces résultats nuancent l'idée que l'alignement 3D seul suffirait à rapprocher les VLA d'une robustesse proche de l'humain. Pour les intégrateurs et équipes de recherche en robotique manipulatrice, cela suggère qu'exploiter des modèles de fondation 4D préentraînés peut devenir un ingrédient standard pour améliorer la mémoire de contexte des politiques d'action, sans changer l'architecture de base du modèle VLA. Ce travail s'inscrit dans la lignée des méthodes récentes de VLA qui alignent leurs représentations internes sur la géométrie de scène 3D pour améliorer la manipulation, une approche qui a gagné du terrain mais bute sur les tâches à long horizon. Temporal Forcing se positionne comme une extension de ces approches géométriques plutôt qu'une rupture architecturale, en s'appuyant sur un modèle de fondation 4D externe déjà entraîné. Les auteurs annoncent la publication future du code, ce qui permettra à la communauté de valider les résultats sur d'autres benchmarks que LIBERO et la tâche physique testée, mais aucun calendrier de déploiement industriel ni de partenariat n'est mentionné à ce stade.

RechercheActu
1 source
CoRe-VLA : préserver la coordination entre vues dans les modèles VLA lors de changements de caméra
4arXiv cs.RO 

CoRe-VLA : préserver la coordination entre vues dans les modèles VLA lors de changements de caméra

Des chercheurs proposent CoRe-VLA (arXiv 2609.37150), un cadre logiciel « plug-and-play » qui vise à corriger l'une des fragilités les mieux documentées des modèles vision-langage-action (VLA) : la chute de performance quand la caméra externe change de position. Le système reconstruit un nuage de points de la scène, puis re-rend l'observation depuis le point de vue utilisé à l'entraînement du VLA. Deux briques complètent le dispositif. Render-to-Camera (R2C) Restoration réduit les dégradations visuelles introduites par le rendu. Execution-Trajectory-Conditioned Alignment (ETCA) limite le temps d'inactivité du robot et les conflits de mouvement pendant l'exécution asynchrone. Les tests portent sur 5 tâches sur robot réel, ainsi que sur les benchmarks LIBERO-100 et LIBERO-Plus. Le résultat le plus cité : le taux de réussite de PI0.5 passe de 13,3 % à 83,3 % pour un décalage de caméra de 1,6 m en environnement réel. Les auteurs annoncent des gains substantiels sur plusieurs VLA courants. L'intérêt tient à la méthode autant qu'au chiffre. Les approches existantes exigent de collecter des observations appariées de la même scène sous plusieurs angles, puis de fine-tuner le VLA ou d'entraîner un module d'adaptation visuelle. CoRe-VLA n'exige ni nouvelles données multi-vues ni ré-entraînement, et peut se greffer sur des modèles déjà en place. Pour un intégrateur, c'est un point sensible : dans une cellule réelle, une caméra se déplace après une maintenance, un choc ou une reconfiguration de poste. La fragilité aux changements de caméra est donc un frein direct au déploiement fiable. L'analyse des auteurs est également instructive. Ils décrivent une « rupture de coordination inter-vues » : privé de vue globale exploitable, le robot s'appuie trop sur la caméra poignet et exécute les sous-tâches dans le mauvais ordre. Cela suggère que la robustesse des VLA dépend moins de la perception brute que de l'équilibre entre vues. Il faut toutefois rester prudent : il s'agit d'un preprint, sans relecture par les pairs, sur seulement 5 tâches réelles, et le chiffre phare correspond à un scénario précis. Ce travail s'inscrit dans le constat, répété par plusieurs études, que les VLA, devenus le paradigme dominant en intelligence incarnée, sont sensibles aux perturbations de point de vue. LIBERO-Plus a justement été conçu pour mesurer ce type de robustesse. Les solutions concurrentes reposent sur des données supplémentaires ou du fine-tuning, avec les coûts que cela implique. Le cadre reste à éprouver : la reconstruction de nuage de points ajoute une chaîne de calcul, et sa latence, son comportement en scène dynamique ou très encombrée et sa portabilité vers d'autres VLA devront être vérifiés. Le texte ne mentionne ni code publié, ni pilote industriel, ni calendrier de déploiement.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source