Aller au contenu principal
Caméras fixes ou libres : un modèle vision-langage-action sans calibration, robuste aux changements de vueIllustration générée par IA
IA physiquearXiv cs.RO 

Caméras fixes ou libres : un modèle vision-langage-action sans calibration, robuste aux changements de vue

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs du DAMO Academy d'Alibaba ont publié le 7 juillet 2026 un article arXiv (2607.05396) présentant CamVLA (Camera-Centric Vision-Language-Action), un nouveau modèle robotique qui résout un problème pratique jusqu'ici mal traité: le repositionnement des caméras lors du déploiement réel. Contrairement aux politiques VLA robustes aux changements de point de vue existantes, qui nécessitent de fournir explicitement les paramètres extrinsèques de la caméra pour fonctionner, CamVLA n'a besoin que d'une seule image RGB monoculaire, sans profondeur ni calibration préalable. Le modèle prédit deux éléments séparément: une action de l'effecteur terminal exprimée dans le référentiel local de la caméra, et une matrice main-œil à 6 degrés de liberté reliant la caméra à la base du robot. Une transformation géométrique déterministe combine ensuite ces deux prédictions pour produire l'action finale dans le référentiel du robot. Les évaluations, menées à la fois en simulation et sur données robotiques réelles, montrent une amélioration constante des taux de réussite sur des points de vue inédits.

Ce travail cible un angle mort classique du déploiement industriel des VLA: en usine ou en entrepôt, les caméras sont fréquemment déplacées, remontées ou changées selon les contraintes du poste de travail, ce qui casse les politiques entraînées sur une configuration de vue fixe. Obliger un recalibrage manuel à chaque changement de caméra freine l'adoption par les intégrateurs, qui cherchent des systèmes tolérants aux aléas de terrain plutôt que des démonstrations en laboratoire. En rendant le modèle calibration-free et dépendant uniquement d'une caméra RGB simple, l'approche réduit aussi le coût matériel du déploiement, sans capteur de profondeur dédié.

Le sujet s'inscrit dans la compétition actuelle autour des modèles VLA génériques, aux côtés d'approches comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, où la robustesse au changement de viewpoint reste un verrou identifié mais rarement résolu sans hypothèses fortes sur la caméra. L'équipe a mis en ligne une page projet dédiée; les prochaines étapes attendues concernent l'extension à davantage de plateformes robotiques et de scénarios de déploiement réel au-delà des essais publiés.

À lire aussi

AnyCamVLA : adaptation caméra zéro-shot pour des modèles vision-langage-action robustes au point de vue
Illustration générée par IA
1arXiv cs.RO 

AnyCamVLA : adaptation caméra zéro-shot pour des modèles vision-langage-action robustes au point de vue

Des chercheurs dévoilent AnyCamVLA (arXiv:2603.05868, version 2), une méthode d'adaptation caméra "zero-shot" pour les modèles vision-langage-action (VLA) de manipulation robotique. Le problème ciblé : un VLA pré-entraîné puis affiné pour un environnement donné perd fortement en performance dès que la caméra change de position, d'angle ou de focale, une situation fréquente en environnement non structuré. Sans nouvelles démonstrations, sans réentraînement de la politique et sans modification d'architecture, le système s'appuie sur un modèle feed-forward de synthèse de nouvelles vues pour reprojeter en temps réel l'image captée vers la configuration caméra utilisée à l'entraînement, en corrigeant à la fois les paramètres intrinsèques et extrinsèques. Sur le benchmark LIBERO, la méthode surpasse les approches concurrentes basées sur l'augmentation de données ou l'ajout de features 3D, et les auteurs rapportent des gains similaires en conditions réelles, y compris avec des caméras tenues à la main en mouvement libre. L'enjeu dépasse la prouesse technique : la fragilité des VLA face au point de vue caméra est l'un des vrais obstacles au déploiement industriel à l'échelle, chaque site ou chaque robot installant ses capteurs différemment. Sans correction, il faut recollecter des données et réentraîner pour chaque configuration, ce qui contredit la promesse d'une politique généraliste entraînée une fois et déployée partout. Une couche plug-and-play compatible avec n'importe quelle politique RGB, sans toucher aux poids du modèle, intéresse directement les intégrateurs cherchant à réduire le coût d'adaptation site par site, l'un des écarts récurrents entre démonstrations VLA en laboratoire et robustesse réelle. Le travail s'inscrit dans la vague de recherche sur les VLA généralistes pour la manipulation, aux côtés de systèmes comme Pi-0, OpenVLA, RT-2 ou GR00T N2, tous confrontés au même écart entre performance en laboratoire et conditions réelles. AnyCamVLA ne propose pas un nouveau VLA mais une brique de correction indépendante du modèle sous-jacent, complémentaire aux efforts d'entraînement multi-vues plutôt que concurrente. La sortie d'une version 2 sur arXiv suggère une itération après retours, mais aucun partenariat industriel, pilote ou intégration produit n'est annoncé à ce stade : il s'agit pour l'instant d'une contribution de recherche validée sur benchmark et en expérimentation réelle limitée.

IA physiqueActu
1 source
Passage sémantique ancré pour une généralisation robuste des instructions dans les modèles vision-langage-action
Illustration générée par IA
2arXiv cs.RO 

Passage sémantique ancré pour une généralisation robuste des instructions dans les modèles vision-langage-action

Des chercheurs ont publié le 2 août 2026 sur arXiv un article intitulé « Grounded Semantic Re-Binding for Robust Instruction Generalization in Vision-Language-Action Models », qui s'attaque à un défaut connu des modèles Vision-Language-Action (VLA) utilisés en manipulation robotique : leurs performances s'effondrent dès qu'une instruction canonique est simplement reformulée, même sans changement de sens. Les auteurs montrent que la cause n'est pas un manque de compréhension sémantique, que les modèles capturent correctement en interne, mais un problème architectural : l'encodage conjoint des observations visuelles dynamiques et du texte introduit des décalages de features qui perturbent la politique d'action en aval. Pour corriger ce goulot d'étranglement, l'équipe propose Grounded Semantic Re-binding (GSR), une méthode qui extrait séparément la sémantique de la tâche et les features visuelles natives avant de les fusionner, puis entraîne un expert d'action entièrement réinitialisé à partir de démonstrations canoniques uniquement, sans données de paraphrase supplémentaires. Sur le benchmark LIBERO-Para, GSR améliore le taux de réussite jusqu'à 44,6 points. La méthode permet aussi à des modèles légers d'égaler des baselines massivement mises à l'échelle, et pousse l'état de l'art à un score PRIDE record de 70,4, devançant le modèle Xiaomi-Robotics-0 récemment introduit. Les chercheurs présentent également ParaVLA, un modèle nativement découplé de seulement 0,33 milliard de paramètres, quasi insensible à la reformulation des instructions. Pour l'industrie robotique, ce résultat remet en cause un réflexe devenu standard : face à la fragilité des VLA aux reformulations, la réponse habituelle est d'empiler davantage de données d'entraînement, une approche coûteuse en calcul et en collecte de démonstrations. En identifiant la cause comme structurelle plutôt que statistique, GSR ouvre la voie à des modèles plus compacts et robustes sans scaling brut, un enjeu direct pour les intégrateurs qui déploient des VLA en environnement réel, où un opérateur ne formule jamais deux fois une consigne exactement de la même façon. Qu'un modèle de 0,33 milliard de paramètres rivalise avec des systèmes bien plus massifs interroge aussi l'hypothèse dominante selon laquelle la robustesse sémantique des VLA dépend mécaniquement de la taille du modèle ou du corpus d'entraînement. Les VLA, qui combinent perception visuelle, compréhension du langage et génération de commandes, sont devenus l'architecture de référence pour la manipulation robotique généraliste, portée notamment par des modèles comme Pi-0 ou GR00T N2. Leur fragilité face aux reformulations reste un point faible documenté, généralement traité par scaling de données plutôt que par correction architecturale. En se comparant explicitement à Xiaomi-Robotics-0, modèle pré-entraîné à grande échelle récemment mis en avant, les auteurs positionnent GSR comme une alternative frugale à la course au gigantisme. Le papier, disponible en preprint sur arXiv (2608.02497), reste pour l'instant une contribution de recherche évaluée en simulation ; sa validation sur des déploiements robotiques réels déterminera sa portée pratique au-delà du laboratoire.

IA physiqueActu
1 source
Modèles vision-langage-action ou monde-action ? Simplement des modèles d'action
Illustration générée par IA
3arXiv cs.RO 

Modèles vision-langage-action ou monde-action ? Simplement des modèles d'action

Des chercheurs proposent le Just Action Model (JAM), un cadre commun censé réconcilier deux familles de politiques de contrôle robotique, les modèles vision-langage-action (VLA) et les modèles monde-action (WAM). JAM associe un backbone visuel pré-entraîné à un « action expert », entraîné avec deux pertes : une perte d'action et une perte de « foresight ». Cette seconde perte oblige les features de l'observation courante à prédire les encodages figés de l'observation future enregistrée. Elle passe par une tête de prédiction abandonnée après l'entraînement, donc sans génération d'image ni à l'entraînement ni à l'inférence. Sur les benchmarks simulés LIBERO, LIBERO-Plus et RoboTwin, JAM dépasse ses équivalents FastWAM et ImageWAM sur les deux premiers et fait jeu égal ou légèrement mieux sur le troisième. Face à FastWAM, les taux de succès passent de 97,0 %, 55,3 % et 91,2 % à 98,2 %, 64,5 % et 91,4 %. Avec des cibles de foresight mises en cache, le coût d'entraînement estimé chute de 73 % en FLOPs par échantillon et par mise à jour. Ce travail suggère que le débat « backbone VLM ou backbone génératif » mélange trois choix indépendants : l'initialisation, l'objectif appliqué au futur et le maintien ou non de la machinerie générative à l'inférence. Selon les auteurs, supervisionner le futur améliore le contrôle sans génération visuelle, et les deux types de backbone atteignent de bonnes performances. Pour un intégrateur, cela promet des politiques plus simples à déployer et moins chères à entraîner. Il faut toutefois nuancer. LIBERO est quasi saturé, avec un gain de 1,2 point seulement. Le vrai signal vient de LIBERO-Plus (+9,2 points), et RoboTwin ne bouge presque pas. Tout est mesuré en simulation, aucune démonstration sur robot réel n'est mentionnée, et l'économie de 73 % est une estimation, pas une mesure de temps d'entraînement. Les VLA, hérités des modèles vision-langage, dominent la robotique généraliste depuis plusieurs années. Les WAM, qui reprennent des générateurs vidéo ou image pour prédire le monde avant d'agir, sont apparus comme une alternative plus récente et plus coûteuse en calcul. FastWAM et ImageWAM servent ici de références, et l'article se positionne en arbitre entre les deux camps plutôt qu'en concurrent d'un produit commercial. Le préprint (arXiv, version 1) est accompagné d'une page projet, mais aucun calendrier de validation sur matériel réel n'est annoncé. La prochaine étape à surveiller sera la reproduction de ces résultats par d'autres laboratoires et un test sur des robots physiques, seul juge du fossé entre benchmark et production.

IA physiquePaper
1 source
USIM et U0 : un jeu de données et un modèle vision-langage-action pour robots sous-marins polyvalents
Illustration générée par IA
4arXiv cs.RO 

USIM et U0 : un jeu de données et un modèle vision-langage-action pour robots sous-marins polyvalents

Une équipe de chercheurs a publié USIM et U0, un dataset de simulation et un modèle vision-langage-action (VLA) conçus pour doter les robots sous-marins d'une intelligence généraliste multi-tâches. Le dataset USIM regroupe plus de 905 000 images issues de 2 275 trajectoires simulées, soit environ 25 heures d'interactions enregistrées sur le robot BlueROV2, un ROV à six degrés de liberté largement utilisé en recherche. Le modèle U0, entraîné sur ces données, est capable d'exécuter des tâches allant de la navigation par évitement d'obstacles à la manipulation mobile en trois dimensions, le tout piloté par des instructions en langage naturel. En évaluation, U0 atteint un taux de succès global de 43,1 % sur des tâches en ligne, soit une amélioration de 5,5 points de pourcentage par rapport aux meilleures baselines existantes (plafonnées à 37,6 %), avec des performances particulièrement élevées en navigation pure, où le taux monte à 87,5 %. L'erreur moyenne de prédiction d'action hors ligne est réduite à 0,0359. Ces résultats ont une portée directe pour les intégrateurs et opérateurs de systèmes sous-marins autonomes : ils démontrent qu'un modèle généraliste entraîné sur données synthétiques peut effectivement franchir le sim-to-real gap dans un environnement aussi contraignant que le milieu aquatique, où la visibilité est réduite, les courants perturbent la stabilité et les repères visuels sont ambigus. Pour le secteur, c'est une validation de l'approche VLA à l'échelle sous-marine, un domaine où la quasi-totalité des travaux antérieurs s'était cantonnée à des méthodes spécialisées tâche par tâche. L'intégration d'un module de perception convolution-attention (CAP) avec estimation de pose cible comme tâche auxiliaire renforce explicitement la conscience spatiale du modèle, ce qui est critique pour la manipulation en 3D dans des scènes non structurées. Jusqu'ici, la robotique sous-marine autonome reposait majoritairement sur des systèmes de contrôle classiques ou des réseaux de neurones entraînés sur des jeux de données tâche-spécifiques, souvent collectés en conditions réelles à coût élevé. L'approche USIM mise sur la synthèse de données simulées à grande échelle pour contourner ce goulot d'étranglement, une stratégie déjà validée en robotique terrestre par des frameworks comme IsaacGym ou Genesis. Du côté des concurrents directs, les travaux sur les robots sous-marins généralistes restent rares : les projets OpenDive ou les plateformes de Woods Hole Oceanographic Institution n'ont pas encore publié d'équivalent VLA. Aucun acteur européen n'est cité dans cet article, bien que des entreprises comme ECA Group (France) ou Saab Seaeye (Suède) opèrent sur le marché ROV industriel. Le papier, disponible sur arXiv (2510.07869v4), pose un cadre d'évaluation standardisé incluant métriques hors ligne et exécution en ligne, ce qui facilitera les comparaisons futures. Les prochaines étapes annoncées concernent le transfert vers des plateformes physiques et l'extension du dataset à des scénarios plus complexes.

UEImpact indirect potentiel pour des acteurs européens du ROV industriel comme ECA Group (France) ou Saab Seaeye (Suède), mais aucun partenariat ni déploiement européen n'est annoncé dans ce travail de recherche.

💬 43 % de succès global, bon, c'est le début. Mais 87 % en navigation pure et zéro données réelles collectées en mer, c'est la preuve que la stratégie simulation-à-grande-échelle fonctionne sous l'eau exactement comme en terrestre : plus besoin d'envoyer un ROV filmer des épaves pendant des mois pour constituer un dataset. ECA Group a un truc sérieux à surveiller.

IA physiqueOpinion
1 source