RecherchearXiv cs.RO 21 juillet 2026

COLIP-2 : embeddings olfaction-vision-langage

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

COLIP-2, pour Contrastive Olfaction-Language-Image Pre-training 2, est un modèle d'embeddings multimodal présenté dans un article arXiv (2607.17559v1) qui intègre l'olfaction comme modalité à part entière aux côtés de la vision et du langage. Le système projette dans un espace de représentation partagé quatre types de données : structure moléculaire, lectures de capteurs de gaz, descripteurs textuels d'odeurs et images, ce qui permet à un robot d'associer de façon probabiliste une odeur détectée à un objet visible dans une scène. Les auteurs pointent l'absence de tout jeu de données image-odeur à l'échelle d'ImageNet, un manque qu'ils identifient comme le principal frein du domaine et qui justifie, selon eux, la collecte de nouvelles données. L'équipe rapporte des résultats de tests internes sur l'architecture et décrit des optimisations pour faire tourner le modèle en edge computing, en vue d'applications robotiques temps réel.

L'enjeu dépasse la curiosité académique. La perception robotique repose aujourd'hui presque exclusivement sur la vision et, de plus en plus, le langage via les modèles VLA, laissant l'odorat quasi inexploité malgré son utilité pour la détection de fuites de gaz, le contrôle qualité alimentaire, la recherche et sauvetage ou la maintenance industrielle. En montrant qu'un espace d'embeddings unifié olfaction-vision-langage est réalisable et déployable en edge, COLIP-2 ouvre une piste pour les intégrateurs souhaitant ajouter une modalité sensorielle sans repartir de zéro. Mais les auteurs cadrent eux-mêmes leur travail comme une démonstration des limites atteignables avec les données olfactives ouvertes actuelles, plutôt qu'un système prêt à l'emploi : l'article ne publie aucun benchmark chiffré vérifiable, ni précision, ni taille de corpus, ni comparaison à l'état de l'art, ce qui invite à la prudence sur la maturité réelle de l'approche.

COLIP-2 s'inscrit dans la lignée des modèles de type CLIP, qui ont déjà étendu le principe d'espace d'embeddings partagé à la vision, au langage, puis à l'audio et à la profondeur ; l'olfaction restait jusqu'ici largement absente de cette convergence, faute de capteurs standardisés et de corpus annotés. Le suffixe "2" du nom suggère une itération sur une première version non détaillée dans ce papier. Les auteurs, issus de la robotique mais nourris par des experts de plusieurs disciplines académiques et industrielles, positionnent explicitement COLIP-2 comme un point de départ argumentatif : justifier auprès de la communauté le besoin de financer et construire de nouvelles méthodologies et jeux de données olfactifs, plus qu'un livrable fini. Les prochaines étapes attendues sont la publication de ces corpus et des évaluations comparatives plus rigoureuses.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

CounterAlign : supervision contrefactuelle pour les modèles vision-langage-action

Publié le 25 août 2026 sur arXiv sous la référence 2608.21740, l'article intitulé "CounterAlign: Counterfactual Supervision for Vision-Language-Action Models" propose une nouvelle méthode d'entraînement pour les modèles vision-langage-action (VLA), la brique logicielle qui traduit instructions textuelles et images en commandes motrices pour les robots. Le constat de départ est que l'apprentissage par clonage comportemental (behavior cloning), standard du secteur, n'expose le modèle qu'à des démonstrations d'expert réussies, sans jamais lui montrer quelles actions seraient incorrectes ou hors instruction. Les auteurs contournent le coût de collecte de trajectoires négatives ou de récompenses annotées en générant des tuples contrefactuels: chaque action d'expert est associée à une instruction différente et volontairement incompatible, puis un discriminateur adversarial apprend à partir de ces paires un modèle de récompense ancré dans l'instruction, utilisable pour du RL hors ligne, sans rollouts ni annotations supplémentaires. Testée sur le benchmark LIBERO-PRO, conçu pour mesurer la robustesse face aux changements de position d'objets et de tâches, la méthode améliore les performances par rapport à une référence récente jugée état de l'art. Des essais sur robot réel, menés sur la plateforme TX-G2 compatible AGIBot G2, confirment l'avantage face à d'autres approches concurrentes, sans que l'article ne publie de chiffres précis de taux de réussite. L'enjeu dépasse le simple gain de benchmark: il touche au goulot d'étranglement central de l'apprentissage VLA, la rareté des données négatives ou des récompenses annotées, coûteuses à produire en robotique réelle. En montrant qu'une supervision plus dense peut être extraite des démonstrations déjà collectées plutôt que d'exiger une collecte additionnelle, les auteurs offrent une piste concrète aux équipes qui entraînent des modèles VLA à grande échelle, dans la lignée de Pi-0 chez Physical Intelligence, GR00T N2 chez Nvidia ou Helix chez Figure. La méthode s'attaque à un défaut connu des politiques entraînées par simple clonage: leur fragilité face à de petites perturbations, comme un objet déplacé, un écart fréquemment cité entre démonstrations filmées et comportement réel sur le terrain. Il s'agit néanmoins d'un résultat de recherche en préprint, validé sur un benchmark et un nombre limité d'essais réels, et non d'un produit déployé en production. Le clonage comportemental s'est imposé comme paradigme dominant à mesure que les VLA passaient à l'échelle, mais ses limites en matière de supervision négative sont documentées depuis plusieurs années, tandis que le renforcement classique bute sur le coût de l'ingénierie de récompense ou de la collecte de données non expertes. CounterAlign s'inscrit dans une famille de techniques d'alignement par modélisation de récompense et discrimination adversariale, proches par l'esprit des méthodes de RLHF développées pour les grands modèles de langage, mais adaptées ici aux contraintes de la robotique physique. Le résumé ne détaille ni les baselines concurrentes précises ni de calendrier de déploiement industriel, et aucun acteur français ou européen n'apparaît dans les expériences décrites. La suite logique, non confirmée par les auteurs, serait une extension à davantage de plateformes robotiques et une comparaison plus large face aux modèles VLA commercialisés.

RechercheActu

1 source

2arXiv cs.RO

Raisonnement continu pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (2606.00229) une architecture appelée Continuous Reasoning for VLA, qui remplace le langage naturel comme médium de raisonnement pour les politiques robotiques par un espace latent gaussien continu. Le problème est fondamental : le texte opère à la granularité d'une tâche entière, tandis qu'une politique VLA (Vision-Language-Action) doit sélectionner des actions à une échelle temporelle bien plus fine. Le modèle génère d'abord un ensemble structuré de "pensées continues" sous forme de vecteurs gaussiens, puis les réutilise comme contexte partagé pour la génération d'actions par chunks. L'entraînement repose sur un objectif de vérification croisée : un teacher EMA (exponential moving average) doit consommer le raisonnement du modèle étudiant pour prédire les actions cibles, forçant le latent à rester transférable et vérifiable entre instances. Sur robots réels, l'architecture améliore le taux de succès moyen par sous-tâche de 40,4 % sur TX-G2 (variante compatible AgiBot G2) et de 26,3 % sur HSR (Human Support Robot de Toyota), comparé à π0.5 de Physical Intelligence. Ces résultats contredisent une hypothèse répandue : ajouter des tokens de raisonnement textuel via chain-of-thought ou sous-objectifs explicites améliore le contrôle robotique. Les auteurs montrent que ce raisonnement textuel devient facilement un raccourci interne au modèle, efficace sur les comportements vus en entraînement mais peu généralisable. Un médium de raisonnement utile doit être partageable entre instances de modèle et vérifiable via l'amélioration du contrôle aval, deux propriétés que le texte satisfait mal à l'échelle de l'action. La comparaison directe avec π0.5 positionne ce travail en réponse à Physical Intelligence, acteur de référence dans l'espace VLA. Les plateformes testées (AgiBot G2 et HSR) couvrent la robotique de service et industrielle légère, pas uniquement les humanoïdes à fort investissement comme Figure 03 ou Optimus Gen 3. D'autres architectures concurrentes, dont GR00T N2 de NVIDIA et Helix de Figure AI, misent sur des représentations latentes pour améliorer le transfert sim-to-real, mais restent davantage orientées production que recherche fondamentale. Il s'agit pour l'instant d'un résultat académique, sans annonce de pilote commercial ni de déploiement industriel.

RechercheOpinion

1 source

3arXiv cs.RO

Modèles vision-langage-action tenant compte du système de préhension

Une équipe de recherche publie sur arXiv, sous la référence 2608.24603, une étude introduisant MiGA, un jeu de données pour la manipulation robotique par modèles vision-langage-action (VLA), et GVLA, le modèle associé. MiGA couvre cinq types de pinces distincts répartis sur plusieurs robots, pour un total de 103 000 démonstrations capturant la divergence des stratégies de préhension selon l'effecteur pour un même objectif. GVLA combine un tokenizer multi-gripper et un routage de politique par adaptateurs, avec des représentations internes conditionnées par le type de pince. En simulation comme sur robots réels, GVLA surpasse les modèles de référence, avec une meilleure généralisation à des objets et tâches inédits et une adaptation plus rapide entre pinces. L'apport tient surtout au diagnostic : la plupart des VLA actuels supposent implicitement une invariance au type de pince, alors que la stratégie de préhension dépend de l'effecteur terminal, une pince parallèle et une ventouse exigeant des interactions distinctes pour saisir un même objet. Or les jeux de données d'entraînement existants reposent presque exclusivement sur des pinces parallèles, limitant la généralisation vers les ventouses ou pinces adaptatives utilisées en logistique et en manipulation industrielle. Pour les intégrateurs exploitant des flottes hétérogènes d'effecteurs, un modèle entraîné sur pince parallèle ne transfère pas trivialement à un bras équipé de ventouse. L'étude montre ainsi que le passage à l'échelle des VLA doit intégrer l'hétérogénéité matérielle des effecteurs, pas seulement celle des tâches ou des objets. Cette publication s'inscrit dans la vague de recherche sur les modèles vision-langage-action, qui ont démontré ces dernières années leur capacité à traduire des instructions en langage naturel en séquences d'actions robotiques, en se concentrant surtout sur la diversité des tâches et des scènes plutôt que sur celle des effecteurs. Il s'agit ici d'une contribution de recherche déposée sur arXiv, sans annonce de déploiement industriel : MiGA et GVLA sont pour l'instant validés en simulation et sur essais robots en laboratoire, sans précision sur une mise à disposition publique du code ou du dataset. La suite attendue est leur publication effective et une éventuelle reprise par des laboratoires confrontés, sur le terrain, à la diversité réelle des effecteurs de préhension.

RechercheActu

1 source

4arXiv cs.RO

Ancrage visuel pour le contrôle vision-langage en zero-shot

Une équipe de recherche a testé des modèles vision-langage (VLM) utilisés comme contrôleurs zero-shot via une batterie d'ablations : images aveugles, entrées répétées à l'identique, réflexion en miroir de la voie, lignes de base non visuelles et contrôles d'intégrité du pipeline. L'étude couvre neuf modèles à action directe, six VLM locaux structurés et une architecture hybride VLM-MPC, sur 32 874 appels notés, deux embodiments et trois simulateurs. Résultats majoritairement négatifs : une politique constante "SLOW" bat un contrôleur géométrique scripté, plusieurs modèles restent quasi insensibles à l'image, et ceux qui détectent bien les dangers longitudinaux échouent à inverser leurs décisions gauche/droite en miroir. Aucun VLM local ne remplit les deux critères de fondement visuel à la fois. Un contrôle positif purement visuel estime pourtant l'écart avec le véhicule précédent à 0,090 m d'erreur près, preuve que l'image contient bien l'information nécessaire. Ce travail questionne un postulat central des politiques vision-langage-action (VLA) en robotique et conduite autonome : qu'un modèle généraliste puisse piloter un système physique sans entraînement spécifique du simple fait qu'il "voit" l'image. Le test miroir est révélateur : un modèle vraiment fondé sur la perception inverserait sa décision quand l'image l'est, ce qui n'est presque jamais observé. Pour les intégrateurs tentés par un VLM prêt à l'emploi comme contrôleur direct, l'étude illustre un écart concret entre score en simulation et perception réelle. Un usage plus restreint fonctionne en revanche : un comité figé de deux modèles, votant entre vue originale et vue miroir, atteint 0,954 de précision équilibrée sur données tenues à l'écart, confirmé par validation croisée. Les VLM ressortent utilisables comme assistants de détection ciblés et calibrés, pas comme contrôleurs bout en bout. Cette étude s'inscrit dans un scepticisme méthodologique croissant envers les politiques VLA type Pi-0, GR00T N2 ou Helix, promues pour piloter bras robotiques et humanoïdes après entraînement à grande échelle. En privilégiant une batterie d'ablations rigoureuse plutôt que des scores de réussite en simulation, les auteurs proposent une méthode reproductible pour auditer ces systèmes avant déploiement, une démarche encore rare face aux annonces commerciales du secteur où vidéos sélectionnées et métriques de cycle mal contextualisées restent fréquentes. La suite logique serait d'étendre ces tests à des environnements réels, à d'autres familles de VLM propriétaires, et de valider le comité de consensus symétrique sur des flottes en conditions réelles.

RecherchePaper

1 source