Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
COLIP-2 : embeddings olfaction-vision-langage
RecherchearXiv cs.RO 

COLIP-2 : embeddings olfaction-vision-langage

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

COLIP-2, pour Contrastive Olfaction-Language-Image Pre-training 2, est un modèle d'embeddings multimodal présenté dans un article arXiv (2607.17559v1) qui intègre l'olfaction comme modalité à part entière aux côtés de la vision et du langage. Le système projette dans un espace de représentation partagé quatre types de données : structure moléculaire, lectures de capteurs de gaz, descripteurs textuels d'odeurs et images, ce qui permet à un robot d'associer de façon probabiliste une odeur détectée à un objet visible dans une scène. Les auteurs pointent l'absence de tout jeu de données image-odeur à l'échelle d'ImageNet, un manque qu'ils identifient comme le principal frein du domaine et qui justifie, selon eux, la collecte de nouvelles données. L'équipe rapporte des résultats de tests internes sur l'architecture et décrit des optimisations pour faire tourner le modèle en edge computing, en vue d'applications robotiques temps réel.

L'enjeu dépasse la curiosité académique. La perception robotique repose aujourd'hui presque exclusivement sur la vision et, de plus en plus, le langage via les modèles VLA, laissant l'odorat quasi inexploité malgré son utilité pour la détection de fuites de gaz, le contrôle qualité alimentaire, la recherche et sauvetage ou la maintenance industrielle. En montrant qu'un espace d'embeddings unifié olfaction-vision-langage est réalisable et déployable en edge, COLIP-2 ouvre une piste pour les intégrateurs souhaitant ajouter une modalité sensorielle sans repartir de zéro. Mais les auteurs cadrent eux-mêmes leur travail comme une démonstration des limites atteignables avec les données olfactives ouvertes actuelles, plutôt qu'un système prêt à l'emploi : l'article ne publie aucun benchmark chiffré vérifiable, ni précision, ni taille de corpus, ni comparaison à l'état de l'art, ce qui invite à la prudence sur la maturité réelle de l'approche.

COLIP-2 s'inscrit dans la lignée des modèles de type CLIP, qui ont déjà étendu le principe d'espace d'embeddings partagé à la vision, au langage, puis à l'audio et à la profondeur ; l'olfaction restait jusqu'ici largement absente de cette convergence, faute de capteurs standardisés et de corpus annotés. Le suffixe "2" du nom suggère une itération sur une première version non détaillée dans ce papier. Les auteurs, issus de la robotique mais nourris par des experts de plusieurs disciplines académiques et industrielles, positionnent explicitement COLIP-2 comme un point de départ argumentatif : justifier auprès de la communauté le besoin de financer et construire de nouvelles méthodologies et jeux de données olfactifs, plus qu'un livrable fini. Les prochaines étapes attendues sont la publication de ces corpus et des évaluations comparatives plus rigoureuses.

Dans nos dossiers

arXiv cs.RO

À lire aussi

VLEM : cartographie 3D vision-langage par embeddings en temps réel
1arXiv cs.RO 

VLEM : cartographie 3D vision-langage par embeddings en temps réel

Une équipe de chercheurs a publié une version révisée (v2) de l'article arXiv 2508.06291 présentant VLEM (Vision-Language Embedding Mapping), un système de cartographie sémantique 3D en temps réel qui fonctionne à partir d'un simple flux RGB-D brut, sans poses de caméra vérité terrain. Le framework fusionne des embeddings vision-langage 2D alignés au pixel, issus de différents modèles vision-langage, dans une représentation 3D globalement cohérente et métriquement précise. Comparé à trois systèmes existants, ConceptFusion, Open-Fusion et RayFronts, VLEM affiche de meilleures performances en segmentation en vocabulaire ouvert et une représentation plus compacte en mémoire. Les auteurs démontrent aussi son usage sur des tâches de manipulation robotique interactive en temps réel et sur des scénarios de cartographie mobile. La compréhension sémantique de scène en robotique exige des représentations à la fois précises au sens métrique et interrogeables en langage naturel en temps réel, combinaison que les modèles vision-langage peinent à tenir une fois intégrés à un pipeline 3D, freinés par le coût de calcul, les contraintes mémoire et la dépendance habituelle à des poses caméra vérité terrain rarement disponibles hors laboratoire. En s'appuyant uniquement sur un flux RGB-D brut, VLEM lève ce verrou et rapproche cette cartographie sémantique d'un déploiement robotique réel, hors environnement instrumenté. Pour les équipes de recherche en manipulation ou en navigation mobile, cela ouvre la voie à des robots interrogeables en langage naturel directement sur une carte 3D construite à la volée. La comparaison à ConceptFusion, Open-Fusion et RayFronts reste un benchmark choisi par les auteurs, à confirmer par des évaluations indépendantes. VLEM s'inscrit dans la lignée des travaux combinant modèles vision-langage type CLIP et pipelines de SLAM pour doter les robots d'une compréhension du monde interrogeable en langage naturel, citant explicitement ConceptFusion, Open-Fusion et RayFronts comme repères directs plutôt qu'une rupture inédite. Il s'agit à ce stade d'une publication de recherche en preprint sur arXiv, sans produit, partenariat industriel ni calendrier de déploiement annoncés ; la mention "replace" signale une révision d'une soumission initiale. La suite attendue pour ce type de travail est la publication du code et une évaluation communautaire sur des jeux de données standardisés, avant une éventuelle reprise par des acteurs commerciaux de la robotique.

RecherchePaper
1 source
Calibration de la confiance dans les modèles vision-langage-action (VLA)
2arXiv cs.RO 

Calibration de la confiance dans les modèles vision-langage-action (VLA)

Une étude disponible sur arXiv (2507.17383, désormais en version 3) examine un point rarement traité pour les modèles vision-langage-action (VLA). Ces modèles de fondation transforment des observations visuelles et des instructions en langage naturel en commandes moteur de bas niveau. Les auteurs présentent leur travail comme la première étude de la calibration de confiance sur ce type de modèle, c'est-à-dire de l'écart entre la probabilité de réussite que le robot s'attribue et sa réussite réelle. Ils établissent une base de référence pour l'estimation de confiance. Ils analysent le lien entre le taux de réussite des tâches et l'erreur de calibration, ainsi que l'évolution de cette erreur au fil de l'exécution. Face à la mauvaise calibration observée, ils proposent deux correctifs légers. Le premier est un ensemble de prompts, qui consiste à reformuler une même consigne de plusieurs façons. Le second est un Platt scaling par action, un recalibrage logistique appliqué séparément à chaque dimension de commande. Le résumé ne donne ni les modèles testés, ni les gains chiffrés, ni les conditions expérimentales (simulation ou robot réel). Toute conclusion quantitative suppose donc de lire l'article complet. L'enjeu est très concret pour un intégrateur ou un responsable d'exploitation. Un robot qui réussit 80 % de ses tâches mais ne sait pas prédire ses échecs est difficile à déployer, car rien ne permet de déclencher à temps une reprise, un arrêt ou un appel à l'opérateur. Le taux de succès affiché en démonstration ne dit rien de cette capacité d'auto-évaluation, qui conditionne pourtant la supervision et la sécurité. Le caractère « léger » des méthodes est intéressant, puisqu'il suggère de pouvoir améliorer des VLA existants sans les réentraîner. L'analyse temporelle compte aussi pour les tâches longues, où les erreurs s'accumulent. Il s'agit toutefois de recherche académique, sans validation en production ni preuve que ces techniques tiennent sur des flottes réelles. Le travail s'inscrit dans la montée en puissance des VLA, de RT-2 et OpenVLA jusqu'aux modèles industriels comme Pi-0, Helix ou GR00T. Leur capacité d'action progresse plus vite que les outils pour mesurer leur fiabilité. La quantification d'incertitude est mieux établie pour les grands modèles de langage, et cette étude en transpose les principes à la robotique. Les suites logiques sont de tester ces méthodes sur des tâches longues en conditions réelles, de les relier à des politiques de repli, et de les comparer à d'autres approches comme la prédiction conforme.

RecherchePaper
1 source
NAC : un codec neuronal d'actions pour les modèles vision-langage-action
3arXiv cs.RO 

NAC : un codec neuronal d'actions pour les modèles vision-langage-action

Des chercheurs publient une version mise à jour (v2) du préprint arXiv 2606.21372, intitulé « NAC: Neural Action Codec for Vision-Language-Action Models », qui introduit un nouveau tokenizer d'actions pour les modèles vision-langage-action (VLA). Le NAC reprend l'architecture des codecs audio neuronaux, encodeur-décodeur convolutif à quantification vectorielle résiduelle (RVQGAN) utilisée dans les modèles de fondation audio, en traitant les courtes trajectoires d'actions robotiques comme des signaux 1D multicanaux compressés à plusieurs échelles. Le système produit un espace de tokens compact et ordonné via des codebooks décalés, ce qui permet à des politiques autorégressives standard de fonctionner sur des séquences courtes et structurées ; la reconstruction des trajectoires s'appuie sur un décodeur de style Vocos, avec tête ISTFT et discriminateurs adversariaux. Évalué sur les bancs d'essai LIBERO-10 et RoboMimic, ainsi que sur une série de tâches de manipulation réelles, NAC atteint une fidélité de reconstruction élevée et des taux de réussite moyens supérieurs au binning, à FAST et aux tokenizers VQ antérieurs, à taux de compression comparable ou meilleur. Le tokenizer d'actions est le goulot d'étranglement discret entre commande continue du robot et modélisation de séquence autorégressive au cœur de tout VLA ; jusqu'ici, binning, FAST et quantification vectorielle classique forçaient un compromis entre compression, latence et performance. En montrant qu'une architecture éprouvée pour l'audio se transpose presque sans changement structurel au contrôle robotique, ce travail suggère que la tokenisation d'actions n'est plus le facteur limitant majeur pour faire passer à l'échelle les politiques VLA, un enjeu concret pour tout intégrateur entraînant des politiques génériques de manipulation sur plusieurs tâches et morphologies de robot. Le gain de taux de réussite à compression égale ou supérieure compte surtout pour le temps réel, où latence d'inférence et longueur de séquence conditionnent le temps de cycle. Les résultats restent toutefois issus de bancs d'essai académiques, simulation complétée d'un nombre limité de tâches réelles, donc d'un stade de recherche et non d'un produit ou d'un déploiement industriel. Le travail s'inscrit dans la lignée des tokenizers développés pour les VLA récents, dont FAST, méthode associée à la famille de modèles Pi-0 de Physical Intelligence et prise ici comme référence de comparaison, ainsi que les approches par binning et par quantification vectorielle discrète plus anciennes. L'idée de recycler les codecs audio neuronaux à quantification résiduelle, déjà standard pour les modèles de fondation audio, illustre une tendance plus large du secteur à importer des briques génératives multimodales vers la robotique. Publiée sous forme de préprint arXiv, sans annonce de licence, d'intégration produit ni de calendrier de déploiement, la contribution demeure un résultat de recherche dont la portée dépendra de sa reproduction sur des politiques VLA de plus grande échelle et de tests au-delà des bancs d'essai contrôlés utilisés dans l'article.

RechercheActu
1 source
NS-VLA : vers des modèles vision-langage-action neuro-symboliques
4arXiv cs.RO 

NS-VLA : vers des modèles vision-langage-action neuro-symboliques

Une équipe de recherche a publié sur arXiv (référence 2603.09542, troisième version révisée) un article décrivant NS-VLA, un cadre neuro-symbolique pour les modèles Vision-Language-Action (VLA), ces systèmes qui traduisent une instruction en langage naturel et un contexte visuel en séquence d'actions pour un bras ou un robot manipulateur. Les auteurs pointent trois limites des VLA actuels : des architectures dorsales (backbones) aveugles à la structure des tâches, une capacité de généralisation qui reste bridée par le backbone choisi, et un entraînement par optimisation à objectif unique, incapable de distinguer les niveaux de granularité d'une tâche. NS-VLA répond avec trois briques : un encodeur neuro-symbolique qui infère des primitives d'action sous contrainte de plan, un solveur neuro-symbolique qui conditionne une politique indépendante du backbone sur la primitive active, et une méthode d'optimisation hiérarchique conjointe qui aligne la granularité de la récompense sur celle de la tâche. Sur des benchmarks de manipulation robotique, les auteurs rapportent de meilleurs résultats que les méthodes précédentes en apprentissage one-shot et face à des perturbations de données, ainsi qu'une généralisation zero-shot et un espace d'exploration élargis. Le code est publié en open source. Ce travail s'attaque à un point de friction central du secteur : les modèles VLA généralistes, dans la lignée de systèmes comme Pi-0, GR00T ou Helix, sont devenus le pari dominant pour doter bras robotiques et humanoïdes de compétences de manipulation transférables, mais leur généralisation reste plafonnée par le backbone vision-langage sur lequel ils s'appuient, souvent pré-entraîné sans notion explicite de structure de tâche. En découplant la politique d'action du backbone via une couche symbolique intermédiaire, NS-VLA suggère qu'il est possible d'améliorer robustesse et généralisation sans dépendre d'un unique modèle de fondation propriétaire, ce qui intéresserait les intégrateurs cherchant à faire tourner la même logique de contrôle sur plusieurs plateformes matérielles. Si ces gains se confirment au-delà des benchmarks internes des auteurs, cela nourrirait la thèse selon laquelle l'approche purement bout en bout des VLA actuels atteint ses limites face à la diversité des tâches industrielles. Il s'agit d'une contribution académique publiée sur arXiv, pas d'un produit commercialisé ni d'un déploiement en usine : les comparaisons de performance proviennent des propres expériences des auteurs, sans validation tierce ni précision sur le matériel utilisé ou un éventuel test sur robot physique plutôt qu'en simulation, ce qui invite à la prudence sur l'ampleur réelle des gains revendiqués. Le neuro-symbolique n'est pas une idée neuve : il ressurgit régulièrement en robotique pour combler les angles morts des réseaux de neurones purs, depuis que les limites de généralisation des premiers VLA, héritiers de RT-2 puis d'OpenVLA, ont révélé l'écart entre démonstrations impressionnantes et robustesse en conditions réelles. La mise à disposition du code doit permettre à la communauté de reproduire les résultats sur d'autres backbones ; la suite logique, non documentée dans l'article, serait une évaluation sur robot physique et une comparaison directe avec les VLA propriétaires déjà déployés commercialement.

RechercheOpinion
1 source