RecherchearXiv cs.RO 16 juin 2026

GeoTLM : modèles tactile-langage sensibles à la géométrie pour le raisonnement sur l'orientation des contacts d'objets dynamiques

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié GeoTLM sur arXiv (réf. 2606.15909, juin 2026), un modèle de langage tactile guidé par des représentations géométriques physiques, conçu pour la manipulation robotique d'objets en mouvement. Le constat de départ est empirique : les modèles TLM actuels, Sparsh et AnyTouch2, échouent sur des tâches aussi élémentaires que détecter la direction de rotation d'un objet à partir des données d'un capteur GelSight Mini. Pour y remédier, les auteurs proposent le DGR (Differentiable Geometric Representation), un encodeur de seulement 14 000 paramètres qui structure le champ de cisaillement tactile avant le raisonnement linguistique, via un pooling antisymétrique à sept régions motivé par le fait que les contacts rotatifs génèrent des déformations antisymétriques dans le gel du capteur. Les gains mesurés sont significatifs : +14,6 points de précision sur la direction de rotation pour des objets non vus à l'entraînement, et +16,2 points sur la détection de direction de glissement en conditions réelles de capteur, par rapport au même backbone sans encodeur géométrique.

Ce résultat révèle une lacune structurelle des TLM généralistes : construits pour la reconnaissance de textures et de matériaux (tâches statiques), ils manquent de primitives physiques pour raisonner sur des contacts dynamiques tels que le vissage, le glissement contrôlé ou l'assemblage en pression. Injecter des priors géométriques différentiables dans la boucle d'un VLA sans surcoût architectural notable constitue un pas concret vers un raisonnement tactile robuste sur des objets non catalogués au préalable, ce qui réduit directement la dépendance aux datasets spécifiques par référence produit.

La perception tactile robotique s'est longtemps limitée aux propriétés statiques de surface. L'essor des capteurs visuotactiles haute résolution comme le GelSight, conçu au MIT et largement adopté en recherche, et l'intégration des LLM dans la boucle de contrôle depuis 2023 ont ouvert ce champ. Sparsh, publié par Meta FAIR, et AnyTouch2 constituent les références actuelles des TLM généralistes ; GeoTLM se greffe sur ces backbones plutôt qu'il ne les remplace, ce qui facilite une adoption incrémentale. Aucun acteur européen n'est impliqué dans ce travail. La prochaine étape logique reste une validation en boucle fermée sur des tâches de manipulation réelle, au-delà des benchmarks de classification de direction présentés ici.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

GaussVLA : un raisonnement spatial géométrique pour les modèles vision-langage-action

Un preprint arXiv (2608.24959v1) présente GaussVLA, un modèle Vision-Language-Action fondé sur une architecture Mamba, doté de deux modules : le Gaussian Spatial Tokenizer (GST), qui convertit des caractéristiques sémantiques et de profondeur figées en tokens 3D gaussiens compacts en agrégeant les zones géométriquement saillantes via des requêtes apprises, et le Depth-Aware Chain-of-Thought (DA-CoT), un raisonnement géométrique structuré et non autorégressif conditionné par le langage. Testé en simulation sur le benchmark LIBERO et en conditions réelles, il atteint 93,5 % de réussite moyenne et 100,0 % sur la suite Spatial avec seulement 200 millions de paramètres, soit 19,7 % de mieux que SpatialVLA, sa référence de comparaison directe, tout en restant nettement plus économique en paramètres. Le problème visé est connu : les observations visuelles des modèles VLA sont d'ordinaire encodées en tokens 2D plats sans structure géométrique, et une carte de profondeur monoculaire n'ajoute que des valeurs scalaires par pixel, sans orientation de surface ni confiance géométrique. En dotant le modèle d'une représentation 3D explicite, GaussVLA améliore le raisonnement spatial requis pour la manipulation fine, un des écarts récurrents entre démonstrations de laboratoire et déploiement réel. Pour les intégrateurs, le signal le plus utile reste l'efficacité paramétrique : un modèle de 200 millions de paramètres qui surpasse une référence plus lourde suggère que la qualité du raisonnement spatial tient davantage à la structure de la représentation qu'à la taille du modèle, contredisant l'hypothèse du "plus gros VLA égale meilleure généralisation" et laissant entrevoir des coûts d'inférence embarquée réduits pour des politiques déployées directement sur des contrôleurs de robots. GaussVLA se positionne explicitement comme une amélioration de SpatialVLA, dans une course d'architectures VLA qui cherche depuis plusieurs générations à résoudre le raisonnement spatial en manipulation robotique. Le travail reste un preprint non encore revu par les pairs, validé sur LIBERO, un benchmark de simulation standard, complété par des essais réels dont l'ampleur n'est pas précisée dans le résumé. Aucun partenaire industriel, calendrier de déploiement ou prix n'est mentionné : il s'agit d'une contribution de recherche sur l'architecture des tokenizers spatiaux, et non d'un produit ou d'un pilote commercial, dont les suites attendues seraient des tests sur des tâches de manipulation plus longues et des plateformes robotiques variées.

RechercheOpinion

1 source

2arXiv cs.RO

Raisonnement continu pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (2606.00229) une architecture appelée Continuous Reasoning for VLA, qui remplace le langage naturel comme médium de raisonnement pour les politiques robotiques par un espace latent gaussien continu. Le problème est fondamental : le texte opère à la granularité d'une tâche entière, tandis qu'une politique VLA (Vision-Language-Action) doit sélectionner des actions à une échelle temporelle bien plus fine. Le modèle génère d'abord un ensemble structuré de "pensées continues" sous forme de vecteurs gaussiens, puis les réutilise comme contexte partagé pour la génération d'actions par chunks. L'entraînement repose sur un objectif de vérification croisée : un teacher EMA (exponential moving average) doit consommer le raisonnement du modèle étudiant pour prédire les actions cibles, forçant le latent à rester transférable et vérifiable entre instances. Sur robots réels, l'architecture améliore le taux de succès moyen par sous-tâche de 40,4 % sur TX-G2 (variante compatible AgiBot G2) et de 26,3 % sur HSR (Human Support Robot de Toyota), comparé à π0.5 de Physical Intelligence. Ces résultats contredisent une hypothèse répandue : ajouter des tokens de raisonnement textuel via chain-of-thought ou sous-objectifs explicites améliore le contrôle robotique. Les auteurs montrent que ce raisonnement textuel devient facilement un raccourci interne au modèle, efficace sur les comportements vus en entraînement mais peu généralisable. Un médium de raisonnement utile doit être partageable entre instances de modèle et vérifiable via l'amélioration du contrôle aval, deux propriétés que le texte satisfait mal à l'échelle de l'action. La comparaison directe avec π0.5 positionne ce travail en réponse à Physical Intelligence, acteur de référence dans l'espace VLA. Les plateformes testées (AgiBot G2 et HSR) couvrent la robotique de service et industrielle légère, pas uniquement les humanoïdes à fort investissement comme Figure 03 ou Optimus Gen 3. D'autres architectures concurrentes, dont GR00T N2 de NVIDIA et Helix de Figure AI, misent sur des représentations latentes pour améliorer le transfert sim-to-real, mais restent davantage orientées production que recherche fondamentale. Il s'agit pour l'instant d'un résultat académique, sans annonce de pilote commercial ni de déploiement industriel.

RechercheOpinion

1 source

3arXiv cs.RO

Latents de mouvement sensibles à la géométrie pour des politiques de manipulation robustes

Ils entraînent GeoMoLa (Geometry-Aware Motion Latents) en prédisant l'évolution de nuages de points plutôt qu'en reconstruisant des images, pour capturer les transformations géométriques 3D sous-jacentes aux gestes de manipulation. Contrairement aux approches existantes qui nécessitent une reconstruction multi-vues, GeoMoLa atteint des performances état de l'art avec une seule caméra RGB-D en entrée. Les auteurs valident la méthode sur plusieurs bancs d'essai de manipulation robotique standards, ainsi que sur des expériences en conditions réelles, où le système parvient à manipuler des objets dans des environnements encombrés avec un nombre minimal de démonstrations. Leurs études d'ablation confirment que c'est la prédiction géométrique, et non la richesse visuelle, qui pilote la performance du modèle. Ce résultat pèse sur un débat central de la robotique manipulative actuelle: faut-il apprendre le mouvement à partir de motifs visuels (pixels, textures, apparence) ou à partir de la géométrie sous-jacente de la scène (formes, profondeur, déplacement des points dans l'espace)? En montrant que des latents entraînés sur la géométrie 4D (espace + temps) généralisent à des scènes visuellement inédites tout en produisant des transformations physiquement cohérentes, l'étude apporte un argument empirique en faveur d'une abstraction du mouvement indépendante de l'apparence. Pour les équipes qui développent des politiques de manipulation type VLA (vision-language-action) destinées à des bras robotiques ou des humanoïdes, cela suggère une voie pour réduire la dépendance à des configurations multi-caméras coûteuses, tout en gagnant en robustesse face au bruit visuel et au clutter, un problème récurrent des déploiements industriels réels. Cette recherche s'inscrit dans la lignée des travaux sur les représentations latentes discrètes pour le contrôle robotique, où plusieurs équipes académiques cherchent depuis quelques années à dépasser les limites des politiques purement pixel-to-action, jugées fragiles hors distribution. L'approche par nuages de points 4D rejoint des efforts plus larges en robotique combinant perception 3D (depth, LiDAR, RGB-D) et apprentissage de politiques, un axe également exploré par des laboratoires travaillant sur les modèles VLA généralistes comme Pi-0 ou GR00T N2. Le papier, publié sur arXiv début juillet 2026, ne précise pas de partenariat industriel ni de déploiement commercial: il s'agit à ce stade d'une contribution de recherche fondamentale, dont la prochaine étape naturelle serait une validation à plus grande échelle sur des plateformes robotiques commerciales.

RecherchePaper

1 source

4arXiv cs.RO

PHR-VLA : raisonnement à horizon de planification pour les modèles vision-langage-action

Des chercheurs présentent PHR-VLA (Planning Horizon Reasoning for Vision-Language-Action Models), décrit dans un preprint arXiv publié fin août 2026 (arXiv:2608.27609). Le système ajoute aux modèles vision-langage-action une tête auxiliaire légère, activée uniquement à l'entraînement, qui aligne les représentations internes du modèle avec la dynamique future de la tâche extraite d'observations à venir. Une supervision locale et centrée sur le contact, au niveau des patchs d'image issus de la caméra de poignet, fait passer le taux de réussite sur le benchmark simulé LIBERO de 84,1% à 88,4%, et sur des tâches réelles de désassemblage de 63,3% à 82,5%. Une supervision équivalente via une caméra à la troisième personne améliore aussi légèrement les résultats sur Meta-World, de 56,70% à 57,8%. Le travail cible une limite connue des VLA actuels, qui conditionnent généralement l'action sur la seule observation présente sans anticiper l'évolution de la tâche, un manque pénalisant pour les manipulations fines et riches en contacts comme l'assemblage ou le désassemblage. Le gain le plus net apparaît justement sur une tâche réelle de désassemblage, plus proche des besoins industriels que les benchmarks simulés, ce qui limite le risque d'un résultat purement académique. L'écart entre le fort gain obtenu via la caméra de poignet et le gain marginal via la troisième personne (+1,1 point sur Meta-World) suggère que la dynamique locale près du point de contact compte plus que le contexte global de la scène. Pour un intégrateur, l'argument clé est que cette tête auxiliaire n'intervient qu'à l'entraînement et n'alourdit donc pas le temps d'inférence en production. PHR-VLA s'inscrit dans la lignée des modèles VLA généralistes comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui transforment instruction en langage naturel et flux vidéo en actions robotiques. À la différence d'approches fondées sur des modèles du monde générant explicitement des vidéos futures, coûteuses en calcul, la méthode se limite à un alignement de représentations latentes, plus économe. Il s'agit pour l'instant d'un travail de recherche en preprint, sans déploiement industriel annoncé ni implication d'acteur français ou européen du secteur, la suite logique étant une éventuelle intégration de cette technique d'entraînement dans des piles VLA commerciales existantes.

RechercheOpinion

1 source