Mots physiques : un vocabulaire pour structurer le raisonnement latent en manipulation robotique

Des chercheurs proposent PhysWord, un modèle de fondation robotique de type « raisonner avant d'agir », bâti sur des « Physical Words ». Ces mots physiques utilisent des verbes d'action atomiques (saisir, pousser, insérer, par exemple) comme ancres sémantiques partagées pour représenter de façon continue la dynamique physique. Le modèle prédit les prochains mots d'action et aligne leurs états cachés contextuels sur des cibles latentes extraites des observations futures correspondantes. Les auteurs en déduisent un espace PhysWord structuré dans le temps, avec pour chaque mot une variante visuelle et une variante tactile optionnelle. Le modèle prédit ces mots de façon autorégressive sur plusieurs pas de temps, ce qui donne au module d'action un contexte multimodal décrivant les transitions entre phases d'exécution. Les auteurs annoncent 90,3 % de réussite sur le benchmark visuotactile UniVTAC et 99,6 % sur LIBERO-Long, un benchmark en vision seule. Ils indiquent aussi de meilleurs résultats que les méthodes concurrentes sur des tâches réelles, avec des pinces bimanuelles et des mains dextres. Il s'agit d'un travail académique publié sur arXiv. Aucun produit ni déploiement industriel n'est annoncé.

L'intérêt tient à la tension que le travail cherche à résoudre. Le raisonnement en langage naturel capte la sémantique d'une tâche mais décrit mal les dynamiques physiques fines, comme le contact ou le glissement. Le raisonnement latent modélise l'évolution des états futurs, mais sans structure réutilisable. En ancrant les représentations continues dans un vocabulaire discret de primitives, PhysWord vise un compromis interprétable et composable, utile pour la manipulation longue durée et la dextérité. L'intégration du tactile est un signal pertinent pour les intégrateurs qui travaillent sur l'assemblage ou la manipulation d'objets fragiles. Il faut toutefois relativiser les chiffres. Un score de 99,6 % sur LIBERO-Long signale surtout un benchmark proche de la saturation, qui discrimine de moins en moins les méthodes. Les gains en conditions réelles, présentés sans détail dans le résumé, restent à confirmer sur les protocoles complets (nombre d'essais, variabilité des scènes).

Ce travail s'inscrit dans la montée des modèles vision-langage-action (VLA) dotés d'une étape de raisonnement intermédiaire. Ces modèles passent par du texte, des sous-objectifs visuels ou des représentations latentes avant de générer l'action. PhysWord se place entre ces familles en cherchant à combiner leurs forces. La suite logique serait une validation sur d'autres plateformes, une comparaison directe avec les grands VLA généralistes et une publication du code ou des poids. Sans cela, la portée industrielle reste difficile à évaluer.