Speech2Grasp : transfert efficace de la détection de préhension conditionnée par le texte vers la parole chez les robots humanoïdes

Des chercheurs publient sur arXiv (référence 2607.26567v1) Speech2Grasp, un framework qui transfère vers la parole une capacité jusque-là limitée au texte : la détection de préhension (grasp detection) chez les robots humanoïdes. Le point de départ est ALBEF, un modèle vision-langage établi utilisé comme cas d'étude. Les auteurs montrent par des analyses diagnostiques qu'un simple projecteur léger, un perceptron multicouche (MLP), suffit à adapter ALBEF à des entrées vocales, en conservant sa capacité de discrimination sémantique et sa robustesse. Sur cette base, l'équipe construit Speech2Grasp, un système entraîné de façon économe en données. Testé sur un robot humanoïde réel, il surpasse un pipeline classique en cascade, où la parole est d'abord transcrite par reconnaissance vocale (ASR) puis traitée comme du texte, tout en réduisant la latence d'inférence.

Ce résultat comble un décalage fréquent dans l'interaction homme-robot : la plupart des systèmes de perception et de manipulation restent conditionnés par du texte, alors que la parole est le canal naturel pour un humain donnant des instructions. Passer par un pipeline ASR classique ajoute de la latence et propage les erreurs de transcription vers l'étape de compréhension. Pour les intégrateurs qui conçoivent des interfaces vocales pour humanoïdes, la démonstration qu'une adaptation légère et peu coûteuse en données suffit à conserver les performances d'un modèle texte est un signal pratique : elle suggère qu'il n'est pas nécessaire de réentraîner des modèles vision-langage entiers pour les rendre exploitables en environnement vocal réel.

Le travail s'inscrit dans la vague plus large des modèles vision-langage-action (VLA), à l'image de GR00T N2, Pi-0 ou Helix, qui conditionnent tous leurs actions sur des instructions en langage naturel, généralement écrites. ALBEF, lui, vient de la recherche en pré-entraînement vision-langage, hors robotique. Speech2Grasp propose ainsi un paradigme de transfert potentiellement réutilisable pour d'autres systèmes texte-conditionnés du secteur, plutôt qu'une architecture figée. Les auteurs présentent leurs résultats comme une preuve de concept ; les prochaines étapes attendues porteraient sur l'extension à d'autres tâches de manipulation et à d'autres modèles VLA.