Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Le Fil selon un robot social : enrichir le dialogue humain-robot avec des modèles vision-langage
FR/EU ecosystemearXiv cs.RO 

Le Fil selon un robot social : enrichir le dialogue humain-robot avec des modèles vision-langage

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Selon un article publié sur arXiv (2607.16318v1, juillet 2026), une équipe de recherche a testé l'intégration d'un modèle de langage visuel (VLM) sur un robot social Pepper, produit historiquement développé par Aldebaran puis SoftBank Robotics. Le système combine un modèle de langage de Mistral AI avec des capacités de perception visuelle, permettant au robot d'observer non seulement les paroles de son interlocuteur mais aussi son comportement et le contexte de la scène pendant un dialogue humain-robot. Les chercheurs ont mesuré l'impact de cet ajout d'information visuelle sur le temps de réponse du robot, en comparant plusieurs configurations de modèles. Résultat principal: l'ajout du contexte visuel n'augmente que modérément la latence de réponse, tout en enrichissant significativement la compréhension de la situation par le robot, notamment sur les éléments non verbaux de l'échange.

Cette expérimentation touche à un problème central pour les robots sociaux déployés en environnement réel, à l'accueil, en médiation ou en assistance: comprendre les codes sociaux implicites sans que l'utilisateur ait à tout formuler explicitement. C'est aussi un signal pour les intégrateurs et décideurs européens: le choix d'un modèle Mistral AI, hébergé en Europe, permet de respecter le RGPD sans dépendre de fournisseurs américains ou chinois, un argument de poids pour des déploiements dans des administrations, hôpitaux ou établissements publics soumis à des contraintes réglementaires strictes. L'étude reste toutefois à un stade préliminaire, avec un nombre limité d'interactions testées, loin d'une validation à grande échelle.

Le choix de Pepper, robot social lancé il y a plus d'une décennie et longtemps utilisé dans la recherche en interaction humain-robot, s'inscrit dans la continuité des travaux sur l'intelligence conversationnelle embarquée. Face à des architectures VLA plus orientées manipulation physique comme GR00T N2 ou Helix, cette approche cible spécifiquement le dialogue social et la compréhension contextuelle plutôt que l'action motrice. Le recours à Mistral AI illustre aussi la montée en puissance d'une offre souveraine européenne en IA, alternative crédible à OpenAI ou Google dans des cas d'usage sensibles aux données. Les auteurs annoncent vouloir approfondir ces travaux avec des scénarios d'interaction plus complexes.

Impact France/UE

L'utilisation d'un modèle Mistral AI héberge en Europe pour ce robot social illustre une alternative souveraine conforme au RGPD, pertinente pour des déploiements dans les administrations et hôpitaux français et européens.

Dans nos dossiers

NVIDIA GR00TarXiv cs.ROSouveraineté robotique

À lire aussi

Danser avec REEM-C : une étude de communication physique et sociale entre robot et humain
1arXiv cs.RO 

Danser avec REEM-C : une étude de communication physique et sociale entre robot et humain

Une équipe de recherche publie une étude actualisée (arXiv:2408.05301, version 3) consacrée à la communication physique et sociale entre un robot humanoïde et un humain, testée à travers un scénario de danse en couple. La plateforme humanoïde à corps complet REEM-C, développée par l'entreprise espagnole PAL Robotics, tient le rôle du meneur et guide un partenaire humain en lui signalant les prochains pas via trois canaux de communication, haptique (contact physique), visuel et audio, utilisables seuls ou combinés. Pour cela, les chercheurs ont conçu une architecture de contrôle du corps entier scindée en deux : le haut du corps combine contrôle en admittance et en impédance pour gérer le contact physique avec le partenaire, tandis que le bas du corps reste en contrôle de position pour assurer l'équilibre et l'exécution des pas. Des expériences menées avec des participants humains ont permis de vérifier les performances du contrôleur et de comparer l'efficacité perçue et le confort des différentes modalités de communication. L'interaction physique-sociale homme-robot (psHRI) reste un point faible de la robotique humanoïde actuelle : la plupart des plateformes évitent le contact physique direct avec un humain ou le gèrent de façon rigide, ce qui limite les scénarios de collaboration rapprochée comme le guidage physique, l'assistance à la mobilité ou le co-portage de charges. En testant un robot qui initie et maintient un contact physique continu pour transmettre de l'information, l'étude sort du cadre habituel des démonstrations de manipulation ou de locomotion isolées et s'attaque directement à la lisibilité de l'intention robotique en contact rapproché. Pour les intégrateurs et chercheurs en robotique collaborative, les résultats sur la modalité jugée la plus efficace et la plus confortable, au-delà de la seule faisabilité technique du contrôleur, offrent des repères concrets pour concevoir des interfaces physiques en usine, en logistique ou en assistance à la personne, où le geste doit rester intuitif sans effort cognitif pour l'humain. REEM-C est la plateforme de recherche humanoïde de PAL Robotics, entreprise basée à Barcelone, déjà utilisée dans de nombreuses études académiques d'interaction homme-robot avant ce travail sur la danse meneur-suiveur. Cette publication s'inscrit dans un contexte où la majorité des annonces humanoïdes récentes, qu'il s'agisse de Figure 03, d'Optimus ou d'autres plateformes commerciales, mettent l'accent sur la manipulation autonome et la marche plutôt que sur la communication physique fine avec un partenaire humain. Il s'agit ici d'un travail de recherche académique, article arXiv en version révisée et non d'un produit commercialisé ni d'un déploiement industriel, dont l'objectif est de poser des bases méthodologiques pour des contrôleurs psHRI plus lisibles. Les auteurs évoquent des prolongements possibles vers d'autres scénarios de guidage physique au-delà de la danse, où ce type de communication multimodale pourrait s'appliquer à la rééducation ou à l'accompagnement de personnes à mobilité réduite.

UEPAL Robotics (Barcelone, Espagne) fait progresser via cette étude académique l'interaction physique homme-robot, un savoir-faire européen directement transférable a l'industrie, la logistique et l'assistance a la personne en UE.

FR/EU ecosystemePaper
1 source
AR-VLA : un expert d'action autorégressif pour les modèles vision-langage-action
2arXiv cs.RO 

AR-VLA : un expert d'action autorégressif pour les modèles vision-langage-action

Des chercheurs de l'INSAIT (Institute for Computer Science, Artificial Intelligence and Technology, Sofia, Bulgarie) ont publié début 2026 AR-VLA, une architecture de politique robotique qui remplace les têtes d'action à base de blocs (chunk-based) par un expert d'action autorégressif autonome. Contrairement aux modèles VLA existants, qu'ils soient réactifs ou basés sur la diffusion, qui réinitialisent leur contexte temporel à chaque nouvelle observation, AR-VLA maintient une mémoire longue durée et génère les actions comme une séquence causale continue. Le système intègre un mécanisme de re-ancrage (re-anchoring) pour synchroniser les modalités asynchrones vision-langage-action, compensant mathématiquement le délai entre une perception lente (quelques Hz) et un contrôle moteur rapide (centaines de Hz). Les expériences couvrent des tâches de manipulation en simulation et sur robots réels, où AR-VLA atteint ou dépasse les taux de succès des VLA réactifs de l'état de l'art tout en produisant des trajectoires sensiblement plus lisses. L'enjeu central est le découplage entre raisonnement perceptif lent et contrôle moteur rapide, un problème structurel des architectures VLA actuelles. En traitant les actions comme une séquence autorégressive avec historique persistant plutôt que comme un bloc prédit à chaque nouvelle trame, AR-VLA rend la politique intrinsèquement consciente du contexte : elle sait ce qu'elle vient d'exécuter, pas seulement ce qu'elle observe à l'instant T. Pour les équipes robotiques et les intégrateurs, cette architecture autorise un préentraînement modulaire de la syntaxe cinématique indépendamment du backbone de perception, réduisant potentiellement les coûts de développement de politiques spécialistes ou généralistes. La cohérence spatio-temporelle accrue réduit également les oscillations et les reprises de mouvement, deux facteurs critiques en déploiement industriel. L'INSAIT, fondé en 2022 à Sofia avec le soutien de Google, Microsoft et de l'EPFL, s'est imposé rapidement comme un pôle de recherche en IA en Europe centrale. AR-VLA s'inscrit dans une compétition ouverte sur l'architecture des politiques robot-généralistes, où Physical Intelligence (pi-0, pi-0.5), NVIDIA (GR00T N2), Google DeepMind et des startups comme Figure (Helix) ou 1X défendent des approches concurrentes. L'approche par diffusion, popularisée notamment par pi-0 et Diffusion Policy, constitue l'alternative dominante aux VLA réactifs ; AR-VLA la défie directement en montrant qu'un modèle autorégressif pur peut produire des trajectoires plus cohérentes sans recourir à des processus de débruitage itératifs. AR-VLA demeure pour l'instant un preprint arXiv (2603.10126v2), sans annonce de déploiement industriel ni de commercialisation. Le code et les vidéos de démonstration sont disponibles sur arvla.insait.ai.

UEL'INSAIT (Sofia, Bulgarie), soutenu par Google, Microsoft et l'EPFL, positionne l'UE comme acteur de recherche crédible dans la course aux architectures VLA généralistes ; le code est disponible et testable par les équipes robotiques européennes.

FR/EU ecosystemeOpinion
1 source
REKI : enregistrer les connaissances dans les modèles vision-langage-action (VLA)
3arXiv cs.RO 

REKI : enregistrer les connaissances dans les modèles vision-langage-action (VLA)

REKI, un modèle vision-langage-action (VLA) de 2,4 milliards de paramètres, est présenté dans un preprint arXiv (octobre 2026) par le laboratoire français Kyutai. Il est pré-entraîné exclusivement sur des données publiques: un mélange sélectionné de données robotiques, de vidéos égocentriques d'humains et de données vision-langage. L'architecture associe un modèle vision-langage (VLM) à un « action expert » à flow-matching, qui génère les actions. Les auteurs ajoutent une mémoire: quelques jetons de registre dans l'action expert résument la sortie du VLM à chaque image et restent dans son cache. Selon eux, cette mémoire coûte très peu en calcul, améliore le taux de réussite en simulation comme sur robots réels, et rend les oscillations entre poses environ quatre fois plus rares. Sur les benchmarks LIBERO-Plus, RoboTwin Clean2Rand et RoboCasa365, REKI n'est devancé que par des modèles environ deux fois plus gros. Le code complet (curation des données, entraînement, inférence, évaluation, déploiement) et tous les poids, pré-entraînés et affinés, sont publiés sur GitHub. Pour les intégrateurs et les équipes R&D, l'intérêt tient à l'efficacité plus qu'au score brut. Un VLA de 2,4 milliards de paramètres demande bien moins de calcul à l'entraînement et à l'inférence que les modèles de grande taille, ce qui facilite l'exécution embarquée et l'itération. Le résultat suggère aussi qu'un corpus entièrement public suffit pour approcher l'état de l'art, ce qui relativise l'avantage des jeux de données propriétaires de téléopération. Le problème que vise la mémoire, les oscillations entre poses, est un défaut courant des politiques qui ne voient que l'instant présent, et le corriger à faible coût compte pour la fiabilité en conditions réelles. Il faut toutefois rester prudent: les gains sont mesurés surtout en simulation, les essais sur robots réels sont décrits sans chiffres dans le résumé, et les benchmarks ne garantissent pas la robustesse en production. Le « nouveau front de Pareto » est une revendication des auteurs, non validée de façon indépendante. Kyutai, laboratoire de recherche à but non lucratif basé à Paris et connu pour ses travaux en IA vocale, s'aventure ici dans la robotique avec une politique ouverte et reproductible, ce qui donne de la visibilité à l'écosystème européen. REKI se place face aux VLA ouverts comme Pi-0 de Physical Intelligence ou GR00T de NVIDIA, souvent plus volumineux ou dépendants de données partiellement fermées. La publication de l'ensemble de la chaîne, jusqu'au déploiement, permet à d'autres équipes de la reproduire et de l'étendre. La suite dépendra de validations indépendantes, de tests sur davantage de plateformes physiques et de la capacité de la communauté à enrichir la mémoire à registres vers des horizons temporels plus longs.

UELe laboratoire parisien Kyutai publie un VLA ouvert et reproductible (code et poids), utilisable par les équipes R&D et intégrateurs français et européens et qui renforce la visibilité de l'écosystème européen en IA physique.

FR/EU ecosystemeOpinion
1 source
Évaluation des modèles vision-langage-action (VLA) sur SO-101 : analyse des échecs et de la récupération
4arXiv cs.RO 

Évaluation des modèles vision-langage-action (VLA) sur SO-101 : analyse des échecs et de la récupération

Une équipe de chercheurs a publié le 10 juin 2026 (arXiv:2606.08881) un benchmark standardisé pour évaluer des modèles Vision-Language-Action (VLA) sur le robot SO-101, une plateforme manipulatrice à faible coût issue de la communauté open-source. Quatre politiques ont été comparées sur quatre tâches de manipulation représentatives avec des protocoles d'évaluation unifiés : Pi-0.5 (Physical Intelligence), SmolVLA (HuggingFace), Wall-X et ACT (Action Chunking with Transformers, référence en imitation learning). Toutes ont été fine-tunées directement sur le matériel physique à partir de démonstrations télé-opérées en conditions réelles, sans passer par la simulation. Au-delà du simple taux de succès binaire, l'étude introduit une taxonomie structurée des échecs, une décomposition sémantique et d'exécution, ainsi que des métriques de récupération (recovery-aware metrics) pour qualifier la robustesse de chaque architecture. Les résultats confirment que les VLA pré-entraînés sur de larges corpus surpassent globalement la baseline en imitation learning pure, mais cette supériorité reste fortement dépendante de la tâche. Ce point est crucial pour les intégrateurs : l'instabilité d'exécution, et non les erreurs de compréhension sémantique, constitue la source d'échec dominante. La capacité de récupération varie significativement selon les architectures, ce qui suggère que les benchmarks centrés uniquement sur le taux de succès final masquent des différences opérationnelles importantes. Pour un COO industriel, cela signifie que le choix d'un modèle VLA ne peut pas se faire sur des métriques agrégées sans analyser le comportement en cas d'échec partiel. Le SO-101 s'est imposé comme plateforme de référence communautaire grâce à son coût accessible, là où la plupart des évaluations VLA existantes reposent sur des robots industriels onéreux (Franka, UR, Boston Dynamics Spot) ou restent cantonnées à la simulation. Ce travail s'inscrit dans un effort plus large de démocratisation des benchmarks robotiques, face à des acteurs comme Figure AI, Agility Robotics ou 1X Technologies qui évaluent leurs systèmes en environnements propriétaires non reproductibles. Les auteurs positionnent explicitement le SO-101 comme socle pratique pour l'évaluation de l'IA incarnée dans des conditions de déploiement réalistes à faible coût. La prochaine étape naturelle serait d'étendre ce protocole à des scénarios de manipulation plus complexes et à davantage d'architectures VLA émergentes, notamment celles intégrant des retours haptiques.

UESmolVLA de HuggingFace (entreprise française) est directement comparé à Pi-0.5, Wall-X et ACT dans ce benchmark standardisé, offrant une visibilité internationale sur les forces et faiblesses du modèle français face aux architectures VLA concurrentes.

FR/EU ecosystemeActu
1 source