Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Contrôle interactif multimodal d'un bras robotique par modèles de langage embarqués hors ligne
RecherchearXiv cs.RO 

Contrôle interactif multimodal d'un bras robotique par modèles de langage embarqués hors ligne

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent "Socratic Models-ChatGLM", un système de contrôle interactif multimodal pour bras robotique reposant sur un grand modèle de langage (LLM) hébergé en local plutôt que via une API cloud payante comme ChatGPT. Décrit dans un article arXiv (2608.08183v1) publié en août 2026, il associe ChatGLM, un LLM open source, à la plateforme de simulation physique PyBullet pour piloter un bras robotique virtuel à partir d'instructions textuelles combinées à des données visuelles, sur des tâches de manipulation multi-étapes à horizon long. L'article ne fournit ni charge utile, ni degrés de liberté, ni temps de cycle, ni benchmark chiffré face à des approches concurrentes: les démonstrations restent cantonnées à la simulation, sans essai sur bras physique.

L'argument des auteurs est autant économique que technique: les modèles propriétaires comme ChatGPT facturent chaque appel API, un coût récurrent difficile à justifier pour des applications robotiques embarquées ou des campagnes de recherche à grande échelle. En s'appuyant sur un LLM open source hébergé localement, l'équipe cherche à montrer qu'un contrôle robotique piloté par le langage peut fonctionner sans dépendance à un fournisseur cloud, avec un usage stable et gratuit. Pour les intégrateurs et laboratoires de robotique, ce travail alimente le débat sur la viabilité des architectures Vision-Language-Action hors des budgets des grands acteurs propriétaires comme Pi-0, GR00T N2 ou Helix, en misant sur l'autonomie plutôt que sur la performance de pointe.

Le cadre "Socratic Models", introduit par des chercheurs de Google en 2022, fait collaborer plusieurs modèles pré-entraînés (vision, langage, robotique) via des échanges en langage naturel plutôt qu'un réentraînement conjoint. Cette déclinaison substitue au moteur de langage habituellement propriétaire ChatGLM, LLM open source développé par l'entreprise chinoise Zhipu AI avec l'université Tsinghua, et s'appuie sur PyBullet, moteur physique open source classique en recherche pour prototyper des politiques avant tout transfert vers du matériel réel. Les auteurs ne communiquent ni calendrier de transfert vers un bras physique ni partenariat industriel; l'article s'inscrit dans un courant académique visant à réduire la dépendance aux API commerciales pour le contrôle robotique par le langage, face à la montée des modèles VLA propriétaires.

Dans nos dossiers

NVIDIA GR00TarXiv cs.RO

À lire aussi

Multi-agent : contrôle robotique par modèles vision-langage embarqués
1arXiv cs.RO 

Multi-agent : contrôle robotique par modèles vision-langage embarqués

Une équipe de recherche présente, dans un article publié sur arXiv (arXiv:2607.07403v1), une architecture multi-agents (MAS) pour le contrôle robotique conçue pour fonctionner entièrement en local, sans dépendre d'une infrastructure de calcul externe. Le système pilote un manipulateur mobile autonome polyvalent dans un entrepôt industriel simulé, où il exécute cinq catégories de tâches : inspection de sécurité, maintenance de l'entrepôt, recherche d'objets, vérification de la qualité des colis, et réponse aux demandes humaines. L'architecture s'appuie sur des modèles vision-langage (VLM) compacts, entre 3 et 20 milliards de paramètres, avec un fine-tuning appliqué spécifiquement pour améliorer la précision de l'inspection des colis. Un agent d'orchestration baptisé "Megamind" a été conçu pour limiter les pertes de contexte que subissent les petits modèles sur des tâches de planification à long horizon. Le système a été validé en configuration hardware-in-the-loop, sur un mini PC AMD Ryzen AI, combinant simulation et matériel embarqué réel. Ce travail s'attaque à trois limites récurrentes des VLM et des modèles vision-langage-action (VLA) appliqués à la robotique : l'explicabilité, la généralisation et les besoins en calcul. En s'appuyant sur des modèles compacts exécutés localement plutôt que sur des VLA massifs hébergés dans le cloud, l'approche promet une réduction des coûts d'infrastructure et une latence moindre, deux critères déterminants pour les intégrateurs industriels qui veulent déployer des robots autonomes sans dépendre d'une connectivité permanente. Les auteurs présentent leurs résultats comme une preuve qu'une architecture multi-agents entièrement embarquée constitue une alternative viable et économique aux déploiements dépendants du cloud, avec un potentiel de transfert vers le réel. Ces résultats restent toutefois obtenus en environnement simulé ; le passage à un robot physique en conditions réelles d'entrepôt demeure l'étape déterminante pour confirmer la promesse. L'essor de VLA comme Pi-0, GR00T N2 ou Helix a mis en évidence la dépendance de nombreux systèmes robotiques à des clusters de calcul distants, un frein pour les déploiements industriels à grande échelle. En misant sur des modèles plus petits orchestrés collectivement plutôt que sur un modèle monolithique unique, cette recherche se distingue des approches dominantes centrées sur des VLA de grande taille. Les chercheurs ont publié l'environnement de simulation en open source sous licence Apache 2.0, ouvrant la voie à des extensions et comparaisons par la communauté robotique. Les prochaines étapes attendues concernent la validation sur robot physique en entrepôt réel ainsi que l'élargissement des catégories de tâches couvertes par le système.

RecherchePaper
1 source
Interaction et compagnonnage pilotés par modèle de langage multimodal pour robots de service en maison de retraite
2arXiv cs.RO 

Interaction et compagnonnage pilotés par modèle de langage multimodal pour robots de service en maison de retraite

Des chercheurs présentent un système de robot compagnon destiné aux établissements de soins pour personnes âgées, décrit dans un article publié le 25 août 2026 sur arXiv (arXiv:2608.21387v1). Le système combine trois couches fonctionnelles : une couche de perception assurant le suivi visuel actif de la personne via un gimbal motorisé qui maintient l'utilisateur dans le champ de vision malgré les occlusions ou mouvements brusques, une couche d'interaction pilotée par un grand modèle de langage (LLM) qui interprète les requêtes vocales et les traduit en actions robotiques comme l'escorte ou la navigation sémantique, et un agent de sécurité basé sur un modèle vision-langage (VLM) qui analyse en continu les images pour détecter les chutes et postures anormales et déclencher des alertes d'urgence. Les auteurs rapportent des résultats expérimentaux montrant un suivi et une interaction fiables avec des humains, ainsi qu'une détection efficace des chutes potentielles. L'article ne précise ni le matériel robotique utilisé, ni les modèles LLM/VLM spécifiques déployés, ni de volumes de test chiffrés. Cette publication illustre une tendance de fond dans la robotique de service : l'intégration de plusieurs briques technologiques distinctes, initialement traitées séparément dans la littérature, en un système unifié combinant navigation, dialogue naturel et surveillance de sécurité. Pour les intégrateurs et décideurs du secteur médico-social, cela répond à un besoin concret d'allègement de la charge des aidants tout en maintenant une surveillance continue, un enjeu critique face au vieillissement démographique et à la pénurie de personnel soignant dans les maisons de retraite. L'approche confirme aussi la viabilité croissante des architectures VLA (vision-langage-action) et VLM pour des tâches de sécurité en temps réel, au-delà des simples démonstrations de laboratoire, même si l'absence de détails sur le taux de faux positifs ou la robustesse en conditions réelles d'EHPAD appelle à la prudence. Ce travail s'inscrit dans un courant de recherche plus large sur les robots sociaux d'assistance, où la plupart des systèmes existants se limitent à des fonctions isolées comme la téléprésence ou le rappel de médicaments, sans capacité de compagnonnage continu. Les auteurs positionnent explicitement leur contribution comme comblant ce manque d'intégration entre suivi humain, interaction naturelle et sécurité. L'article ne mentionne pas de partenariat industriel, de nom de plateforme robotique commerciale, ni de calendrier de déploiement pilote en établissement réel, suggérant un stade encore préliminaire, proche de la preuve de concept académique plutôt que d'un produit prêt à être industrialisé.

RecherchePaper
1 source
AssemLM : un modèle de langage multimodal pour le raisonnement spatial en assemblage robotique
3arXiv cs.RO 

AssemLM : un modèle de langage multimodal pour le raisonnement spatial en assemblage robotique

Des chercheurs ont publié AssemLM (arXiv:2604.08983), un modèle multimodal de raisonnement spatial pour la robotique d'assemblage. Le système fusionne trois sources (manuels d'assemblage, nuages de points 3D, instructions textuelles) pour prédire des poses 6D, c'est-à-dire la position et l'orientation complètes d'une pièce dans l'espace tridimensionnel. Un encodeur de nuages de points spécialisé extrait des caractéristiques géométriques et rotationnelles fines, transmises ensuite à un LLM multimodal pour le raisonnement spatial de haut niveau. Les auteurs publient également AssemBench, un benchmark de plus de 900 000 échantillons multimodaux avec annotations de poses 6D précises, étendant l'évaluation classique du grounding 2D à l'inférence géométrique 3D complète. Des tests sur robot réel valident des performances à l'état de l'art sur des tâches d'assemblage multi-étapes en conditions réelles. Le verrou ciblé est central en manipulation fine industrielle: les VLMs courants opèrent sur des images 2D et peinent à raisonner sur la géométrie précise qu'exigent le vissage, l'emboîtement ou l'alignement de composants au sous-millimètre. En intégrant les nuages de points comme modalité native, AssemLM raisonne sur l'orientation exacte d'une pièce, pas seulement sur sa présence dans le champ visuel. Pour un intégrateur ou une équipe R&D en automatisation industrielle, prédire des poses 6D depuis un manuel PDF et une capture 3D ouvre la voie à des cellules d'assemblage reconfigurables sans reprogrammation manuelle entre chaque référence produit. AssemBench, avec ses 900 000 échantillons annotés, comble par ailleurs un manque d'infrastructure de comparaison rigoureuse dans ce sous-domaine. Le raisonnement spatial est un défi persistant pour les modèles de vision-langage, majoritairement entraînés sur des tâches 2D (captioning, grounding d'objets, VQA). Les modèles VLA (Vision-Language-Action) récents, comme pi0 de Physical Intelligence, OpenVLA ou les travaux de Google DeepMind sur RoboVLMs, progressent sur la manipulation généraliste, mais l'assemblage industriel structuré avec ses contraintes de précision sub-millimétrique reste peu adressé par ces approches. AssemLM se positionne dans cette niche en ciblant explicitement les tâches avec documentation formalisée (manuels, nomenclatures). Les auteurs annoncent la mise à disposition publique du code, des modèles et du dataset AssemBench, point d'entrée potentiel pour la communauté académique et les industriels souhaitant affiner le modèle sur leurs propres composants. Aucun partenaire industriel ni déploiement commercial n'est mentionné: il s'agit à ce stade d'une publication de recherche, sans produit ni pilote planifié.

UELa publication en open-source d'AssemBench (900 000 échantillons annotés 6D) constitue une ressource d'entraînement et d'évaluation directement exploitable par les labos européens travaillant sur la manipulation industrielle précise, sans acteur FR/EU impliqué à ce stade.

RechercheOpinion
1 source
Modèles vision-langage-action (VLA) conditionnés par l'état de santé pour un contrôle robotique sensible aux pannes
4arXiv cs.RO 

Modèles vision-langage-action (VLA) conditionnés par l'état de santé pour un contrôle robotique sensible aux pannes

Une équipe de recherche publie sur arXiv (référence 2605.16056) un modèle VLA (Vision-Language-Action) capable d'adapter son comportement à la dégradation physique d'un robot, une problématique distincte des pannes de tâches habituellement ciblées par la littérature. L'approche repose sur l'injection d'un module "Health Projector" dans l'architecture VLA-Adapter : le modèle reçoit en entrée un vecteur de santé encodant l'amplitude articulaire et le couple disponible pour chaque joint. Entraîné sur 128 épisodes téléopérés collectés dans l'environnement de simulation LIBERO (benchmark Libero-Spatial), il parvient à compléter des tâches de manipulation spatiale avec des configurations de joints dégradés où le modèle de référence VLA-Adapter Libero-Spatial-Pro échoue systématiquement. Le code et le jeu de données seront prochainement disponibles sur GitHub (h-arslan/health-aware-vla). L'intérêt industriel est réel : dans les déploiements terrain, les robots accumulent des dégradations mécaniques progressives (usure articulaire, perte de couple, grippage de préhenseur) sans nécessairement déclencher d'alarme critique. Un contrôleur aveugle à cet état physique maintient ses consignes nominales et accumule les erreurs ; un modèle conditionné à la santé peut recalculer ses trajectoires à la volée. La modification proposée est présentée comme légère, ce qui suggère une intégration possible dans des pipelines VLA existants sans refonte complète. Cependant, les résultats restent limités à la simulation LIBERO avec 128 épisodes seulement, un jeu de données particulièrement restreint, et aucune validation sur robot physique n'est présentée, laissant le gap sim-to-real entièrement ouvert. Ce travail s'inscrit dans l'expansion rapide des VLA depuis 2023, portée par des modèles comme pi0 (Physical Intelligence), OpenVLA ou la famille RoboVLMs. VLA-Adapter, utilisé comme base ici, est une variante qui réduit les coûts de fine-tuning en gelant le backbone visio-langagier pour n'entraîner qu'un adaptateur léger. La résilience robotique est jusqu'ici majoritairement traitée côté contrôle bas niveau (détection de fautes, compensation par redondance articulaire) plutôt qu'au niveau de la politique visuo-langagière, ce qui rend l'angle de cette recherche original. Aucun acteur européen n'est impliqué dans cette publication. La prochaine étape logique serait une validation sur hardware réel avec des dégradations induites mécaniquement et un dataset substantiellement élargi pour crédibiliser le passage à l'échelle.

RechercheOpinion
1 source