RecherchearXiv cs.RO 16 septembre 2026

Auto-HSI : contrôle humain personnalisé d'un essaim de robots à la demande via génération automatique de code par LLM

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente Auto-HSI, une méthode qui génère à la demande des interfaces personnalisées de contrôle homme-essaim (human-swarm interaction), détaillée dans un article publié sur arXiv sous la référence 2609.16346v1. Le système permet à un opérateur non formé de décrire en langage naturel, combiné à des démonstrations gestuelles, comment il souhaite que des robots se comportent collectivement en réponse à ses gestes. À partir de ces entrées, un grand modèle de langage génère automatiquement, en ligne, le code d'une machine à états personnalisée qui pilote ensuite les robots. Le prototype reconnaît des gestes à une et deux mains pour un contrôle centralisé, permettant de téléopérer le déplacement de l'essaim, la forme de sa formation et sa déformation. Les auteurs évaluent d'abord séparément le suivi gestuel et la génération de code par rapport à des benchmarks de performance, avant de tester le prototype complet en conditions réelles d'opération: des opérateurs humains contrôlent en direct 50 robots simulés dans un simulateur basé sur la physique, en conditions nominales et bruitées, sur trois tâches, marquer un but, traverser un labyrinthe nécessitant une déformation de forme, et marquer deux buts simultanément en scindant l'essaim en deux sous-groupes. Les chercheurs montrent aussi qu'un opérateur peut modifier en direct son interface pendant l'opération en simulation, puis font une démonstration finale sur des robots réels.

L'intérêt principal tient à l'automatisation de la couche logicielle qui relie geste et comportement collectif: jusqu'ici, les interfaces homme-essaim reposaient sur des ensembles de gestes et des machines à états codés à l'avance, réservant leur personnalisation à des développeurs. En confiant la génération de code à un LLM piloté par langage naturel et démonstration, Auto-HSI ouvre la personnalisation à des opérateurs non-experts, un enjeu direct pour les intégrateurs de flottes de robots en logistique, en défense ou en recherche, où chaque déploiement exige aujourd'hui un travail d'ingénierie sur mesure. Le passage réussi de la simulation (50 agents) à des robots physiques, même limité, appuie l'idée que la génération de code par LLM peut tenir en conditions bruitées et pas seulement en démonstration contrôlée, un point que le secteur teste encore avec prudence.

Le travail s'inscrit dans la lignée des recherches sur le contrôle d'essaims par interfaces naturelles, un domaine jusque-là dominé par des solutions figées ou nécessitant un reprogrammation manuelle à chaque nouveau besoin d'usage. L'article ne mentionne ni partenaire industriel ni calendrier de déploiement commercial: il s'agit d'un travail de recherche académique, publié en préversion, dont les prochaines étapes annoncées portent sur l'extension des tests à des flottes réelles plus larges plutôt que sur une mise sur le marché.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Guide robotique : contrôle multi-agents et génération automatique de scénarios par LLM

Un article de recherche décrit une nouvelle architecture de contrôle hybride pour robots sociaux, combinant un système de gestion de ressources multi-agents avec une génération automatique de scénarios comportementaux basée sur des grands modèles de langage (LLM). L'objectif est de dépasser les approches traditionnelles, où des scripts manuels synchronisent tant bien que mal les actions du robot et le texte prononcé, et où les méthodes existantes se limitent à des réponses dialoguées courtes. Le système automatise à la fois la préparation des textes et des commandes de comportement non-verbal pour des récits longs, tout en résolvant les conflits de ressources entre les différents mécanismes d'exécution du robot. Il a été testé sur MENTOR-1, un robot guide de visite (tour guide robot), pour lequel il a généré automatiquement des scénarios complets et démontré un comportement jugé plus naturel et plus riche que les approches existantes. L'article, publié sur arXiv (version révisée), ne précise pas de chiffres de déploiement commercial, de prix ni de dates de mise en production sur site. Pour l'industrie robotique, ce travail illustre une tendance de fond : le passage de scripts comportementaux figés à une orchestration pilotée par LLM capable de générer, en amont, des scénarios longs cohérents entre parole et gestuelle, plutôt que de simplement générer des réponses conversationnelles ponctuelles. La gestion multi-agents des ressources d'exécution répond à un problème concret pour les intégrateurs de robots sociaux : éviter que plusieurs modules (voix, gestes, déplacement, expressions) ne se marchent dessus lors d'une interaction prolongée. Si les résultats sont confirmés à plus grande échelle, cela pourrait réduire le travail manuel de script pour les déploiements de robots d'accueil ou de guidage, un segment où la narration longue reste un point faible des architectures actuelles. Il s'agit toutefois d'une preuve de concept académique sur une plateforme unique, pas d'un produit commercial validé en conditions réelles. Ce travail s'inscrit dans la lignée des recherches sur les architectures VLA (vision-langage-action) et la génération de comportements par LLM pour la robotique sociale, un domaine où des acteurs comme Figure ou Google DeepMind (avec des modèles comme Pi-0 ou GR00T) explorent des approches similaires pour des tâches de manipulation, tandis que MENTOR-1 se positionne spécifiquement sur l'interaction sociale et la narration guidée. Aucun acteur français ou européen n'est mentionné dans cette publication. Les prochaines étapes évoquées par les auteurs concernent l'extension du système à d'autres scénarios narratifs et plateformes robotiques, sans calendrier ni partenariat industriel annoncé à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

Robot humanoïde : apprendre des interventions de sécurité personnalisées pour le contrôle partagé haptique humain-robot

Traduction de l'article demandée. Un système de retour haptique personnalisé permet désormais aux robots partagés en téléopération d'apprendre les préférences de sécurité individuelles d'un utilisateur à partir de démonstrations limitées, plutôt que d'imposer des réglages génériques prédéfinis. L'approche, baptisée Learning from Haptics (LfH), s'appuie sur une couche d'optimisation différentiable fondée sur des fonctions de barrière de contrôle (Control Barrier Function, CBF), un outil mathématique classique pour garantir qu'un système reste dans une zone d'état sûre. Concrètement, l'opérateur n'a plus besoin de régler manuellement les paramètres du contrôleur par essais-erreurs: il montre au système comment il souhaite que celui-ci intervienne pendant la téléopération, et l'algorithme ajuste automatiquement les paramètres de sécurité sous-jacents pour reproduire ce comportement démontré. Les auteurs ont validé le cadre à la fois en simulation et sur un banc matériel réel, montrant que le système apprend des interventions personnalisées à partir de peu de données utilisateur et réduit l'écart entre le retour haptique généré et les préférences réellement démontrées. Cette avancée s'attaque à une limite connue des systèmes de guidage haptique en contrôle partagé humain-robot: les stratégies d'intervention prédéfinies ne s'adaptent ni aux préférences individuelles des opérateurs, ni aux spécificités de chaque scénario applicatif (chirurgie assistée, téléopération industrielle, exosquelettes, manipulation à distance). Pour les intégrateurs et concepteurs de systèmes à contrôle partagé, cela signifie potentiellement moins de temps de calibration terrain et une meilleure acceptabilité utilisateur, un facteur souvent négligé mais déterminant dans l'adoption réelle de ces interfaces. Le résultat conforte aussi une tendance plus large en robotique interactive: remplacer le réglage manuel de paramètres de contrôle par de l'apprentissage à partir de démonstrations éparses, une approche qui gagne du terrain face aux méthodes classiques de tuning expert. Le travail s'inscrit dans la lignée des recherches sur le contrôle partagé haptique et les CBF, deux domaines matures séparément mais rarement combinés de façon apprenante. Les CBF sont largement utilisés en robotique de sécurité (véhicules autonomes, manipulateurs collaboratifs) pour garantir formellement l'évitement de zones dangereuses, mais leurs paramètres restent généralement fixés à la main par des experts. En les rendant différentiables et ajustables par apprentissage, les auteurs ouvrent la voie à des systèmes de téléopération qui s'adaptent utilisateur par utilisateur. L'article, publié sur arXiv fin juillet 2026, ne précise pas de partenaire industriel ni de calendrier de déploiement au-delà des expériences en laboratoire, ce qui en fait pour l'instant un travail de recherche fondamentale plutôt qu'une solution prête à l'intégration.

RecherchePaper

1 source

3arXiv cs.RO

Entraînement de robots par LLM : génération automatisée de données via l'augmentation de démonstrations

Des chercheurs de Carnegie Mellon University ont publié LLM Trainer (arXiv:2509.20070v2), un pipeline entièrement automatisé capable de transformer une poignée de démonstrations humaines, aussi peu qu'une seule, en un large jeu de données pour l'apprentissage par imitation robotique. Le système décompose la génération de nouvelles démonstrations en deux étapes : une annotation hors-ligne qui extrait des keyframes, des objets saillants et des relations pose-objet à partir des trajectoires originales, puis un retargeting de keyposes en ligne qui adapte ces keyframes à un nouvel environnement à partir d'une simple observation initiale. Le pipeline déforme ensuite géométriquement la trajectoire originale pour en produire une nouvelle, l'exécute sur le robot, et ne conserve les données que si l'exécution est concluante. Pour optimiser la qualité des annotations, réutilisables d'une scène à l'autre, l'équipe intègre un mécanisme de Thompson sampling qui améliore significativement le taux de succès. Les validations ont été conduites sur un bras Franka Emika Panda. L'enjeu est structurant pour l'imitation learning en robotique industrielle : le goulot d'étranglement reste la collecte coûteuse de démonstrations humaines. LLM Trainer propose de contourner ce problème en mobilisant la connaissance du monde embarquée dans les LLMs pour générer des variantes de scènes plausibles sans intervention humaine supplémentaire. Les résultats montrent que la méthode d'annotation LLM surpasse systématiquement des baselines conçues par des experts humains. L'approche d'ensemble, combinant un plan feed-forward LLM optimisé et un contrôleur par imitation en feedback, ouvre une piste vers des politiques plus robustes à la variabilité des environnements réels, ce qui intéresse directement les intégrateurs confrontés à des lignes de production hétérogènes. Ce travail s'inscrit dans une tendance forte en manipulation robotique : réduire la dépendance aux données humaines via l'augmentation synthétique, après des approches comme RoboAgent, DemoAugment ou les pipelines sim-to-real de Google DeepMind. Carnegie Mellon reste un acteur central de cet espace, aux côtés de Stanford (Mobile ALOHA), Berkeley (RoboVerse) et du MIT. Pour l'heure, LLM Trainer est uniquement validé sur un seul modèle de bras dans des conditions de laboratoire, ce qui laisse ouverte la question du passage à l'échelle vers des robots humanoïdes ou des environnements moins structurés. La version v2 publiée sur arXiv suggère des révisions post-soumission, probablement en vue d'une conférence comme CoRL 2025 ou ICRA 2026.

RecherchePaper

1 source

4arXiv cs.RO

Au-delà de la récupération d'erreur : un cadre de contrôle humain adaptatif pour les systèmes robotiques

Des chercheurs ont publié sur arXiv en juin 2026 (arXiv:2606.18189) une méthode appelée E-MPC (Engagement-aware Model Predictive Control), conçue pour repenser le rôle de l'humain dans la supervision des robots d'assistance. L'approche a été validée en simulation puis dans une étude utilisateur réelle, sur un système robotique d'aide à l'alimentation (bite acquisition), avec des participants simulant des limitations de mobilité. Le principe central : plutôt que de solliciter l'opérateur uniquement lorsqu'un robot échoue ou est en incertitude, le système planifie proactivement des moments d'interaction pour maintenir un niveau d'engagement choisi par l'utilisateur, tout en respectant une contrainte de charge cognitive maximale. E-MPC intègre un modèle de dynamique d'interaction utilisateur qui prédit comment l'engagement évolue en fonction de la fréquence et du type d'intervention demandée. Ce travail remet en cause un postulat dominant dans la robotique d'assistance : que l'autonomie maximale est toujours préférable pour l'utilisateur. Dans des contextes de caregiving physique, les personnes à mobilité réduite risquent de devenir de simples observateurs passifs d'un robot qui agit entièrement seul, ce qui dégrade l'expérience et potentiellement l'adhésion au système. E-MPC déplace le curseur : l'interaction n'est plus un signal d'échec, mais un levier de conception du workflow. Cela a des implications concrètes pour les intégrateurs de systèmes d'assistance à domicile ou en EHPAD, où le consentement continu et le sentiment de contrôle de l'utilisateur sont des critères de certification et d'acceptabilité. La robotique d'assistance humanoïde et collaborative accumule depuis plusieurs années des travaux sur le human-in-the-loop, mais ceux-ci se concentrent presque exclusivement sur la robustesse (détection de pannes, out-of-distribution handling). E-MPC s'inscrit dans une tendance plus récente qui emprunte aux travaux sur l'interaction adaptative et la téléopération partagée, avec des connexions aux recherches sur le shared autonomy (Javdani, Srinivasa et al.). Les auteurs n'annoncent pas de commercialisation ni de partenariat industriel à ce stade : il s'agit d'un prototype de recherche avec étude utilisateur, pas d'un produit déployé. Les suites naturelles incluent des essais avec de vraies populations en situation de handicap et l'extension à des tâches multi-étapes plus complexes que l'alimentation.

UELes implications pour la certification des robots d'assistance à domicile et en EHPAD (consentement continu, sentiment de contrôle utilisateur) sont directement pertinentes pour les intégrateurs français et la réglementation médicosociale en France.

RecherchePaper

1 source