Aller au contenu principal
SIL : apprentissage interactif symbiotique pour la co-adaptation humain-agent guidée par le langage
RecherchearXiv cs.RO 

SIL : apprentissage interactif symbiotique pour la co-adaptation humain-agent guidée par le langage

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (2511.05203v3) SIL (Symbiotic Interactive Learning), un framework de co-adaptation bidirectionnelle pour l'interaction humain-agent. Contrairement aux systèmes actuels où l'agent exécute passivement des commandes en langage naturel, SIL maintient un espace latent partagé dans lequel humain et agent font évoluer conjointement leurs états de croyance (belief states) au fil des échanges. L'architecture repose sur des foundation models pour la perception spatiale et le raisonnement, un encodeur neuronal entraîné par triplet-loss qui ancre ces sorties dans des représentations spécifiques à la tâche, et des mémoires épisodique et sémantique régularisées via Elastic Weight Consolidation (EWC) pour prévenir l'oubli catastrophique. Sur des tâches simulées et réelles, suivi d'instructions, recherche d'information, raisonnement orienté requêtes et dialogue interactif, SIL atteint un taux de complétion de 90,4% et un score d'alignement de croyances ρ ≈ 0,83, soit un gain absolu d'environ 20 points de pourcentage sur les meilleures ablations.

L'enjeu est conceptuellement notable : presque tous les systèmes HRI (human-robot interaction) actuels fonctionnent en mode maître-apprenti unidirectionnel, l'agent n'apprenant rien de l'opérateur en cours d'interaction. SIL propose à l'inverse une co-adaptation mutuelle permettant des clarifications proactives, des suggestions de plan adaptées et un affinement continu de la compréhension de la tâche. Pour les intégrateurs de cobots ou les décideurs industriels, cela adresse un point de friction concret : gérer l'ambiguïté opérationnelle sans sollicitations humaines répétées. La régularisation EWC répond aussi à un problème récurrent des VLA (Vision-Language-Action models) : la dégradation des performances lors du fine-tuning continu sur des tâches évolutives.

Ce travail s'inscrit dans le courant d'intégration des foundation models dans la couche de contrôle robotique, aux côtés de RT-2 (Google DeepMind) et OpenVLA. La particularité de SIL réside dans sa boucle interactive bidirectionnelle plutôt que dans la seule généralisation task-to-task. Il s'agit à ce stade d'une preprint arXiv, sans revue par les pairs confirmée ni déploiement industriel annoncé ; les résultats sur tâches "réelles" méritent un examen attentif des protocoles expérimentaux, absents du résumé disponible. Les prochaines étapes naturelles sont une soumission en conférence (CoRL, ICRA) et une éventuelle intégration dans des plateformes d'agents embarqués pilotés par LLM.

Dans nos dossiers

À lire aussi

Interaction humain-robot par reconnaissance de mode basée sur le méta-apprentissage et contrôle adaptatif
1arXiv cs.RO 

Interaction humain-robot par reconnaissance de mode basée sur le méta-apprentissage et contrôle adaptatif

Des chercheurs publient sur arXiv (identifiant 2610.28761, première version) un cadre de contrôle pour l'interaction physique homme-robot. Il part d'un constat simple: l'humain peut guider activement le robot ou le suivre passivement, et chaque mode impose un objectif de commande différent. Les approches courantes distinguent ces modes par des seuils de commutation prédéfinis, sensibles au bruit de mesure. Les auteurs les remplacent par un réseau de neurones entraîné par méta-apprentissage, qui reconnaît l'intention humaine sans seuil fixé à la main. En lui fournissant des paramètres dépendants de la force issus du contrôleur, le taux de reconnaissance passe de 90,1 % à 99,1 % en mode passif et de 79,8 % à 97,1 % en mode actif. Le cadre ajoute un contrôleur adaptatif par méta-apprentissage, qui compense les perturbations humaines et s'ajuste en ligne aux forces d'interaction variables. Il ajoute aussi un algorithme multi-trajectoires qui apprend conjointement une représentation de base de l'environnement et les paramètres dépendants de la force, pour traiter les dynamiques non modélisées. L'intérêt est pratique pour la robotique collaborative, les exosquelettes et la manipulation conjointe homme-robot. Dans ces cas d'usage, une erreur de classification entre guidage et suivi peut produire un mouvement inattendu, donc un risque de sécurité. Le gain le plus net concerne le mode actif, où le taux passe de moins de 80 % à plus de 97 %. Il montre que le seuillage manuel était le maillon faible. Ces chiffres restent toutefois ceux d'un résumé: on ne sait ni sur quel robot ni sur quelle tâche, ni avec quels opérateurs ni quel jeu de test. Rien n'indique non plus la latence d'inférence ni la robustesse hors des conditions d'entraînement. Il s'agit d'une preuve de concept académique, sans produit ni déploiement industriel. Ce travail s'inscrit dans la poursuite des commandes par impédance et admittance, longtemps réglées avec des seuils empiriques, et dans l'essor du méta-apprentissage appliqué à la commande adaptative. Il se rapproche des approches qui cherchent à généraliser vite à de nouvelles dynamiques à partir de peu de données. Les acteurs du cobot, comme Universal Robots, Franka et Fanuc, ou de l'exosquelette médical, comme le français Wandercraft, ont un intérêt direct à fiabiliser la détection d'intention. Les prochaines étapes à surveiller sont la validation sur plusieurs plateformes, des essais avec de nombreux utilisateurs et une évaluation face aux contrôleurs adaptatifs classiques. L'article n'annonce ni calendrier ni partenaire industriel.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
HuMBLE : apprentissage de comportements guidé par le mouvement humain pour la locomotion incarnée
2arXiv cs.RO 

HuMBLE : apprentissage de comportements guidé par le mouvement humain pour la locomotion incarnée

Des chercheurs ont publié sur arXiv (référence 2610.10489) HuMBLE, un cadre d'apprentissage qui produit des politiques de locomotion humanoïde pilotables en temps réel, robustes et fidèles à la démarche humaine. Les auteurs partent d'un jeu de données de locomotion humaine constitué en interne, couvrant plusieurs vitesses et directions. Ils entraînent d'abord par apprentissage par renforcement (RL) une politique « enseignante » conditionnée par une référence corps entier. Cette politique est ensuite distillée en une politique « a priori » légère, qui ne reçoit que la proprioception et une commande de pilotage plane (vitesse du torse). Une seconde phase affine cette politique par RL multi-tâches. Une tâche conditionnée par un objectif suit des commandes arbitraires, y compris hors de la distribution des données. Une tâche guidée par référence suit les mouvements humains et sert de régularisateur de style. Le cadre est validé sur trois robots : Atlas R1 et Atlas D1 de Boston Dynamics, et le Unitree G1. Les tests incluent le pilotage direct par un utilisateur en intérieur et en extérieur, ainsi que l'intégration comme couche de locomotion dans des architectures de contrôle hiérarchiques. L'article ne donne dans son résumé ni taux de réussite, ni vitesses maximales, ni durée de test. L'enjeu est un compromis connu en locomotion humanoïde. Les contrôleurs optimisés pour le suivi de commande et la robustesse produisent des démarches mécaniques, souvent peu naturelles et énergétiquement discutables. Ceux calés sur des données de mouvement humain se généralisent mal dès que la commande sort du domaine des données. HuMBLE vise à tenir les deux bouts avec une politique légère, déployable à bord, qui reconstruit un mouvement corps entier coordonné à partir d'une simple commande de direction et de vitesse. Pour les intégrateurs, cette interface compte. Une couche de locomotion pilotable par un planificateur de haut niveau, VLA ou téléopération, s'insère plus facilement dans une pile existante. Le test sur deux morphologies Atlas et sur le G1, un robot d'entrée de gamme très répandu en recherche, suggère aussi une certaine portabilité entre plateformes. Il faut toutefois rester prudent. Il s'agit d'un préprint non évalué par les pairs. Le jeu de données est interne et non décrit en détail, et les comparaisons annoncées portent sur des politiques RL « tabula rasa » plutôt que sur d'autres méthodes d'imitation de mouvement. Ce travail s'inscrit dans une série de méthodes qui injectent des données de mouvement humain dans l'apprentissage de la locomotion, des approches de type imitation adversariale (AMP) au suivi de mouvement par RL. Le retargeting de mouvements humains sur humanoïdes est devenu un levier courant, notamment pour rendre les démarches plus naturelles et plus lisibles pour les humains travaillant à proximité des robots. La présence d'Atlas, dont la version électrique est au cœur de la stratégie humanoïde de Boston Dynamics, indique un travail proche de l'industrie, sans que le résumé ne précise les auteurs ni leur affiliation. Côté concurrence, de nombreux laboratoires et entreprises, dont Unitree, Figure, Tesla et Agility, cherchent aussi à combiner naturel du mouvement et robustesse. La suite probable, sans calendrier annoncé, passe par des évaluations plus larges et par l'intégration avec des modèles de haut niveau.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Vers une intelligence physique semblable à l'humain : apprentissage vision-langage-action continu pour la manipulation robotique
3arXiv cs.RO 

Vers une intelligence physique semblable à l'humain : apprentissage vision-langage-action continu pour la manipulation robotique

Des chercheurs proposent LifelongVLA, un nouveau framework d'apprentissage continu pour les modèles Vision-Language-Action (VLA) appliqués à la manipulation robotique, décrit dans un article publié sur arXiv (2607.14852). Le système s'attaque à un problème classique de l'apprentissage séquentiel chez les robots : le compromis plasticité-stabilité, c'est-à-dire la capacité d'apprendre une nouvelle tâche sans effacer les compétences acquises précédemment. Concrètement, LifelongVLA introduit un module de gating LoRA à double échelle temporelle, séparant l'adaptation en deux voies légères : un adaptateur court terme pour la plasticité (apprentissage rapide de nouvelles tâches) et un adaptateur long terme pour la consolidation stable des compétences déjà maîtrisées. Une passerelle "task-aware" arbitre entre les deux. Le framework ajoute aussi une stratégie de rejeu ("replay") stochastique et économe en mémoire cache, qui préserve des signaux de rétention équilibrés sans avoir à stocker les trajectoires complètes des tâches passées. Les auteurs rapportent des résultats supérieurs aux méthodes existantes sur un bras robotique xArm en conditions réelles, avec une expansion efficace des compétences et une meilleure rétention des comportements de manipulation déjà appris. Cette avancée cible un angle mort réel des modèles VLA actuels (type Pi-0, GR00T N2 ou Helix) : la plupart sont entraînés une fois puis figés, ou doivent être ré-entraînés intégralement pour intégrer une nouvelle tâche, ce qui est coûteux et impraticable pour un déploiement industriel évolutif. Si un robot déployé en usine ou en entrepôt doit apprendre continuellement de nouvelles manipulations sans tout ré-apprendre à chaque fois ni oublier les précédentes, une méthode d'adaptation légère et peu gourmande en mémoire comme celle-ci intéresse directement les intégrateurs et décideurs qui cherchent à réduire les coûts de ré-entraînement et les temps d'arrêt liés à la mise à jour des compétences robotiques. C'est un pas vers des flottes de robots capables de monter en compétences sur site plutôt que de dépendre d'un redéploiement complet du modèle depuis un data center. Le travail s'inscrit dans la lignée de la recherche en "continual learning" appliquée à la robotique, un domaine longtemps dominé par les architectures de vision classique avant l'essor des VLA génératifs à grande échelle. Contrairement aux approches de fine-tuning complet ou à certaines méthodes de rejeu qui nécessitent de stocker l'intégralité des trajectoires passées (coûteux en stockage et en calcul), LifelongVLA mise sur des adaptateurs LoRA légers, une technique déjà largement utilisée pour le fine-tuning efficace des grands modèles de langage, ici transposée au contrôle robotique. L'article ne mentionne pas de partenaire industriel ni de déploiement commercial ; il s'agit d'un travail de recherche académique testé sur un seul bras xArm, avec des perspectives de validation à plus grande échelle et sur des plateformes robotiques plus variées à confirmer.

RechercheActu
1 source
BlenDAgger : contrôle partagé par mélange pour l'apprentissage par imitation interactif
4arXiv cs.RO 

BlenDAgger : contrôle partagé par mélange pour l'apprentissage par imitation interactif

Des chercheurs proposent Blended DAgger (BlenDAgger), une méthode de collecte de données pour l'apprentissage par imitation, décrite dans un preprint arXiv. Lors des interventions humaines, le système ne laisse pas l'opérateur prendre le contrôle total du robot. Il mélange en continu les actions de la politique et celles du démonstrateur, selon un principe de contrôle partagé. La méthode a été testée sur cinq tâches de manipulation, deux en conditions réelles et trois en simulation. Sur les deux tâches réelles, la politique finale atteint une performance autonome supérieure d'au moins 30 points de pourcentage à celle obtenue avec HG-DAgger, la référence où l'humain reprend la main de façon binaire. Les transitions entre politique et intervention humaine sont 57 % plus fluides, et les trajectoires corrigées sont 14 % plus proches des données d'entraînement. Une étude utilisateur (n=14) sur les deux tâches réelles montre une collecte plus rapide (facteur de Bayes de 13,32), sans différence perçue subjectivement par les opérateurs. L'enjeu est le coût de la donnée corrective, principal goulot d'étranglement des politiques de manipulation entraînées par imitation. La téléopération complète pour corriger un robot est fatigante, et les démonstrations humaines sont rarement optimales. Un opérateur qui ne fait que guider la politique produit des données plus cohérentes avec sa distribution. Cela réduit le décalage entre ce que le robot sait faire et ce qu'on lui enseigne, et pourrait diminuer le temps opérateur nécessaire pour affiner une politique, un poste de coût réel pour les intégrateurs. Les résultats restent toutefois ceux d'un laboratoire. Le résumé ne précise ni les tâches, ni le robot, ni les taux de réussite absolus, ni le nombre de démonstrations. Un écart de 30 points peut donc partir d'une base basse. L'échantillon de 14 participants reste modeste. Cette approche s'inscrit dans la lignée de DAgger (2011) et de HG-DAgger (2019), qui ont popularisé l'apprentissage par imitation interactif. Elle rejoint la vague actuelle du fine-tuning de politiques généralistes à partir de corrections humaines, comme les VLA de type Pi-0 ou GR00T. Le preprint n'annonce ni code, ni déploiement industriel, ni calendrier. Aucun acteur français ou européen n'est cité dans le résumé. La suite dépendra d'une validation sur d'autres robots, d'autres tâches et de plus gros modèles.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source