Aller au contenu principal
IA physiquearXiv cs.RO 

Ludi₀.₁ : un système à base d'agents pour des robots socialement intelligents

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié le 25 août 2026 sur arXiv (identifiant 2608.22035v1) un article décrivant Ludi 0.1, un système agentique visant à doter les robots d'une intelligence sociale, au-delà de la simple exécution de commandes isolées. Le système combine parole interactive, raisonnement multimodal, mémoire, navigation et manipulation apprise dans une architecture unique. Son cœur décisionnel est un modèle vision-langage affiné sur des traces d'interaction multi-tours : requêtes ambiguës, demandes de clarification, corrections, interruptions, dialogue mêlant social et tâches à plusieurs étapes. Un harnais logiciel dédié orchestre la boucle d'interaction entre ce modèle et ses outils, pendant que des politiques spécialisées de navigation et de manipulation exécutent les compétences physiques sur le robot.

Pour les intégrateurs et décideurs de la robotique humanoïde, ce travail marque un déplacement de priorité : après des années focalisées sur les benchmarks de perception et de contrôle bas niveau (préhension, locomotion, déplacement d'objets), l'enjeu se porte désormais sur la robustesse conversationnelle et la capacité à réviser un comportement en cours quand l'intention de l'utilisateur change. L'hypothèse testée est qu'affiner un modèle vision-langage-action sur des traces d'interaction réelles, plutôt que sur des démonstrations de tâches isolées, peut réduire l'écart souvent constaté entre démonstrations impressionnantes et fiabilité en usage réel. Les auteurs présentent Ludi 0.1 comme une étape intermédiaire, non comme un modèle fondation abouti : le système sert avant tout à générer les traces multimodales nécessaires pour entraîner un futur modèle plus intégré.

Cette publication s'inscrit dans le sillage des modèles vision-langage-action déjà démontrés pour la manipulation, comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, et des plateformes humanoïdes commerciales telles qu'Optimus Gen 3 de Tesla ou Figure 03, dont les démonstrations restent centrées sur l'exécution de tâches plutôt que sur l'interaction sociale prolongée. Ludi 0.1 se distingue en ciblant explicitement la collaboration homme-robot en dialogue continu, un axe encore peu couvert par les annonces commerciales du secteur. L'article ne mentionne aucun déploiement industriel, ni volume de production, ni prix : il s'agit d'une contribution de recherche publiée sur arXiv, dont la suite annoncée est d'exploiter les traces collectées pour entraîner un futur modèle fondation combinant plus étroitement raisonnement social et compétences physiques.

À lire aussi

ARIS : un système d'intelligence relationnelle à base d'agents pour les robots sociaux
1arXiv cs.RO 

ARIS : un système d'intelligence relationnelle à base d'agents pour les robots sociaux

Des chercheurs ont publié sur arXiv (arXiv:2605.00943) ARIS, un cadre IA agentique conçu pour doter les robots sociaux d'une mémoire relationnelle persistante et d'un raisonnement contextuel multi-tours. L'architecture combine trois composants : un raisonnement multimodal (vision, parole, action physique), un Social World Model structuré en graphe de connaissances qui cartographie les relations entre utilisateurs, et un pipeline de génération augmentée par récupération (RAG) garantissant une latence bornée même lorsque l'historique de dialogue atteint plusieurs milliers d'échanges. Le système a été évalué sur un robot Pepper de SoftBank Robotics dans un cadre de conversation dyadique. Une étude utilisateur portant sur 23 participants montre qu'ARIS obtient des scores significativement supérieurs à une baseline LLM classique sur quatre dimensions : intelligence perçue, animacité, anthropomorphisme et sympathie. L'apport principal réside dans l'architecture de persistance sociale : les systèmes actuels traitent chaque interaction comme stateless, sans mémoire des rencontres précédentes ni modélisation des liens entre individus. ARIS rompt avec ce paradigme via un graphe de connaissances capable de réidentifier les utilisateurs d'une session à l'autre et de raisonner sur leurs relations mutuelles, une propriété directement utile dans des contextes d'accueil, d'assistance en entreprise ou d'accompagnement médical. Le pipeline RAG résout par ailleurs un problème pratique souvent ignoré : maintenir des réponses pertinentes sans dégradation de latence lorsque l'historique s'allonge, une contrainte critique pour un déploiement réel. Les résultats d'une étude à N=23 restent modestes en termes de puissance statistique, et aucune métrique de latence absolue n'est communiquée dans l'abstract. Le travail s'inscrit dans la vague d'application des grands modèles de fondation à la robotique sociale, dans la lignée de PaLM-E (Google, 2023) et des architectures Vision-Language-Action (VLA) de Physical Intelligence. Sur le marché des robots sociaux, les acteurs clés restent SoftBank Robotics (Pepper, NAO), Furhat Robotics et, côté français, Enchanted Tools avec son robot Miroki. ARIS sera publié en open source à la parution de l'article, ce qui pourrait accélérer l'adoption par des intégrateurs cherchant une couche de mémoire sociale au-dessus de modèles LLM existants. La prochaine étape est une validation en environnement réel.

UELe framework ARIS, promis en open source à la parution, offre une couche de mémoire sociale réutilisable que des intégrateurs européens, notamment Enchanted Tools (Miroki) pour l'accueil et l'assistance, pourraient exploiter directement au-dessus de leurs modèles LLM existants.

RecherchePaper
1 source
Qwen-RobotNav : un modèle de navigation extensible conçu pour un système de navigation à base d'agents
2arXiv cs.RO 

Qwen-RobotNav : un modèle de navigation extensible conçu pour un système de navigation à base d'agents

Alibaba Research a publié le 24 juin 2026 le rapport technique de Qwen-RobotNav, un modèle de navigation robotique entraîné sur 15,6 millions d'échantillons et disponible en deux versions, 2B et 8B paramètres. Le modèle expose une interface paramétrée à deux dimensions : des modes de tâches sélectionnables (suivi d'instructions, recherche d'objets, tracking de cible, conduite autonome) et des paramètres d'observation configurables à l'inférence -- budget de tokens, pondération par caméra, fenêtre d'historique visuel. La randomisation de ces paramètres pendant l'entraînement rend le modèle robuste à toute configuration d'inférence sans modification architecturale. Le co-entraînement avec des données vision-langage (VLA) évite l'effondrement en simple mappeur action-séquence, un problème documenté sur les modèles entraînés uniquement sur trajectoires. Les benchmarks navigation annoncés sont en état de l'art sur les principales références du domaine, avec une généralisation zero-shot validée sur robots réels en environnements variés. L'intérêt industriel de Qwen-RobotNav réside dans son architecture modulaire : un planificateur de haut niveau peut décomposer un objectif long-horizon en sous-tâches, basculer dynamiquement le mode et la stratégie de contexte en cours d'épisode, et composer des comportements complexes via des appels répétés au même modèle de base. Pour un intégrateur ou un OEM robotique, cela signifie un seul backbone navigation réutilisable sur plusieurs verticales (logistique, inspection, assistance), sans refonte du pipeline perception-planification. Le passage de 2B à 8B paramètres montre un scaling favorable, avec émergence d'un substrat spatial-planning partagé qui transfère entre familles de tâches -- ce qui valide empiriquement l'hypothèse que l'entraînement multi-tâche peut remplacer des modèles spécialisés distincts. Qwen-RobotNav s'inscrit dans l'effort d'Alibaba DAMO Academy et du groupe Qwen pour étendre leur famille de modèles au-delà du langage pur vers l'action incarnée. En termes de positionnement concurrentiel, le modèle s'inscrit dans un espace occupé par des travaux comme NaviLLM (Microsoft), OpenFMNav et UniNav, tous cherchant un modèle de navigation généraliste. La différence revendiquée par Qwen-RobotNav est l'interface paramétrique unifiée permettant la reconfiguration à l'inférence sans fine-tuning, ce qui facilite l'intégration dans des systèmes agentiques multi-étapes. Le code et les poids ne semblent pas encore publiés au moment du rapport ; les résultats zero-shot sur robots réels restent à confirmer dans des conditions industrielles non contrôlées.

IA physiqueOpinion
1 source
Apprentissage robotique ludique à base d'agents
3arXiv cs.RO 

Apprentissage robotique ludique à base d'agents

RATs (Robotics Agent Teams) est un système d'apprentissage robotique agentic présenté dans le preprint arXiv 2606.19419 qui introduit une phase de "jeu" auto-dirigé avant toute tâche explicite. L'agent, basé sur le paradigme Code-as-Policy (CaP), propose lui-même des tâches exploratoires, exécute des politiques en code, vérifie les progrès intermédiaires, diagnostique les échecs avec un feedback dense à chaque étape et distille les exécutions réussies dans une bibliothèque de compétences persistante. À l'inférence, cette bibliothèque gelée est réutilisée par d'autres agents pour résoudre des tâches inédites, sans fine-tuning du modèle sous-jacent. Sur les benchmarks LIBERO-PRO et MolmoSpaces, RATs surpasse la baseline CaP-Agent0 de 20,6 et 17,0 points de pourcentage respectivement ; les compétences acquises sont également transférables à d'autres agents CaP, avec des gains de 8,9 points sur RoboSuite et 8,8 points en déploiement réel. La portée industrielle de cette approche tient principalement à deux éléments. La séparation entre phase d'acquisition de compétences et phase d'exécution crée une bibliothèque réutilisable partageable entre agents hétérogènes sans réentraînement, ouvrant la voie à des bibliothèques de primitives robotiques mutualisées sur des flottes entières. Les gains en transfert réel (+8,8 points) suggèrent par ailleurs que l'apprentissage par jeu améliore la robustesse sim-to-real, défi persistant pour les systèmes VLA (Vision-Language-Action) déployés hors simulation. Il convient toutefois de nuancer : le preprint ne détaille ni les conditions de déploiement réel ni le profil précis des tâches testées, ce qui limite l'évaluation en contexte industriel non contrôlé. Le paradigme Code-as-Policy, introduit par Google DeepMind avec SayCan et Code as Policies entre 2022 et 2023, utilise des LLMs pour générer du code Python interprétable comme politique robotique. RATs y greffe un mécanisme d'exploration issu de la robotique développementale, prolongeant une lignée de travaux sur les agents curieux et l'apprentissage non supervisé de compétences. Dans un paysage dominé par des architectures VLA end-to-end, comme Pi-0 et Helix de Physical Intelligence ou Figure 03 de Figure Robotics, cette approche code-first se distingue par sa modularité et sa moindre dépendance aux données d'annotation denses. Le travail reste à ce stade non revu par des pairs, et des validations à plus grande échelle dans des environnements variés et non structurés seront nécessaires pour confirmer sa portée opérationnelle.

💬 La vraie idée ici, c'est pas le "jeu" (ça fait bien dans un abstract), c'est la bibliothèque de compétences gelée et partageable entre agents sans ré-entraînement. Si ça tient hors labo, tu peux imaginer des flottes entières qui mutualisent leurs primitives robotiques comme des développeurs partagent des packages. Les +8,8 points en déploiement réel sont le seul chiffre qui compte, et il est là.

IA physiqueOpinion
1 source
UniIntervene : intervention à base d'agents pour un apprentissage par renforcement efficace en conditions réelles
4arXiv cs.RO 

UniIntervene : intervention à base d'agents pour un apprentissage par renforcement efficace en conditions réelles

UniIntervene est un modèle d'intervention autonome présenté dans un preprint arXiv (2606.12372, juin 2026) qui cible un goulot d'étranglement concret de l'apprentissage par renforcement en boucle humaine (HiL-RL) pour la manipulation robotique réelle. Le système combine trois composants : un estimateur de valeur d'action conditionné sur le futur, qui prédit les conséquences latentes d'une action et évalue leur valeur avant exécution ; un critique temporel de risque de valeur (temporal value-risk critic), qui agrège la dynamique récente des signaux de valeur et déclenche une intervention dès qu'une stagnation ou dégradation soutenue est détectée ; et une politique de récupération conditionnée sur un objectif, qui extrait une cible de haute valeur depuis une mémoire d'épisodes d'intervention passés et génère des actions correctives exécutables. Sur des tâches de manipulation en conditions réelles, UniIntervene améliore le taux de succès moyen de 8,6 points de pourcentage tout en réduisant les interventions humaines de 57 % par rapport aux baselines HiL-RL de l'état de l'art. L'enjeu industriel est direct : le HiL-RL est l'une des approches les plus prometteuses pour déployer des bras manipulateurs apprenants hors du laboratoire, mais son coût opérateur reste prohibitif à l'échelle. Chaque correction humaine représente du temps d'ingénieur ou de technicien immobilisé devant le robot. En délégant la majorité des interventions à un agent autonome -- tout en conservant la supervision humaine pour les cas limites -- UniIntervene ouvre un chemin vers un fine-tuning continu en production sans équipe dédiée. La réduction de 57 % est notable, mais les auteurs ne précisent pas la nature exacte des tâches testées ni si les vidéos publiées sont représentatives de l'ensemble du benchmark ; prudence donc sur la généralisabilité immédiate. Le HiL-RL pour la robotique réelle a connu une accélération depuis les travaux de DAgger (Ross et al., 2011) et leurs dérivés, avec des systèmes récents comme RLIF et IWR qui ont montré que l'intervention humaine ponctuelle surpasse le RL pur en environnements non structurés. UniIntervene s'inscrit dans cette lignée mais déplace le curseur : là où IWR demande à l'humain de décider quand intervenir, ici c'est le modèle lui-même qui prend cette décision via son critic temporel. Les concurrents directs incluent les approches de HITL proposées par des équipes de Chelsea Finn (Stanford) et Pieter Abbeel (UC Berkeley / Covariant). Aucun partenaire industriel ni timeline de déploiement n'est mentionné dans le preprint ; il s'agit pour l'instant d'une contribution de recherche sans pilote annoncé.

IA physiquePaper
1 source