Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
TypeGo : un runtime système pour agents incarnés
RecherchearXiv cs.RO41min

TypeGo : un runtime système pour agents incarnés

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

TypeGo est un nouveau runtime de type "système d'exploitation" pour agents incarnés, présenté dans un article arXiv (2607.05482v1) publié le 8 juillet 2026. Le prototype a été testé sur Kalos, un quadrupède Unitree Go2, et structure la planification par LLM en boucles asynchrones à plusieurs échelles de temps qui se chevauchent avec l'exécution physique du robot. Son composant central, le Skill Kernel, arbitre des sous-systèmes physiques typés entre plusieurs processus concurrents par tâche, tandis qu'un ordonnanceur peut préempter, reprendre ou remplacer ces processus selon leur source. Le système utilise aussi un mécanisme de "streaming" spéculatif de compétences qui masque la latence du LLM derrière le mouvement en cours, plus un chemin rapide pour la première action garantissant un retour visible en moins d'une seconde. Résultat mesuré sur la suite de tâches des chercheurs: le délai par étape chute de 50% par rapport à une planification pas-à-pas classique, et le délai avant première action baisse de 73% par rapport à une planification monolithique, avec une faible surcharge d'ordonnancement même en cas de tâches concurrentes.

L'enjeu dépasse la simple optimisation de latence: TypeGo attaque un problème structurel largement ignoré par les démonstrations actuelles de robots pilotés par LLM, à savoir que traiter un modèle de langage comme un oracle requête/réponse sur le chemin critique de contrôle est incompatible avec le temps réel et la gestion de tâches concurrentes. En empruntant les principes d'un OS classique (gestion de ressources matérielles, préemption, ordonnancement) pour orchestrer un corps robotique, les auteurs proposent une réponse concrète à l'écart persistant entre les capacités de planification des VLA en démonstration et leur fiabilité en exécution réelle, sujet central pour tout intégrateur ou décideur évaluant le déploiement de robots pilotés par IA générative.

Ce travail s'inscrit dans la lignée des architectures combinant LLM et contrôle robotique bas niveau, où la latence des modèles de langage reste un goulot d'étranglement majeur face aux exigences de réactivité physique. Il s'agit à ce stade d'un prototype de recherche académique, validé sur une suite de tâches restreinte avec un seul robot quadrupède, et non d'un produit commercialisé ou déployé en flotte. Les auteurs ne précisent pas de calendrier de transfert vers l'industrie, mais posent les bases conceptuelles d'un runtime générique que d'autres plateformes robotiques pourraient reprendre.

Dans nos dossiers

UnitreearXiv cs.RO

À lire aussi

eMEM : un système de mémoire spatio-temporelle hybride pour agents à base d'IA incarnée
1arXiv cs.RO 

eMEM : un système de mémoire spatio-temporelle hybride pour agents à base d'IA incarnée

Une équipe de recherche a déposé sur arXiv (arXiv:2606.03374, juin 2026) un système de mémoire baptisé eMEM (Embodied Memory), conçu spécifiquement pour les agents incarnés opérant dans des environnements physiques. Contrairement aux architectures existantes comme Generative Agents, MemGPT ou A-MEM, qui stockent la mémoire sous forme de flux textuels ou de graphes de connaissances, eMEM propose une architecture multi-index combinant SQLite pour le stockage structuré, hnswlib pour la recherche sémantique par voisins les plus proches (ANN), et un R-tree pour les requêtes spatiales, le tout unifié derrière un modèle de graphe unique. Un pipeline de consolidation par niveaux transforme les observations perceptuelles brutes en résumés compressés, en s'inspirant explicitement de la consolidation hippocampo-néocorticale observée chez les mammifères. Dix outils de rappel, exposés en natif au LLM, couvrent des primitives comme la résolution concept-vers-localisation ou le rappel inter-couches. Le système tourne entièrement en mémoire vive, en co-processus avec l'agent. Sur eMEM-Bench v1, un benchmark construit sur les scènes ProcTHOR-10K autour de huit paradigmes de psychologie cognitive (leurres DRM, séparation de patterns, complétion de patterns, surveillance de source, récupération dépendante du contexte, interférence à long horizon, position sérielle, courbe de rétention augmentée par des distracteurs), eMEM atteint un score pondéré moyen de 80,8 sur 988 sondes, avec une courbe de rétention plate au plafond de 1 heure à 1 an de délai simulé sur des objets uniques par pièce. Ce résultat est significatif parce qu'il isole deux problèmes structurels des approches purement RAG : une baseline flat_rag perd 30 points sur la récupération dépendante du contexte et 29 points sur le rejet des leurres DRM, ce qui valide respectivement la contribution du stockage multi-couches et du pipeline de consolidation. Pour les intégrateurs qui déploient des agents dans des environnements industriels ou domestiques complexes, cela met en évidence un angle mort majeur : un robot ou un agent LLM utilisant une récupération sémantique plate ne peut pas distinguer "le tiroir où j'ai vu les pinces hier dans cette pièce" de "les pinces en général". L'indexation spatiale couplée à la consolidation temporelle est ce qui permet à eMEM de maintenir des performances constantes sur de longues fenêtres simulées, là où les systèmes actuels dégradent. Le choix de benchmarker sur des paradigmes issus de la psychologie cognitive humaine est méthodologiquement solide : il rend les résultats comparables à la littérature sur la mémoire biologique, ce que des benchmarks surfaciques comme LoCoMo ou OpenEQA ne permettent pas. eMEM s'inscrit dans une vague de travaux sur la mémoire à long terme pour agents LLM, portée notamment par Generative Agents (Park et al., 2023) et MemGPT (Packer et al., 2023), qui ont posé les bases mais restent aveugles à la dimension spatiale, critique pour les robots physiques. L'environnement ProcTHOR-10K offre des scènes intérieures procédurales variées, mais les performances en transfert vers des environnements réels restent entièrement à démontrer : le sim-to-real gap s'applique autant aux systèmes de mémoire qu'aux politiques motrices. Le code du système et du benchmark est rendu public, ouvrant la voie à des évaluations indépendantes. Aucun partenariat industriel ni déploiement terrain n'est mentionné : c'est une contribution académique, pas un produit. Les étapes suivantes naturelles seraient de valider eMEM sur des plateformes embarquées à mémoire contrainte et de tester sa robustesse dans des scènes dynamiques où les objets se déplacent entre deux requêtes.

RecherchePaper
1 source
P³ : vers des agents incarnés polyvalents
2arXiv cs.RO 

P³ : vers des agents incarnés polyvalents

Des chercheurs ont publié la seconde version d'un article arXiv (2508.07033v2) présentant P³, un framework unifié pour agents incarnés (embodied agents) polyvalents. Le code et les données sont disponibles sur GitHub (fz-zsl/P3). Le framework s'attaque à trois limitations identifiées dans les approches existantes: la perception dynamique de l'environnement, l'usage flexible d'outils, et la planification multi-tâches complexe. Contrairement aux méthodes précédentes qui dépendent uniquement du retour d'agents-outils pour détecter les changements d'environnement et le statut des tâches, ce qui limite l'adaptabilité en temps réel et provoque une accumulation d'erreurs, P³ permet à l'agent de percevoir activement les informations pertinentes directement depuis l'environnement. Il autorise aussi l'utilisation d'outils sans nécessiter de retour systématique, et priorise dynamiquement les tâches urgentes en ajustant leur ordre d'exécution selon leurs dépendances. Les auteurs rapportent des expérimentations en conditions réelles, sans toutefois préciser dans le résumé les métriques chiffrées, le nombre de tâches testées ou les plateformes robotiques utilisées, ce qui invite à la prudence sur la portée exacte des gains démontrés. Cette contribution touche un point sensible du secteur des agents incarnés: l'écart persistant entre les benchmarks académiques et le déploiement pratique. La plupart des architectures actuelles pour robots ou agents autonomes traitent la perception, l'usage d'outils et la planification comme des modules largement indépendants, ce qui les rend fragiles dès que l'environnement change ou que plusieurs tâches concurrentes doivent être arbitrées en temps réel. En proposant un mécanisme de planification dynamique capable de réordonner les priorités selon les dépendances, P³ répond à un problème très concret pour les intégrateurs qui cherchent à déployer des agents capables de gérer plusieurs objectifs simultanément sans supervision humaine constante, un prérequis pour toute application industrielle ou domestique à grande échelle. Le travail s'inscrit dans la lignée des recherches sur les architectures agentiques pour l'IA incarnée, qui combinent perception, raisonnement et action physique ou logicielle, un domaine où rivalisent notamment les approches fondées sur de grands modèles multimodaux couplés à des outils externes. La publication d'une seconde version de l'article, après un premier dépôt, suggère une itération liée à des retours de relecture, signe habituel d'une maturation vers une publication en conférence. La mise à disposition du code sur GitHub permettra à la communauté de reproduire et d'étendre les résultats, étape nécessaire avant toute adoption au-delà du cadre académique.

RecherchePaper
1 source
ARIS : un système d'intelligence relationnelle à base d'agents pour les robots sociaux
3arXiv cs.RO 

ARIS : un système d'intelligence relationnelle à base d'agents pour les robots sociaux

Des chercheurs ont publié sur arXiv (arXiv:2605.00943) ARIS, un cadre IA agentique conçu pour doter les robots sociaux d'une mémoire relationnelle persistante et d'un raisonnement contextuel multi-tours. L'architecture combine trois composants : un raisonnement multimodal (vision, parole, action physique), un Social World Model structuré en graphe de connaissances qui cartographie les relations entre utilisateurs, et un pipeline de génération augmentée par récupération (RAG) garantissant une latence bornée même lorsque l'historique de dialogue atteint plusieurs milliers d'échanges. Le système a été évalué sur un robot Pepper de SoftBank Robotics dans un cadre de conversation dyadique. Une étude utilisateur portant sur 23 participants montre qu'ARIS obtient des scores significativement supérieurs à une baseline LLM classique sur quatre dimensions : intelligence perçue, animacité, anthropomorphisme et sympathie. L'apport principal réside dans l'architecture de persistance sociale : les systèmes actuels traitent chaque interaction comme stateless, sans mémoire des rencontres précédentes ni modélisation des liens entre individus. ARIS rompt avec ce paradigme via un graphe de connaissances capable de réidentifier les utilisateurs d'une session à l'autre et de raisonner sur leurs relations mutuelles, une propriété directement utile dans des contextes d'accueil, d'assistance en entreprise ou d'accompagnement médical. Le pipeline RAG résout par ailleurs un problème pratique souvent ignoré : maintenir des réponses pertinentes sans dégradation de latence lorsque l'historique s'allonge, une contrainte critique pour un déploiement réel. Les résultats d'une étude à N=23 restent modestes en termes de puissance statistique, et aucune métrique de latence absolue n'est communiquée dans l'abstract. Le travail s'inscrit dans la vague d'application des grands modèles de fondation à la robotique sociale, dans la lignée de PaLM-E (Google, 2023) et des architectures Vision-Language-Action (VLA) de Physical Intelligence. Sur le marché des robots sociaux, les acteurs clés restent SoftBank Robotics (Pepper, NAO), Furhat Robotics et, côté français, Enchanted Tools avec son robot Miroki. ARIS sera publié en open source à la parution de l'article, ce qui pourrait accélérer l'adoption par des intégrateurs cherchant une couche de mémoire sociale au-dessus de modèles LLM existants. La prochaine étape est une validation en environnement réel.

UELe framework ARIS, promis en open source à la parution, offre une couche de mémoire sociale réutilisable que des intégrateurs européens, notamment Enchanted Tools (Miroki) pour l'accueil et l'assistance, pourraient exploiter directement au-dessus de leurs modèles LLM existants.

RecherchePaper
1 source
Y-BotFrame : un cadre extensible d'agents incarnés pour robots quadrupèdes assistants
4arXiv cs.RO 

Y-BotFrame : un cadre extensible d'agents incarnés pour robots quadrupèdes assistants

Des chercheurs du groupe XDEI ont publié en juin 2026, via arXiv (2606.13049), les spécifications de Y-BotFrame, un framework open-source conçu pour transformer un robot quadrupède générique en assistant mobile autonome piloté par le langage naturel. L'architecture intègre trois modalités de perception en parallèle, microphone (commandes vocales), caméra RGB-D (vision) et LiDAR (cartographie 3D), et repose sur un grand modèle de langage (LLM) comme noyau cognitif central. Ce LLM prend en charge la compréhension de l'environnement, le raisonnement contextuel et la planification de tâches, puis convertit les instructions en langage naturel en unités d'action exécutables par le robot. Le système supprime le besoin d'une télécommande physique, remplacée par une interface voix et un retour visuel temps réel. Il s'agit pour l'instant d'une annonce académique accompagnée d'une vidéo de démonstration, pas d'un produit commercialisé. L'intérêt industriel de Y-BotFrame réside dans son architecture modulaire dite "plug-and-play" : chaque sous-système (navigation, perception, interaction) peut être remplacé ou mis à niveau indépendamment, ce qui abaisse le coût d'intégration pour des déploiements sectoriels spécifiques (inspection, logistique d'entrepôt, assistance en environnement structuré). La chaîne voix-vers-action sans contrôleur dédié réduit la barrière de qualification opérateur, un argument concret pour les déployeurs B2B. Reste que les métriques de performance concrètes, latence de la boucle LLM, robustesse en conditions dégradées, autonomie, sont absentes du résumé publié, ce qui est typique des papiers arXiv en phase préliminaire. Les robots quadrupèdes à LLM embarqué forment un segment en effervescence : Unitree (Go2, H1) et Boston Dynamics (Spot) dominent le hardware, tandis que des frameworks comme LeRobot (HuggingFace), Open-X Embodiment ou π₀ (Physical Intelligence) se disputent la couche logicielle d'apprentissage généraliste. Y-BotFrame se positionne non pas comme un modèle VLA entraîné, mais comme une couche d'orchestration système, plus proche de ROS 2 avec un LLM que d'un modèle de politique end-to-end. La prochaine étape logique pour l'équipe XDEI sera de publier des benchmarks sur un hardware cible identifié et des résultats de déploiement réel hors laboratoire.

RecherchePaper
1 source