RecherchearXiv cs.RO 15 juillet 2026

ABot-AgentOS : un système d'exploitation robotique généraliste doté d'une mémoire multimodale à long terme

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

ABot-AgentOS, un système d'exploitation générique pour agents robotiques, vient d'être détaillé dans un article arXiv (2607.10350v1, juillet 2026). Il se positionne au-dessus des contrôleurs bas niveau existants et ajoute une couche délibérative chargée de la planification conditionnée par la scène, de l'exécution de compétences isolées par contexte, de la vérification multi-étapes, de la mémoire multimodale et de la collaboration edge-cloud. Pour l'évaluer, les auteurs introduisent EmbodiedWorldBench, un benchmark exécutable couvrant 16 scènes intérieures, extérieures et hybrides, quatre niveaux de difficulté et plus de 200 tâches (navigation, recherche d'objets, dialogue avec des PNJ, événements dynamiques), avec un scoring ancré sur les traces d'exécution réelles. Le système repose sur une "Universal Multi-modal Graph Memory", une mémoire persistante qui transforme dialogues, observations visuelles, contexte spatial, relations temporelles et traces de tâches en nœuds et arêtes typés. Une boucle d'auto-amélioration pilotée par les échecs promeut les correctifs générés uniquement vers de futurs jeux d'évaluation, pour éviter toute fuite de vérité terrain. Sur les benchmarks de mémoire, la version statique atteint 87,5 sur LoCoMo, 59,9 sur OpenEQA EM-EQA, 88,6 sur Mem-Gallery et 76,5 (Acc@All) sur NExT-QA ; l'auto-évolution pousse ces scores à 88,7, 60,4 et 89,0 respectivement.

L'enjeu dépasse la simple perception ou prédiction d'action déjà couverte par les modèles VLA (Pi-0, GR00T N2, Helix) : il s'agit de doter les robots d'une mémoire persistante et auditable capable de raisonner sur le long terme, un manque identifié comme un frein à l'autonomie réelle en environnement complexe. Pour les intégrateurs, l'intérêt d'une couche OS générique tient à la promesse d'exécution cross-embodiment, potentiellement réutilisable entre plateformes robotiques différentes. Le scoring ancré sur les traces d'exécution répond directement à une critique récurrente du secteur, celle des démonstrations sélectionnées sans validation vérifiable. Il faut toutefois noter que les résultats ne portent que sur un "sous-ensemble initial" d'EmbodiedWorldBench, sans validation indépendante à ce stade.

Ce travail s'inscrit dans la suite logique des modèles VLA qui ont résolu une bonne partie de la perception et de la prédiction d'action, mais laissent en jachère la mémoire et le raisonnement à long horizon. Aucun acteur français ou européen n'apparaît dans cette publication, purement académique et publiée en preprint. Les prochaines étapes annoncées consistent à étendre l'évaluation à l'ensemble du benchmark EmbodiedWorldBench, la boucle d'auto-évolution actuelle n'ayant pour l'instant été validée que sur des correctifs de mémoire ciblés et progressivement promus.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

MALLVI : un cadre multi-agents pour la manipulation robotique généralisée et intégrée

Une équipe de chercheurs a publié MALLVI (Multi-Agent Large Language and Vision Interface), un framework d'orchestration multi-agents pour la manipulation robotique généraliste, dont la cinquième révision vient d'être déposée sur arXiv (2602.16898). Le système prend en entrée une instruction en langage naturel et une image de la scène, puis génère des actions atomiques exécutables pour un bras manipulateur. L'architecture coordonne quatre agents spécialisés: un Decomposer chargé de découper la tâche en sous-étapes, un Localizer pour la détection et la localisation visuelle, un Thinker pour le raisonnement et la planification de haut niveau, et un Reflector dédié à la détection d'erreurs et à la récupération ciblée. Un cinquième agent optionnel, le Descriptor, maintient une mémoire visuelle de l'état initial de l'environnement. La boucle fermée est pilotée par un modèle de vision-langage (VLM) qui évalue les retours environnementaux après chaque action et décide si l'étape doit être rejouée ou si le robot peut passer à la suivante. Les expériences en simulation et en environnement réel indiquent des gains de taux de réussite sur des tâches de manipulation zero-shot par rapport aux approches classiques en boucle ouverte. Ce que MALLVI cherche à résoudre est un problème structurel bien documenté de la manipulation pilotée par LLM: les systèmes open-loop, qui n'interrogent pas l'état réel du monde après chaque action, accumulent les erreurs sans possibilité de correction en cours d'exécution. L'apport du Reflector est notable sur ce point, puisque plutôt que de déclencher une replanification complète en cas d'échec, il identifie les agents pertinents à réactiver, limitant la latence et la consommation de tokens. Pour les intégrateurs et les équipes R&D, l'intérêt réside dans la capacité zero-shot du système, sans fine-tuning ni prompt engineering spécifique à chaque tâche. Toutefois, les métriques de taux de succès restent difficiles à contextualiser faute d'indications précises sur le nombre de DOF du bras utilisé, la complexité des scènes de test, ou les conditions d'occultation. Le framework s'inscrit dans un courant très actif depuis 2023 autour de l'utilisation des grands modèles pour la planification robotique, avec des travaux fondateurs comme SayCan (Google DeepMind) et Code-as-Policies, et des architectures VLA (Vision-Language-Action) récentes comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. La spécificité de MALLVI est son découpage en agents modulaires plutôt qu'un modèle monolithique, une approche qui facilite le débogage et la spécialisation par composant. Le code source est disponible publiquement sur GitHub (iman1234ahmadi/MALLVI). Aucun partenariat industriel ni déploiement commercial n'est annoncé à ce stade, ce qui en fait pour l'instant une contribution académique à suivre davantage qu'un produit opérationnel.

RechercheOpinion

1 source

2arXiv cs.RO

Coordination du changement de tâches dans un système multi-agents robotique à l'aide d'arbres de comportement

L'équipe ThundeRatz de l'Universidade de São Paulo a publié en juin 2026 un article (arXiv:2606.01170) présentant une nouvelle architecture de coordination pour ses robots de football miniature, dans le cadre de la catégorie IEEE Very Small Size Soccer (VSSS). Ce format de compétition met en jeu deux équipes de trois robots chacune, évoluant dans un environnement particulièrement dynamique. Pour gérer les changements de rôle et de comportement en temps réel, l'équipe a remplacé son système historique à base d'automates finis (FSM, Finite State Machine) par une architecture fondée sur des arbres de comportement (Behavior Trees, BT). La comparaison entre les deux approches a été conduite sur le simulateur FIRASim, puis validée lors d'une compétition académique réelle. Le passage FSM vers BT représente un choix architectural significatif dans le domaine de la coordination multi-agents en robotique. Les FSM sont réputés fragiles à mesure que le nombre d'états croît : chaque nouvelle transition requiert une mise à jour manuelle de l'ensemble du graphe, ce qui génère rapidement un code difficile à maintenir dans des environnements où les comportements doivent être recomposés dynamiquement. Les Behavior Trees offrent, à l'inverse, une structure modulaire et hiérarchique qui facilite le changement de tâche en cours d'exécution. Appliqué au football multi-robots, cela signifie une meilleure réactivité aux situations de jeu imprévues, attaquant, défenseur, gardien pouvant échanger leurs rôles de manière coordonnée sans régression comportementale. Ce type de résultat, même dans un cadre académique et à petite échelle, alimente directement les travaux sur la coordination de flottes de robots industriels (AMR, bras collaboratifs) où la commutation de tâche est un point de défaillance récurrent. La compétition VSSS existe depuis plusieurs années sous l'égide de l'IEEE et constitue un banc d'essai reconnu en robotique collective, notamment en Amérique du Sud. ThundeRatz est l'une des équipes historiques du circuit, et ses publications alimentent régulièrement la littérature sur la coordination embarquée à faibles ressources. Sur le plan concurrentiel, les approches BT sont désormais adoptées par plusieurs frameworks robotiques majeurs, dont ROS 2 via BehaviorTree.CPP, ainsi que par des acteurs industriels comme Boston Dynamics pour la gestion comportementale de Spot. L'article ne détaille pas de métriques de performance chiffrées dans son résumé, ce qui rend difficile toute comparaison directe avec d'autres travaux ; les résultats complets restent à consulter dans le corps du papier.

RecherchePaper

1 source

3arXiv cs.RO

STABLE : génération d'agencements de table prêts à la simulation via un système dual sémantique-physique

Une équipe de chercheurs a publié STABLE (arXiv:2605.16137), un système de génération automatique de scènes de table prêtes à la simulation à partir d'instructions textuelles. Le système repose sur une architecture duale composée de deux modules complémentaires : un Semantic Reasoner, un LLM fine-tuné sur un dataset structuré de scènes de table qui produit des dispositions d'objets grossières depuis les consignes de tâche, et un Physics Corrector, un modèle de débruitage basé sur les flux physiques qui calcule des mises à jour de pose pour corriger les arrangements invalides. Les deux modules s'alternent selon un paradigme de génération progressive, en étendant la scène des objets critiques pour la tâche vers les objets d'arrière-plan. Les expériences montrent que STABLE génère des scènes conformes aux instructions tout en améliorant significativement la validité physique par rapport aux méthodes existantes. Le problème ciblé est concret et documenté : lorsqu'on confie la génération de layouts 3D à des LLMs seuls, les objets se retrouvent fréquemment en collision ou en suspension, rendant les scènes inutilisables pour l'entraînement robotique. Pour les équipes travaillant sur des pipelines sim-to-real en manipulation de table, cette limite impose un post-traitement manuel coûteux. L'apport de STABLE est de séparer le raisonnement sémantique (ce qui doit être présent et où, logiquement) du raisonnement physique (comment corriger les positions pour que la scène soit simulable), plutôt que de charger un seul modèle des deux. C'est une réponse directe au sim-to-real gap dans la phase de génération de données, un verrou bien identifié dans la communauté Embodied AI. Cette publication s'inscrit dans une tendance plus large autour de la génération automatique d'environnements de simulation pour l'apprentissage robot, où des approches comme LayoutGPT avaient déjà montré que les LLMs raisonnent mal en coordonnées spatiales. STABLE ne revendique pas de déploiement industriel : c'est une contribution de recherche, avec des résultats expérimentaux sur benchmarks mais sans pipeline productionisé ni timeline commerciale annoncée. Les prochaines étapes naturelles seraient l'extension au-delà des surfaces planes et l'intégration dans des frameworks de génération de données pour la manipulation, comme ceux utilisés par les équipes travaillant sur des modèles VLA (Vision-Language-Action).

RecherchePaper

1 source

4arXiv cs.RO

RoboMME : évaluation et compréhension de la mémoire pour les politiques robotiques généralistes

Une équipe de chercheurs a publié RoboMME (Robotic Multi-Memory Evaluation), un benchmark standardisé à grande échelle destiné à évaluer les modèles VLA (vision-language-action) sur des tâches de manipulation robotique nécessitant de la mémoire à long horizon. Le benchmark comprend 16 tâches construites selon une taxonomie en quatre catégories : mémoire temporelle, spatiale, des objets et procédurale, couvrant des scénarios comme le comptage d'actions répétées ou la manipulation d'objets temporairement occultés. Les auteurs ont également développé 14 variantes de VLA augmentées de mémoire, toutes bâties sur le backbone pi0.5 de Physical Intelligence, et les ont évaluées selon différentes stratégies d'intégration mémorielle. L'absence d'un cadre d'évaluation standardisé était jusqu'ici un frein majeur pour la recherche sur la mémoire dans les VLA généralistes : chaque équipe testait ses mécanismes dans des conditions ad hoc, rendant toute comparaison rigoureuse impossible. RoboMME comble ce vide en permettant, pour la première fois, de mesurer systématiquement comment différentes représentations mémorielles (états cachés récurrents, mémoire externe, fenêtre de contexte longue) se comportent sur un spectre de tâches hétérogènes. La conclusion principale est nuancée : l'efficacité d'une architecture mémoire est fortement dépendante de la tâche, chaque approche présentant des avantages distincts selon la catégorie, ce qui remet en cause l'idée qu'une solution universelle serait à portée à court terme. Pour les intégrateurs et les décideurs B2B, cela signifie concrètement que le choix du mécanisme mémoriel devra rester spécifique au cas d'usage, sans recette générique applicable. Ce benchmark s'inscrit dans la montée en puissance des VLA généralistes, portés par des modèles comme pi0 et pi0.5 de Physical Intelligence (levée de 400 millions de dollars en 2024), OpenVLA, Octo ou RoboVLMs, qui cherchent tous à transférer les capacités des grands modèles de langage à la manipulation physique. D'autres benchmarks comme LIBERO, RoboSuite ou MetaWorld couvrent déjà l'évaluation générale des VLA, mais RoboMME se distingue par son focus explicite sur la mémoire à long horizon, un aspect jusqu'ici systématiquement sous-évalué dans ces environnements. Les prochaines étapes probables incluent l'adoption de RoboMME comme référence communautaire dans les pipelines d'évaluation des grands labs robotiques, et le développement d'architectures mémoire capables de généraliser entre catégories de tâches sans sacrifier les performances spécialisées.

RechercheActu

1 source