RecherchearXiv cs.RO 16 octobre 2026

Un cadre à base d'agents pour robots proactifs avec mémoire d'assistance procédurale

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs du laboratoire DAVIAN Robotics publient sur arXiv (2610.21211) un cadre agentique destiné aux robots proactifs, c'est-à-dire capables d'aider un utilisateur avant toute demande explicite. L'architecture associe un prédicteur de tâches basé sur un VLM (modèle vision-langage) à un exécuteur VLA (vision-langage-action) qui réalise la tâche choisie. Le prédicteur lit, en plus de l'observation courante, une Procedural Assistance Memory (PAM). Celle-ci prend la forme d'une machine à états finis, avec des phases d'activité, des règles d'assistance propres à chaque état et des transitions déclenchées par des événements. Un second VLM, dit de réflexion, révise cette mémoire chaque jour à partir de la trace des interactions, sans mise à jour des poids ni réentraînement. L'évaluation porte sur cinq jours d'assistance de bureau. Les références sans mémoire restent conservatrices, avec un rappel limité sur les tâches proactives. Le système proposé obtient la meilleure précision, le meilleur rappel et le meilleur score F1, et le délai avant le premier déclenchement passe d'environ 5 secondes au jour 1 à 1 seconde au jour 5.

L'intérêt tient à ce que l'approche s'attaque à une ambiguïté bien connue de la proactivité : un même comportement observé peut traduire des besoins différents selon la personne, et déduire l'intention à partir du seul bon sens produit des aides indésirables. Les auteurs exploitent la régularité des routines quotidiennes pour lever ce doute. La personnalisation passe par une mémoire explicite, lisible et modifiable, plutôt que par du fine-tuning, ce qui évite un coût de réentraînement par utilisateur et rend le comportement du robot plus auditable. Pour un intégrateur, c'est une piste crédible pour des assistants de bureau, de soin ou de domicile qui doivent s'adapter sans équipe d'apprentissage dédiée. Le système corrige aussi un désalignement entre mémoire et routine après une seule mise à jour, ce qui suggère une adaptation rapide aux changements d'habitudes. Des réserves s'imposent toutefois : le protocole ne couvre que cinq jours, dans un cadre de bureau contrôlé, et le résumé ne donne ni effectif d'utilisateurs ni taille de l'ensemble de tâches. Rien n'indique non plus une généralisation à des environnements moins structurés. Il s'agit d'un résultat de recherche, pas d'un produit ni d'un déploiement.

Ce travail s'inscrit dans la montée en puissance des modèles VLA, déjà utilisés pour l'exécution de tâches de manipulation, et dans l'essor des agents LLM dotés de mémoire et de boucles de réflexion, ici transposés à la robotique physique. Il déplace l'effort de la capacité d'exécution vers la décision de quand et quoi faire, un point où les robots réactifs actuels restent limités. Les suites naturelles seraient des tests plus longs, avec plus d'utilisateurs et des routines moins répétitives, ainsi qu'une confrontation avec des environnements domestiques ou industriels. Une page de projet est disponible sur davian-robotics.github.io/PAM.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Une mémoire simple à base d'agents pour les politiques robotiques généralistes

Des chercheurs proposent SimpleARM (Simple Agentic Robot Memory), une couche de mémoire sans entraînement pour politiques robotiques généralistes gelées, décrite dans un preprint arXiv (v1). Le système fonctionne en quatre temps : à partir de l'instruction de la tâche, il détermine ce qu'il faut surveiller ; des outils perceptifs gelés maintiennent en ligne un état compact et typé ; un accès structuré ne récupère cet état que lorsqu'un sous-objectif proposé dépend de l'historique ; enfin, un ancrage dans la vue courante résout les entités rappelées avant l'exécution. L'évaluation porte sur RoboMME, un benchmark de 16 tâches de manipulation dont la réussite exige des informations qui ne sont plus visibles dans l'observation actuelle. Sur les 16 tâches et trois graines de politique, SimpleARM atteint 67,17 % de réussite moyenne, contre 44,51 % pour la meilleure base de comparaison non oracle. Des ablations appariées montrent que retirer l'état de relation, de référence, de progression ou d'itinéraire provoque de fortes chutes là où cet état est mobilisé, et épargne largement les autres tâches. L'enjeu dépasse le gain chiffré, soit environ 22,7 points. Les systèmes de mémoire visuelle actuels conservent ou compressent des observations passées, en supposant que l'historique utile se retrouve dans les images. Or le contrôle robotique dépend aussi d'un état issu de l'interaction, qu'aucune image ne représente explicitement : quel objet est lequel après avoir été déplacé, où en est la tâche, dans quel ordre exécuter une procédure. Les résultats plaident pour une mémoire conçue comme un état compact et pertinent pour la tâche, plutôt que comme un historique visuel étendu. Pour les intégrateurs et les équipes qui déploient des politiques VLA gelées, l'intérêt pratique est réel : la couche s'ajoute sans réentraînement, donc sans coût de collecte de données ni de fine-tuning. La spécificité des ablations renforce la crédibilité du mécanisme. Des réserves s'imposent toutefois : les résultats proviennent d'un benchmark, avec des tâches vraisemblablement simulées, sans preuve de déploiement réel, et l'écart avec les approches plus complexes reste à vérifier hors de RoboMME. Ce travail s'inscrit dans la montée des modèles généralistes gelés, de type VLA, qui excellent en réactivité mais restent faibles sur les tâches à longue portée dépendant du passé. Les approches concurrentes se répartissent entre conservation brute de trames, compression de contexte visuel et mémoires apprises de bout en bout, toutes exposées au même défaut : ne pas capter l'état implicite. SimpleARM adopte une orientation « agentique », où des outils spécialisés remplissent l'état plutôt que la politique elle-même. Les suites logiques seraient des tests sur robot physique, d'autres benchmarks de mémoire et une comparaison avec des politiques entraînées avec mémoire native. Le preprint n'annonce ni code, ni pilote, ni calendrier, et n'a pas encore été évalué par des pairs.

RecherchePaper

1 source

2arXiv cs.RO

HARBOR : un cadre d'apprentissage par renforcement pour robots à base d'agents

Des chercheurs ont publié en juin 2026 sur arXiv (arXiv:2606.08610) HARBOR, un framework agentique conçu pour automatiser les pipelines d'apprentissage par renforcement (RL) appliqués à la robotique. Partant d'une spécification de tâche et d'une base de code simulateur, le système prend en charge l'ensemble du workflow : configuration de l'environnement, conception des fonctions de récompense, entraînement de la politique et tuning des hyperparamètres. HARBOR décompose ces objectifs de haut niveau en étapes bornées confiées à des agents spécialisés, coordonnés via des commandes standardisées, des artefacts persistants et des portes d'exécution vérifiables. Il scale l'itération par essais parallèles décentralisés et capitalise sur l'expérience accumulée entre les runs. Le framework a été évalué sur 6 benchmarks couvrant 16 tâches de manipulation, locomotion et contrôle bimanuel dextère. Les politiques entraînées en simulation ont ensuite été transférées sur de vrais robots. L'intérêt principal de HARBOR tient à ce qu'il attaque directement le principal frein à l'adoption du RL en robotique industrielle : la charge d'ingénierie experte requise pour chaque nouvelle tâche. Reward shaping, sélection d'algorithmes, tuning fin des hyperparamètres représentent aujourd'hui des semaines de travail spécialisé avant d'obtenir une politique viable. En automatisant ce cycle de bout en bout à un coût pratique en tokens et en temps de calcul, HARBOR abaisse concrètement la barrière d'entrée pour les intégrateurs et les équipes R&D industrielles. Le fait que les politiques se transfèrent au robot réel adresse le "sim-to-real gap", un verrou persistant du secteur. Les résultats publiés indiquent que le framework égale ou surpasse les configurations par défaut sur les benchmarks testés, bien que les conditions exactes d'évaluation méritent d'être examinées dans le papier complet avant d'en tirer des conclusions généralisées. HARBOR s'inscrit dans une tendance émergente qui consiste à utiliser des LLMs comme orchestrateurs de pipelines ML complexes, dans la lignée de travaux comme Eureka (NVIDIA, 2023), qui utilisait GPT-4 pour générer automatiquement des reward functions via evolutionary search, ou des approches AutoRL de Berkeley et Google DeepMind. HARBOR semble aller plus loin en couvrant l'intégralité du workflow plutôt que le seul reward design. Les auteurs ne sont pas identifiés dans l'abstract disponible, et aucune affiliation institutionnelle ni application industrielle spécifique n'est mentionnée : il s'agit d'un preprint de recherche, pas d'un produit commercialisé. Les prochaines étapes naturelles concerneront l'intégration avec des simulateurs standards (Isaac Sim, MuJoCo), des validations sur des plateformes humanoïdes complexes, et une éventuelle ouverture du code.

RecherchePaper

1 source

3arXiv cs.RO

Y-BotFrame : un cadre extensible d'agents incarnés pour robots quadrupèdes assistants

Des chercheurs du groupe XDEI ont publié en juin 2026, via arXiv (2606.13049), les spécifications de Y-BotFrame, un framework open-source conçu pour transformer un robot quadrupède générique en assistant mobile autonome piloté par le langage naturel. L'architecture intègre trois modalités de perception en parallèle, microphone (commandes vocales), caméra RGB-D (vision) et LiDAR (cartographie 3D), et repose sur un grand modèle de langage (LLM) comme noyau cognitif central. Ce LLM prend en charge la compréhension de l'environnement, le raisonnement contextuel et la planification de tâches, puis convertit les instructions en langage naturel en unités d'action exécutables par le robot. Le système supprime le besoin d'une télécommande physique, remplacée par une interface voix et un retour visuel temps réel. Il s'agit pour l'instant d'une annonce académique accompagnée d'une vidéo de démonstration, pas d'un produit commercialisé. L'intérêt industriel de Y-BotFrame réside dans son architecture modulaire dite "plug-and-play" : chaque sous-système (navigation, perception, interaction) peut être remplacé ou mis à niveau indépendamment, ce qui abaisse le coût d'intégration pour des déploiements sectoriels spécifiques (inspection, logistique d'entrepôt, assistance en environnement structuré). La chaîne voix-vers-action sans contrôleur dédié réduit la barrière de qualification opérateur, un argument concret pour les déployeurs B2B. Reste que les métriques de performance concrètes, latence de la boucle LLM, robustesse en conditions dégradées, autonomie, sont absentes du résumé publié, ce qui est typique des papiers arXiv en phase préliminaire. Les robots quadrupèdes à LLM embarqué forment un segment en effervescence : Unitree (Go2, H1) et Boston Dynamics (Spot) dominent le hardware, tandis que des frameworks comme LeRobot (HuggingFace), Open-X Embodiment ou π₀ (Physical Intelligence) se disputent la couche logicielle d'apprentissage généraliste. Y-BotFrame se positionne non pas comme un modèle VLA entraîné, mais comme une couche d'orchestration système, plus proche de ROS 2 avec un LLM que d'un modèle de politique end-to-end. La prochaine étape logique pour l'équipe XDEI sera de publier des benchmarks sur un hardware cible identifié et des résultats de déploiement réel hors laboratoire.

RecherchePaper

1 source

4arXiv cs.RO

CarryOn : un cadre à double boucle pour une assistance robotique personnalisée et fiable

CarryOn, un « harnais à double boucle » décrit dans un preprint arXiv (2610.21453v1), vise à greffer personnalisation et fiabilité d'exécution sur une politique VLA (vision-langage-action) généraliste dont les poids restent gelés. La boucle de planification conserve un contexte persistant au niveau de l'utilisateur et de la scène, recoupé en continu avec les nouvelles observations et révisé par l'interaction, afin de décomposer une consigne comme « fais-moi un sandwich » selon les préférences connues plutôt que par une solution générique. La boucle d'exécution supervise les déroulés de la politique et filtre les actions susceptibles de provoquer un contact dangereux. En cas d'échec physique, elle déclenche des compétences de récupération reposant sur du contrôle classique, affinées par réflexion sur les échecs précédents. Les tests ont été menés sur un robot réel et en simulation. Le taux de violations de sécurité d'une VLA déjà affinée pour la sécurité passe de 52,6 % à 6,1 %, et le taux de réussite des récupérations de 13 % à 80 % lorsque les compétences raffinées sont réutilisées. Les sous-tâches sélectionnées respectent les préférences selon les utilisateurs et les scènes. L'intérêt tient à l'approche : plutôt que de réentraîner un modèle toujours plus gros, les auteurs ajoutent une couche de supervision externe, modulaire et auditable. C'est pertinent pour les intégrateurs et décideurs B2B, car l'« assurance de sécurité explicable » est un prérequis de déploiement que les VLA end-to-end peinent à fournir. Le chiffre de 52,6 % de violations, même pour un modèle spécifiquement affiné, rappelle l'écart entre démonstration et fiabilité réelle. Le gain de 13 % à 80 % en récupération montre qu'une boîte à outils de reprises classiques, enrichie par l'expérience, peut compenser les erreurs résiduelles des politiques apprises. Il faut toutefois rester prudent : il s'agit d'un preprint non évalué par les pairs, les résumés ne précisent ni la VLA de base, ni le robot, ni le nombre d'essais ou la diversité des tâches. Le « 80 % » vaut pour des compétences déjà raffinées, pas pour des situations inédites. Aucun déploiement industriel n'est annoncé. Le travail s'inscrit dans une tendance où les VLA généralistes de type Pi-0, Helix ou GR00T permettent la manipulation en monde ouvert, mais restent peu personnalisables et peu prévisibles face aux contraintes de sécurité. Il rejoint les architectures hiérarchiques qui associent un planificateur à base de modèles de langage, des boucliers de sécurité (safety shields) et des primitives de contrôle, une voie que suivent aussi plusieurs acteurs de la robotique domestique et de service. La prochaine étape sera de tester CarryOn sur davantage de plateformes, de tâches longues et de situations imprévues, avec des protocoles de comparaison transparents. L'enjeu est de savoir si la surcouche reste efficace sans surcoût de latence ni dépendance à une scène bien instrumentée.

RecherchePaper

1 source