RecherchearXiv cs.RO 16 octobre 2026

CarryOn : un cadre à double boucle pour une assistance robotique personnalisée et fiable

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

CarryOn, un « harnais à double boucle » décrit dans un preprint arXiv (2610.21453v1), vise à greffer personnalisation et fiabilité d'exécution sur une politique VLA (vision-langage-action) généraliste dont les poids restent gelés. La boucle de planification conserve un contexte persistant au niveau de l'utilisateur et de la scène, recoupé en continu avec les nouvelles observations et révisé par l'interaction, afin de décomposer une consigne comme « fais-moi un sandwich » selon les préférences connues plutôt que par une solution générique. La boucle d'exécution supervise les déroulés de la politique et filtre les actions susceptibles de provoquer un contact dangereux. En cas d'échec physique, elle déclenche des compétences de récupération reposant sur du contrôle classique, affinées par réflexion sur les échecs précédents. Les tests ont été menés sur un robot réel et en simulation. Le taux de violations de sécurité d'une VLA déjà affinée pour la sécurité passe de 52,6 % à 6,1 %, et le taux de réussite des récupérations de 13 % à 80 % lorsque les compétences raffinées sont réutilisées. Les sous-tâches sélectionnées respectent les préférences selon les utilisateurs et les scènes.

L'intérêt tient à l'approche : plutôt que de réentraîner un modèle toujours plus gros, les auteurs ajoutent une couche de supervision externe, modulaire et auditable. C'est pertinent pour les intégrateurs et décideurs B2B, car l'« assurance de sécurité explicable » est un prérequis de déploiement que les VLA end-to-end peinent à fournir. Le chiffre de 52,6 % de violations, même pour un modèle spécifiquement affiné, rappelle l'écart entre démonstration et fiabilité réelle. Le gain de 13 % à 80 % en récupération montre qu'une boîte à outils de reprises classiques, enrichie par l'expérience, peut compenser les erreurs résiduelles des politiques apprises. Il faut toutefois rester prudent : il s'agit d'un preprint non évalué par les pairs, les résumés ne précisent ni la VLA de base, ni le robot, ni le nombre d'essais ou la diversité des tâches. Le « 80 % » vaut pour des compétences déjà raffinées, pas pour des situations inédites. Aucun déploiement industriel n'est annoncé.

Le travail s'inscrit dans une tendance où les VLA généralistes de type Pi-0, Helix ou GR00T permettent la manipulation en monde ouvert, mais restent peu personnalisables et peu prévisibles face aux contraintes de sécurité. Il rejoint les architectures hiérarchiques qui associent un planificateur à base de modèles de langage, des boucliers de sécurité (safety shields) et des primitives de contrôle, une voie que suivent aussi plusieurs acteurs de la robotique domestique et de service. La prochaine étape sera de tester CarryOn sur davantage de plateformes, de tâches longues et de situations imprévues, avec des protocoles de comparaison transparents. L'enjeu est de savoir si la surcouche reste efficace sans surcoût de latence ni dépendance à une scène bien instrumentée.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

PARAssist : un cadre pour une assistance robotique personnalisée et adaptative face aux requêtes ambiguës

Une équipe de recherche présente PARAssist (Personalized and Adaptive Robotic Assistance), une architecture logicielle décrite dans un article publié sur arXiv sous la référence 2608.24905v1 (catégorie cross-listing), conçue pour les robots de service confrontés à des requêtes ambiguës. Le système s'appuie sur des modèles vision-langage pour évaluer les exigences physiques et cognitives des tâches demandées, puis apprend de façon passive les préférences de l'utilisateur en comparant les tâches qu'il accomplit seul à celles qu'il délègue au robot. Lorsqu'une requête ambiguë survient, PARAssist génère des candidats de tâches à partir de l'historique des actions, activités, déplacements, conversations et demandes de l'utilisateur, croisé avec l'état courant de la personne et de son environnement, avant de confronter ces candidats au modèle de préférence appris pour suggérer les options d'assistance les plus pertinentes. Les expériences menées par les auteurs montrent que cette personnalisation permet d'aligner la désambiguïsation sur les besoins exprimés lors des demandes antérieures, et une étude d'ablation confirme l'apport de chacun des composants principaux. Ce travail s'attaque à un point aveugle récurrent des robots d'assistance : la plupart des systèmes actuels traitent les commandes comme explicites ou s'appuient sur des profils utilisateurs configurés manuellement, alors que les demandes réelles sont souvent vagues et dépendent du contexte. En démontrant qu'un modèle de préférence peut s'apprendre passivement, sans questionnaire ni calibration explicite, PARAssist ouvre une piste pour réduire la charge de configuration des robots destinés aux environnements domestiques ou aux soins à la personne. Il s'agit toutefois d'une contribution de recherche évaluée expérimentalement, sans indication de déploiement réel ni de partenariat industriel dans l'article, une nuance importante pour les intégrateurs qui chercheraient une solution prête à l'emploi. Cette publication s'inscrit dans un courant académique plus large qui cherche à combiner modèles vision-langage et apprentissage de préférences pour la robotique de service, un axe distinct des annonces commerciales de robots humanoïdes centrées sur la dextérité manipulatoire. Aucun acteur industriel, français ou étranger, n'est cité dans l'article, qui reste à ce stade un travail de recherche expérimentale sans calendrier de déploiement ni pilote annoncé. Les prochaines étapes attendues pour ce type d'approche porteraient sur des tests en conditions réelles avec des utilisateurs et une intégration à des plateformes robotiques de service existantes.

RecherchePaper

1 source

2arXiv cs.RO

COOL : apprentissage de l'appartenance des objets guidé par la curiosité pour une assistance robotique personnalisée

Des chercheurs présentent COOL (Curiosity-Driven Object Ownership Learning), un cadre logiciel pour robots qui apprend de façon autonome à qui appartiennent les objets d'un environnement et entretient une mémoire spatiale à long terme de ce dernier. Publié sur arXiv (2610.09358v1), le travail vise des requêtes en langage naturel du type « Où est mon sac à dos ? » ou « Trouve ma bouteille ». Le robot doit y raisonner simultanément sur des instances d'objets, des personnes, des lieux et des relations de propriété. COOL infère ces relations à partir d'observations quotidiennes d'interactions entre humains et objets, car la propriété n'est presque jamais annotée explicitement. Pour garder sa mémoire à jour, le système emploie une stratégie de collecte de données pilotée par un agent et guidée par la curiosité. Elle envoie le robot vers les emplacements les plus informatifs afin de rafraîchir les observations devenues obsolètes. Les auteurs affirment l'avoir validé par des expériences hors ligne, des études d'ablation et des évaluations en conditions réelles. Le résumé ne donne ni chiffres de performance, ni plateforme robotique, ni taille de l'environnement testé. L'enjeu dépasse la navigation vers un objet : il s'agit de passer de la reconnaissance d'objets à la compréhension sociale de l'espace. Les assistants domestiques, les robots de bureau ou d'hôpital doivent savoir que telle veste appartient à telle personne, sans qu'on le leur ait expliqué. Le travail s'attaque aussi à un point faible des cartes sémantiques statiques : dans un lieu occupé, les objets bougent, et une mémoire figée devient vite fausse. Faire de la fraîcheur de l'information un critère explicite de planification, plutôt qu'un sous-produit de l'exploration, est une piste utile pour tout déploiement long en environnement non contrôlé. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs, sans résultats chiffrés visibles dans le résumé, et la part des tests réels dans la validation n'est pas précisée. Aucun produit ni déploiement commercial n'est annoncé. On est au stade de la recherche. Le contexte est celui de la robotique de service, où la personnalisation devient un sujet central à mesure que les modèles vision-langage et les agents à base de grands modèles de langage s'intègrent aux piles de navigation. Les travaux précédents sur les cartes sémantiques, les graphes de scène 3D et la navigation par objet traitaient surtout la catégorie d'un objet (« une bouteille »), rarement son propriétaire. COOL se place sur ce terrain de la mémoire persistante et de la « personnalisation » des assistants. Les prochaines étapes naturelles seraient des évaluations plus longues, avec plusieurs occupants et des changements d'habitudes, ainsi qu'un examen des questions de vie privée que soulève l'observation continue des comportements humains.

RecherchePaper

1 source

3arXiv cs.RO

LIBERO-PeRM : un banc d'essai pour la manipulation robotique personnalisée

LIBERO-PeRM, publié sur arXiv (2610.22372), est un benchmark en simulation consacré à la manipulation robotique personnalisée (PeRM). Il vise à séparer l'accomplissement de la tâche de la satisfaction des préférences de l'utilisateur, ce que les benchmarks de manipulation généralistes ne font pas. Construit sur LIBERO, il utilise un pipeline procédural qui génère des démonstrations appariées, avec et sans préférence. Il comprend cinq suites de tâches, soit 312 tâches, avec des démonstrations de haute qualité, des métadonnées riches et des métriques dédiées de satisfaction des préférences. Les préférences couvertes sont observables et exprimables en langage naturel: style de mouvement, choix de compétence (skill) et profil d'utilisateur. Elles sont instanciables sans modifier l'objectif de la tâche, et leur évaluation est automatique. Le benchmark pose cinq questions: le suivi de préférences en zero-shot, l'apprentissage d'une préférence unique à partir de démonstrations, l'efficacité en fonction du nombre de démonstrations, la généralisation à d'autres agencements et tâches, et enfin la composition de préférences et la gestion des conflits entre elles. Le code, les jeux de données et des démos sont publiés sur la page du projet. Les résultats sont nuancés. Les politiques VLA (vision-language-action) actuelles échouent à se personnaliser en zero-shot: un simple prompt en langage naturel ne suffit pas à infléchir leur comportement. Le fine-tuning supervisé (SFT) rend en revanche les préférences apprenables. L'entraînement mixte, qui combine données avec et sans préférence, conserve mieux les comportements sans préférence que l'adaptation séquentielle. Il améliore aussi les performances avec des prompts contextuels par rapport à un entraînement limité aux préférences, mais peut affaiblir l'apprentissage des préférences de mouvement. La généralisation des préférences, leur décomposition et la résolution des conflits restent difficiles. Pour les intégrateurs et les décideurs qui visent le domestique ou les environnements de services, le message est net: la personnalisation ne vient pas gratuitement avec la généralisation des VLA. Elle demande des données et des protocoles d'adaptation spécifiques. Les résultats sont obtenus en simulation uniquement, et l'écart avec le monde réel n'est pas mesuré. Ce travail s'inscrit dans la lignée de LIBERO, benchmark de simulation très utilisé pour évaluer les politiques d'apprentissage tout au long de la vie et les VLA. Il en déplace l'attention de la réussite de la tâche vers la manière de l'exécuter. Les acteurs qui poussent les modèles généralistes, comme Physical Intelligence avec Pi-0, Figure avec Helix ou Nvidia avec GR00T, mettent surtout en avant l'étendue des compétences et peu la personnalisation à l'échelle d'un utilisateur. L'article ne nomme aucun modèle précis dans son résumé, et les chiffres détaillés ne sont pas disponibles ici. La suite logique est une validation sur robots réels et l'intégration de mémoire ou d'adaptation en ligne, indispensables pour une adoption domestique.

RecherchePaper

1 source

4arXiv cs.RO

Un cadre à base d'agents pour robots proactifs avec mémoire d'assistance procédurale

Des chercheurs du laboratoire DAVIAN Robotics publient sur arXiv (2610.21211) un cadre agentique destiné aux robots proactifs, c'est-à-dire capables d'aider un utilisateur avant toute demande explicite. L'architecture associe un prédicteur de tâches basé sur un VLM (modèle vision-langage) à un exécuteur VLA (vision-langage-action) qui réalise la tâche choisie. Le prédicteur lit, en plus de l'observation courante, une Procedural Assistance Memory (PAM). Celle-ci prend la forme d'une machine à états finis, avec des phases d'activité, des règles d'assistance propres à chaque état et des transitions déclenchées par des événements. Un second VLM, dit de réflexion, révise cette mémoire chaque jour à partir de la trace des interactions, sans mise à jour des poids ni réentraînement. L'évaluation porte sur cinq jours d'assistance de bureau. Les références sans mémoire restent conservatrices, avec un rappel limité sur les tâches proactives. Le système proposé obtient la meilleure précision, le meilleur rappel et le meilleur score F1, et le délai avant le premier déclenchement passe d'environ 5 secondes au jour 1 à 1 seconde au jour 5. L'intérêt tient à ce que l'approche s'attaque à une ambiguïté bien connue de la proactivité : un même comportement observé peut traduire des besoins différents selon la personne, et déduire l'intention à partir du seul bon sens produit des aides indésirables. Les auteurs exploitent la régularité des routines quotidiennes pour lever ce doute. La personnalisation passe par une mémoire explicite, lisible et modifiable, plutôt que par du fine-tuning, ce qui évite un coût de réentraînement par utilisateur et rend le comportement du robot plus auditable. Pour un intégrateur, c'est une piste crédible pour des assistants de bureau, de soin ou de domicile qui doivent s'adapter sans équipe d'apprentissage dédiée. Le système corrige aussi un désalignement entre mémoire et routine après une seule mise à jour, ce qui suggère une adaptation rapide aux changements d'habitudes. Des réserves s'imposent toutefois : le protocole ne couvre que cinq jours, dans un cadre de bureau contrôlé, et le résumé ne donne ni effectif d'utilisateurs ni taille de l'ensemble de tâches. Rien n'indique non plus une généralisation à des environnements moins structurés. Il s'agit d'un résultat de recherche, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la montée en puissance des modèles VLA, déjà utilisés pour l'exécution de tâches de manipulation, et dans l'essor des agents LLM dotés de mémoire et de boucles de réflexion, ici transposés à la robotique physique. Il déplace l'effort de la capacité d'exécution vers la décision de quand et quoi faire, un point où les robots réactifs actuels restent limités. Les suites naturelles seraient des tests plus longs, avec plus d'utilisateurs et des routines moins répétitives, ainsi qu'une confrontation avec des environnements domestiques ou industriels. Une page de projet est disponible sur davian-robotics.github.io/PAM.

RecherchePaper

1 source