RecherchearXiv cs.RO 7 septembre 2026

Emballer à ma façon : collaboration homme-robot triadique pour un emballage autonome personnalisé

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche présente dans un article publié le 4 septembre 2026 sur arXiv (2609.04620) une étude sur le rangement autonome personnalisé par robot, où les préférences de l'utilisateur ne peuvent pas être déduites de la seule géométrie de la scène. Les chercheurs testent une collaboration triadique impliquant un résident, un médiateur de correction et un robot, en comparant deux formes de médiation : un expert humain en téléopération contre un agent vocal. L'étude, menée via un protocole nommé Show-Correct-Generalize, évalue trois catégories de tâches, protection, compacité et regroupement, en mesurant la capacité du robot à corriger son comportement puis à généraliser cette correction lorsque les objets environnants sont réarrangés. Résultat central : la médiation par agent vocal obtient des performances comparables à celle de l'expert humain sur deux des trois catégories de préférences testées, malgré des instructions plus courtes et moins détaillées. Les deux modes de médiation sont jugés aussi faciles à utiliser l'un que l'autre, mais l'expert humain reste perçu comme plus fiable par les utilisateurs.

Ce résultat intéresse directement les intégrateurs et les décideurs travaillant sur l'autonomie domestique et logistique des robots, car il attaque un goulot d'étranglement connu : le déploiement à grande échelle de robots personnalisables reste bridé par la nécessité d'un téléopérateur expert pour interpréter les préférences humaines. Si un agent vocal peut approcher les performances humaines sur la correction et la généralisation de préférences, cela ouvre la voie à des déploiements sans supervision experte continue, réduisant le coût opérationnel du dernier kilomètre de personnalisation. L'étude reste toutefois nuancée : elle documente aussi les limites actuelles, notamment sur la fiabilité perçue et la généralisation dans certains cas, ce qui tempère l'idée d'un problème déjà résolu.

Ce travail s'inscrit dans la lignée des recherches sur les architectures vision-langage-action (VLA) et l'apprentissage de préférences pour la manipulation robotique, un axe où des acteurs comme les développeurs de Pi-0 ou GR00T N2 explorent aussi l'interaction naturelle homme-robot pour des tâches ménagères ou industrielles. L'article ne mentionne pas de déploiement commercial ni de partenaire industriel identifié, il s'agit d'une étude utilisateur en laboratoire destinée à orienter les futures architectures de médiation vocale pour l'autonomie personnalisée, avec la fiabilité perçue et la généralisation des préférences comme prochains chantiers de recherche.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

SAGE : un gradient conforme à la sécurité pour la collaboration homme-robot

Publié le 21 septembre 2026 sur arXiv (2609.21130), l'article présente SAGE (Safety-Aligned Gradient Enforcement), un cadre de renforcement multi-agent pour la collaboration homme-robot, qui combine des politiques de décision arborescentes auditables avec un filtrage par fonctions de barrière de contrôle (CBF) assurant la sécurité physique. Deux mécanismes le composent : SAIL, qui internalise les contraintes de sécurité via une carte de proposition différentiable tout en gardant le programme quadratique CBF exact à l'exécution, et TALO, qui aligne les mises à jour individuelles des agents sur une référence d'équipe via une correction de Lyapunov. Testé avec deux robots humanoïdes et un partenaire humain en conditions physiques réelles, SAGE atteint en simulation, sur neuf scénarios, un taux de réussite de 71,0% pour seulement 0,5 collision par millier de pas. Les ablations révèlent qu'un filtrage CBF seul réduit les collisions de 98,5% mais fait chuter la réussite de 67,3% à 59,3%, alors que SAIL réduit les violations de 48,8% et les corrections d'exécution de 85,2%, et TALO réduit l'écart de cohérence des mises à jour de 50,8%. Le compromis mis en évidence par l'ablation CBF illustre une tension centrale pour les intégrateurs déployant des robots en espace partagé avec des humains : moins de collisions, mais une réussite en repli de huit points. Un filtre de sécurité générique dégrade donc la performance de tâche. En montrant que l'internalisation différentiable des contraintes et une coordination explicite entre agents limitent ce compromis, SAGE argumente pour des architectures de sécurité co-conçues avec la politique plutôt qu'ajoutées après coup, un point pertinent pour les décideurs évaluant des solutions de cobotique où l'auditabilité des décisions pèse autant que la sécurité. SAGE s'inscrit dans une recherche qui tente de concilier garanties de sécurité formelles et interprétabilité des politiques, à mesure que des humanoïdes opèrent aux côtés d'humains en atelier ou en entrepôt. Le papier reste un preprint arXiv non relu par les pairs, sans entreprise ni marque de robot citée ; sa validation physique se limite à un démonstrateur avec deux robots et un humain, loin d'un déploiement industriel, avant une évaluation à plus grande échelle et une publication en conférence.

RecherchePaper

1 source

2arXiv cs.RO

Auto-HSI : contrôle humain personnalisé d'un essaim de robots à la demande via génération automatique de code par LLM

Une équipe de recherche présente Auto-HSI, une méthode qui génère à la demande des interfaces personnalisées de contrôle homme-essaim (human-swarm interaction), détaillée dans un article publié sur arXiv sous la référence 2609.16346v1. Le système permet à un opérateur non formé de décrire en langage naturel, combiné à des démonstrations gestuelles, comment il souhaite que des robots se comportent collectivement en réponse à ses gestes. À partir de ces entrées, un grand modèle de langage génère automatiquement, en ligne, le code d'une machine à états personnalisée qui pilote ensuite les robots. Le prototype reconnaît des gestes à une et deux mains pour un contrôle centralisé, permettant de téléopérer le déplacement de l'essaim, la forme de sa formation et sa déformation. Les auteurs évaluent d'abord séparément le suivi gestuel et la génération de code par rapport à des benchmarks de performance, avant de tester le prototype complet en conditions réelles d'opération: des opérateurs humains contrôlent en direct 50 robots simulés dans un simulateur basé sur la physique, en conditions nominales et bruitées, sur trois tâches, marquer un but, traverser un labyrinthe nécessitant une déformation de forme, et marquer deux buts simultanément en scindant l'essaim en deux sous-groupes. Les chercheurs montrent aussi qu'un opérateur peut modifier en direct son interface pendant l'opération en simulation, puis font une démonstration finale sur des robots réels. L'intérêt principal tient à l'automatisation de la couche logicielle qui relie geste et comportement collectif: jusqu'ici, les interfaces homme-essaim reposaient sur des ensembles de gestes et des machines à états codés à l'avance, réservant leur personnalisation à des développeurs. En confiant la génération de code à un LLM piloté par langage naturel et démonstration, Auto-HSI ouvre la personnalisation à des opérateurs non-experts, un enjeu direct pour les intégrateurs de flottes de robots en logistique, en défense ou en recherche, où chaque déploiement exige aujourd'hui un travail d'ingénierie sur mesure. Le passage réussi de la simulation (50 agents) à des robots physiques, même limité, appuie l'idée que la génération de code par LLM peut tenir en conditions bruitées et pas seulement en démonstration contrôlée, un point que le secteur teste encore avec prudence. Le travail s'inscrit dans la lignée des recherches sur le contrôle d'essaims par interfaces naturelles, un domaine jusque-là dominé par des solutions figées ou nécessitant un reprogrammation manuelle à chaque nouveau besoin d'usage. L'article ne mentionne ni partenaire industriel ni calendrier de déploiement commercial: il s'agit d'un travail de recherche académique, publié en préversion, dont les prochaines étapes annoncées portent sur l'extension des tests à des flottes réelles plus larges plutôt que sur une mise sur le marché.

RecherchePaper

1 source

3arXiv cs.RO

LIBERO-PeRM : un banc d'essai pour la manipulation robotique personnalisée

LIBERO-PeRM, publié sur arXiv (2610.22372), est un benchmark en simulation consacré à la manipulation robotique personnalisée (PeRM). Il vise à séparer l'accomplissement de la tâche de la satisfaction des préférences de l'utilisateur, ce que les benchmarks de manipulation généralistes ne font pas. Construit sur LIBERO, il utilise un pipeline procédural qui génère des démonstrations appariées, avec et sans préférence. Il comprend cinq suites de tâches, soit 312 tâches, avec des démonstrations de haute qualité, des métadonnées riches et des métriques dédiées de satisfaction des préférences. Les préférences couvertes sont observables et exprimables en langage naturel: style de mouvement, choix de compétence (skill) et profil d'utilisateur. Elles sont instanciables sans modifier l'objectif de la tâche, et leur évaluation est automatique. Le benchmark pose cinq questions: le suivi de préférences en zero-shot, l'apprentissage d'une préférence unique à partir de démonstrations, l'efficacité en fonction du nombre de démonstrations, la généralisation à d'autres agencements et tâches, et enfin la composition de préférences et la gestion des conflits entre elles. Le code, les jeux de données et des démos sont publiés sur la page du projet. Les résultats sont nuancés. Les politiques VLA (vision-language-action) actuelles échouent à se personnaliser en zero-shot: un simple prompt en langage naturel ne suffit pas à infléchir leur comportement. Le fine-tuning supervisé (SFT) rend en revanche les préférences apprenables. L'entraînement mixte, qui combine données avec et sans préférence, conserve mieux les comportements sans préférence que l'adaptation séquentielle. Il améliore aussi les performances avec des prompts contextuels par rapport à un entraînement limité aux préférences, mais peut affaiblir l'apprentissage des préférences de mouvement. La généralisation des préférences, leur décomposition et la résolution des conflits restent difficiles. Pour les intégrateurs et les décideurs qui visent le domestique ou les environnements de services, le message est net: la personnalisation ne vient pas gratuitement avec la généralisation des VLA. Elle demande des données et des protocoles d'adaptation spécifiques. Les résultats sont obtenus en simulation uniquement, et l'écart avec le monde réel n'est pas mesuré. Ce travail s'inscrit dans la lignée de LIBERO, benchmark de simulation très utilisé pour évaluer les politiques d'apprentissage tout au long de la vie et les VLA. Il en déplace l'attention de la réussite de la tâche vers la manière de l'exécuter. Les acteurs qui poussent les modèles généralistes, comme Physical Intelligence avec Pi-0, Figure avec Helix ou Nvidia avec GR00T, mettent surtout en avant l'étendue des compétences et peu la personnalisation à l'échelle d'un utilisateur. L'article ne nomme aucun modèle précis dans son résumé, et les chiffres détaillés ne sont pas disponibles ici. La suite logique est une validation sur robots réels et l'intégration de mémoire ou d'adaptation en ligne, indispensables pour une adoption domestique.

RecherchePaper

1 source

4arXiv cs.RO

Apprendre à planifier en collaboration homme-robot : apprentissage par renforcement multimodal pour une interaction adaptative

Des chercheurs proposent une nouvelle méthode d'apprentissage par renforcement (RL) pour piloter automatiquement les décisions d'un robot assistant lors de tâches collaboratives avec un humain, selon un article publié sur arXiv (identifiant 2609.25274v1). Le scénario étudié est concret : un robot aide un utilisateur à localiser des objets dans un environnement domestique, en combinant plusieurs canaux de communication (langage et actions physiques) pour choisir la meilleure action à chaque étape. Contrairement aux systèmes de dialogue classiques, l'agent est entraîné dans un simulateur construit à partir de données humaines réelles et capable de gérer plusieurs modalités simultanément. Les auteurs utilisent une fonction de récompense simple, définie à un haut niveau d'abstraction et ne nécessitant pas de réglage fin, associée à des préconditions qui accélèrent l'entraînement. Une étude impliquant des utilisateurs réels a permis d'évaluer le système en conditions concrètes, avec des résultats jugés prometteurs en termes d'utilisabilité et de taux de réussite des tâches. L'enjeu principal concerne la conception des gestionnaires d'interaction (interaction managers), le composant central chargé d'observer une tâche, d'évaluer l'état de l'humain et son intention, puis de décider de l'action du robot. Aujourd'hui, ces politiques sont le plus souvent écrites à la main, une approche qui devient impraticable à mesure que la complexité des interactions augmente, notamment pour les robots destinés aux personnes âgées ou en situation de handicap, un domaine où les données d'entraînement restent rares. En démontrant qu'un RL multimodal entraîné sur simulateur peut produire une politique fonctionnelle et interprétable sans passer par un long travail d'ingénierie manuelle, ce travail apporte un argument en faveur de l'automatisation de la conception des interactions humain-robot, un enjeu direct pour les intégrateurs et laboratoires travaillant sur l'assistance à domicile. Cette contribution s'inscrit dans la recherche académique sur la robotique d'assistance, où la rareté des données et la difficulté à généraliser des politiques codées manuellement sont des obstacles connus depuis plusieurs années. L'article ne mentionne aucun partenaire industriel, produit commercialisé ni calendrier de déploiement : il s'agit d'un travail de recherche évalué via une étude utilisateur en conditions réelles, présenté comme une alternative scalable aux méthodes existantes plutôt que comme un système prêt à l'emploi.

RecherchePaper

1 source