RecherchearXiv cs.RO 9 novembre 2026

HomeLoop : un cadre de simulation et un banc d'essai pour la coordination robot-IoT dans l'assistance domestique et la sécurité au quotidien

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un préprint arXiv (2611.08914) présente HomeLoop, un cadre de simulation et un benchmark qui évaluent la coordination entre robots domestiques pilotés par des modèles vision-langage (VLM) et l'infrastructure connectée déjà présente dans les foyers. Construit sur Isaac Sim, le système simule des corps de robots, des appareils IoT en réseau, des wearables, des résidents et visiteurs virtuels, des capteurs défaillants et des dangers qui évoluent dans le temps. Le benchmark compte 20 tâches réparties en cinq familles, conçues pour qu'une même alerte puisse avoir plusieurs causes. Une alarme fumée peut venir d'une poêle près de s'enflammer, d'une poêle déjà en feu, d'une cuisson normale ou d'un capteur fautif, et chaque cas appelle une réponse différente. Un moniteur d'exécution note chaque épisode par des contrôles de logique temporelle, sur le résultat final et sur les actions intermédiaires, chaque action ayant un coût prédéfini. Six VLM, open-weight et propriétaires, ont été testés. Le meilleur atteint 61,9 % de score équilibré par famille. Les échecs impliquant une intervention interdite sont plus de deux fois plus nombreux que ceux dus à une intervention requise manquée. Les modèles coupent ainsi souvent la cuisinière avant d'avoir cherché la cause de l'alarme.

Le résultat déplace la question habituelle. Le défaut dominant de ces agents n'est pas la passivité mais la sur-réaction face à l'ambiguïté. Pour un intégrateur ou un fabricant de maison connectée, cela pèse sur la confiance, la responsabilité et le coût des fausses interventions. Cela contredit aussi l'idée qu'un VLM généraliste, simplement branché sur des API de domotique, suffit à arbitrer entre sécurité et gêne pour les habitants. Une réserve s'impose toutefois. Les scénarios sont écrits par les auteurs et tournent en simulation, et l'extrait disponible ne précise ni les modèles évalués ni le détail des coûts. Le benchmark mesure donc le jugement de haut niveau, pas la fiabilité de la manipulation physique, et rien ne relève ici d'un déploiement réel.

Ce travail s'inscrit dans le rapprochement entre robots incarnés et assistance à domicile. Les bancs d'essai domestiques existants portent surtout sur la navigation et la manipulation d'objets, rarement sur l'interaction avec des capteurs et des objets connectés. Les auteurs présentent HomeLoop comme une base extensible pour la mémoire à long terme, l'assistance proactive et les arbitrages entre vie privée et sécurité. La publication annoncée comprendra 2 100 plans de logements meublés automatiquement, cinq corps de robots et 20 types d'appareils connectés. Le code n'est pas encore disponible : la portée réelle du benchmark dépendra de cette ouverture et de son adoption par d'autres équipes.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

NVIDIA Isaac & Cosmos arXiv cs.RO

À lire aussi

1arXiv cs.RO

ContactBench 1.0 : un banc d'essai pour la manipulation robotique quotidienne riche en contacts

ContactBench 1.0, présenté sur arXiv (2610.24512v2) par une équipe académique, est un banc d'essai ouvert destiné à évaluer la manipulation robotique riche en contacts, c'est-à-dire les tâches du quotidien où le robot doit insérer, pousser, glisser, visser ou réagir à des forces. À partir d'observations de la manipulation humaine, les auteurs définissent huit compétences élémentaires, qu'ils déclinent en 36 tâches de référence et plus de 40 objets. Ces derniers reproduisent la géométrie et le comportement de contact utiles à chaque tâche. Ils s'impriment sur des imprimantes 3D grand public et chacun a un modèle de simulation jumeau. Des variations contrôlées, dans le monde réel comme en simulation, permettent de mesurer la généralisation. Les auteurs ont testé des méthodes représentatives d'apprentissage de politiques, uniquement visuelles ou visuo-tactiles, sur six tâches seulement. Le code et les ressources seront publiés en open source sur le site du projet. Le résultat est plutôt sobre. Les politiques uniquement visuelles peinent à percevoir les événements de contact ou à y réagir. Les politiques visuo-tactiles, censées combler cette lacune, n'améliorent pas sensiblement les performances. Cela tempère l'idée répandue selon laquelle ajouter un capteur tactile à une politique apprise suffirait à résoudre la manipulation fine. Pour un intégrateur ou un responsable industriel, c'est un rappel que les démonstrations spectaculaires de VLA (modèles vision-langage-action) ne disent presque rien de la robustesse sur des tâches d'assemblage ou de contact, où l'écart entre démo et déploiement reste large. L'intérêt pratique est aussi méthodologique : des tâches et des pièces reproductibles permettraient enfin de comparer des systèmes entre laboratoires, ce qui manque aujourd'hui. Le résumé ne donne cependant ni taux de réussite chiffrés, ni noms des méthodes testées, et six tâches sur 36 constituent une évaluation initiale limitée. Ce travail s'inscrit dans une tendance : la montée en puissance de bancs d'essai standardisés pour la manipulation, après des références comme les benchmarks de simulation (RLBench, LIBERO) qui privilégient surtout des tâches de saisie et de placement, peu exigeantes en contact. La difficulté de reproduire les expériences d'un laboratoire à l'autre, notamment pour les capteurs tactiles, a freiné les comparaisons rigoureuses. Les acteurs industriels qui misent sur la dextérité, des développeurs de mains tactiles aux fabricants d'humanoïdes, n'ont pas publié de métriques comparables, et ce benchmark pourrait servir de terrain neutre. Il s'agit ici de la version 2 d'une prépublication, donc d'un travail non encore validé par les pairs. La prochaine étape est la publication effective des ressources, puis l'évaluation d'un plus grand nombre de politiques sur l'ensemble des 36 tâches.

RecherchePaper

1 source

2arXiv cs.RO

GuideFetch : cadre de coordination de tâches pour la navigation et la récupération d'objets simultanées par des robots-chiens d'assistance

Des chercheurs présentent GuideFetch, un framework de coordination pour deux robots quadrupèdes assistants opérant en parallèle: un robot guide escorte une personne malvoyante vers un siège libre pendant qu'un robot fetcher récupère et livre un objet, par exemple une tasse de café, au même endroit. Un modèle de langage traduit une instruction en langage naturel en un schéma a quatre actions conditionne par un planning séquentiel ou parallèle, chaque action proposée étant ensuite validée par rapport aux cibles enregistrées, aux capacités réelles des robots et au planning choisi avant exécution. Dans une étude croisée 2x2 portant sur 90 combinaisons de scènes et de graines aléatoires, soit 360 exécutions au total, les 180 réponses générées en ligne par le modèle ont toutes été validées sans plan de secours ni reexecution et correspondent aux plans scriptes de référence. Le taux de réussite opérationnelle atteint 72 cas sur 90 en exécution séquentielle et 71 sur 90 en exécution parallèle, et sur les 56 cas menés a bien par les deux méthodes, l'exécution parallèle réduit le temps de cycle moyen de 41,3%. Le code source sera publie ultérieurement; l'étude est référencée sous arXiv:2608.18292v1. Le résultat central pour les intégrateurs de flottes de robots hétérogènes est la démonstration chiffrée que la parallélisation de taches indépendantes, ici la navigation d'un robot guide et la récupération d'objet par un second robot, raccourcit sensiblement une mission complète sans changement matériel. L'étude met surtout en avant une distinction souvent négligée dans les démonstrations commerciales: un plan génère par un LLM peut être syntaxiquement correct tout en violant les contraintes physiques du robot, et un mouvement de contrôleur qui parait réussi ne prouve pas que la tache est effectivement achevée. En imposant une validation préalable des actions et un contrôle d'état pendant l'exécution, GuideFetch sépare la validité d'un plan de la vérification réelle de la mission, un enjeu direct pour quiconque évalué des systèmes bases sur des LLM pour la robotique d'assistance ou la logistique intérieure. Le travail s'inscrit dans le contexte plus large de la planification par LLM et des architectures vision-langage-action pour la robotique, un domaine ou d'autres acteurs développent des modèles généralistes pour des bras ou humanoïdes uniques, alors que GuideFetch cible spécifiquement la coordination de plusieurs robots quadrupèdes aux rôles distincts au sein d'une même mission. Aucun fabricant de robot ni partenaire industriel n'est cite dans le résume, et l'étude reste a ce stade une validation en environnement contrôle plutôt qu'un déploiement réel auprès d'utilisateurs malvoyants. Les auteurs annoncent la publication future du code source pour permettre une reproduction indépendante des résultats, mais aucune date ni feuille de route de pilote commercial n'est communiquée.

RecherchePaper

1 source

3arXiv cs.RO

HygieneRoboBench : un banc d'essai pour la planification tenant compte de l'hygiène chez les robots domestiques

Un groupe de chercheurs publie sur arXiv HygieneRoboBench, un banc d'essai de 624 instances réparties en 134 familles de tâches, conçu pour évaluer la planification « consciente de l'hygiène » des robots domestiques. Le scénario : un robot dispose de deux pinces et manipule des objets partagés. Chaque contact avec un objet contaminé peut propager un danger via les pinces, les outils ou les surfaces, et chaque nouveau contact peut rendre caduc un plan jusque-là sûr. Le planificateur reçoit un historique d'exécution et doit en déduire les risques, puis proposer une suite sûre, en tenant compte des coûts de traitement (nettoyage, désinfection), des priorités de l'utilisateur et de limites de temps et de ressources. L'évaluation combine des comparaisons contrôlées (historique, profil utilisateur, événements de contact) et une évaluation indépendante des plans. Les auteurs proposent aussi Hygiene-NSP, une méthode neuro-symbolique qui associe un LLM pour l'ancrage des tâches, la reconstruction de l'historique de contacts et le solveur CP-SAT pour planifier conjointement traitements d'hygiène et exécution. Elle atteint 94,4 % de résolution sûre et 90,4 % de résolution sûre optimale, des taux supérieurs à ceux des planificateurs de référence, LLM ou symboliques, sur l'ensemble du jeu de données. L'intérêt tient à un constat précis : terminer une tâche sans danger ne signifie pas le faire au moindre coût selon les priorités de l'utilisateur. Un planificateur prudent mais gaspilleur, qui nettoie systématiquement tout, reste un mauvais produit pour un foyer. Le résultat renforce aussi une tendance : pour les contraintes de sécurité à long horizon, l'attelage d'un LLM (compréhension et ancrage) et d'un solveur d'optimisation exact surpasse les approches purement génératives. C'est un argument pour les intégrateurs qui visent la manipulation domestique ou la santé, où la traçabilité des décisions compte. Précaution toutefois : il s'agit d'un benchmark en simulation, avec un historique fourni et non perçu. Il ne dit rien de la détection réelle de la contamination par la perception, qui reste le maillon dur. Les 94,4 % valent sur ce jeu de données conçu par les auteurs, pas en conditions réelles. Ce travail s'inscrit dans la série des benchmarks de planification pour robots domestiques, qui évaluent surtout la complétion de tâches, rarement la sécurité sanitaire cumulative. Il complète les approches de type VLA (Pi-0, GR00T, Helix), centrées sur la dextérité et la généralisation de la manipulation plutôt que sur le raisonnement sur l'état d'hygiène. Les suites logiques sont l'intégration d'une perception de la contamination, le test sur robot physique et l'extension à plus de deux manipulateurs. La page du projet est publiée, mais aucun partenaire industriel ni pilote de déploiement n'est annoncé à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

OopsieVerse : un référentiel de sécurité avec simulation sensible aux dommages pour la manipulation robotique

Des chercheurs de l'Université du Texas à Austin (UT Austin Robin Lab) ont publié OopsieVerse, un banc d'essai et framework de simulation destiné à mesurer les dommages causés par les robots manipulateurs domestiques. Le système, baptisé DamageSim, convertit les forces de contact, les variations de température et les interactions avec des liquides en dommages mécaniques, thermiques ou fluides quantifiables, de manière agnostique à la tâche effectuée. Les auteurs ont implémenté ce module dans deux simulateurs aux moteurs physiques distincts, OmniGibson (basé sur Nvidia Omniverse) et RoboCasa (basé sur MuJoCo), démontrant sa portabilité. OopsieVerse inclut également une suite de tâches domestiques conçues pour distinguer la réussite d'une tâche de son exécution sans dommage collatéral, un point que les benchmarks existants ignorent largement. Le code et la documentation sont disponibles sur robin-lab.cs.utexas.edu/oopsieverse. Ce travail comble une lacune méthodologique importante pour l'industrie robotique: jusqu'ici, l'évaluation des politiques de manipulation, y compris les modèles Vision-Language-Action (VLA) récents, se concentrait presque exclusivement sur le taux de réussite des tâches, sans mesurer si le robot endommage l'objet manipulé, son environnement ou lui-même au passage. Pour des intégrateurs et décideurs qui envisagent de déployer des robots domestiques ou de service, cette distinction est cruciale: un robot qui range la vaisselle neuf fois sur dix mais casse un verre à chaque essai n'est pas viable commercialement. En proposant un signal de dommage explicite et physiquement fondé, OopsieVerse permet d'entraîner des politiques via apprentissage par imitation ou par renforcement conditionnées au dommage, et d'évaluer objectivement des VLA de référence sur ce critère, révélant potentiellement un écart entre démonstrations soignées et sécurité réelle. Le projet s'inscrit dans une tendance de fond de la recherche en robotique manipulative: après des années centrées sur la réussite pure des tâches (empilement, saisie, tri), l'attention se déplace vers la sécurité physique comme condition préalable au déploiement en environnement non contrôlé, chez des particuliers notamment. Les auteurs positionnent explicitement leur outil comme une fondation open-source pour la recherche systématique sur la manipulation sûre, et montrent des cas d'usage allant de la collecte de démonstrations plus sûres au transfert sim-to-real avec amélioration mesurable de la sécurité réelle. Les prochaines étapes attendues concernent l'adoption de ce benchmark par la communauté pour comparer les politiques VLA existantes (Pi-0, GR00T, Helix notamment) sur cet axe encore peu exploré.

RecherchePaper

1 source