Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RoboFind : recherche d'objets personnalisée multi-agents pour les personnes aveugles ou malvoyantes
RecherchearXiv cs.RO 

RoboFind : recherche d'objets personnalisée multi-agents pour les personnes aveugles ou malvoyantes

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent RoboFind, un système multi-agents qui aide les personnes aveugles ou malvoyantes a retrouver un objet personnel précis plutôt qu'un simple exemplaire de sa catégorie. Un smartphone enseigne l'objet cible via une prise de vue guidée en réalité augmentée avec retours vocaux, haptiques et lecteur d'écran, et génère une banque de références multi-vues réutilisable; un robot quadrupède mène ensuite la recherche via des agents de navigation, de vérification et de coordination qui valident ou relancent la mission en cas d'échec. Sur 32 missions réelles, RoboFind atteint 85,0% de réussite contre 25,0% pour une base de référence séquentielle testée sur 20 essais et dix cibles, et réduit le taux de faux succès de 75,0% a 5,0%. Sur six cibles communes, il reussit 10 essais sur 12, contre 5 sur 12 pour une architecture reposant uniquement sur GPT-6 Astra, évaluée indépendamment sur 12 essais.

Ces résultats soulignent un point souvent néglige par les démonstrations de robots autonomes: vérifier l'identité d'un objet avant de déclarer la mission terminée compte autant que sa localisation. Un taux de faux succès de 75,0% pour l'approche naïve signifie qu'aux trois quarts des essais le système affirmait a tort avoir trouve le bon objet, un défaut critique pour un utilisateur qui ne peut pas vérifier visuellement le résultat. La comparaison avec une architecture a agent unique, GPT-6 Astra, suggère que décomposer la tache entre agents spécialisés reste plus fiable qu'un modèle généraliste pour ce type de mission a haute exigence de précision, même si l'échantillon teste, six cibles et douze essais, reste modeste.

RoboFind s'inscrit dans un courant de recherche distinct des démonstrations grand public de robots humanoïdes comme Figure 03 ou Optimus, en misant sur la mobilité et l'accès a des points de vue inaccessibles a l'utilisateur plutôt que sur la manipulation. Le choix d'un quadrupède et la comparaison avec GPT-6 Astra positionnent implicitement les auteurs face aux modèles vision-langage-action généralistes des grands laboratoires, en défendant une approche modulaire pour les usages exigeant une fiabilité élevée. L'étude reste un preprint arXiv sans calendrier de déploiement commercial, présente comme une validation de principe avant une extension a davantage de cibles et d'environnements.

Dans nos dossiers

FigureIA physique & VLAarXiv cs.RO

À lire aussi

Recherche de politiques dans l'espace du code pour le pathfinding multi-agents
1arXiv cs.RO 

Recherche de politiques dans l'espace du code pour le pathfinding multi-agents

Des chercheurs proposent de faire évoluer les algorithmes de coordination multi-robots par une recherche de politiques directement dans l'espace du code, en s'appuyant sur des agents de codage autonomes. Le flux de travail, dirigé par un humain, fait proposer, implémenter, évaluer, diagnostiquer puis raffiner des algorithmes par les agents, guidés par des retours de simulation et une vérification explicite de la correction. Deux études de cas sont présentées. Sur une carte difficile de la compétition League of Robot Runners 2024, une recherche de deux jours a produit une politique qui dépasse de 35,0 % la meilleure entrée de la compétition reproduite localement sur l'instance la plus dense, et qui se généralise à des instances de cartes inédites. Dans des entrepôts simulés proches du réel, avec allées irrégulières, géométrie continue des robots et mouvements asynchrones, une recherche d'une semaine a découvert une classe entièrement nouvelle d'algorithmes de pathfinding multi-agents. Son débit dépasse de 58,9 % celui d'une solution propriétaire calibrée. Sous des hypothèses explicites, les auteurs démontrent aussi que l'algorithme évite toute collision et mène à terme, en temps fini, chaque objectif accepté qui n'est ni retiré ni remplacé. L'enjeu pour les intégrateurs et les exploitants d'entrepôts robotisés est double. Jusqu'ici, la coordination de flottes d'AMR (robots mobiles autonomes) reposait soit sur une conception d'algorithmes longue et coûteuse en ingénierie, soit sur de l'apprentissage par renforcement spécifique à une tâche et peu lisible. Une troisième voie produit du code lisible, auditable et accompagné de preuves formelles, ce qui compte pour la certification et la sûreté. Les délais annoncés, quelques jours à une semaine, laissent aussi entrevoir une réduction notable du coût de développement de logiciels d'orchestration. Il faut toutefois rester prudent. Les gains sont mesurés en simulation, face à un seul système propriétaire non identifié et "calibré" par les auteurs. Les garanties de sécurité valent seulement sous des hypothèses qui doivent tenir sur du matériel réel, avec ses imprécisions de localisation et de communication. Le pourcentage de 35,0 % porte sur l'instance la plus dense, pas sur la moyenne. Aucun déploiement réel n'est rapporté. Ce travail s'inscrit dans la montée en puissance des agents de codage et dans la lignée de méthodes de recherche évolutionnaire pilotée par des modèles de langage, appliquées ici à la robotique de flotte. La League of Robot Runners, compétition soutenue par Amazon Robotics, a longtemps servi de banc d'essai au pathfinding multi-agents à grande échelle, où dominaient des heuristiques conçues à la main. Face à eux, l'apprentissage par renforcement multi-agents et les politiques apprises restent difficiles à vérifier. Cette version remplace une précédente (v2 sur arXiv). La suite logique serait de valider ces algorithmes sur des flottes physiques et d'en comparer les performances à celles de solutions commerciales identifiées. Reste à voir si la méthode se transpose à d'autres problèmes de coordination, comme l'ordonnancement ou la manipulation multi-robots.

RecherchePaper
1 source
Interleaved POMDP planning pour la recherche multi-objets dans des environnements domestiques multi-pièces inconnus
2arXiv cs.RO 

Interleaved POMDP planning pour la recherche multi-objets dans des environnements domestiques multi-pièces inconnus

Une équipe de recherche propose Inter-POMDP, un nouvel algorithme de planification pour la recherche multi-objets par des robots dans des environnements domestiques inconnus, comportant plusieurs pièces. Le problème central est la recherche d'objets sous incertitude massive : positions inconnues, obstacles non observés, espaces encombrés. Les POMDP (processus de décision markoviens partiellement observables) offrent un cadre théorique solide pour ce type de problème, mais deviennent ingérables à grande échelle. La solution proposée décompose la tâche en deux niveaux interconnectés : un planificateur de haut niveau, basé sur l'algorithme POUCT, raisonne sur la distribution probable des objets grâce à des croyances sous forme d'histogrammes informées par un LLM, tandis qu'un planificateur de mouvement de bas niveau modélise l'incertitude de navigation via des croyances par particules tenant compte des obstacles, utilisées comme connaissance de domaine pour guider le niveau supérieur. Testé en simulation et en conditions réelles, Inter-POMDP réduit le nombre de collisions jusqu'à 63 %, le nombre d'étapes de navigation jusqu'à 35 %, et améliore le taux de détection jusqu'à 32 % par rapport aux méthodes de référence. Des vidéos de démonstration sont disponibles en ligne. Pour l'industrie robotique, ce travail illustre une tendance de fond : l'utilisation de grands modèles de langage non pas pour remplacer la planification formelle, mais pour l'informer, en fournissant des a priori sémantiques (où chercher une tasse, un livre) qui réduisent l'espace de recherche combinatoire des POMDP classiques. C'est une piste concrète pour rendre les robots domestiques et de service capables de tâches de recherche et de rangement dans des environnements réels non cartographiés à l'avance, un scénario encore mal résolu malgré les progrès des architectures VLA. Les gains rapportés sur collisions et efficacité de navigation, s'ils se confirment hors laboratoire, intéressent directement les intégrateurs travaillant sur la navigation autonome en intérieur. Ce travail s'inscrit dans la lignée des recherches en planification POMDP hiérarchique, un champ actif depuis plusieurs années face à l'explosion combinatoire des POMDP plats. La nouveauté ici est le couplage explicite avec un LLM pour informer les croyances de haut niveau. Il s'agit à ce stade d'une publication de recherche (arXiv, avant relecture par les pairs), pas d'un produit ou d'un déploiement commercial ; les prochaines étapes attendues sont une validation sur des flottes robotiques plus larges et une comparaison avec d'autres approches hybrides LLM-planification.

RecherchePaper
1 source
Raisonnement structuré sur l'état du monde pour la recherche robotique à base d'agents
3arXiv cs.RO 

Raisonnement structuré sur l'état du monde pour la recherche robotique à base d'agents

Des chercheurs proposent WORLDS (World-state Observation and Reasoning for Language-guided Discovery and Search), un cadre pour la recherche robotique guidée par le langage naturel sur de longs horizons, détaillé dans un preprint publié sur arXiv (arXiv:2609.23841). Le système construit un graphe persistant initialisé à partir de priors géospatiaux, mis à jour par la perception, dans lequel des "Reasoners" parallèles maintiennent plusieurs interprétations candidates concurrentes et déclenchent la collecte d'observations pour les départager, avant qu'un "Examiner" multimodal traite ces observations et qu'un "Judge" choisisse une cible ou redemande une passe supplémentaire. Sur le benchmark CityNav, WORLDS atteint 51,8% de succès de navigation sur l'ensemble des 5 311 épisodes de test, le meilleur taux publié à ce jour, soit 15,7 points de plus que la référence précédente, sous un protocole limité aux données OpenStreetMap et à l'imagerie orthographique haute résolution. Sur un sous-ensemble comparatif de 1 000 épisodes, à modèle, prior, chaîne de perception et budget de déplacement identiques, WORLDS obtient 50,0% contre 27,9% pour la meilleure base adaptée. La vérification par observations de l'Examiner apporte à elle seule 5,9 points, et même avec un effort de raisonnement réduit, WORLDS dépasse encore la référence GeoNav adaptée de 18,8 points tout en générant moins de tokens. Pour les intégrateurs de robotique autonome et les équipes travaillant sur la navigation par instructions en langage naturel, ce résultat suggère que l'écart provient bien de l'architecture de raisonnement, avec maintien d'hypothèses concurrentes et vérification active par perception, plutôt que d'un simple gain de puissance de calcul, puisque la comparaison se fait à modèle et budget identiques. Le fait que la performance se maintienne, voire s'améliore relativement, à effort de raisonnement réduit et avec moins de tokens générés est un signal concret pour des applications embarquées où la latence et la puissance de calcul sont contraintes, comme les drones. Le cadre a aussi été testé sur un quadrirotor, qui exécute les points de passage de détection générés par le système et identifie trois cibles langagières à partir de son imagerie embarquée, dont un véhicule absent de la carte initiale. Il s'agit toutefois d'un preprint de recherche non encore évalué par les pairs, sans nom d'entreprise ni date de déploiement commercial associée: la démonstration drone reste un test de validation en conditions contrôlées, pas un produit déployé sur le terrain.

RecherchePaper
1 source
COOL : apprentissage de l'appartenance des objets guidé par la curiosité pour une assistance robotique personnalisée
4arXiv cs.RO 

COOL : apprentissage de l'appartenance des objets guidé par la curiosité pour une assistance robotique personnalisée

Des chercheurs présentent COOL (Curiosity-Driven Object Ownership Learning), un cadre logiciel pour robots qui apprend de façon autonome à qui appartiennent les objets d'un environnement et entretient une mémoire spatiale à long terme de ce dernier. Publié sur arXiv (2610.09358v1), le travail vise des requêtes en langage naturel du type « Où est mon sac à dos ? » ou « Trouve ma bouteille ». Le robot doit y raisonner simultanément sur des instances d'objets, des personnes, des lieux et des relations de propriété. COOL infère ces relations à partir d'observations quotidiennes d'interactions entre humains et objets, car la propriété n'est presque jamais annotée explicitement. Pour garder sa mémoire à jour, le système emploie une stratégie de collecte de données pilotée par un agent et guidée par la curiosité. Elle envoie le robot vers les emplacements les plus informatifs afin de rafraîchir les observations devenues obsolètes. Les auteurs affirment l'avoir validé par des expériences hors ligne, des études d'ablation et des évaluations en conditions réelles. Le résumé ne donne ni chiffres de performance, ni plateforme robotique, ni taille de l'environnement testé. L'enjeu dépasse la navigation vers un objet : il s'agit de passer de la reconnaissance d'objets à la compréhension sociale de l'espace. Les assistants domestiques, les robots de bureau ou d'hôpital doivent savoir que telle veste appartient à telle personne, sans qu'on le leur ait expliqué. Le travail s'attaque aussi à un point faible des cartes sémantiques statiques : dans un lieu occupé, les objets bougent, et une mémoire figée devient vite fausse. Faire de la fraîcheur de l'information un critère explicite de planification, plutôt qu'un sous-produit de l'exploration, est une piste utile pour tout déploiement long en environnement non contrôlé. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs, sans résultats chiffrés visibles dans le résumé, et la part des tests réels dans la validation n'est pas précisée. Aucun produit ni déploiement commercial n'est annoncé. On est au stade de la recherche. Le contexte est celui de la robotique de service, où la personnalisation devient un sujet central à mesure que les modèles vision-langage et les agents à base de grands modèles de langage s'intègrent aux piles de navigation. Les travaux précédents sur les cartes sémantiques, les graphes de scène 3D et la navigation par objet traitaient surtout la catégorie d'un objet (« une bouteille »), rarement son propriétaire. COOL se place sur ce terrain de la mémoire persistante et de la « personnalisation » des assistants. Les prochaines étapes naturelles seraient des évaluations plus longues, avec plusieurs occupants et des changements d'habitudes, ainsi qu'un examen des questions de vie privée que soulève l'observation continue des comportements humains.

RecherchePaper
1 source