Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

RoboFind : recherche d'objets personnalisée multi-agents pour les personnes aveugles ou malvoyantes

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent RoboFind, un système multi-agents qui aide les personnes aveugles ou malvoyantes a retrouver un objet personnel précis plutôt qu'un simple exemplaire de sa catégorie. Un smartphone enseigne l'objet cible via une prise de vue guidée en réalité augmentée avec retours vocaux, haptiques et lecteur d'écran, et génère une banque de références multi-vues réutilisable; un robot quadrupède mène ensuite la recherche via des agents de navigation, de vérification et de coordination qui valident ou relancent la mission en cas d'échec. Sur 32 missions réelles, RoboFind atteint 85,0% de réussite contre 25,0% pour une base de référence séquentielle testée sur 20 essais et dix cibles, et réduit le taux de faux succès de 75,0% a 5,0%. Sur six cibles communes, il reussit 10 essais sur 12, contre 5 sur 12 pour une architecture reposant uniquement sur GPT-6 Astra, évaluée indépendamment sur 12 essais.

Ces résultats soulignent un point souvent néglige par les démonstrations de robots autonomes: vérifier l'identité d'un objet avant de déclarer la mission terminée compte autant que sa localisation. Un taux de faux succès de 75,0% pour l'approche naïve signifie qu'aux trois quarts des essais le système affirmait a tort avoir trouve le bon objet, un défaut critique pour un utilisateur qui ne peut pas vérifier visuellement le résultat. La comparaison avec une architecture a agent unique, GPT-6 Astra, suggère que décomposer la tache entre agents spécialisés reste plus fiable qu'un modèle généraliste pour ce type de mission a haute exigence de précision, même si l'échantillon teste, six cibles et douze essais, reste modeste.

RoboFind s'inscrit dans un courant de recherche distinct des démonstrations grand public de robots humanoïdes comme Figure 03 ou Optimus, en misant sur la mobilité et l'accès a des points de vue inaccessibles a l'utilisateur plutôt que sur la manipulation. Le choix d'un quadrupède et la comparaison avec GPT-6 Astra positionnent implicitement les auteurs face aux modèles vision-langage-action généralistes des grands laboratoires, en défendant une approche modulaire pour les usages exigeant une fiabilité élevée. L'étude reste un preprint arXiv sans calendrier de déploiement commercial, présente comme une validation de principe avant une extension a davantage de cibles et d'environnements.

Dans nos dossiers

FigureIA physique & VLAarXiv cs.RO

À lire aussi

Raisonnement par graphe de zones sémantiques pour la recherche multi-robots guidée par le langage
1arXiv cs.RO 

Raisonnement par graphe de zones sémantiques pour la recherche multi-robots guidée par le langage

Une équipe de chercheurs a publié SAGR (Semantic Area Graph Reasoning), un framework hiérarchique permettant à des grands modèles de langage (LLM) de coordonner des essaims multi-robots pour la recherche sémantique en environnement inconnu. Évalué sur 100 scénarios du dataset Habitat-Matterport3D, SAGR affiche jusqu'à 18,8 % de gain d'efficacité sur la recherche de cibles sémantiques dans les grands environnements, tout en restant compétitif avec les méthodes d'exploration state-of-the-art basées sur la couverture de frontières. Le système construit incrémentalement un graphe sémantique de zones à partir d'une carte d'occupation sémantique, encodant instances de pièces, connectivité, frontières disponibles et états des robots dans une représentation compacte transmise au LLM pour le raisonnement de haut niveau. La navigation locale et la planification géométrique restent déterministes. L'apport central est architectural : SAGR résout le problème d'interface entre raisonnement symbolique et coordination géométrique, un point de friction récurrent dans les systèmes multi-robots. Les approches classiques (frontier coverage, information gain) sont aveugles à l'intention de tâche, elles ne savent pas qu'une « cafetière » se trouve probablement dans une cuisine, pas un couloir. SAGR délègue cette inférence contextuelle au LLM via une abstraction topologique structurée, sans exposer le modèle au bruit d'une carte brute. C'est une séparation claire des responsabilités : le LLM raisonne sur la sémantique des pièces, les robots exécutent localement. Pour un intégrateur ou un opérateur d'entrepôt multi-AGV, cela ouvre la voie à des instructions en langage naturel comme « trouve le chariot de nettoyage » sans reconfiguration de la logique de navigation. Ce travail s'inscrit dans une tendance forte de 2024-2025 : l'injection de LLM dans la boucle de planification robotique, aux côtés de travaux comme SayPlan (Rana et al.), NavGPT ou des approches VLA type RT-2 et π₀. SAGR se distingue en ciblant explicitement la coordination multi-agent plutôt que le robot unique, et en validant sur un benchmark standardisé (HM3D) plutôt qu'en démo lab. La prochaine étape logique sera le passage du simulateur au réel, le sim-to-real gap sur la segmentation sémantique restant le principal obstacle non adressé par les auteurs.

RechercheActu
1 source
Interleaved POMDP planning pour la recherche multi-objets dans des environnements domestiques multi-pièces inconnus
2arXiv cs.RO 

Interleaved POMDP planning pour la recherche multi-objets dans des environnements domestiques multi-pièces inconnus

Une équipe de recherche propose Inter-POMDP, un nouvel algorithme de planification pour la recherche multi-objets par des robots dans des environnements domestiques inconnus, comportant plusieurs pièces. Le problème central est la recherche d'objets sous incertitude massive : positions inconnues, obstacles non observés, espaces encombrés. Les POMDP (processus de décision markoviens partiellement observables) offrent un cadre théorique solide pour ce type de problème, mais deviennent ingérables à grande échelle. La solution proposée décompose la tâche en deux niveaux interconnectés : un planificateur de haut niveau, basé sur l'algorithme POUCT, raisonne sur la distribution probable des objets grâce à des croyances sous forme d'histogrammes informées par un LLM, tandis qu'un planificateur de mouvement de bas niveau modélise l'incertitude de navigation via des croyances par particules tenant compte des obstacles, utilisées comme connaissance de domaine pour guider le niveau supérieur. Testé en simulation et en conditions réelles, Inter-POMDP réduit le nombre de collisions jusqu'à 63 %, le nombre d'étapes de navigation jusqu'à 35 %, et améliore le taux de détection jusqu'à 32 % par rapport aux méthodes de référence. Des vidéos de démonstration sont disponibles en ligne. Pour l'industrie robotique, ce travail illustre une tendance de fond : l'utilisation de grands modèles de langage non pas pour remplacer la planification formelle, mais pour l'informer, en fournissant des a priori sémantiques (où chercher une tasse, un livre) qui réduisent l'espace de recherche combinatoire des POMDP classiques. C'est une piste concrète pour rendre les robots domestiques et de service capables de tâches de recherche et de rangement dans des environnements réels non cartographiés à l'avance, un scénario encore mal résolu malgré les progrès des architectures VLA. Les gains rapportés sur collisions et efficacité de navigation, s'ils se confirment hors laboratoire, intéressent directement les intégrateurs travaillant sur la navigation autonome en intérieur. Ce travail s'inscrit dans la lignée des recherches en planification POMDP hiérarchique, un champ actif depuis plusieurs années face à l'explosion combinatoire des POMDP plats. La nouveauté ici est le couplage explicite avec un LLM pour informer les croyances de haut niveau. Il s'agit à ce stade d'une publication de recherche (arXiv, avant relecture par les pairs), pas d'un produit ou d'un déploiement commercial ; les prochaines étapes attendues sont une validation sur des flottes robotiques plus larges et une comparaison avec d'autres approches hybrides LLM-planification.

RecherchePaper
1 source
Recherche décentralisée multi-agents sans communication sous contraintes budgétaires : Dec-MARVEL
3arXiv cs.RO 

Recherche décentralisée multi-agents sans communication sous contraintes budgétaires : Dec-MARVEL

Une équipe de chercheurs présente Dec-MARVEL, un cadre d'exploration décentralisé pour flottes de drones capables de coordonner leurs déplacements sans aucune communication ni partage de cartes, de messages ou d'objectifs entre robots. Chaque appareil s'appuie uniquement sur ses observations fortuites : la trajectoire d'un coéquipier détectée dans son champ de vision directionnel sert de signal de coordination implicite. Un acteur basé sur un mécanisme d'attention par graphe combine la géométrie locale des frontières inexplorées, le mouvement des autres robots et le budget de déplacement restant pour choisir des actions de type point de passage plus cap, tout en garantissant un retour possible à la base. L'entraînement repose sur des critiques conditionnés par phase, un critique privilégié orienté tâche utilisé uniquement en apprentissage, et un curriculum de budget basé sur un mélange de scénarios. Sur 900 essais tenus à l'écart de l'entraînement, couvrant trois tailles d'équipe (2, 4 et 8 robots) et trois budgets de déplacement (720, 800 et 1024 mètres), Dec-MARVEL obtient le meilleur taux d'exploration, ou à égalité, et le plus faible recouvrement de zones balayées face à quatre méthodes concurrentes, sur les neuf configurations testées. Sous la contrainte la plus stricte de 720 mètres, le taux de succès atteint 53 %, 94 % et 100 % pour 2, 4 et 8 robots respectivement, contre 37 %, 83 % et 99 % pour la meilleure référence. Des essais sur robots physiques confirment un transfert sim-to-real réussi. Ce résultat s'attaque à un verrou concret pour les flottes de drones opérant en environnements dégradés, zones de catastrophe, bâtiments effondrés, milieux militaires brouillés, où la liaison radio entre appareils est peu fiable ou volontairement coupée. La plupart des approches multi-robots existantes supposent un échange d'informations, même partiel, pour éviter les redondances d'exploration ; s'en passer entièrement tout en conservant des performances proches, voire supérieures, aux méthodes communicantes change la donne pour les intégrateurs qui doivent certifier des systèmes robustes aux pannes réseau. La gestion explicite du budget de retour, plutôt qu'une exploration gloutonne sans garde-fou, répond aussi à une contrainte opérationnelle réelle plutôt qu'à un scénario de laboratoire simplifié. Le travail s'inscrit dans la lignée des recherches en apprentissage multi-agent pour l'exploration robotique, où la coordination décentralisée reste un problème ouvert face aux approches classiques qui centralisent la carte ou diffusent des objectifs partagés. En comparant Dec-MARVEL à quatre méthodes de référence sur une plage large de tailles d'équipe et de contraintes de budget, les auteurs cherchent à démontrer une robustesse à l'échelle, du duo de drones jusqu'à des essaims de huit unités. La validation sur robots physiques, au-delà de la simulation, ouvre la voie à des déploiements dans des missions de recherche et sauvetage ou de reconnaissance où la connectivité ne peut être garantie.

RecherchePaper
1 source
MALLVI : un cadre multi-agents pour la manipulation robotique généralisée et intégrée
4arXiv cs.RO 

MALLVI : un cadre multi-agents pour la manipulation robotique généralisée et intégrée

Une équipe de chercheurs a publié MALLVI (Multi-Agent Large Language and Vision Interface), un framework d'orchestration multi-agents pour la manipulation robotique généraliste, dont la cinquième révision vient d'être déposée sur arXiv (2602.16898). Le système prend en entrée une instruction en langage naturel et une image de la scène, puis génère des actions atomiques exécutables pour un bras manipulateur. L'architecture coordonne quatre agents spécialisés: un Decomposer chargé de découper la tâche en sous-étapes, un Localizer pour la détection et la localisation visuelle, un Thinker pour le raisonnement et la planification de haut niveau, et un Reflector dédié à la détection d'erreurs et à la récupération ciblée. Un cinquième agent optionnel, le Descriptor, maintient une mémoire visuelle de l'état initial de l'environnement. La boucle fermée est pilotée par un modèle de vision-langage (VLM) qui évalue les retours environnementaux après chaque action et décide si l'étape doit être rejouée ou si le robot peut passer à la suivante. Les expériences en simulation et en environnement réel indiquent des gains de taux de réussite sur des tâches de manipulation zero-shot par rapport aux approches classiques en boucle ouverte. Ce que MALLVI cherche à résoudre est un problème structurel bien documenté de la manipulation pilotée par LLM: les systèmes open-loop, qui n'interrogent pas l'état réel du monde après chaque action, accumulent les erreurs sans possibilité de correction en cours d'exécution. L'apport du Reflector est notable sur ce point, puisque plutôt que de déclencher une replanification complète en cas d'échec, il identifie les agents pertinents à réactiver, limitant la latence et la consommation de tokens. Pour les intégrateurs et les équipes R&D, l'intérêt réside dans la capacité zero-shot du système, sans fine-tuning ni prompt engineering spécifique à chaque tâche. Toutefois, les métriques de taux de succès restent difficiles à contextualiser faute d'indications précises sur le nombre de DOF du bras utilisé, la complexité des scènes de test, ou les conditions d'occultation. Le framework s'inscrit dans un courant très actif depuis 2023 autour de l'utilisation des grands modèles pour la planification robotique, avec des travaux fondateurs comme SayCan (Google DeepMind) et Code-as-Policies, et des architectures VLA (Vision-Language-Action) récentes comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. La spécificité de MALLVI est son découpage en agents modulaires plutôt qu'un modèle monolithique, une approche qui facilite le débogage et la spécialisation par composant. Le code source est disponible publiquement sur GitHub (iman1234ahmadi/MALLVI). Aucun partenariat industriel ni déploiement commercial n'est annoncé à ce stade, ce qui en fait pour l'instant une contribution académique à suivre davantage qu'un produit opérationnel.

RechercheOpinion
1 source