Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Perception sémantique active
RecherchearXiv cs.RO 

Perception sémantique active

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (2510.05430v2) une méthode de perception sémantique active permettant à un robot mobile d'explorer un environnement intérieur en raisonnant sur les zones qu'il n'a pas encore observées. Le système construit un graphe de scène multi-couches et compact, structurant l'environnement à plusieurs niveaux d'abstraction : pièces, objets, murs, fenêtres, avec leur géométrie fine. En s'appuyant sur un grand modèle de langage (LLM), le pipeline génère des graphes de scène plausibles pour les régions inexplorées, en maintenant la cohérence avec les observations partielles déjà accumulées. L'approche calcule ensuite le gain d'information attendu à chaque point de passage candidat, afin de guider la trajectoire d'exploration. Les expériences ont été menées à la fois en simulation sur des appartements 3D réalistes et sur un robot quadrupède Unitree Go 2 en conditions réelles.

L'intérêt principal de cette approche réside dans la capacité à exploiter des connaissances sémantiques commonsense pour anticiper la topologie d'une scène non encore visitée. Plutôt que de se limiter à une cartographie géométrique réactive, le robot raisonne sur la probabilité qu'une porte donne sur une cuisine plutôt qu'une chambre selon le contexte observé, un type de raisonnement spatial jusqu'ici difficile à formaliser en robotique mobile. Pour les intégrateurs d'AMR (autonomous mobile robots) et les équipes R&D en navigation intérieure, cette architecture ouvre la voie à des explorations plus efficaces dans des environnements inconnus, avec moins de déplacements redondants. Les résultats quantitatifs montrent une localisation plus rapide et plus précise des informations sémantiques hautes et basses résolutions par rapport aux méthodes existantes, bien que les benchmarks retenus méritent une lecture critique puisqu'ils restent essentiellement contrôlés par les auteurs.

Ce travail s'inscrit dans un courant actif combinant graphes de scène hiérarchiques et LLMs pour la navigation sémantique, aux côtés de travaux comme SayPlan (Rana et al.) ou SceneGraph-Nav. Le Unitree Go 2, robot quadrupède à faible coût devenu plateforme standard pour la recherche en mobilité intérieure, sert ici de démonstrateur physique. Les acteurs concurrents incluent les approches par représentations neurales implicites (NeRF sémantiques) et les méthodes de frontier-based exploration enrichies par vision-langage. Le code n'est pas encore publié à la date de soumission, et aucun partenariat industriel ni calendrier de transfert n'est mentionné dans le papier.

Dans nos dossiers

UnitreeAMR & automatisation d'entrepôtarXiv cs.RO

À lire aussi

Planification robotique et gestion de situations par perception active
1arXiv cs.RO 

Planification robotique et gestion de situations par perception active

Des chercheurs présentent dans un preprint arXiv (réf. 2604.26988, mai 2026) un cadre logiciel baptisé VAP-TAMP, pour Vision-language model-based Active Perception for Task And Motion Planning, conçu pour doter les robots d'une capacité de détection et de gestion des situations imprévues en cours d'exécution de tâches. Le système cible des perturbations concrètes : une porte coincée, un objet tombé au sol, une modification de l'environnement due à une activité humaine. VAP-TAMP exploite une base de connaissances sur les actions du robot pour formuler dynamiquement des requêtes vers des modèles vision-langage (VLA/VLM), sélectionner activement des points de vue pertinents, puis évaluer la situation. En parallèle, il construit et interroge des graphes de scène pour assurer la planification intégrée des tâches et des mouvements. Le framework a été évalué sur des tâches de service en simulation et sur une plateforme réelle de manipulation mobile. L'enjeu est structurant pour toute démarche d'autonomie longue durée en robotique de service ou industrielle. L'un des verrous majeurs identifiés par les intégrateurs et les équipes R&D n'est pas la planification initiale, les planificateurs TAMP existants s'en sortent bien, mais la résilience à l'exécution : un robot qui échoue silencieusement ou se bloque face à un impondérable n'est pas déployable en production. VAP-TAMP propose une réponse architecturale à ce point de friction en couplant perception active (choix du meilleur angle de vue pour comprendre la situation) et raisonnement symbolique via graphes de scène, deux approches généralement traitées séparément. Si les résultats se confirment sur des scénarios plus variés, cela allège significativement la charge d'ingénierie pour les équipes qui construisent des pipelines de manipulation autonome. Le travail s'inscrit dans une dynamique de recherche intense autour de l'intégration VLM-TAMP, un champ qui a explosé depuis 2023 avec les travaux de Google DeepMind sur SayCan, de Physical Intelligence (Pi-0) et des équipes de Carnegie Mellon sur la planification par LLM. VAP-TAMP se positionne sur le maillon "récupération d'erreur" plutôt que sur la génération de plan initiale, ce qui le différencie d'approches comme Code-as-Policies ou Inner Monologue. Le preprint ne mentionne pas de partenariat industriel ni de calendrier de transfert technologique : il s'agit à ce stade d'une contribution académique, sans déploiement annoncé. Les prochaines étapes naturelles seraient une validation sur un spectre plus large de perturbations et une comparaison quantitative avec des baselines de récupération existantes.

RecherchePaper
1 source
SAP-Nav : représentation sémantique spatiale et perception active pour la navigation hiérarchique à vocabulaire ouvert
2arXiv cs.RO 

SAP-Nav : représentation sémantique spatiale et perception active pour la navigation hiérarchique à vocabulaire ouvert

Des chercheurs ont publié sur arXiv (2608.12707v1) SAP-Nav, un framework de navigation robotique zero-shot conçu pour suivre des instructions en langage libre désignant une cible à l'échelle de la scène, de la pièce, de la région ou de l'instance, dans des environnements inconnus (navigation hiérarchique vers des objets à vocabulaire ouvert, ou OVON). Sans entraînement dédié à la tâche ni carte préconstruite, le système bâtit en continu une représentation spatiale sémantique interrogeable à partir des vues de pièces acquises activement par l'agent, et s'appuie sur un module de vérification active du point de vue : si l'observation courante ne fournit pas assez d'indices, l'agent se repositionne vers un emplacement plus informatif avant de confronter les candidats aux contraintes de catégorie et d'attributs. Évalué sur les benchmarks LangMap et HM3D-OVON, SAP-Nav obtient les meilleurs scores globaux, avec un gain de 12,2 points de taux de réussite sur la navigation au niveau région par rapport aux méthodes entraînées spécifiquement. Des tests sur robot réel confirment la faisabilité pratique de l'approche ; le code source ne sera publié qu'après acceptation de l'article. Ce travail répond à une tension classique de la navigation robotique sous observation partielle : l'ancrage spatial exige une mémoire persistante de l'environnement, tandis que la vérification de la cible exige des vues nettes et discriminantes, deux besoins difficiles à concilier simultanément. En misant sur la perception active plutôt que sur un entraînement lourd ou des cartes précalculées, SAP-Nav généralise directement à de nouveaux lieux, un atout pour les robots de service ou les AMR devant exécuter des instructions en langage naturel sans reconfiguration site par site. Le gain annoncé reste toutefois mesuré sur des benchmarks simulés, et la démonstration sur robot réel atteste avant tout une faisabilité technique, pas un déploiement en conditions industrielles. SAP-Nav prolonge LangMap, un travail antérieur qui a formalisé ce cadre hiérarchique en distinguant indices de scène, de pièce, de région et d'instance. Il se positionne comme alternative zero-shot aux méthodes dites "training-based", qui nécessitent un apprentissage spécifique ou des cartes de scène précalculées, tout en restant compatible avec la navigation classique par catégorie. Aucune entreprise ni laboratoire n'est cité dans le résumé, ce qui indique une contribution académique sans partenariat industriel annoncé à ce stade. Les auteurs précisent que le code source sera rendu public uniquement après acceptation de l'article, signe que la publication est encore en cours d'évaluation par les pairs et que la reproduction complète des résultats n'est pas encore possible.

RecherchePaper
1 source
Perception active pour la désambiguïsation incarnée
3arXiv cs.RO 

Perception active pour la désambiguïsation incarnée

Un article de recherche intitulé "Active Perception for Embodied Disambiguation" (arXiv:2608.13605v1) propose un nouveau cadre pour lever l'ambiguïté des instructions données en langage naturel aux robots. Le constat de départ est que lorsqu'un robot reçoit une consigne, l'incertitude sur la cible visée ne provient pas uniquement d'une formulation imprécise de l'utilisateur, mais aussi d'un manque de preuves visuelles dans l'observation courante : objet occulté, point de vue restreint, texte illisible ou cible simplement hors champ. Les méthodes existantes de désambiguïsation interactive se contentent généralement de poser des questions supplémentaires à l'utilisateur. Le système proposé s'appuie à la place sur l'observation active comme mécanisme principal d'acquisition d'information, pilotée par un modèle vision-langage (VLM) qui décide, à partir des indices visuels déjà accumulés et des échanges passés, s'il faut poursuivre l'observation, demander une clarification, ou valider directement la sélection de la cible. Des expériences menées sur robot réel montrent que ce cadre combine effectivement acquisition physique d'information et clarification d'intention au sein d'un seul processus de désambiguïsation incarnée. L'intérêt pour l'industrie robotique tient au fait que la plupart des systèmes de commande en langage naturel traitent l'ambiguïté comme un problème purement conversationnel, en multipliant les questions à l'utilisateur, sans jamais remettre en cause la qualité de l'observation elle-même. Or dans un entrepôt, un domicile ou un site industriel, les occlusions, les angles de vue limités et les étiquettes illisibles sont la norme plutôt que l'exception. Montrer qu'un robot peut résoudre une partie de ces ambiguïtés en changeant activement de point de vue, plutôt qu'en interrompant systématiquement la tâche pour interroger l'opérateur, va dans le sens d'une autonomie plus robuste pour les architectures de type VLA déployées sur bras manipulateurs ou robots mobiles. Cela répond aussi, de façon ciblée, à l'écart souvent observé entre démonstrations en environnement contrôlé et comportement en conditions réelles bruitées. Ce travail s'inscrit dans la lignée des recherches sur la désambiguïsation interactive et sur les modèles vision-langage-action qui infusent la compréhension du langage dans la boucle de perception et d'action des robots, un axe où plusieurs laboratoires publient régulièrement de nouvelles architectures. Il s'agit ici d'une publication de recherche en préimpression sur arXiv, sans produit commercial ni déploiement industriel associé à ce stade : la contribution reste méthodologique et validée par des essais limités sur robot réel, pas encore par des pilotes à grande échelle ni des chiffres de performance chiffrés publiquement communiqués.

RecherchePaper
1 source
ActiveMimic : pré-entraînement sur vidéo égocentrique avec perception active
4arXiv cs.RO 

ActiveMimic : pré-entraînement sur vidéo égocentrique avec perception active

Des chercheurs ont publié ActiveMimic (arXiv:2606.06194, juin 2026), un framework de pré-entraînement robotique qui exploite des vidéos égocentrées humaines captées par une simple caméra RGB portée sur le corps. La contribution technique centrale : plutôt que de traiter les mouvements de caméra comme du bruit, comme le font les pipelines standards, ActiveMimic récupère des trajectoires synchronisées de la caméra et du poignet depuis ce seul flux vidéo, puis modélise le déplacement de la caméra comme une "action de point de vue" à part entière. Le framework apprend ainsi simultanément la perception active et la manipulation à partir de vidéos humaines capturées en conditions réelles, avant d'être adapté à un robot cible via fine-tuning. Sur plusieurs tâches de manipulation impliquant des degrés variés de perception active, les expériences en conditions réelles montrent qu'ActiveMimic surpasse les baselines pré-entraînées sur vidéo humaine classique et atteint les performances des modèles pré-entraînés sur données robotiques. Ce résultat est notable car la vidéo égocentrée humaine est disponible à grande échelle sans nécessiter de robot, mais les modèles qui en étaient issus sous-performaient systématiquement face à ceux entraînés sur données robotiques. ActiveMimic identifie le signal manquant : la perception active, soit le comportement naturel par lequel un humain repositionne continuellement son point de vue pendant une manipulation. Ce mécanisme, invisible pour les pipelines qui traitent la motion de caméra comme artefact, s'avère être le facteur clé pour extraire la valeur de ces vidéos. Les expériences indiquent en outre que la capacité de perception active émerge du pré-entraînement sur vidéo humaine et non du fine-tuning robot-spécifique, ce qui suggère une transférabilité potentielle à d'autres architectures et morphologies. Ce travail s'inscrit dans une compétition dense autour des modèles vision-action (VLA) pour la manipulation robotique généraliste. Physical Intelligence avec Pi-0, Google DeepMind avec RT-2, et les équipes de Figure AI exploitent des architectures VLA pré-entraînées, mais s'appuient majoritairement sur des données de téléopération robotique, coûteuses et lentes à collecter. Si l'approche d'ActiveMimic se confirme sur des benchmarks indépendants et des environnements non contrôlés, elle pourrait réduire significativement ce goulot d'étranglement en substituant une partie des données robotiques par de la vidéo humaine abondante. Les prochaines étapes naturelles incluent la validation industrielle, l'extension à des morphologies variées, et l'évaluation de la scalabilité avec des volumes de vidéo égocentrée plus importants.

RechercheOpinion
1 source