Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
DevGRU : navigation visuelle guidée par la profondeur avec modèle récurrent conscient des collisions
RecherchearXiv cs.RO 

DevGRU : navigation visuelle guidée par la profondeur avec modèle récurrent conscient des collisions

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent DevGRU (arXiv:2608.18470v1, prépublication mise en ligne le 20 août 2026), un système de navigation visuelle pour robots conditionné par image de profondeur et point de destination (point-goal). Le cœur du système est un prédicteur d'action (action predictor, AP) qui génère des trajectoires futures tenant compte des collisions, permettant d'éviter les obstacles immédiats. Un second module, le prédicteur de collision, travaille en tandem avec l'AP pour compenser les erreurs accumulées dans l'estimation de la pose cible et anticiper les déviations de trajectoire avant qu'elles ne se produisent. Les auteurs ont évalué leur méthode sur neuf scènes différentes, en la comparant à trois approches de référence considérées comme état de l'art (ViNT, NoMaD et NavDP) ainsi qu'à quatre variantes supplémentaires de ViNT et NoMaD. DevGRU surpasse nettement ViNT et NoMaD en performance de navigation, tout en utilisant un nombre de paramètres entraînables nettement plus faible : le modèle est 7 fois plus compact que NavDP et son temps d'inférence est 17 fois plus rapide.

L'enjeu que cible ce travail est concret pour l'industrie : les modèles de navigation dits "fondation", censés généraliser d'une plateforme robotique à l'autre, échouent souvent dans des environnements intérieurs structurés, en particulier dans les passages étroits, où les collisions restent fréquentes malgré des démonstrations convaincantes en conditions contrôlées. En traitant explicitement la prédiction de collision comme un signal de correction plutôt qu'un simple filtre a posteriori, DevGRU illustre une piste pour combler cet écart entre démonstration et fiabilité réelle. Le gain en légèreté et en vitesse d'inférence est également significatif pour les intégrateurs, puisqu'il ouvre la voie à un déploiement embarqué sur du matériel de calcul limité, sans dépendre d'une infrastructure de calcul déportée.

Ce travail s'inscrit dans la lignée des modèles de navigation généralistes issus de la recherche académique, dont ViNT et NoMaD sont des jalons de référence, avec NavDP comme benchmark plus récent. Il s'agit à ce stade d'une publication de recherche (arXiv, type "new"), sans lien annoncé avec une entreprise, un produit commercial ou un déploiement réel signalé. Aucun pilote industriel ni calendrier de mise en production n'est mentionné dans l'article.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Modélisation du monde conditionnée par le langage pour la navigation visuelle
1arXiv cs.RO 

Modélisation du monde conditionnée par le langage pour la navigation visuelle

Une équipe de chercheurs publie sur arXiv (2603.26741, version 2) un travail sur la navigation visuelle conditionnée par le langage, baptisée LCVN. Dans cette tâche, un agent incarné doit suivre une instruction en langage naturel en ne disposant que d'une observation égocentrique initiale, sans image du but. La perception et le contrôle continu doivent donc être guidés uniquement par le texte. Les auteurs introduisent le jeu de données LCVN, qui regroupe 39 016 trajectoires et 117 048 instructions vérifiées par des humains, couvrant des environnements et des styles de consigne variés. Ils comparent deux approches. La première, l'imagination latente, associe un modèle du monde à base de diffusion (LCVN-WM), qui imagine les observations futures, à un agent acteur-critique (LCVN-AC) dont la politique est apprise entièrement dans cet espace latent imaginé. La seconde, la prédiction autorégressive unifiée (LCVN-Uni), utilise un seul backbone multimodal qui prédit actions et observations en une passe sur une séquence de tokens partagée. Les résultats montrent que les deux approches sont complémentaires. L'imagination latente produit des déroulés plus cohérents dans le temps, tandis que la prédiction unifiée généralise mieux à des environnements jamais vus. Pour un ingénieur robotique ou un intégrateur, l'enseignement porte sur l'arbitrage d'architecture entre un modèle du monde explicite, utile pour la planification, et un modèle unique de type VLA (vision-langage-action), plus robuste hors distribution. Des ablations isolent l'effet du guidage linguistique, des signaux de conditionnement et du style d'instruction. Elles permettent de savoir si le goulot d'étranglement vient de l'ancrage du langage ou de la modélisation de la dynamique. Cette distinction est précieuse pour orienter les investissements, entre meilleures données langagières et meilleurs modèles dynamiques. Il faut cependant rester prudent : il s'agit d'un travail académique évalué sur un benchmark, sans déploiement sur robot physique annoncé. Il ne dit rien du transfert sim-to-real ni des temps de latence en conditions industrielles. Ce travail s'inscrit dans la longue tradition de la navigation visuelle conditionnée par un but image, qui sert de banc d'essai à l'IA incarnée depuis des années. Il rejoint la tendance actuelle qui combine modèles du monde génératifs et politiques linguistiques, portée par des modèles du monde comme ceux de la famille Genie ou Cosmos et par les VLA généralistes (Pi-0, GR00T, Helix), qui visent surtout la manipulation. La navigation par instruction reste moins couverte par ces modèles. Le jeu de données, relativement volumineux pour la tâche, peut servir de référence commune. Aucune suite commerciale ni calendrier de pilote n'est annoncé. La prochaine étape logique serait de tester ces approches hybrides sur du matériel réel, ou d'unifier imagination latente et prédiction autorégressive dans une même architecture.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Planification de tâches et de mouvements guidée par la preuve avec des modèles vision-langage
2arXiv cs.RO 

Planification de tâches et de mouvements guidée par la preuve avec des modèles vision-langage

EAFG (Evidence Acquisition and Feasibility Gating), publié sur arXiv le 20 août 2026 (2608.20084v1), est un framework de planification de tâches et de mouvements (TAMP) pilotée par des modèles vision-langage (VLM) pour robots manipulateurs. Face à une instruction longue, comme cuisiner un plat, le VLM peut halluciner la présence d'objets jamais observés et bâtir des sous-objectifs sur ses connaissances a priori plutôt que sur la perception réelle, causant des échecs d'exécution. EAFG fait d'abord explorer le robot, via des sous-objectifs générés par le VLM et exécutés par TAMP, pour recueillir des preuves visuelles ; une porte de faisabilité décide ensuite de planifier, d'explorer davantage, ou d'arrêter. Sur des tâches culinaires à usage d'objets ambigu, EAFG améliore la complétion des recettes en découvrant les objets pertinents avant de planifier, et réduit les tentatives inutiles quand un objet requis est absent, sans chiffres précis publiés. Cette approche cible un point de friction concret pour l'industrialisation des robots manipulateurs pilotés par VLM : l'écart entre la compréhension sémantique d'une instruction et la vérification géométrique et perceptive de sa faisabilité réelle. Pour les intégrateurs opérant en environnement partiellement observable, un robot qui agit sur des suppositions non vérifiées représente un risque opérationnel, en temps perdu ou en échecs silencieux. En séparant explicitement planifier, explorer et arrêter, EAFG remet en question l'hypothèse implicite de nombreux pipelines VLM+TAMP selon laquelle une seule perception de la scène suffit avant de planifier une tâche longue, une piste utile face au fossé persistant entre démonstrations contrôlées et déploiement fiable. EAFG s'inscrit dans la lignée des travaux combinant VLM et planification robotique, un courant structuré notamment autour d'approches comme SayCan, qui traduisent des instructions en langage naturel en séquences d'actions exécutables. Il s'agit ici d'une contribution académique : aucun robot commercial ni déploiement en production n'est mentionné, et le résumé ne précise pas si les expériences culinaires ont été menées sur un robot physique ou en simulation. La suite logique pour ce type de recherche serait une validation sur des tâches plus longues, dans des environnements moins contrôlés que la cuisine, et une comparaison directe avec d'autres pipelines VLM+TAMP sur des benchmarks partagés.

RecherchePaper
1 source
NavPatch : correction de costmap au niveau objet guidée par preuves avec des modèles vision-langage
3arXiv cs.RO 

NavPatch : correction de costmap au niveau objet guidée par preuves avec des modèles vision-langage

Des chercheurs présentent NavPatch, une couche de correction au niveau objet destinée aux robots mobiles qui s'appuie sur un modèle vision-langage pour ajuster les cartes de coûts géométriques utilisées en navigation. Le système applique trois types de correction (ADD, REMOVE, EXTEND) à des catégories d'objets pertinentes pour la navigation, comme un câble bas ignoré par les capteurs, un rideau souple créant un blocage fictif, ou un plot de signalisation nécessitant une zone d'exclusion plus large que son empreinte réelle. La localisation des objets repose sur du grounding en vocabulaire ouvert, complété par des données LiDAR et RGB-D pour le support 3D, avec un filtrage de la qualité des observations et un suivi inter images qui décide quand chaque correction est validée, remplacée ou annulée. Sur 50 essais réels répartis sur cinq configurations d'environnement, NavPatch atteint un taux de réussite global de 86,0%. Une étude d'ablation portant sur quatre configurations et 200 essais au total montre une progression du taux de réussite de 70,0% à 86,0%, et une réduction du taux de fausses validations de 68,4% à 40,7% par rapport à une approche fondée uniquement sur l'observation courante. Ce travail s'attaque à un problème concret pour les intégrateurs de robotique mobile: les cartes géométriques classiques, construites à partir de nuages de points ou de grilles d'occupation, peinent à représenter correctement des objets ambigus, transparents, filiformes ou nécessitant une marge de sécurité contextuelle. En montrant qu'une correction sémantique pilotée par un modèle vision-langage réduit significativement les faux positifs de blocage tout en améliorant le taux de succès en navigation réelle, l'étude apporte une preuve empirique que l'ajout d'une compréhension de scène au-dessus de la géométrie brute améliore la robustesse en conditions réelles, plutôt que de rester une simple démonstration en simulation. Pour les équipes déployant des AMR (robots mobiles autonomes) en entrepôt ou en environnement industriel, cela suggère une voie pour réduire les arrêts intempestifs et les erreurs de planification de trajectoire sans reconcevoir entièrement la pile de perception existante. Cette approche s'inscrit dans la tendance plus large consistant à combiner cartographie géométrique traditionnelle et modèles vision-langage pour de la navigation robotique, un axe de recherche actif alors que les capacités de grounding en vocabulaire ouvert des modèles multimodaux progressent rapidement. L'article, publié sous la référence arXiv:2609.14543v1, ne précise pas l'identité des auteurs ni leur affiliation institutionnelle dans les éléments fournis, et les essais restent limités à 50 essais réels sur cinq configurations, un périmètre expérimental modeste qui laisse ouvertes les questions de généralisation à des environnements industriels plus vastes ou plus dynamiques. Aucun partenariat industriel, déploiement commercial ou suite annoncée n'est mentionné à ce stade, ce qui situe clairement ce travail au stade de la recherche académique plutôt que du produit prêt à déployer.

RecherchePaper
1 source
D-CLING : affinage conditionné par la profondeur pour les modèles fondation de navigation, avec préservation des connaissances antérieures
4arXiv cs.RO 

D-CLING : affinage conditionné par la profondeur pour les modèles fondation de navigation, avec préservation des connaissances antérieures

D-CLING est une méthode de fine-tuning pour les Navigation Foundation Models (NFM) présentée dans un preprint arXiv (2605.19690) par des chercheurs de Toyota Frontier Research Center. Les NFM sont des politiques visuomotrices entraînées sur de larges ensembles de données multi-robots, capables de naviguer dans des environnements variés. Le problème identifié est récurrent dans le déploiement terrain : adapter un NFM à un nouveau contexte par fine-tuning classique dégrade ses capacités, provoquant soit un évitement d'obstacles défaillant, soit une incapacité à atteindre les objectifs fixés. D-CLING s'inspire directement de ControlNet, l'architecture de contrôle conditionné développée pour les modèles de diffusion d'images, en attachant une copie entraînable du backbone pré-entraîné via des connexions résiduelles initialisées à zéro. Ce mécanisme permet au modèle d'acquérir des indices géométriques de profondeur sans écraser le prior pré-entraîné. Les évaluations en navigation réelle montrent une réduction significative des collisions et des interventions humaines sur des trajectoires longue distance. Le problème adressé est central pour la commercialisation des robots mobiles : les NFM généralistes sont puissants mais rarement utilisables sans adaptation sur un site spécifique. Le fine-tuning sur données locales provoque typiquement un phénomène d'érosion du prior, autrement dit l'oubli catastrophique des capacités acquises en pré-entraînement. En isolant l'apprentissage géométrique dans une branche parallèle non destructive, D-CLING préserve la généralisation du modèle de base tout en permettant une adaptation ciblée à la configuration caméra et à la géométrie de l'environnement. L'analyse offline montre que la méthode maintient, voire améliore, la prédiction d'actions au-delà du dataset de fine-tuning, un résultat structurant pour le continual learning en robotique mobile. Pour un intégrateur déployant des AMR avec une configuration optique non standard, cela ouvre une voie d'adaptation sans réentraînement complet du modèle. Toyota Frontier Research Center s'inscrit dans une dynamique plus large : plusieurs équipes industrielles cherchent à capitaliser sur les NFM généralistes issus de travaux de Google DeepMind, Stanford ou Berkeley, plutôt que de repartir de zéro par plateforme. Le transfert méthodologique depuis ControlNet illustre la porosité croissante entre la recherche en génération d'images et la robotique, notamment via les architectures à diffusion. Les concurrents directs incluent les adaptations LoRA appliquées aux politiques robotiques et les approches de domain adaptation sans ré-entraînement. D-CLING reste pour l'instant un preprint, sans benchmark standardisé publié ni déploiement à grande échelle annoncé ; les résultats sont prometteurs, mais la validation sur des environnements industriels diversifiés reste entière.

UEImpact indirect : les intégrateurs européens d'AMR déployant des modèles de navigation généralistes pourraient adopter cette méthode d'adaptation sans réentraînement complet, mais aucun acteur ou déploiement EU n'est impliqué à ce stade.

RechercheOpinion
1 source