Aller au contenu principal
NavGen : les modèles génératifs visuels comme moteur de données évolutif pour la navigation 3D incarnéeIllustration générée par IA
RecherchearXiv cs.RO 

NavGen : les modèles génératifs visuels comme moteur de données évolutif pour la navigation 3D incarnée

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs présentent NavGen dans un article publié sur arXiv (identifiant 2609.30770), un pipeline de génération de données texte-vers-vidéo destiné à l'entraînement de modèles de navigation aérienne pour drones. Le système produit des épisodes de navigation vision-langage (VLN) simulant des environnements intérieurs et extérieurs, associés à une méthode de diversification stylistique conçue pour multiplier les scénarios rares et coûteux à collecter dans la réalité. Le jeu de données résultant compte environ 400 000 épisodes de navigation. Les auteurs comparent leurs résultats à ceux obtenus avec des jeux de données UAV existants sur plusieurs métriques et constatent que les performances du modèle entraîné sur NavGen progressent avec l'échelle des données, dépassant les modèles entraînés sur les corpus concurrents. Pour vérifier le transfert vers le monde réel, l'équipe a déployé le modèle selon un paradigme dit "world-action-model" lors d'essais de vol réels, avec un taux de réussite de 75% sur des tâches et environnements de navigation variés.

Cette approche s'attaque à un compromis structurel connu du secteur de la robotique aérienne : les données simulées sont générables à grande échelle mais souffrent d'un écart visuel important entre simulation et réalité, tandis que les données de vol réelles sont fidèles mais coûteuses et lentes à rassembler. En proposant les modèles génératifs vidéo comme une troisième voie, capable de produire des observations visuelles réalistes sans les contraintes logistiques du vol réel, NavGen apporte un élément de preuve empirique en faveur de l'hypothèse selon laquelle des générateurs vidéo haute fidélité peuvent servir de moteurs de données scalables pour l'IA incarnée. Le résultat intéresse directement les intégrateurs et laboratoires travaillant sur des modèles vision-langage-action : un taux de succès de 75% en conditions réelles, à nuancer selon la difficulté exacte des tâches testées et le nombre d'essais réalisés, suggère que l'écart entre démonstration et déploiement réel peut se réduire grâce à des données synthétiques mieux conçues plutôt que par la seule accumulation de vols réels.

NavGen s'inscrit dans la lignée des travaux récents qui cherchent à contourner la pénurie de données d'entraînement pour la robotique incarnée, un problème déjà posé pour les bras manipulateurs et les humanoïdes et qui touche tout autant la navigation aérienne autonome. L'article ne révèle ni affiliation institutionnelle ni drone commercial associé au projet, et reste au stade de préprint scientifique : aucun partenariat industriel, pilote client ni feuille de route de déploiement n'est mentionné à ce jour. Les auteurs positionnent leur travail comme une alternative aux jeux de données UAV existants utilisés comme références dans le domaine, sans toutefois les nommer explicitement. La suite logique, non confirmée par les auteurs, serait l'extension de la méthode à d'autres classes de robots mobiles ou à des tâches de navigation plus complexes.

À lire aussi

ASENA : des agents auto-évolutifs pour la navigation de l'IA incarnée
Illustration générée par IA
1arXiv cs.RO 

ASENA : des agents auto-évolutifs pour la navigation de l'IA incarnée

Des chercheurs publient ASENA, un système d'agent incarné qui relie des agents de codage généralistes aux capteurs, au calcul, à l'exécution supervisée et à une mémoire persistante d'un robot. L'agent écrit et exécute des programmes, relit les résultats enregistrés, corrige ses échecs et réutilise des notes et des compétences exécutables, le tout sans modifier les poids du modèle. Le système s'accompagne d'ASENA-VLN, une politique de navigation monoculaire de 4 milliards de paramètres, proposée comme outil optionnel. Elle prédit des trajectoires dans le repère du corps, pour des itinéraires longs comme pour des comportements à court horizon, grâce à un décodeur vision-langage unique. Celui-ci est entraîné sur des instructions de parcours, des questions-réponses visuelles et un nouveau jeu de tâches de navigation « atomiques » dérivées de la géométrie. Seule, la politique atteint 68,7 % de succès sur R2R et 70,2 % sur RxR, ce que les auteurs présentent comme l'état de l'art. Couplée à l'agent de codage, elle ajoute 11 points de succès sur les deux benchmarks agentiques tout en réduisant le temps d'exécution. Dix passes sur des sous-ensembles récurrents de 100 tâches, avec retour du simulateur, font passer le succès de 72 % à 98 % sur R2R et de 65 % à 89 % sur RxR. En question-réponse incarnée, ASENA annonce aussi la meilleure précision, avec moins d'étapes d'interaction. Des démonstrations réelles sur un Unitree G1 combinent recherche, inspection visuelle, raisonnement spatial et gestes synthétisés, sans carte préalable. L'intérêt tient moins au score de navigation qu'à l'architecture. Ici, l'amélioration ne passe pas par un réentraînement : elle vient de la mémoire de l'agent (notes, scripts, compétences), ce qui rapproche le robot d'un logiciel qu'on débogue que d'un modèle qu'on affine. Pour un intégrateur, cela ouvre la voie à une adaptation d'un site à l'autre sans cycle de collecte de données ni de fine-tuning. Il faut toutefois lire les gains avec prudence. Le passage de 72 % à 98 % est mesuré sur des sous-ensembles de 100 tâches rejouées dix fois avec retour du simulateur : cela ressemble davantage à une mémorisation de tâches récurrentes qu'à une généralisation à des environnements inédits. Les résultats chiffrés restent obtenus en simulation, et les démonstrations sur G1 sont qualitatives, sans taux de réussite, durée ni nombre d'essais publiés. L'écart entre démonstration et fiabilité en conditions réelles reste donc entier. Ce travail s'inscrit dans deux tendances qui convergent : les politiques vision-langage-action pour la navigation, évaluées sur R2R et RxR, et les agents de codage appliqués à la robotique, où le LLM génère du code plutôt que des commandes bas niveau. En faisant de la politique apprise un simple outil parmi d'autres, ASENA se positionne à l'opposé des approches de bout en bout comme Pi-0 ou GR00T, qui concentrent tout dans un seul modèle. Le G1 de Unitree, plateforme humanoïde à bas coût largement répandue en recherche, sert de support. Il s'agit d'une prépublication arXiv (v1), non évaluée par les pairs. Le code, les jeux de données et d'éventuels tests hors simulation seront les vrais juges de la portée du système.

RecherchePaper
1 source
RoboJudge : des modèles de langage multimodaux comme juges pour la génération de vidéos d'IA incarnée
Illustration générée par IA
2arXiv cs.RO 

RoboJudge : des modèles de langage multimodaux comme juges pour la génération de vidéos d'IA incarnée

Des chercheurs proposent RoboJudge, un cadre destiné à évaluer la capacité des modèles de langage multimodaux (MLLM) à juger des vidéos générées pour la robotique. Son banc d'essai, RoboJudge-Bench, regroupe 800 vidéos annotées par des humains. Elles proviennent de 8 corpus sources et de 10 générateurs vidéo, et couvrent des pinces, des mains humaines et des mains dextres. Deux critères sont notés : l'adhérence physique (la scène respecte-t-elle les lois de la physique ?) et l'alignement avec l'instruction (la vidéo exécute-t-elle bien la tâche demandée ?). Les auteurs constatent un accord inégal entre juges automatiques et humains. Les MLLM généralistes s'accordent moins bien avec les humains sur la physique. Les juges vidéo spécialisés, conçus pour le raisonnement physique en domaine général, ne se transfèrent pas de façon constante aux scènes incarnées. L'équipe a ensuite construit RoboJudge-Train : 12 000 vidéos, 25 000 scores vérifiés par des humains et des justifications produites avec l'aide d'un modèle. Un MLLM de 9 milliards de paramètres a été affiné par apprentissage supervisé puis par apprentissage par renforcement, ce qui donne RoboJudge-9B. Ce modèle atteint la meilleure corrélation de Pearson du banc d'essai, 0,719. Il devance de 0,089 points, un écart statistiquement significatif, Gemini-3.7-Flash, le meilleur modèle propriétaire testé. Les modèles de monde fondés sur la génération vidéo sont de plus en plus présentés comme une base pour la simulation et l'entraînement de politiques robotiques. Cela suppose de pouvoir dire si une trajectoire générée est utilisable, c'est-à-dire sans objets qui traversent la pince ni contacts irréalistes, et fidèle à la consigne. Or l'évaluation à grande échelle repose de plus en plus sur des MLLM utilisés comme arbitres, sans que leur fiabilité ait été mesurée sur des vidéos de manipulation. Ce travail indique que ce choix est risqué : le classement de générateurs vidéo par un juge généraliste peut être biaisé justement sur la physique, critère le plus important pour les robots. Un juge de 9 milliards de paramètres, spécialisé, peut surpasser un modèle propriétaire. Il est donc réaliste de l'exécuter localement, à faible coût et de façon reproductible. Il faut toutefois relativiser : une corrélation de 0,719 reste loin d'un accord parfait avec les humains. Le benchmark est modeste, avec 800 vidéos, et les résultats n'ont pas été validés sur des tâches de robotique en conditions réelles. Ce travail s'inscrit dans la lignée des benchmarks de physique vidéo comme VideoPhy2 et Physion-Eval, sur lesquels l'entraînement avec RoboJudge-Train apporte aussi des gains selon les auteurs. Il répond à la multiplication des modèles de monde incarnés et des générateurs vidéo orientés manipulation, dont l'évaluation reste surtout visuelle ou subjective. Les auteurs utilisent RoboJudge-9B pour classer des générateurs vidéo selon les deux critères, mais le résumé ne détaille ni les résultats ni la disponibilité publique des données et du modèle. La suite logique serait d'intégrer ce type de juge dans les boucles de génération de données synthétiques et de filtrage de rollouts, puis de vérifier si les scores prédisent réellement la réussite de politiques entraînées sur ces vidéos.

RecherchePaper
1 source
Déploiement de modèles fondation pour la navigation robotique incarnée
Illustration générée par IA
3arXiv cs.RO 

Déploiement de modèles fondation pour la navigation robotique incarnée

Un article publié sur arXiv (2609.25666v1) détaille deux limites concrètes du déploiement de modèles de fondation (FM) sur des agents incarnés chargés de navigation : un biais d'entraînement qui dégrade la personnalisation dans des environnements inédits, et une longueur de contexte insuffisante qui pénalise les tâches à long horizon. Face au premier problème, les auteurs proposent TAP (Transit-Aware Planning), qui amorce le FM avec des données d'habitudes humaines extraites directement de la scène. Pour le second, ils introduisent MemCtrl, doté d'une "tête de mémoire" (memory head) qui gère activement le contexte plutôt que de le laisser s'accumuler passivement. Testé en conditions réelles dans un environnement de laboratoire avec un robot Turtlebot sur une tâche de recherche de cible personnalisée, TAP affiche une amélioration moyenne de 18% par rapport à une base sans cette méthode. MemCtrl, évalué sur plusieurs tâches incarnées, obtient un gain moyen de 6%, qui monte à 20% sur les sous-ensembles d'instructions longues, tout en consommant près de moitié moins de contexte que le modèle de référence. Ces résultats visent deux angles morts souvent minimisés dans les annonces de robots généralistes pilotés par des modèles vision-langage-action (VLA) : la personnalisation réelle une fois le robot sorti de son jeu de données d'entraînement, et le coût en contexte des tâches longues, qui limite la scalabilité en usage réel. Le fait que le gain de TAP soit mesuré sur un robot physique, et non sur des vidéos sélectionnées en simulation, constitue un signal utile pour les intégrateurs, même si l'échelle reste celle d'un laboratoire contrôlé et non d'un déploiement commercial. Diviser par deux le budget de contexte tout en améliorant la précision représente aussi un argument économique concret pour qui doit faire tourner ces modèles en inférence à grande échelle sur du matériel embarqué. Pour les décideurs B2B qui évaluent des piles VLA pour la logistique ou le service, le papier rappelle que le sim-to-real et le passage à l'échelle du contexte restent des problèmes ouverts, non résolus par la seule taille des modèles. Le travail s'inscrit dans un corpus déjà dense de recherches sur la navigation incarnée pilotée par des FM, que les auteurs organisent en une taxonomie pour situer leurs deux contributions par rapport à l'état de l'art. Il s'agit d'une publication de recherche académique, pas d'une annonce produit : elle défend une position argumentée sur la déployabilité réelle des agents incarnés fondés sur des FM et liste des pistes de recherche ouvertes plutôt qu'une feuille de route commerciale. Aucun partenariat industriel, aucun site de déploiement commercial ni aucun calendrier de mise sur le marché n'est mentionné ; les suites annoncées portent sur l'extension des tests à d'autres environnements et tâches à long horizon, pas sur un lancement produit.

RechercheActu
1 source
Le raisonnement comme distribution : des latents de plan génératifs pour les modèles vision-langage-action (VLA)
Illustration générée par IA
4arXiv cs.RO 

Le raisonnement comme distribution : des latents de plan génératifs pour les modèles vision-langage-action (VLA)

Des chercheurs proposent le Generative Plan Latent (GPL), une méthode qui change la façon dont les politiques vision-langage-action (VLA) représentent leur étape de raisonnement avant d'agir. Plutôt que de compresser cette décision intermédiaire en une seule représentation, le GPL la modélise comme une distribution conditionnelle de faible dimension sur les plans possibles : quel objet saisir, quelle prise adopter, quel itinéraire suivre. Selon les auteurs, ce raisonnement devient alors « adressable » sans réentraîner la VLA. Les plans peuvent être échantillonnés pour couvrir les alternatives, sélectionnés à la demande (steering) et repondérés selon les résultats observés en déploiement (adaptation aux résultats). Les tests portent sur la manipulation dans SimplerEnv avec le modèle π0 (Pi-0), puis sur RoboCasa, LIBERO et un domaine de labyrinthe. Le chiffre central : le pilotage du plan fait passer la part d'exécutions qui suivent la consigne de 0,48 à 0,94, alors qu'appliquer le même guidage à la distribution d'actions native ne produit aucun gain fiable. L'enjeu touche un point faible des VLA à raisonnement : quand plusieurs plans sont valides, un modèle qui s'engage sur un seul masque les alternatives que l'opérateur ou le système aurait pu choisir ou corriger. Pour un intégrateur, la capacité de dire « prends cet objet » ou « passe par là » et d'obtenir cette exécution dans 94 % des cas plutôt que dans moins de la moitié est une propriété de contrôlabilité qui compte autant que le taux de réussite brut. Le résultat suggère aussi qu'il vaut mieux agir sur une couche de décision explicite que sur la distribution d'actions bas niveau. L'adaptation par les résultats de déploiement ouvre une voie vers une amélioration en service sans réentraînement coûteux. Les auteurs nuancent toutefois : un plan explicite n'est utile que s'il porte une information de décision que l'observation ne détermine pas déjà. Ces travaux s'inscrivent dans la montée des VLA qui raisonnent avant d'agir, après la première vague de politiques de type π0 qui prédisent directement les actions. La portée reste à relativiser : il s'agit d'un préprint arXiv (v1), évalué uniquement en simulation (SimplerEnv, RoboCasa, LIBERO) et sur un labyrinthe, sans validation sur robot réel ni évaluation indépendante. Le gain de 0,48 à 0,94 vaut pour la fidélité à la consigne dans ces benchmarks, pas pour des cadences ou taux de réussite industriels. La suite logique sera de tester le GPL sur d'autres architectures de VLA et sur du matériel physique, là où les plans multiples et les contraintes de déploiement sont réels.

RecherchePaper
1 source