RecherchearXiv cs.RO 21 septembre 2026

PIVOT : navigation de robots de terrain grâce à un modèle vision-langage pour évaluer la praticabilité hors-piste

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent PIVOT (Physically Informed Vision-Language Off-Road Traversability), un système de navigation pour robots terrestres combinant planification géométrique classique et raisonnement sémantique fondé sur un modèle vision-langage (VLM). Publiée sur arXiv (2609.20983v1), l'architecture retient deux niveaux : la planification géométrique reste le mode par défaut, rapide à calculer, et le VLM n'est sollicité pour un replanning sémantique que lorsque cette méthode échoue à trouver un chemin. Pour ancrer les prédictions du VLM dans la réalité physique, les auteurs mesurent la corrélation entre le coût énergétique de franchissement estimé par le modèle, les vibrations relevées sur le robot et le glissement des roues, puis construisent un score de franchissabilité unifié pondérant chaque modalité selon sa corrélation avec les mesures réelles. Le système a été testé sur cinq essais répétés en boucle fermée, sur un parcours de terrain mixte totalisant environ 6,4 kilomètres. Comparé à une navigation purement géométrique, PIVOT fait passer le taux d'autonomie de 59,6% à 97,0%, réduit les interventions humaines de 11 à 3, et porte la distance moyenne entre interventions de 69,2 à 412,9 mètres.

Ces résultats visent un problème concret pour les robots de terrain agricoles, militaires ou d'exploration : les planificateurs purement géométriques, qui jugent la franchissabilité à partir de la seule géométrie (pente, hauteur d'obstacles), sont souvent trop prudents en environnement non structuré, écartant des chemins en réalité praticables faute de comprendre la nature du sol, herbe haute, gravier meuble ou feuilles mortes. En couplant le VLM à des mesures physiques réelles plutôt qu'en traitant ses jugements comme fiables par défaut, les auteurs répondent à une critique récurrente sur l'écart entre démonstrations et fiabilité en conditions réelles. La quasi-triplication de la distance entre interventions suggère qu'un raisonnement sémantique par VLM peut s'intégrer à moindre coût de calcul dans des piles de navigation existantes, sans remplacer la planification géométrique éprouvée, un argument qui parlera aux intégrateurs de robots agricoles ou de logistique tout-terrain cherchant à réduire la supervision humaine.

Ce travail s'inscrit dans la tendance plus large d'hybridation entre modèles vision-langage et robotique de terrain, où plusieurs équipes de recherche explorent l'usage de VLM pour la sémantique de scène sans disposer encore de standards communs d'évaluation. La contribution principale de PIVOT est méthodologique : quantifier empiriquement la fiabilité des prédictions d'un VLM avant de les exploiter pour la décision, plutôt que de les supposer correctes. Les auteurs ne mentionnent ni calendrier de déploiement commercial ni partenariat industriel ; il s'agit à ce stade d'une publication de recherche, dont la suite logique serait une validation sur une flotte plus large et des terrains plus variés.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

ZeST : navigation zero-shot par modèle vision-langage pour évaluer la traversabilité en environnements inconnus

ZeST est une méthode de navigation robotique qui s'appuie sur un modèle vision-langage (VLM) pour estimer, sans entraînement préalable, la traversabilité d'un terrain inconnu. Elle a été décrite dans un preprint arXiv (version 4). Les auteurs partent d'un constat : les jeux de données servant à entraîner les modèles de prédiction de traversabilité exigent d'envoyer des robots dans des environnements potentiellement dangereux, au risque d'endommager le matériel. Leur approche traite les réponses répétées du VLM comme des mesures stochastiques et les fusionne en une distribution a posteriori qui tient compte de l'incertitude. Les essais ont été menés en intérieur contrôlé et en extérieur non structuré. Selon les auteurs, ZeST atteint un taux de réussite de 90 à 100 % en navigation, alors qu'aucune des méthodes de référence ne dépasse 60 %. Le taux reste de 100 % pour des latences de requête allant jusqu'à 3,6 secondes. L'intérêt tient à la manière dont la méthode contourne la collecte de données en conditions réelles, étape coûteuse et risquée pour la navigation tout-terrain. Elle utilise un modèle généraliste déjà entraîné, ce qui réduit le coût de développement et facilite le passage à l'échelle. La tolérance à la latence est le point le plus utile pour un intégrateur. Les VLM sont lents et rarement embarquables en temps réel, et une requête de plusieurs secondes sans dégradation suggère que ce type de modèle peut servir de couche de perception sémantique, en complément d'un contrôle bas niveau plus rapide. Cette conclusion reste à confirmer sur des plateformes variées. Il faut toutefois lire ces chiffres avec prudence. Le résumé ne précise ni la taille des essais, ni le nombre de scénarios, ni la nature des méthodes de référence, ni le robot ou le VLM utilisés. Un écart de 90-100 % contre moins de 60 % dépend beaucoup de la définition de la réussite et du choix des baselines. Le résultat vient d'un travail académique, sans déploiement industriel ni produit annoncé. Il s'inscrit dans un mouvement plus large qui applique les modèles de fondation à la navigation, en remplaçant les pipelines de traversabilité appris sur des données propres à chaque site. Les prochaines étapes à surveiller sont la reproduction des résultats par d'autres laboratoires, des tests sur des terrains plus variés et la possibilité de faire tourner le VLM sur le robot, sans calcul déporté.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

VISOR : un oracle de test basé sur un modèle vision-langage pour tester les robots

Une équipe de chercheurs a présenté VISOR, un oracle de test automatisé pour la robotique basé sur des modèles vision-langage (VLM). Publiée sur arXiv (2605.10408), la méthode vise à résoudre ce que le domaine nomme le "problème de l'oracle de test" : déterminer automatiquement si un robot a accompli une tâche de manière correcte et avec une qualité suffisante. Jusqu'ici, deux approches coexistaient : les oracles symboliques, limités à des jugements binaires pass/fail et spécifiques à chaque tâche, et l'évaluation humaine manuelle, coûteuse, subjective et sujette aux erreurs. VISOR s'appuie sur GPT (OpenAI) et Gemini (Google) pour évaluer à la fois la correction et la qualité d'exécution, et pour quantifier son propre niveau d'incertitude lors des assessments. Le système a été validé sur plus de 1 000 vidéos couvrant quatre tâches robotiques distinctes. Les résultats montrent des profils contrastés : Gemini obtient un meilleur rappel (recall), identifiant davantage de vraies défaillances, tandis que GPT affiche une meilleure précision avec moins de faux positifs. Ces résultats nuancent l'idée d'un VLM universellement fiable comme juge de comportements robotiques. Plus problématique : les deux modèles présentent une faible corrélation entre leur score d'incertitude auto-déclaré et la correction réelle de leurs jugements. L'incertitude ne peut donc pas servir d'indicateur fiable pour filtrer les erreurs d'évaluation, ce qui est une limite directe pour tout déploiement en pipeline de test continu, où un tel signal de fiabilité serait précieux. Le "problème de l'oracle de test" est une problématique classique du génie logiciel, qui prend une dimension particulière en robotique physique : les comportements y sont continus, bruités et difficiles à formaliser symboliquement. L'approche VLM-as-judge, popularisée dans l'évaluation des LLMs textuels via des benchmarks comme MT-Bench ou AlpacaEval, est ici transposée à des sorties vidéo de robots, ce qui constitue une extension non triviale. Des travaux concurrents explorent des métriques spécifiques aux tâches ou des simulateurs avec vérification formelle, mais VISOR mise sur la généralité au détriment d'une calibration encore insuffisante. La prochaine étape identifiée par les auteurs est précisément d'améliorer cette corrélation incertitude-correction, condition nécessaire avant toute intégration dans un pipeline CI/CD robotique.

RecherchePaper

1 source

3arXiv cs.RO

Pulvérisation adaptative de pesticides pour robots agricoles selon la météo et le terrain, grâce aux modèles vision-langage

Des chercheurs proposent, dans une préimpression arXiv (2610.08807), un cadre de pulvérisation adaptative pour robots agricoles fondé sur des modèles vision-langage (VLM). Le système fusionne plusieurs sources : le type de culture identifié par la caméra, le type de pesticide appliqué et les données météorologiques, notamment la température et la vitesse du vent. À partir de ces entrées, le VLM raisonne spatialement et décide du volume de produit à pulvériser et de la vitesse d'avance. L'exécution repose sur un contrôleur de suivi de trajectoire de type MPPI (Model Predictive Path Integral), qui assure la navigation le long des rangs et le déclenchement précis de la pulvérisation aux emplacements des plants. Les auteurs annoncent un gain de précision d'au moins 30 % dans la détection des rangs de culture par rapport aux méthodes comparées. Deux environnements d'essai ont montré que le robot ajuste son volume de pulvérisation et sa vitesse, avec une réduction de la dérive des pesticides. Le résumé ne donne ni le nom du robot, ni les modèles de VLM utilisés, ni les surfaces testées, ni les volumes économisés. L'intérêt tient au déplacement du problème. La plupart des robots de pulvérisation de précision se concentrent sur la détection des cultures et appliquent ensuite des paramètres fixes, définis à l'avance. Un opérateur humain, lui, module sa dose et son allure selon le vent, la chaleur, la parcelle et le produit, car ces variables déterminent la dérive, l'uniformité du dépôt et donc l'efficacité du traitement. Utiliser un VLM comme couche de décision contextuelle revient à tester si ce raisonnement de « bon sens agronomique » peut être confié à un modèle généraliste, sans règles codées à la main pour chaque combinaison culture, produit et météo. Pour les constructeurs et les exploitants, l'enjeu est double : moins de produit phytosanitaire gaspillé ou emporté hors parcelle, et une pression réglementaire à la baisse sur les intrants. Les limites sont à garder en tête. Le gain de 30 % porte sur la détection des rangs, pas sur la qualité agronomique du traitement. Les résultats de deux environnements d'essai ne disent rien de la robustesse en conditions réelles, ni de la latence d'inférence d'un VLM embarqué, ni de la fiabilité face à des erreurs de raisonnement du modèle sur des doses de produits chimiques. Ce travail s'inscrit dans la convergence entre robotique agricole et modèles fondationnels, déjà visible dans la manipulation avec les VLA (vision-language-action). Il côtoie des acteurs commerciaux de la pulvérisation ciblée, comme Carbon Robotics avec le désherbage laser, Blue River (John Deere) avec See & Spray, ou, en Europe, des acteurs comme Naïo Technologies ou FarmDroid, qui misent sur la détection plutôt que sur l'adaptation contextuelle. MPPI, méthode de contrôle par échantillonnage, est un choix répandu pour la navigation robuste en terrain irrégulier. Les prochaines étapes logiques seraient des essais en plein champ sur plusieurs saisons, une comparaison chiffrée avec des opérateurs humains et une mesure directe de la dérive et de la consommation de produit. À ce stade, il s'agit d'une démonstration académique, sans produit ni pilote annoncé.

UEIntérêt indirect pour la robotique agricole européenne (Naïo Technologies, FarmDroid) et la réduction des intrants phytosanitaires, mais il s'agit d'une démonstration académique sans acteur ni pilote européen.

RecherchePaper

1 source

4arXiv cs.RO

MIKASA-Robo-VLA : évaluer la mémoire des modèles vision-langage-action (VLA) pour la manipulation à long horizon

MIKASA-Robo-VLA, un nouveau benchmark publié sur arXiv (v1, octobre 2026), propose 90 tâches de manipulation conditionnées par le langage pour mesurer comment les politiques vision-langage-action (VLA) exploitent une information qui disparaît en cours de tâche. Dans 80 d'entre elles, l'indice dont dépend l'action est masqué ; les 10 restantes sont des contrôles réactifs où il reste visible. Chaque tâche fournit une instruction textuelle, alors que la suite d'origine, MIKASA-Robo (32 tâches), n'utilisait le langage que sur un sous-ensemble représentatif. Pour 70 tâches, les temps de phase de l'environnement définissent un « écart d'information », et dans 28 cas il dépasse la fenêtre de 16 images du VLA à contexte fixe le plus large recensé par les auteurs. Les chercheurs publient 22 500 trajectoires oracle couvrant 10 types de mémoire, aux formats RLDS et LeRobotDataset v3. Une baseline de référence π0.5, avec images courantes et proprioception mais sans historique d'observations ni module de mémoire explicite, est affinée sur 14 tâches et atteint 0,211 ± 0,044 de succès moyen. L'intérêt tient à un angle mort de l'évaluation actuelle. La plupart des VLA ne voient que une ou quelques images récentes, et les benchmarks courants récompensent surtout des comportements réactifs, ce qui peut masquer l'absence totale de mémoire. En distinguant tâches à mémoire et contrôles réactifs, le benchmark permet d'isoler cette faiblesse plutôt que de la confondre avec un défaut de perception ou de contrôle. Pour les intégrateurs et décideurs B2B, c'est un rappel que les démonstrations de manipulation longue durée (assemblage multi-étapes, tri avec conditions cachées, reprise après occlusion) ne disent pas grand-chose de la capacité d'un modèle à retenir ce qu'il ne voit plus. Le score de 0,211 est toutefois à lire avec prudence : il ne porte que sur 14 tâches, et les auteurs reconnaissent eux-mêmes que le moindre succès sur les tâches de la catégorie Long est brouillé par le « chunking » en boucle ouverte et par la composition des types de mémoire de ce sous-ensemble. Il ne prouve donc pas, à lui seul, que la mémoire explique l'écart. Ce travail prolonge la lignée MIKASA-Robo, centrée sur la mémoire en manipulation, et s'inscrit dans le mouvement de standardisation des données robotiques autour de RLDS et de LeRobot, l'écosystème porté notamment par Hugging Face, avec une compatibilité v3 qui facilite la réutilisation. π0.5, de Physical Intelligence, sert de référence, mais aucun résultat n'est publié pour des architectures dotées d'historique ou de mémoire explicite, qui seraient les comparaisons naturelles. La suite logique, que le papier laisse ouverte, serait d'évaluer ces variantes sur l'ensemble des 90 tâches. Le jeu de données et la page du projet sont déjà disponibles, ce qui permet à d'autres laboratoires de tester leurs propres modèles. Il s'agit d'un benchmark de simulation, sans déploiement industriel associé.

RecherchePaper

1 source