RecherchearXiv cs.RO 30 juin 2026

AERMANI-VLM : prompting structuré et raisonnement pour la manipulation aérienne avec des modèles vision-langage

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

AERMANI-VLM est un cadre logiciel publié sur arXiv (arXiv:2511.01472v2) conçu pour piloter des manipulateurs aériens (drones équipés de bras robotiques) à partir de commandes en langage naturel, sans réentraînement spécifique à la tâche. Le système décompose le problème en deux couches : un modèle de vision-langage (VLM) pré-entraîné génère un raisonnement pas-à-pas en réponse à des instructions textuelles enrichies de contraintes de sécurité, puis sélectionne parmi une bibliothèque prédéfinie de primitives de vol pour exécuter physiquement l'action. Les auteurs revendiquent une première mondiale dans l'adaptation de VLMs généralistes à la manipulation aérienne sans fine-tuning. Le cadre a été validé en simulation et sur matériel réel sur des tâches pick-and-place multi-étapes, avec généralisation à des objets, commandes et environnements non vus à l'entraînement. Aucun taux de succès chiffré n'est communiqué dans la publication.

L'enjeu central qu'AERMANI-VLM cherche à résoudre est le problème des hallucinations dans les systèmes de contrôle robotique basés sur des VLM. Un drone en vol ne tolère pas des commandes incohérentes ou dynamiquement infaisables : une sortie erronée du modèle peut provoquer une chute. En séparant explicitement le raisonnement symbolique du contrôle physique, et en contraignant les sorties à une bibliothèque de primitives flight-safe, les chercheurs contournent ce risque sans modifier les poids du modèle fondation. C'est une alternative architecturale aux approches de fine-tuning type Pi-0 (Physical Intelligence) ou GR00T N2 de NVIDIA, plus légère à déployer mais dont l'extensibilité dépend entièrement de la qualité et de l'exhaustivité de la bibliothèque de compétences. La généralisation annoncée reste à confirmer au-delà du pick-and-place, l'une des tâches les plus simples en manipulation robotique.

La manipulation aérienne reste un domaine de recherche confidentiel, distinct des humanoïdes terrestres ou des bras industriels à grande série, mais porteur d'applications en inspection d'infrastructures, logistique en hauteur et défense. AERMANI-VLM s'inscrit dans la tendance des architectures dites "skill library + LLM planner", popularisées par SayCan (Google DeepMind, 2022) et déclinées depuis dans de nombreux contextes robotiques. L'avantage du zero-shot sans collecte de données de démonstration est réel, mais l'approche suppose une bibliothèque de primitives couvrant l'ensemble des comportements attendus, une contrainte de conception souvent sous-estimée en conditions réelles. Les prochaines étapes attendues pour ce type de système incluent des validations en extérieur, des tâches de manipulation plus complexes et la publication de métriques quantitatives sur des benchmarks standardisés.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Raisonnement continu pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (2606.00229) une architecture appelée Continuous Reasoning for VLA, qui remplace le langage naturel comme médium de raisonnement pour les politiques robotiques par un espace latent gaussien continu. Le problème est fondamental : le texte opère à la granularité d'une tâche entière, tandis qu'une politique VLA (Vision-Language-Action) doit sélectionner des actions à une échelle temporelle bien plus fine. Le modèle génère d'abord un ensemble structuré de "pensées continues" sous forme de vecteurs gaussiens, puis les réutilise comme contexte partagé pour la génération d'actions par chunks. L'entraînement repose sur un objectif de vérification croisée : un teacher EMA (exponential moving average) doit consommer le raisonnement du modèle étudiant pour prédire les actions cibles, forçant le latent à rester transférable et vérifiable entre instances. Sur robots réels, l'architecture améliore le taux de succès moyen par sous-tâche de 40,4 % sur TX-G2 (variante compatible AgiBot G2) et de 26,3 % sur HSR (Human Support Robot de Toyota), comparé à π0.5 de Physical Intelligence. Ces résultats contredisent une hypothèse répandue : ajouter des tokens de raisonnement textuel via chain-of-thought ou sous-objectifs explicites améliore le contrôle robotique. Les auteurs montrent que ce raisonnement textuel devient facilement un raccourci interne au modèle, efficace sur les comportements vus en entraînement mais peu généralisable. Un médium de raisonnement utile doit être partageable entre instances de modèle et vérifiable via l'amélioration du contrôle aval, deux propriétés que le texte satisfait mal à l'échelle de l'action. La comparaison directe avec π0.5 positionne ce travail en réponse à Physical Intelligence, acteur de référence dans l'espace VLA. Les plateformes testées (AgiBot G2 et HSR) couvrent la robotique de service et industrielle légère, pas uniquement les humanoïdes à fort investissement comme Figure 03 ou Optimus Gen 3. D'autres architectures concurrentes, dont GR00T N2 de NVIDIA et Helix de Figure AI, misent sur des représentations latentes pour améliorer le transfert sim-to-real, mais restent davantage orientées production que recherche fondamentale. Il s'agit pour l'instant d'un résultat académique, sans annonce de pilote commercial ni de déploiement industriel.

RechercheOpinion

1 source

2arXiv cs.RO

PHR-VLA : raisonnement à horizon de planification pour les modèles vision-langage-action

Des chercheurs présentent PHR-VLA (Planning Horizon Reasoning for Vision-Language-Action Models), décrit dans un preprint arXiv publié fin août 2026 (arXiv:2608.27609). Le système ajoute aux modèles vision-langage-action une tête auxiliaire légère, activée uniquement à l'entraînement, qui aligne les représentations internes du modèle avec la dynamique future de la tâche extraite d'observations à venir. Une supervision locale et centrée sur le contact, au niveau des patchs d'image issus de la caméra de poignet, fait passer le taux de réussite sur le benchmark simulé LIBERO de 84,1% à 88,4%, et sur des tâches réelles de désassemblage de 63,3% à 82,5%. Une supervision équivalente via une caméra à la troisième personne améliore aussi légèrement les résultats sur Meta-World, de 56,70% à 57,8%. Le travail cible une limite connue des VLA actuels, qui conditionnent généralement l'action sur la seule observation présente sans anticiper l'évolution de la tâche, un manque pénalisant pour les manipulations fines et riches en contacts comme l'assemblage ou le désassemblage. Le gain le plus net apparaît justement sur une tâche réelle de désassemblage, plus proche des besoins industriels que les benchmarks simulés, ce qui limite le risque d'un résultat purement académique. L'écart entre le fort gain obtenu via la caméra de poignet et le gain marginal via la troisième personne (+1,1 point sur Meta-World) suggère que la dynamique locale près du point de contact compte plus que le contexte global de la scène. Pour un intégrateur, l'argument clé est que cette tête auxiliaire n'intervient qu'à l'entraînement et n'alourdit donc pas le temps d'inférence en production. PHR-VLA s'inscrit dans la lignée des modèles VLA généralistes comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui transforment instruction en langage naturel et flux vidéo en actions robotiques. À la différence d'approches fondées sur des modèles du monde générant explicitement des vidéos futures, coûteuses en calcul, la méthode se limite à un alignement de représentations latentes, plus économe. Il s'agit pour l'instant d'un travail de recherche en preprint, sans déploiement industriel annoncé ni implication d'acteur français ou européen du secteur, la suite logique étant une éventuelle intégration de cette technique d'entraînement dans des piles VLA commerciales existantes.

RechercheOpinion

1 source

3arXiv cs.RO

Raisonnement probabiliste calibré des obstructions par modèles vision-langage pour la préhension en environnement encombré

Un preprint publié sur arXiv (2609.18718v1) présente CPOR-Grasp, un système de raisonnement probabiliste calibré pour la préhension d'objets en environnement encombré. Face à une cible partiellement cachée, il doit choisir entre la saisir directement, retirer un objet qui la bloque, ou différer la décision. Plutôt que de figer une seule interprétation de la scène, CPOR-Grasp calibre et fusionne les signaux d'un modèle vision-langage, de la profondeur et de masques amodaux pour construire une distribution sur les graphes d'obstruction possibles, en ne gardant que les plus probables et en bornant mathématiquement la probabilité écartée. Sur le benchmark UNOBench, en scènes synthétiques et réelles, avec Gemini Robotics comme backbone VLM, l'erreur de calibration chute de 0,1416 à 0,0185, l'inférence tronquée égale l'inférence exacte sur 99,74% des décisions avec 56 fois moins de graphes, et le taux de réussite réel atteint 77,8%, devant les meilleures méthodes existantes. Le tri en entrepôt, le bin-picking industriel et les bras montés sur robots mobiles autonomes (AMR) butent régulièrement sur ce problème : les VLM utilisés pour interpréter une scène encombrée produisent des scores de confiance mal calibrés, souvent trop optimistes, et des relations d'obstruction incohérentes entre elles. Une décision fondée sur une seule hypothèse fausse entraîne casse, chute d'objet ou échec de tâche, ce qui pèse sur le taux de succès en production, loin des vidéos de démonstration sélectionnées. En rendant l'incertitude explicite et en autorisant l'ajournement d'une action plutôt que la décision forcée, CPOR-Grasp montre qu'un VLM commercial performant comme Gemini Robotics reste surconfiant sans calibration statistique dédiée, un point utile pour qui construit un pipeline de préhension autour d'un VLM générique. Ce travail s'inscrit dans la vague d'approches robotiques qui s'appuient sur des VLM préentraînés pour le raisonnement de haut niveau plutôt que sur des pipelines de perception spécialisés, dans la lignée de modèles vision-langage-action comme Pi-0 ou GR00T N2, davantage orientés vers l'exécution de bout en bout. UNOBench sert ici de banc d'essai dédié à la désobstruction avant saisie, un sous-problème distinct mais complémentaire de ces architectures généralistes. Publié comme contribution de recherche, sans partenariat industriel annoncé, CPOR-Grasp n'est comparé pour l'instant qu'à des bases de référence académiques ; une intégration sur bras robotique réel en entrepôt et une confrontation aux piles de préhension propriétaires du secteur restent les étapes suivantes attendues.

RecherchePaper

1 source

4arXiv cs.RO

ThinkingVLA : raisonnement vision-langage entrelacé pour la manipulation robotique

Une équipe de chercheurs a publié sur arXiv (réf. 2606.17937, juin 2026) ThinkingVLA, un modèle VLA (Vision-Language-Action) conçu pour la manipulation robotique sur des séquences longues. L'architecture, de type Mixture-of-Transformers, intercale raisonnement textuel et visuel dans un unique processus génératif. Un Chain-of-Thought "forward" identifie le sous-objectif suivant et prédit l'état visuel cible correspondant ; un CoT "inverse" prend ensuite cette image générée comme entrée et infère les commandes motrices nécessaires pour l'atteindre. L'action finale est générée conditionnée sur ce contexte de raisonnement complet. Sur des benchmarks en simulation et en conditions réelles, ThinkingVLA surpasse les baselines de l'état de l'art, avec les gains les plus marqués sur les tâches à horizon temporel long. La grande majorité des modèles VLA actuels, notamment Pi-0 de Physical Intelligence ou OpenVLA, projettent directement observations vers actions sans raisonnement explicite, ce qui les pénalise sur les séquences longues nécessitant planification spatiale et décomposition en sous-étapes. ThinkingVLA adresse ce "reasoning gap" en forçant le modèle à anticiper visuellement l'état du monde avant de dériver les commandes. Cette boucle d'inverse dynamics grounding visuel est, si elle se confirme à l'échelle sur des objets et environnements variés, une piste sérieuse pour réduire le fossé persistant entre démonstrations en laboratoire et robustesse opérationnelle hors domaine. Les modèles VLA ont connu une accélération nette depuis 2024 avec RT-2 de Google DeepMind, Pi-0 de Physical Intelligence (lancé fin 2024), GR00T N2 de NVIDIA et Helix de Figure AI. L'ajout de CoT textuel dans les VLA est une tendance consolidée, mais ThinkingVLA se distingue par un CoT visuel explicite, soit la génération d'une image intermédiaire comme étape de raisonnement, ce qui implique une architecture bimodale plus coûteuse à l'inférence. Le travail est soumis en pre-print sans revue par les pairs à ce stade, sans partenariat industriel annoncé. Les prochains défis identifiés par le domaine concernent la généralisation hors distribution et la réduction du coût d'inférence pour un déploiement embarqué en temps réel.

RechercheOpinion

1 source