RecherchearXiv cs.RO 30 juin 2026

AERIS : intelligence à rôles en temps réel via un essaim orchestré de modèles de langage en périphérie aérienne

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie sur arXiv (référence 2606.30151, soumis fin juin 2026) AERIS, un framework de déploiement edge conçu pour embarquer des modèles de langage sur des plateformes aériennes autonomes. L'architecture organise plusieurs petits modèles de langage spécialisés (SLM), associés à des modules de perception et de contrôle allégés, en "rôles" réassignables dynamiquement à l'exécution selon les ressources disponibles à bord. Pour respecter les contraintes de scheduling cadencées par heartbeat propres aux systèmes aériens, AERIS découple un planificateur basse fréquence et un contrôleur haute fréquence, maintenant une boucle perception-décision-contrôle closed-loop en temps réel. La décomposition d'instructions à long horizon repose sur un mécanisme dit "attention-subgoal alignment" : l'étape active de l'instruction est annotée dans les messages entre modules, permettant une progression incrémentale vers l'objectif global. Le framework a été évalué sur un benchmark VLN (Vision-and-Language Navigation) haute fidélité pour UAV, et deux expériences en conditions réelles ont validé capacité de planification et réactivité.

Ce travail s'attaque à un verrou bien identifié : la quasi-totalité des architectures LLM+robot supposent une connectivité cloud continue ou des ressources de calcul embarquées peu réalistes pour un drone. AERIS démontre qu'un raisonnement en langage naturel peut tourner localement sur UAV en substituant la taille des modèles par une orchestration fine des rôles. Le rebinding dynamique est potentiellement utile pour des flottes hétérogènes où les ressources varient d'une unité à l'autre. La limite notable : les deux expériences terrain restent des preuves de concept ciblées, sans métriques de déploiement à l'échelle, ni taux de succès mesuré en environnement non structuré.

L'intégration de LLMs dans les robots mobiles est portée depuis 2023 par SayCan (Google DeepMind), PaLM-E et les frameworks VLA comme Pi-0 de Physical Intelligence, mais ces travaux visent principalement les manipulateurs terrestres. Dans l'aérien, les contraintes énergétiques et de latence sont plus sévères, ce qui explique que la plupart des démos LLM+drone restent connectées au cloud. Des approches concurrentes sur l'inférence embarquée légère, notamment autour d'EdgeLLM ou des travaux de Microsoft Research sur les modèles compressés, explorent un espace voisin, mais rarement sur UAV. Aucun acteur européen n'est impliqué dans ce preprint. AERIS demeure un résultat académique sans partenaire industriel identifié ni roadmap de commercialisation ; la suite logique serait une validation sur flotte multi-agents en milieu dynamique non contrôlé.

Dans nos dossiers

Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

EcoVLA : co-inférence dispositif-périphérie économe en énergie pour modèles vision-langage-action sous contraintes temps réel

Des chercheurs présentent EcoVLA, un framework de co-inférence adaptatif entre terminal embarque et serveur edge pour les modèles Vision-Language-Action (VLA) utilises en robotique, décrit dans un preprint arXiv (référence 2608.15502v1). Le système introduit une abstraction unifiee au niveau des étapes de calcul, applicable a différentes architectures VLA, couplée a un modèle de prédiction conjoint de latence et d'énergie intégrant terminal, serveur edge et réseau. EcoVLA sélectionné en continu, avec un surcout de décision de l'ordre de la milliseconde, le schéma de répartition de calcul le plus économe en énergie qui respecte les contraintes temps réel, et s'adapte aux variations du réseau et de la charge système. Un mécanisme allégé de transmission des tenseurs intermédiaires entre étapes réduit le cout de communication de cette collaboration inter-appareils. Sur plusieurs modèles VLA testes, les auteurs rapportent jusqu'a 236% de gain d'efficacité énergétique système par rapport aux approches de co-inférence existantes, sous une contrainte de fréquence de sortie d'action de 20 Hz, tout en respectant les objectifs de niveau de service même en conditions réseau et charge edge fluctuantes. Ce travail cible un goulot d'étranglement concret pour l'industrie robotique: les modèles VLA, de plus en plus utilises comme cerveau de contrôle pour robots humanoïdes et mobiles, restent trop lourds pour un fonctionnement purement embarque a budget énergétique limite, tandis qu'un délestage intégral vers un serveur distant expose le contrôle a une latence imprévisible. En proposant un partage dynamique du calcul entre terminal et edge, EcoVLA s'adresse directement aux intégrateurs devant déployer des VLA sur des flottes de robots avec des contraintes simultanées d'autonomie énergétique et de réactivité. Le chiffre de 236%, mesure en laboratoire, reste a confronter a des déploiements réels, mais il souligne l'ampleur du gaspillage énergétique des approches de co-inférence actuelles, généralement conçues sans optimisation conjointe latence-énergie. La généralisation des VLA comme fondation de l'IA incarnée a jusqu'ici privilégié la performance brute au détriment de l'efficacité de déploiement, laissant un vide entre inférence locale et inférence cloud que peu de travaux avaient traite de manière systématique et transversale aux architectures. EcoVLA reste une contribution de recherche et non un produit commercial: aucun acteur industriel, robot ou site de déploiement n'est associe a ce stade, seulement des expérimentations sur plusieurs modèles VLA en conditions simulées. Sa portée dépendra d'une reproduction indépendante des gains annonces et d'une extension a des VLA plus récents ou a des flottes robotiques hétérogènes, avant toute adoption potentielle par les fabricants de robots ou les fournisseurs de puces edge.

RecherchePaper

1 source

2arXiv cs.RO

ManiCM : politique de diffusion 3D en temps réel via un modèle de cohérence pour la manipulation robotique

Des chercheurs ont mis en ligne une version actualisée (v4) de leur article ManiCM sur arXiv (2406.01586), présentant un modèle capable de générer des actions robotiques par diffusion en une seule étape d'inférence, contre plusieurs dizaines habituellement nécessaires. Le système applique une contrainte de cohérence (consistency model) au processus de diffusion dans l'espace des actions, conditionné par un nuage de points représentant la scène en 3D. Plutôt que de prédire le bruit à chaque étape de débruitage comme le font les modèles de diffusion classiques, une technique de distillation de cohérence entraîne le modèle à prédire directement l'échantillon d'action final depuis n'importe quel point de la trajectoire ODE. Évalué sur 31 tâches de manipulation issues des bancs d'essai Adroit et Metaworld, ManiCM affiche une vitesse d'inférence moyenne dix fois supérieure aux méthodes de diffusion 3D de référence, tout en conservant un taux de réussite comparable. Cette accélération répond à un frein connu des politiques de diffusion en robotique : leur puissance pour modéliser des distributions d'actions complexes se paie par des dizaines d'étapes de débruitage séquentielles, incompatibles avec un contrôle temps réel, surtout avec des observations 3D haute dimension comme les nuages de points. En ramenant l'inférence à une seule étape sans sacrifier significativement le taux de succès, ManiCM s'attaque à un vrai goulot d'étranglement pour tout intégrateur voulant faire tourner ces modèles sur du matériel embarqué à fréquence de contrôle élevée, plutôt que dans des démonstrations hors ligne. Les gains restent toutefois mesurés en simulation, sur des bancs d'essai standards mais artificiels, et non sur des bras ou mains robotiques physiques : l'écart classique entre performance simulée et robustesse en conditions réelles reste à vérifier. La méthode s'inscrit dans la lignée des politiques de diffusion 3D (3D Diffusion Policy, DP3) qui se sont imposées pour la manipulation dextre depuis 2023-2024, en reprenant les modèles de cohérence initialement conçus pour accélérer la génération d'images dans la communauté vision par ordinateur, ici adaptés à l'espace d'action de dimension bien plus faible pour une convergence rapide. Il s'agit d'une publication de recherche académique, sans annonce d'intégration commerciale ni de partenaire industriel à ce stade. Les suites attendues pour ce type de travaux sont généralement une validation sur robot physique et une comparaison face à d'autres approches génératives rapides, VLA ou politiques distillées, qui visent le même compromis entre expressivité et latence de contrôle.

RecherchePaper

1 source

3arXiv cs.RO

ActiveFly-Bench : aligner la réponse à des questions incarnée avec un modèle vision-langage-action pour la perception aérienne incarnée

Une équipe de recherche publie ActiveFly-Bench, un nouveau benchmark visant à combler le fossé entre le raisonnement en environnement virtuel et l'interaction physique pour la perception active des drones. Décrit dans un article déposé sur arXiv (2607.10180v1), ce benchmark décompose la perception active en trois tâches hiérarchiques: le question-réponse incarné aérien (Air-EQA), la planification du comportement d'observation (OBP) et le contrôle fin du drone guidé par le langage (FLUC), reliant explicitement la compréhension de tâches de haut niveau, la planification comportementale et le contrôle bas niveau. Les jeux de données combinent des environnements extérieurs réels et simulés, utilisés à la fois pour l'entraînement et l'évaluation. Les auteurs ont aussi développé ActiveFly, un agent en boucle fermée qui associe raisonnement vision-langage et contrôle fin, effectivement déployé sur une plateforme UAV physique, et non testé uniquement en simulation. L'enjeu dépasse le simple exercice académique: les tests menés avec des modèles vision-langage (VLM) et des modèles vision-langage-action (VLA) représentatifs montrent que les agents actuels peinent encore sur la planification comportementale, l'ajustement de point de vue et l'accomplissement robuste de tâches en perception active. Autrement dit, la promesse des architectures VLA généralistes, popularisées au sol par des systèmes comme GR00T N2 ou Helix, ne se transpose pas automatiquement au domaine aérien: piloter un drone qui doit décider où regarder, comment se repositionner et quand agir reste un problème ouvert. Pour les intégrateurs de drones d'inspection, d'agriculture ou de surveillance, ce constat tempère l'enthousiasme autour des copilotes autonomes tout-en-un et souligne que le sim-to-real n'est pas résolu pour l'aérien comme il commence à l'être pour la manipulation au sol. Ce travail s'inscrit dans la lignée des benchmarks d'IA incarnée (embodied QA) déjà développés pour les robots terrestres et les bras manipulateurs, mais transposés pour la première fois de façon systématique au domaine UAV, où les contraintes de vol, de vent et de champ de vision changent la donne. Face à des acteurs commerciaux comme DJI ou Skydio qui vendent déjà de l'autonomie de vol assistée, ActiveFly-Bench propose un cadre d'évaluation académique standardisé plutôt qu'un produit, avec l'ambition de devenir une référence pour mesurer les progrès futurs des agents aériens embarquant du raisonnement multimodal.

RecherchePaper

1 source

4arXiv cs.RO

Entraînement au moment de l'inférence pour les modèles vision-langage-action à prévision visuelle (VLA)

Des chercheurs proposent T³VF (Test-Time Training Visual Foresight VLA), une méthode d'adaptation à l'inférence publiée sur arXiv en mai 2025 (réf. 2605.08215). Les architectures Visual Foresight VLA, qui figurent parmi les plus performantes pour le contrôle de robots manipulateurs, fonctionnent en deux temps : elles prédisent d'abord une image future représentant l'état visuel attendu après l'action, puis génèrent la commande motrice à partir de cette prédiction. Cette dépendance en cascade crée une vulnérabilité double aux situations hors-distribution (OOD) : une prédiction visuelle dégradée corrompt directement la décision motrice en aval. T³VF exploite l'écart entre l'image future prédite et l'observation réellement reçue comme signal de supervision naturel, permettant au modèle de s'ajuster en continu pendant l'exécution, sans modification architecturale ni modules auxiliaires. Un mécanisme de filtrage adaptatif sélectionne les mises à jour pertinentes pour éviter la dérive par accumulation d'erreurs indiscriminée. Pour les équipes de déploiement, l'enjeu est direct : les VLA sont benchmarkés en laboratoire mais confrontés en production à des variations de scène (éclairage, textures, disposition des objets) rarement couvertes par les données d'entraînement. T³VF propose une adaptation sans annotation humaine ni nouvelle session d'entraînement, le robot se corrigeant à partir de ses propres observations, avec un surcoût d'inférence qualifié de modeste par les auteurs, une affirmation à vérifier selon les environnements cibles. Si les résultats se confirment à plus grande échelle, la méthode pourrait réduire les cycles de re-fine-tuning lors du passage en production, un poste de coût opérationnel significatif pour les intégrateurs industriels. Les VLA s'imposent depuis 2023 comme architecture dominante en manipulation robotique, portés par des modèles comme RT-2 (Google DeepMind), OpenVLA ou Pi-0 de Physical Intelligence. Les variantes Visual Foresight, qui ajoutent une prédiction d'état futur avant l'action, ont montré des gains sur les tâches de précision, mais leur fragilité face aux shifts de distribution restait peu adressée dans la littérature. Ce travail s'inscrit dans un courant croissant de Test-Time Training (TTT) appliqué à la robotique, distinct du fine-tuning classique en ce qu'il n'exige aucune supervision externe. Aucun partenariat industriel ni timeline de transfert technologique n'est mentionné : ce pré-print académique ne décrit pas de produit ou de déploiement commercialisé associé.

RechercheOpinion

1 source