Aller au contenu principal
Architecture hybride intelligente à base de LLM pour l'ordonnancement des tâches robotiquesIllustration générée par IA
RecherchearXiv cs.RO 

Architecture hybride intelligente à base de LLM pour l'ordonnancement des tâches robotiques

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié sur arXiv (arXiv:2605.15486, mai 2026) un framework hybride exploitant des grands modèles de langage (LLM) pour orchestrer la planification de tâches de robots de chantier. L'architecture repose sur deux agents LLM fonctionnant en parallèle : un agent générateur basé sur GPT-4 (OpenAI) chargé de produire les séquences de tâches, et un agent superviseur interchangeable parmi Gemma 3 (Google DeepMind), Llama 4 (Meta) ou Mistral 7b, chargé de valider et corriger les plannings générés. Le système intègre une interface en langage naturel (NLP) permettant aux professionnels du bâtiment de communiquer directement leurs contraintes opérationnelles, et peut s'adapter en temps réel à des conditions imprévues sur site. Les résultats sont évalués sur un scénario simplifié avec des métriques quantitatives d'efficacité temporelle et d'utilisation des ressources.

L'intérêt principal de cette approche réside dans la combinaison d'un modèle de raisonnement puissant (GPT-4) avec un modèle superviseur plus léger et remplaçable, ce qui réduit potentiellement le coût d'inférence tout en maintenant une validation en boucle fermée. Pour les intégrateurs de robotique dans le BTP, la couche NLP représente une piste concrète pour réduire la dépendance à des opérateurs spécialisés en programmation robot. Cela dit, l'évaluation reste limitée à un scénario dit "straightforward", ce qui ne permet pas de conclure sur la robustesse en conditions réelles de chantier, où la multiplicité des aléas (retards livraison, obstacles, météo) constitue le vrai défi. La validité industrielle de la méthode reste à démontrer à plus grande échelle.

La planification automatisée de tâches multi-robots dans la construction est un axe actif depuis plusieurs années, notamment avec les travaux sur les systèmes BIM-to-robot et les AMR (autonomous mobile robots) de chantier. Des acteurs comme Boston Dynamics (avec Spot en inspection), Hilti (robots d'ancrage) ou NLink explorent déjà des formes de programmation par intention. En Europe, des initiatives comme Versatile (projet H2020) ont tracé des pistes similaires. Ce preprint s'inscrit dans une tendance plus large d'utilisation des VLA (Vision-Language-Action models) et des LLM comme couche de planification symbolique au-dessus de robots exécutants, une approche que des laboratoires comme Stanford (Mobile ALOHA) et CMU poussent en parallèle. Les prochaines étapes attendues seraient une validation sur chantier réel et une comparaison formelle entre les différents agents superviseurs testés.

Impact France/UE

Approche potentiellement exploitable par des intégrateurs robotiques européens actifs dans le BTP (Versatile/H2020), mais sans validation sur chantier réel ni déploiement en Europe à ce stade.

À lire aussi

IA à Base d'Agents Physiques : une Architecture pour Orchestrer une Équipe de Robots avec des LLM
Illustration générée par IA
1arXiv cs.RO 

IA à Base d'Agents Physiques : une Architecture pour Orchestrer une Équipe de Robots avec des LLM

Un article publié sur arXiv le 25 août 2026 (arXiv:2608.22657v1) présente Physical Agentic AI, une architecture pour orchestrer des équipes de robots hétérogènes pilotées par des modèles de fondation. Chaque robot y expose une bibliothèque typée de compétences exécutables ; un planificateur découpe une mission en phases et assigne chacune à un couple robot-compétence ; un orchestrateur déterministe valide et autorise ensuite chaque compétence une par une avant actuation, séparant la planification sémantique, non-actuante, de l'exécution physique. L'architecture a été testée sur une mission de recherche et dispatch impliquant un drone et un robot terrestre non habité, entièrement exécutée en simulation Gazebo, ainsi que sur une tâche de transport combinant un humanoïde et un quadrupède, avec deux essais physiques réels sur un Unitree G1 et un Go2. Chiffres clés : l'ajout d'un mécanisme de récupération d'information fait passer le taux d'ancrage correct des compétences de 51% à 96%, mais même un planificateur bien informé envoie encore 23 à 29% des étapes défectueuses vers l'exécution. La vérification systématique à chaque dispatch ramène ce taux de faux positifs à 0%, sans blocage abusif. Sur huit défauts injectés délibérément, les huit ont franchi la barrière d'orchestration sans cette vérification, et six ont déclenché un mouvement réel du robot ; avec elle activée, les huit ont été refusés avant tout mouvement. Ce travail pointe un angle mort des démonstrations de robots pilotés par LLM : un plan sémantiquement riche n'empêche pas des actions physiquement infaisables ou dangereuses. Pour les intégrateurs de flottes multi-robots, le message est net, un planificateur mieux informé réduit les erreurs de raisonnement mais ne sécurise pas l'exécution ; seule une couche de vérification déterministe, indépendante du plan, empêche le passage à l'acte d'une instruction fautive. L'ablation isolant l'effet de cette porte de validation renforce l'idée que le "meilleur prompting" seul ne suffit pas à sécuriser un déploiement physique, un signal utile face à l'écart persistant entre démo et réalité opérationnelle. Le papier s'inscrit dans la recherche reliant grands modèles de langage et orchestration robotique, terrain souvent dominé par des approches de bout en bout type vision-langage-action (Pi-0, GR00T N2) plutôt que par une couche de contrôle explicite. C'est une contribution académique tout juste postée sur arXiv, sans affiliation industrielle ni plan de déploiement commercial précisés, validée en simulation et sur un nombre limité d'essais matériels, à traiter comme une preuve de concept en attente de revue par les pairs plutôt que comme un produit prêt à industrialiser.

RecherchePaper
1 source
Plateforme robotique à base d'agents pour le démontage intelligent des véhicules électriques
Illustration générée par IA
2arXiv cs.RO 

Plateforme robotique à base d'agents pour le démontage intelligent des véhicules électriques

Des chercheurs ont publié sur arXiv (2603.18520v2) RAPID, une plateforme robotique open source dédiée au démontage de batteries de véhicules électriques. Le système combine un manipulateur industriel monté sur portique, une caméra RGB-D et une visseuse automatique, et travaille sur un pack batterie grandeur nature. Un pipeline de détection d'objets à vocabulaire ouvert atteint 0,9757 de mAP50 pour identifier vis, écrous, busbars et autres composants. Trois stratégies de retrait de fixations en un seul passage ont été comparées sur 204 essais, sur les fixations du capot supérieur. Les poses apprises par démonstration donnent 97 % de réussite en 24 minutes, l'exécution unique guidée par la vision 57 % en 29 minutes, et l'asservissement visuel 83 % en 36 minutes. Côté interface, l'équipe a testé des agents LLM (SmolAgents avec GPT-4o-mini, Qwen 3.5 9B et 4B sur matériel embarqué) qui traduisent des instructions de haut niveau en actions robot via des outils structurés et des services ROS. Les interfaces par outils atteignent 100 % de réussite des tâches, tandis que la découverte automatique de services ROS échoue dans 43,3 % des cas. Ces chiffres rappellent un point souvent masqué par les démonstrations : sur une tâche de démontage réelle, la méthode la plus fiable est aussi la moins « intelligente ». Les poses enseignées battent nettement la perception seule, ce qui montre que la détection, même excellente sur le papier, ne se traduit pas encore en précision d'exécution à l'échelle de la vis. L'asservissement visuel réduit l'écart mais coûte environ 50 % de temps en plus. Pour les recycleurs et intégrateurs, la variabilité des conceptions de packs reste donc le vrai verrou : une cellule qui exige un enseignement par modèle de batterie ne passe pas à l'échelle. Le résultat sur les agents LLM est tout aussi instructif : un modèle de 4 à 9 milliards de paramètres en local peut piloter un robot de façon fiable, à condition de lui fournir des API structurées plutôt que de le laisser explorer l'écosystème ROS. Il faut aussi relativiser : il s'agit d'une plateforme de laboratoire, testée sur un seul pack et sur une seule étape (le capot supérieur), sans données de débit industriel ni de coût. Le démontage de batteries est devenu un sujet pressant avec la montée du parc électrique, car il reste majoritairement manuel, lent et risqué pour les opérateurs. Les travaux académiques sur la question se multiplient, aux côtés de projets industriels de recyclage et de cellules de démontage automatisées, mais peu de plateformes sont ouvertes et reproductibles. En publiant son code, RAPID vise à servir de base commune pour étudier la collaboration homme-robot, la programmation agentique et des flux de démontage de plus en plus autonomes. Les prochaines étapes logiques sont l'extension à d'autres packs et à d'autres opérations (busbars, modules, connecteurs), la réduction du temps de cycle et la mesure sur des lots hétérogènes, seule façon de juger la valeur industrielle de cette approche.

RecherchePaper
1 source
RED : ordonnancement adaptatif de DAG en temps réel pour l'inférence robotique en environnements dynamiques
Illustration générée par IA
3arXiv cs.RO 

RED : ordonnancement adaptatif de DAG en temps réel pour l'inférence robotique en environnements dynamiques

Des chercheurs ont publié le 26 mai 2026 sur arXiv (identifiant 2605.24044) une architecture de planification temps-réel baptisée RED, pour Robotic Environmental Dynamics scheduling. L'objectif : permettre à des robots déployés dans des environnements dynamiques d'exécuter simultanément plusieurs réseaux de neurones profonds sur du matériel embarqué contraint, sans violer les contraintes de timing. Le système a été implémenté et évalué sur deux familles de plateformes : la gamme NVIDIA Jetson (standard de facto du bord embarqué robotique) et des MacBook équipés de puces Apple M-series. Les charges de travail testées couvrent des scénarios de navigation autonome représentatifs de l'inférence robotique réelle. L'architecture repose sur un ordonnanceur sensible aux échéances qui attribue des sous-échéances intermédiaires aux tâches organisées en graphes orientés acycliques (DAG), permettant de gérer des graphes de calcul évolutifs et des inférences asynchrones induites par des conditions imprévisibles. Le problème visé est concret et sous-estimé en production : lorsqu'un robot perçoit son environnement en temps réel, les tâches d'inférence ne sont pas statiques. De nouveaux objets apparaissent, les relations de précédence entre tâches changent, et la structure globale du calcul évolue à l'échelle de la milliseconde. RED introduit une procédure de raffinement de charge couplée à une reconstruction du graphe pour aligner la structure des MIMONet (réseaux multi-entrées multi-sorties qui mutualisent les poids afin de réduire la pression mémoire) avec les exigences de planifiabilité. Les auteurs annoncent des gains sur les méthodes existantes en débit, respect des échéances, robustesse aux interférences et overhead d'exécution, sans publier de métriques chiffrées dans le résumé, ce qui rend toute évaluation indépendante de l'amplitude réelle des améliorations impossible à ce stade. Ce travail s'inscrit dans un domaine en forte activité : l'inférence embarquée pour la robotique autonome, où l'edge computing doit concilier contraintes temps-réel strictes et workloads d'IA croissants. RED se positionne face aux ordonnanceurs EDF (Earliest Deadline First) classiques et aux executors ROS 2. Il n'y a pas d'annonce de commercialisation associée : il s'agit d'un preprint académique, dont les suites dépendront du peer-review et d'éventuelles collaborations industrielles. Les équipes travaillant sur des architectures VLA (Vision-Language-Action) embarquées, notamment en Europe chez Enchanted Tools ou Wandercraft, trouveront dans cette approche une piste concrète pour résoudre le sim-to-real gap lié aux contraintes d'ordonnancement.

UELes équipes embarquées européennes travaillant sur des architectures VLA, notamment Enchanted Tools et Wandercraft, pourraient exploiter l'approche RED pour résoudre les contraintes d'ordonnancement temps-réel sur matériel contraint.

RecherchePaper
1 source
Estimation d'état hybride à ordonnancement intelligent (SSH) par EKF-FGO
Illustration générée par IA
4arXiv cs.RO 

Estimation d'état hybride à ordonnancement intelligent (SSH) par EKF-FGO

Une équipe de chercheurs a publié en juin 2026 (arXiv:2606.16057) une étude expérimentale portant sur le rôle de la planification des optimisations dans les systèmes hybrides d'estimation d'état pour la robotique. Le framework présenté, appelé SSH EKF-FGO (Smart-Scheduled Hybrid Extended Kalman Filter - Factor Graph Optimization), combine la propagation d'état par filtre de Kalman étendu (EKF), efficace en temps réel, avec des phases d'optimisation par lots déclenchées périodiquement via un graphe de facteurs (FGO). L'originalité de l'approche ne réside pas dans les composants eux-mêmes, mais dans le traitement explicite du calendrier d'optimisation comme variable de conception indépendante, une dimension généralement absente des analyses de la littérature. Les tests ont été conduits en simulation dans un environnement SLAM planaire, avec une structure de solveur et un effort de calcul maintenus constants pour isoler l'effet du seul scheduling. Les résultats montrent que la fréquence d'invocation de l'optimiseur influence fortement la dérive pré-optimisation, le comportement transitoire de l'erreur et le temps de calcul global. La conclusion centrale est pratique : il existe des régimes de fonctionnement où la majorité des gains de cohérence globale apportés par le FGO peut être conservée en n'activant l'optimiseur qu'à une fraction de sa fréquence maximale, réduisant ainsi substantiellement le coût computationnel. Pour un ingénieur systèmes travaillant sur la localisation embarquée (robot mobile, AGV, drone), cela ouvre une marge de manoeuvre concrète : calibrer le scheduling selon les contraintes de processeur disponible sans sacrifier la précision de trajectoire à long terme. L'estimation d'état hybride EKF/FGO est un champ actif depuis une décennie, structuré par des frameworks comme GTSAM et g2o côté optimisation, et des filtres classiques côté temps réel. Des systèmes comme Google Cartographer ou SLAM Toolbox s'appuient sur des logiques similaires sans nécessairement formaliser le scheduling comme levier. Ce papier, issu d'un contexte académique non affilié à un industriel identifié, positionne le SSH EKF-FGO comme banc d'essai contrôlé plutôt que comme solution prête à déployer. Les suites naturelles seraient une validation en environnement 3D réel et une exploration d'heuristiques de scheduling adaptatif, par exemple déclenchées par seuil d'incertitude plutôt que par horloge fixe.

RecherchePaper
1 source