Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Programmation robotique visuelle avec supervision humaine et LLM : « APPROVE
RecherchearXiv cs.RO 

Programmation robotique visuelle avec supervision humaine et LLM : « APPROVE

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente APPROVE (AI-Powered Programming for Robots with Visual End-user Feedback), un framework de programmation robotique détaillé dans une prépublication arXiv référencée 2608.19281v1, mise en ligne en août 2026. Le système combine des instructions en langage naturel, une interface par blocs Blockly et une étape explicite de confirmation par l'utilisateur. Un grand modèle de langage (LLM) traduit la demande formulée en langage naturel en un programme robotique, affiché sous forme de blocs modifiables avant toute exécution. L'utilisateur peut alors valider, corriger ou rejeter le code généré plutôt que de le laisser s'exécuter directement. Les fonctions validées sont ensuite stockées dans une bibliothèque réutilisable, permettant de constituer progressivement un ensemble de briques logicielles fiables pour de futures tâches.

Cette approche cible des limites documentées des générateurs de code robotique basés sur des LLM: absence de transparence sur ce que le programme fait réellement, absence de mécanisme garantissant l'alignement avec l'intention de l'utilisateur, et faible réutilisabilité des programmes produits. Pour les intégrateurs et les décideurs industriels, l'enjeu dépasse la simple commodité: exécuter directement sur un robot physique du code généré par une IA, sans vérification humaine intermédiaire, pose un risque de sécurité et de confiance qui freine l'adoption. En imposant une confirmation visuelle avant exécution, APPROVE illustre une tendance plus large du secteur à vouloir concilier la flexibilité du langage naturel avec un contrôle humain explicite, plutôt que de traiter le LLM comme une boîte noire de bout en bout.

La démarche s'inscrit dans la lignée des interfaces de programmation par blocs, historiquement utilisées pour rendre la robotique accessible aux non-experts mais critiquées pour leur manque de flexibilité face à des tâches complexes. Elle prolonge aussi des travaux récents ayant exploré les LLM pour générer automatiquement des programmes robotiques à partir de langage naturel, une piste jugée prometteuse mais jusqu'ici limitée par l'absence de garde-fous. APPROVE reste à ce stade une contribution de recherche, présentée comme une preuve de concept centrée sur l'utilisateur final, sans mention de déploiement industriel, de partenariat ou de calendrier de commercialisation. L'article la positionne comme une direction de conception plutôt qu'un produit prêt à l'emploi, avec pour priorités affichées la confiance de l'utilisateur, l'alignement d'intention et la réutilisation du code.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Apprentissage par renforcement avec supervision humaine calibré sur les préférences pour la manipulation robotique
1arXiv cs.RO 

Apprentissage par renforcement avec supervision humaine calibré sur les préférences pour la manipulation robotique

Une équipe de chercheurs publie dans un préprint arXiv daté du 3 juin 2026 PACT (Preference-calibrated Actor-Critic Training), un cadre d'apprentissage par renforcement avec supervision humaine (HIL-RL) pour la manipulation robotique. Le problème ciblé est connu : quand un opérateur reprend la main pour corriger le robot, les trajectoires collectées contiennent des segments suboptimaux que les méthodes actuelles propagent indistinctement dans le calcul des récompenses, surestimant les Q-valeurs et biaisant la politique vers des comportements sous-performants. PACT introduit un modèle de progression entraîné sur des démonstrations humaines pour identifier ces segments défaillants, puis construit des paires de préférence entre l'action correctrice humaine et l'action rééchantillonnée de la politique au même état d'intervention. Cette comparaison génère un avantage contrefactuel qui pénalise les cibles de Bellman sur les segments suboptimaux, complété par un alignement direct de la politique sur les actions correctives dans l'espace des moyennes bornées. Sur cinq tâches de manipulation réelle-robot, PACT affiche une amélioration moyenne du taux de succès de 24,5 % et une convergence 1,3 fois plus rapide que les méthodes HIL-RL de référence. Le code est disponible en open source sur dépôt GitHub anonymisé. Ces résultats s'attaquent à un goulot d'étranglement pratique du HIL-RL : la supervision humaine améliore l'efficacité en échantillons, mais introduit du bruit quand les corrections arrivent après plusieurs actions déjà incorrectes. En extrayant les signaux de préférence implicitement des interventions, sans annotation post-hoc coûteuse, PACT permet à un opérateur non-expert d'intervenir naturellement pendant l'entraînement sans dégrader la qualité des données. La convergence accélérée réduit directement le temps d'adaptation sur de nouvelles tâches, un facteur critique pour le déploiement en environnements industriels variables. Le HIL-RL s'appuie sur des travaux fondateurs comme DAgger (Ross et al., 2011) et IWR (Mandlekar et al., 2020), complétés par des variantes comme HG-DAgger, qui pondèrent les transitions différemment sans toutefois distinguer explicitement les segments suboptimaux. PACT se positionne comme une extension ciblée de cette famille. La manipulation robotique est par ailleurs traversée par les approches VLA (Vision-Language-Action), comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui misent sur la généralisation zero-shot, une stratégie complémentaire plutôt qu'opposée au fine-tuning supervisé par intervention humaine. Le préprint, non encore peer-reviewed, ne mentionne ni partenaires industriels ni calendrier de déploiement ; la distance entre banc de test robotique de laboratoire et production industrielle reste entière.

UEImpact indirect : ce cadre HIL-RL open-source pourrait accélérer les travaux des équipes européennes de robotique industrielle cherchant à réduire le coût d'adaptation de robots à de nouvelles tâches en production.

RecherchePaper
1 source
RoHIL : apprentissage par renforcement robotique robuste avec supervision humaine face aux variations d'éclairage
2arXiv cs.RO 

RoHIL : apprentissage par renforcement robotique robuste avec supervision humaine face aux variations d'éclairage

Les systèmes de reinforcement learning avec humain dans la boucle (HIL-RL) atteignent des taux de succès quasi parfaits sur le poste de travail où ils sont entraînés, mais s'effondrent lorsque le même robot est déplacé de quelques mètres vers un poste différent. La cause est simple : des variations d'éclairage (position des lampes, lumière naturelle) perturbent suffisamment la distribution des entrées visuelles pour invalider la politique apprise. Pour combler ce "cross-domain gap" sans recollecte de données terrain, des chercheurs présentent RoHIL (Robust Human-in-the-Loop), un framework de fine-tuning hors ligne évalué sur quatre tâches de manipulation robotique réelle. RoHIL repose sur trois mécanismes : un re-lighting basé sur un world model qui resynthétise le flux visuel des trajectoires sources sous plusieurs environnements HDRI virtuels sans modifier les actions ni les récompenses, un mécanisme anti-oubli appelé Illumination-Retention Replay (IRR) qui entrelace transitions d'adaptation et transitions de rétention, et un régulariseur Bellman-acteur ancré limitant la dérive de représentation par rapport à la politique source. L'enjeu industriel est direct : recollecte de démonstrations et ré-entraînement HIL à chaque nouveau poste sont incompatibles avec un déploiement à l'échelle. La fragilité aux variations lumineuses reste l'un des obstacles les plus sous-estimés entre laboratoire et production réelle. RoHIL répond à ce problème sans interaction robot supplémentaire, ce qui réduit le coût d'intégration pour les opérateurs. La combinaison IRR et régulariseur Bellman démontre qu'il est possible d'adapter une politique à de nouvelles conditions visuelles tout en préservant les performances sur l'environnement d'origine, résultat non trivial face à l'oubli catastrophique classique. Ce travail, déposé sur arXiv en mai 2025 sous soumission anonyme et vraisemblablement en cours d'évaluation par une conférence, s'inscrit dans la vague de recherches visant à rendre les politiques robotiques robustes aux variations de domaine. Les approches concurrentes incluent la randomisation de domaine à l'entraînement, les politiques multi-environnements ou l'augmentation visuelle agressive, mais ces techniques nécessitent d'anticiper les variations en amont. RoHIL se distingue par son mode entièrement offline. Aucun déploiement commercial ni partenariat industriel n'est mentionné : il s'agit d'un résultat académique à ce stade, dont les extensions naturelles porteront sur un plus grand nombre de postes, de conditions lumineuses et de tâches à degrés de liberté élevés.

RecherchePaper
1 source
Alignement de surface par admittance pour l'inspection visuelle robotique supervisée par l'humain
3arXiv cs.RO 

Alignement de surface par admittance pour l'inspection visuelle robotique supervisée par l'humain

Des chercheurs ont publié sur arXiv (référence 2606.18601) un pipeline de contrôle d'orientation en temps réel pour l'inspection visuelle robotique de précision, fondé sur un framework à admittance. Le système, validé sur un manipulateur à 6 degrés de liberté (DOF), combine les commandes d'un opérateur humain et l'alignement de surface piloté par perception. L'architecture modélise l'effecteur terminal comme une sphère virtuelle se déplaçant dans un milieu visqueux, produisant un système masse-amortisseur qui génère un mouvement conforme et synchronisé à partir des erreurs d'orientation et des entrées opérateur. La validation expérimentale atteint une erreur d'orientation finale moyenne de 0,4 degré en suivi de normale de surface, dans des conditions de bruit perceptuel et d'irrégularités géométriques. Ces résultats restent à ce stade des mesures de laboratoire, sans validation en environnement industriel réel documentée dans le papier. L'enjeu est concret pour les secteurs aérospatial, semi-conducteur et médical, où une anomalie de surface non détectée sur une pièce à haute valeur se traduit directement en rebut, retraitement ou défaillance terrain. Le problème central que ce travail adresse est architectural : la planification de trajectoire hors-ligne seule ne tient pas dès qu'un opérateur humain intervient en temps réel via télé-opération ou autonomie partagée, car les ajustements introduits rendent la trajectoire préplanifiée caduque. Le contrôleur proposé absorbe simultanément l'incertitude perceptuelle et les commandes humaines sans dégradation de la précision angulaire, ce qui représente une avancée sur les approches classiques qui traitent ces deux sources d'incertitude séparément. Le contrôle par admittance est un paradigme établi en robotique collaborative, où le robot cède aux forces extérieures de façon contrôlée plutôt que de les résister. Son application à l'inspection visuelle en boucle fermée avec opérateur dans la boucle reste un domaine de recherche actif, sans acteur dominant clairement identifié. Les approches concurrentes s'appuient généralement sur des capteurs de force/couple dédiés ou sur des corrections visuelles en open-loop. Aucun partenaire industriel ni pilote de déploiement n'est mentionné dans la publication, qui constitue une contribution académique orientée vers les intégrateurs systèmes cherchant une alternative aux pipelines d'inspection rigides. Les suites logiques seraient des essais sur surfaces gauches (non-développables) et la couplage avec des systèmes optiques haute résolution tels que profilomètres laser ou caméras de vision industrielle.

RecherchePaper
1 source
Analyse de l'incertitude avec supervision humaine dans les robots auto-adaptatifs via les LLM
4arXiv cs.RO 

Analyse de l'incertitude avec supervision humaine dans les robots auto-adaptatifs via les LLM

Une équipe de chercheurs a soumis le 6 mai 2026 sur arXiv (identifiant 2605.02983) une méthodologie baptisée RoboULM, conçue pour aider les ingénieurs à identifier et analyser systématiquement les incertitudes dans les robots auto-adaptatifs dès la phase de conception. L'outil s'appuie sur des modèles de langage large (LLM) dans une boucle "human-in-the-loop" : le praticien guide l'exploration via des prompts structurés, affine les résultats de manière itérative, et construit une cartographie des sources d'incertitude, de leurs impacts potentiels et des stratégies de mitigation associées. L'évaluation a mobilisé 16 praticiens issus de quatre cas d'usage industriels distincts. Les auteurs ont par ailleurs produit une taxonomie des incertitudes propres aux robots auto-adaptatifs, sous la forme d'un catalogue structuré destiné à être réutilisé en phase de design. L'enjeu est concret pour les intégrateurs et les équipes d'ingénierie qui déploient des systèmes robotiques dans des environnements industriels non contrôlés : les incertitudes non traitées en amont figurent parmi les principales causes de violations de sécurité et de défaillances opérationnelles en production. RoboULM propose de déplacer cette analyse vers la conception, avant que les choix architecturaux ne soient figés dans le matériel ou le logiciel. Les 16 participants ont jugé l'outil à la fois utile et facile à appréhender, en valorisant particulièrement le guidage par prompts structurés et la capacité de raffinement itératif, deux leviers qui réduisent la charge cognitive liée à l'analyse de systèmes complexes. Il s'agit d'un cas d'usage émergent des LLM comme assistants d'ingénierie de sûreté, distinct de leur rôle habituel dans le contrôle ou la planification du robot lui-même. Cette approche s'inscrit dans un débat plus large autour du fossé simulation-réalité (sim-to-real gap) et de la capacité à anticiper les comportements imprévus avant déploiement réel. Les robots auto-adaptatifs, c'est-à-dire les systèmes capables de modifier leur comportement en réponse à des changements d'environnement, posent des défis de vérification que les méthodes formelles classiques peinent à couvrir exhaustivement. Des travaux parallèles dans les domaines de la safety engineering et de la vérification-validation pour systèmes autonomes convergent vers des approches hybrides homme-machine similaires. RoboULM reste à ce stade un outil de recherche, non un produit commercialisé : les prochaines étapes naturelles seraient une intégration dans les flux de conception existants (MBSE, SysML) et une validation sur des périmètres industriels plus larges.

RecherchePaper
1 source