Aller au contenu principal
Programmation robotique visuelle avec supervision humaine et LLM : « APPROVEIllustration générée par IA
RecherchearXiv cs.RO 

Programmation robotique visuelle avec supervision humaine et LLM : « APPROVE

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de recherche présente APPROVE (AI-Powered Programming for Robots with Visual End-user Feedback), un framework de programmation robotique détaillé dans une prépublication arXiv référencée 2608.19281v1, mise en ligne en août 2026. Le système combine des instructions en langage naturel, une interface par blocs Blockly et une étape explicite de confirmation par l'utilisateur. Un grand modèle de langage (LLM) traduit la demande formulée en langage naturel en un programme robotique, affiché sous forme de blocs modifiables avant toute exécution. L'utilisateur peut alors valider, corriger ou rejeter le code généré plutôt que de le laisser s'exécuter directement. Les fonctions validées sont ensuite stockées dans une bibliothèque réutilisable, permettant de constituer progressivement un ensemble de briques logicielles fiables pour de futures tâches.

Cette approche cible des limites documentées des générateurs de code robotique basés sur des LLM: absence de transparence sur ce que le programme fait réellement, absence de mécanisme garantissant l'alignement avec l'intention de l'utilisateur, et faible réutilisabilité des programmes produits. Pour les intégrateurs et les décideurs industriels, l'enjeu dépasse la simple commodité: exécuter directement sur un robot physique du code généré par une IA, sans vérification humaine intermédiaire, pose un risque de sécurité et de confiance qui freine l'adoption. En imposant une confirmation visuelle avant exécution, APPROVE illustre une tendance plus large du secteur à vouloir concilier la flexibilité du langage naturel avec un contrôle humain explicite, plutôt que de traiter le LLM comme une boîte noire de bout en bout.

La démarche s'inscrit dans la lignée des interfaces de programmation par blocs, historiquement utilisées pour rendre la robotique accessible aux non-experts mais critiquées pour leur manque de flexibilité face à des tâches complexes. Elle prolonge aussi des travaux récents ayant exploré les LLM pour générer automatiquement des programmes robotiques à partir de langage naturel, une piste jugée prometteuse mais jusqu'ici limitée par l'absence de garde-fous. APPROVE reste à ce stade une contribution de recherche, présentée comme une preuve de concept centrée sur l'utilisateur final, sans mention de déploiement industriel, de partenariat ou de calendrier de commercialisation. L'article la positionne comme une direction de conception plutôt qu'un produit prêt à l'emploi, avec pour priorités affichées la confiance de l'utilisateur, l'alignement d'intention et la réutilisation du code.

Dans nos dossiers

À lire aussi

Apprentissage par renforcement avec supervision humaine calibré sur les préférences pour la manipulation robotique
Illustration générée par IA
1arXiv cs.RO 

Apprentissage par renforcement avec supervision humaine calibré sur les préférences pour la manipulation robotique

Une équipe de chercheurs publie dans un préprint arXiv daté du 3 juin 2026 PACT (Preference-calibrated Actor-Critic Training), un cadre d'apprentissage par renforcement avec supervision humaine (HIL-RL) pour la manipulation robotique. Le problème ciblé est connu : quand un opérateur reprend la main pour corriger le robot, les trajectoires collectées contiennent des segments suboptimaux que les méthodes actuelles propagent indistinctement dans le calcul des récompenses, surestimant les Q-valeurs et biaisant la politique vers des comportements sous-performants. PACT introduit un modèle de progression entraîné sur des démonstrations humaines pour identifier ces segments défaillants, puis construit des paires de préférence entre l'action correctrice humaine et l'action rééchantillonnée de la politique au même état d'intervention. Cette comparaison génère un avantage contrefactuel qui pénalise les cibles de Bellman sur les segments suboptimaux, complété par un alignement direct de la politique sur les actions correctives dans l'espace des moyennes bornées. Sur cinq tâches de manipulation réelle-robot, PACT affiche une amélioration moyenne du taux de succès de 24,5 % et une convergence 1,3 fois plus rapide que les méthodes HIL-RL de référence. Le code est disponible en open source sur dépôt GitHub anonymisé. Ces résultats s'attaquent à un goulot d'étranglement pratique du HIL-RL : la supervision humaine améliore l'efficacité en échantillons, mais introduit du bruit quand les corrections arrivent après plusieurs actions déjà incorrectes. En extrayant les signaux de préférence implicitement des interventions, sans annotation post-hoc coûteuse, PACT permet à un opérateur non-expert d'intervenir naturellement pendant l'entraînement sans dégrader la qualité des données. La convergence accélérée réduit directement le temps d'adaptation sur de nouvelles tâches, un facteur critique pour le déploiement en environnements industriels variables. Le HIL-RL s'appuie sur des travaux fondateurs comme DAgger (Ross et al., 2011) et IWR (Mandlekar et al., 2020), complétés par des variantes comme HG-DAgger, qui pondèrent les transitions différemment sans toutefois distinguer explicitement les segments suboptimaux. PACT se positionne comme une extension ciblée de cette famille. La manipulation robotique est par ailleurs traversée par les approches VLA (Vision-Language-Action), comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui misent sur la généralisation zero-shot, une stratégie complémentaire plutôt qu'opposée au fine-tuning supervisé par intervention humaine. Le préprint, non encore peer-reviewed, ne mentionne ni partenaires industriels ni calendrier de déploiement ; la distance entre banc de test robotique de laboratoire et production industrielle reste entière.

UEImpact indirect : ce cadre HIL-RL open-source pourrait accélérer les travaux des équipes européennes de robotique industrielle cherchant à réduire le coût d'adaptation de robots à de nouvelles tâches en production.

RecherchePaper
1 source
Alignement de surface par admittance pour l'inspection visuelle robotique supervisée par l'humain
Illustration générée par IA
2arXiv cs.RO 

Alignement de surface par admittance pour l'inspection visuelle robotique supervisée par l'humain

Des chercheurs ont publié sur arXiv (référence 2606.18601) un pipeline de contrôle d'orientation en temps réel pour l'inspection visuelle robotique de précision, fondé sur un framework à admittance. Le système, validé sur un manipulateur à 6 degrés de liberté (DOF), combine les commandes d'un opérateur humain et l'alignement de surface piloté par perception. L'architecture modélise l'effecteur terminal comme une sphère virtuelle se déplaçant dans un milieu visqueux, produisant un système masse-amortisseur qui génère un mouvement conforme et synchronisé à partir des erreurs d'orientation et des entrées opérateur. La validation expérimentale atteint une erreur d'orientation finale moyenne de 0,4 degré en suivi de normale de surface, dans des conditions de bruit perceptuel et d'irrégularités géométriques. Ces résultats restent à ce stade des mesures de laboratoire, sans validation en environnement industriel réel documentée dans le papier. L'enjeu est concret pour les secteurs aérospatial, semi-conducteur et médical, où une anomalie de surface non détectée sur une pièce à haute valeur se traduit directement en rebut, retraitement ou défaillance terrain. Le problème central que ce travail adresse est architectural : la planification de trajectoire hors-ligne seule ne tient pas dès qu'un opérateur humain intervient en temps réel via télé-opération ou autonomie partagée, car les ajustements introduits rendent la trajectoire préplanifiée caduque. Le contrôleur proposé absorbe simultanément l'incertitude perceptuelle et les commandes humaines sans dégradation de la précision angulaire, ce qui représente une avancée sur les approches classiques qui traitent ces deux sources d'incertitude séparément. Le contrôle par admittance est un paradigme établi en robotique collaborative, où le robot cède aux forces extérieures de façon contrôlée plutôt que de les résister. Son application à l'inspection visuelle en boucle fermée avec opérateur dans la boucle reste un domaine de recherche actif, sans acteur dominant clairement identifié. Les approches concurrentes s'appuient généralement sur des capteurs de force/couple dédiés ou sur des corrections visuelles en open-loop. Aucun partenaire industriel ni pilote de déploiement n'est mentionné dans la publication, qui constitue une contribution académique orientée vers les intégrateurs systèmes cherchant une alternative aux pipelines d'inspection rigides. Les suites logiques seraient des essais sur surfaces gauches (non-développables) et la couplage avec des systèmes optiques haute résolution tels que profilomètres laser ou caméras de vision industrielle.

RecherchePaper
1 source
Apprentissage par imitation sélective Max-Q pour l'entraînement en ligne de robots avec supervision humaine
Illustration générée par IA
3arXiv cs.RO 

Apprentissage par imitation sélective Max-Q pour l'entraînement en ligne de robots avec supervision humaine

Des chercheurs publient sur arXiv (2608.15088) une méthode d'apprentissage par renforcement en ligne avec intervention humaine (human-in-the-loop, HIL) pour robots réels, baptisée Max-Q Selective Imitation. Elle combine un critique "MC Q-chunk", qui évalué les actions par segments a partir des retours Monte Carlo du buffer de replay plutôt que par retropropagation temporelle classique, et une règle "max-Q" qui fait imiter a l'acteur, a chaque état, soit l'action de la politique courante soit un échantillon du buffer, selon lequel des deux obtient le Q le plus élevé. Sur une tache réelle d'insertion de connecteur USB avec seulement 20 démonstrations, la variante ACT QChunk-MCBC atteint 99% de réussite en 30 minutes d'entrainement HIL, contre environ 5 heures pour la méthode de référence HIL-SERL. En simulation, sur les taches Peg Insertion et Square, les variantes ACT et Flow Q-chunk dépassent 96% de réussite en une demi-heure environ, devant HIL-SERL, EXPO et E2HiL. Ce gain de vitesse s'attaque a un goulot d'étranglement connu de l'apprentissage robotique en ligne : la convergence après correction humaine se compte souvent en heures, ce qui freine son usage industriel la ou chaque minute d'arrêt machine coute cher. Diviser ce temps par dix sur une tache de précision comme l'insertion de connecteurs suggère que les méthodes HIL pourraient sortir du laboratoire pour des lignes d'assemblage réelles, notamment quand peu de démonstrations sont disponibles. Pour les équipes de recherche en robotique, l'article illustre aussi une tendance a remplacer les mises a jour par différence temporelle, lentes et sensibles au bruit, par des cibles Monte Carlo combinées a une règle de sélection simple, sans seuils ni lissage ajoutes. La méthode se positionne explicitement face a HIL-SERL, référence du domaine, ainsi qu'a EXPO et E2HiL, évaluées sur les mêmes benchmarks de manipulation fine, et s'inscrit dans la lignée des politiques d'action par segments popularisées par ACT, avec une variante testée sur un modèle de flux. Publie comme un article de recherche tout juste mis en ligne sur arXiv, ce travail ne correspond ni a un produit commercial ni a un déploiement industriel annonce : les résultats reposent sur un seul banc réel et deux taches simulées, sans indication sur la généralisation a d'autres robots. Les auteurs ne mentionnent aucune suite en termes de partenariat industriel ou d'intégration logicielle ; la contribution reste, pour l'instant, une brique algorithmique destinée a la communauté recherche en apprentissage robotique.

RecherchePaper
1 source
ORCESTRA : programmation visuelle de robots pilotée par VLM en réalité mixte
Illustration générée par IA
4arXiv cs.RO 

ORCESTRA : programmation visuelle de robots pilotée par VLM en réalité mixte

Un système de recherche baptisé ORCESTRA, présenté dans un article déposé sur arXiv (2608.00775, catégorie « new »), permet de programmer des robots en réalité mixte sans écrire une ligne de code. L'utilisateur porte un casque à vision traversante (passthrough), place un jumeau numérique du robot sur une surface réelle, puis lui enseigne des trajectoires par démonstration de points de passage, sauvegardées sous forme d'épisodes relatifs au repère du robot. Alternative : il donne une commande vocale ou tapée, qu'un modèle vision-langage (VLM) traduit en plan structuré exécutable par le jumeau numérique. Les deux modes passent par un même backend qui assure l'ancrage métrique, la validation adaptée à la morphologie du robot, la prévisualisation et la confirmation avant exécution. Le système a été testé sur des embodiments hétérogènes : bras manipulateurs à base fixe, base mobile et robot humanoïde. L'intérêt principal tient à la couche de validation en réalité mixte, qui agit comme filet de sécurité entre une instruction en langage naturel et son exécution physique, un enjeu central alors que les approches VLA (vision-language-action) peinent souvent à passer de la démonstration à un déploiement fiable. Pour les intégrateurs industriels, cela ouvre la voie à une reprogrammation de robots sans compétence en codage, avec vérification visuelle avant tout mouvement réel, réduisant le risque d'erreurs coûteuses sur ligne de production. ORCESTRA s'inscrit dans une tendance de recherche croissante mêlant réalité augmentée/mixte et VLM pour le contrôle robotique, en alternative aux interfaces de téléopération classiques. L'article ne précise ni affiliation ni calendrier de déploiement commercial ; il s'agit à ce stade d'un prototype académique, dont les suites attendues incluent des études utilisateurs et l'extension à d'autres types de robots.

RecherchePaper
1 source