Quand un robot défaillant doit-il demander de…

1arXiv cs.RO

RoboFAC : un cadre complet pour l'analyse et la correction des défaillances en robotique

Des chercheurs rattachés au groupe MINT de l'université Jiao Tong de Shanghai (SJTU) publient la cinquième version de RoboFAC, un cadre d'analyse et de correction des échecs en manipulation robotique. Le jeu de données rassemble 9 440 trajectoires erronées et 78 623 paires question-réponse, réparties sur 53 scènes en simulation et en conditions réelles, avec une taxonomie systématique des types d'échec. Sur cette base, l'équipe a entraîné un modèle multimodal léger, conçu pour comprendre la tâche, diagnostiquer l'échec puis proposer une correction, et assez compact pour tourner en local. Il atteint une précision d'analyse des échecs supérieure de 34,1 % à celle de GPT-4o. Intégré comme superviseur externe dans une chaîne de contrôle VLA réelle, il apporte une amélioration relative de 29,1 % sur quatre tâches, avec une latence nettement inférieure à celle de GPT-4o. Le modèle et les données sont publiés en open source sur GitHub. L'enjeu touche un point faible reconnu des modèles Vision-Language-Action (VLA), qui traduisent instructions en langage naturel et images en actions. Ils sont entraînés presque exclusivement sur des démonstrations d'experts réussies et n'ont donc aucune supervision structurée pour comprendre pourquoi une saisie ou un placement échoue. Pour un intégrateur, cette lacune freine le passage de la démo à l'exploitation, où ce sont les cas dégradés qui font le coût de maintenance. L'approche a aussi un intérêt pratique: un superviseur local et rapide évite les appels à une API propriétaire, incompatibles avec les contraintes de latence et de confidentialité d'un atelier. Plusieurs réserves s'imposent toutefois. Le gain de 34,1 % est mesuré sur un benchmark conçu par les auteurs, et GPT-4o n'est plus une référence de pointe. Le gain de 29,1 % est relatif, sans taux de réussite absolus dans le résumé, et il ne couvre que quatre tâches. Il s'agit d'un résultat de recherche, sans déploiement industriel annoncé. Ce travail s'inscrit dans l'effort de la communauté pour rendre les VLA plus robustes en monde ouvert. Les modèles fondation comme Pi-0, GR00T ou Helix misent surtout sur la montée en échelle des données de démonstration, tandis que RoboFAC défend l'idée complémentaire de données centrées sur l'échec et d'un module de supervision séparé de la politique de contrôle. La publication ouverte du modèle et du jeu de données permet à d'autres laboratoires de le comparer ou de l'intégrer à leurs propres politiques. Les prochaines étapes à surveiller sont la validation sur davantage de tâches et de robots, la mesure des taux de réussite absolus, et la boucle fermée où le superviseur corrige l'exécution en temps réel plutôt que de seulement la commenter.

RecherchePaper

1 source

2arXiv cs.RO

Apprendre de l'expérience de la flotte : un apprentissage collectif à partir de 96 robots

Des chercheurs proposent un cadre baptisé Collective Experience Learning (CEL), qui exploite directement les exécutions d'une flotte de robots déployés pour améliorer une politique partagée, sans recourir à de nouvelles démonstrations d'experts ni à des actions correctives. Après une initialisation supervisée par des experts, la méthode FERT (failure-guided expérience retrieval fine-tuning) utilise les contextes d'échec pour retrouver des segments pertinents dans les trajectoires réussies, puis privilégie leurs actions enregistrées lors de mises à jour supervisées. Les opérateurs se limitent à fournir une étiquette binaire de réussite ou d'échec par épisode et à remettre l'environnement en état. Un système d'entraînement asynchrone tolérant aux pannes, FATS, coordonne l'exécution des robots, l'inférence dans le cloud et l'optimisation de la politique malgré les interruptions locales. Sur cinq tâches de manipulation réelles, les politiques atteignent 93,3 à 99,2 % de réussite, mesurées sur 120 essais par tâche avec des robots exclus de la collecte de données d'entraînement. Sur l'emballage multi-étapes d'un téléphone, le passage à 96 robots fait grimper le taux de succès de 79,2 % à 98,3 %. L'enjeu est celui du coût de la supervision humaine à mesure que les parcs de robots grossissent. Aujourd'hui, l'amélioration d'une politique en production repose largement sur des correctifs fournis par des téléopérateurs, ce qui ne passe pas à l'échelle quand on multiplie les machines. Ici, le signal vient de l'activité normale du parc, avec un effort humain réduit à un jugement binaire et à des remises à zéro. À temps de collecte fixé par robot, les résultats indiquent que plus de robots apporte généralement plus d'expérience et de meilleures performances sur les tailles testées, ce qui plaide pour un effet d'échelle exploitable par les intégrateurs et exploitants de flottes. Il faut toutefois rester prudent: il s'agit d'un travail académique, sur cinq tâches choisies par les auteurs, sans chiffres de cadence, de coût ni de durée d'entraînement. Le gain de 79,2 % à 98,3 % est mesuré sur une tâche précise, et le texte indique une amélioration « généralement » monotone, pas systématique. La fiabilité de 99 % en conditions de production, avec variété d'objets et d'environnements, reste à démontrer. Ce travail s'inscrit dans la montée des approches d'apprentissage à partir de données de déploiement, après les politiques généralistes de type VLA (vision-langage-action) entraînées sur des démonstrations, et les méthodes d'apprentissage par renforcement ou de correction humaine en ligne, qui demandent un expert dans la boucle. Des acteurs comme Physical Intelligence (Pi-0), Nvidia (GR00T) ou Figure (Helix) misent sur des données massives et des flottes pour affiner leurs modèles, sans toujours détailler leurs boucles d'amélioration en production. L'article, publié sur arXiv en version 2 (2610.25736), ne mentionne aucun pilote industriel ni calendrier de commercialisation. Les prochaines étapes à surveiller sont la reproduction sur d'autres tâches et morphologies, la robustesse face aux échecs rares, et surtout un test en exploitation réelle avec des flottes clientes.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage de compétences d'attaquant agile pour robots humanoïdes footballeurs à partir de capteurs bruités

Des chercheurs ont publié sur arXiv (réf. 2512.06571, troisième révision) un système d'apprentissage par renforcement permettant à des robots humanoïdes d'exécuter des frappes de balle précises et répétées, même face à des capteurs bruités et des perturbations extérieures simulant des adversaires. L'entraînement se structure en quatre étapes : une phase de poursuite longue distance, puis de frappe directionnelle, conduites par une politique dite "enseignant" alimentée en données d'état parfaites ; ensuite une distillation de cette politique vers un agent "étudiant" fonctionnant avec des capteurs imparfaits ; enfin une adaptation par RL contraint. Les expériences ont été conduites en simulation et sur un vrai robot humanoïde, avec des résultats solides en précision de frappe et en taux de buts sur des configurations balle-but variées. Ce qui distingue ces travaux, c'est la rigueur avec laquelle le fossé sim-to-real est traité. Le bruit de perception est modélisé explicitement pendant l'entraînement, et l'étape de RL contraint permet de raffiner le comportement de l'agent sans dégrader ses acquis antérieurs. Maintenir l'équilibre sur un seul appui pendant une frappe rapide constitue un défi de contrôle entier-corps que les approches classiques peinent souvent à transférer du simulateur au hardware. Le fait que le système fonctionne sur robot réel, et pas uniquement en simulation sélectionnée, est un indicateur de maturité non négligeable pour les équipes R&D travaillant sur des plateformes comme l'Unitree H1 ou le Fourier GR-1. Ce travail s'inscrit dans l'essor des compétitions de football humanoïde, notamment le RoboCup Humanoid League, où le passage de démonstrations contrôlées à des comportements robustes face à l'adversité reste le principal verrou. Le cadre enseignant-étudiant est une approche bien établie dans la littérature du contrôle locomoteur, portée par de nombreux travaux sur la locomotion quadrupède et humanoïde ces cinq dernières années. Ce qui singularise cette contribution est l'ajout d'une étape d'adaptation par RL contraint et la modélisation réaliste du bruit de perception dans la boucle d'entraînement, deux éléments que les études d'ablation de l'article identifient comme critiques pour la performance finale. Les auteurs proposent ce système comme benchmark de référence pour les compétences visuomotrices en contrôle entier-corps humanoïde, un angle encore peu formalisé dans un domaine dominé par la locomotion et la manipulation statique.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage de corrections de trajectoire sensibles aux interactions à partir de trajectoires non étiquetées : un cadre GNN sim-vers-réel par LiDAR pour les robots de chantier

Des chercheurs proposent un cadre de navigation sociale fonctionnant uniquement avec un LiDAR, destiné aux robots de chantier qui évoluent à proximité d'ouvriers. Le système apprend des corrections de trajectoire sensibles aux interactions à partir de démonstrations non étiquetées. Une extrapolation à vitesse constante génère les cibles d'apprentissage résiduelles, et un réseau de neurones sur graphes (GNN) modélise les relations entre le robot, les piétons et le contexte de l'objectif. En déploiement, un filtre de Kalman étendu suit les détections LiDAR pour construire des graphes dynamiques. Le GNN décale ensuite les points de passage produits par le planificateur, via une interface indépendante du planificateur. Dans un essai de pose de briques, le modèle réduit l'irrégularité du chemin de 39,2 % et augmente le temps minimal avant collision (TTC). Sur les séquences du jeu de données Dynablox, le TTC minimal progresse de 38,3 %, avec des trajectoires plus courtes et plus lisses que les méthodes de référence. Les ablations retiennent un intervalle de prédiction de 1,0 s et confirment l'utilité du contexte de l'objectif, de l'augmentation par réflexion et de la normalisation des caractéristiques. L'intérêt tient à ce que ce travail s'attaque à trois freins connus de la navigation sociale sur chantier. Les règles d'interaction écrites à la main passent mal à l'échelle, les démonstrations étiquetées coûtent cher à produire, et les politiques de contrôle propres à un robot se transfèrent difficilement d'une plateforme à l'autre. Une couche de correction qui s'ajoute à n'importe quel planificateur existant intéresse directement les intégrateurs, car elle évite de remplacer la pile de navigation en place. Le choix du LiDAR seul, sans caméra, répond aussi à la poussière, aux variations de lumière et aux contraintes de confidentialité des sites. Il faut toutefois relativiser la portée des résultats : ils reposent sur un essai de pose de briques et sur un jeu de données public, sans déploiement prolongé sur un chantier réel. Le comportement face à des groupes denses, à des engins ou à des occlusions fortes n'est pas documenté dans ce résumé. Les gains en TTC et en régularité restent des gains relatifs face à des références dont la nature précise n'est pas détaillée, et aucune donnée de cycle ou de productivité n'est fournie. Ce travail s'inscrit dans la lignée des méthodes de navigation sociale à base de forces sociales, d'apprentissage par imitation ou de renforcement, souvent validées en simulation ou dans des espaces de bureau plutôt que sur chantier. Le robot de pose de briques évoque les systèmes de maçonnerie robotisée déjà testés par plusieurs acteurs du secteur, mais l'étude ne désigne pas de produit commercial. L'étape suivante logique consiste à valider le cadre sur des sites réels, avec des plateformes variées, et à tester sa transférabilité d'un planificateur à l'autre. Il s'agit pour l'instant d'une publication académique sur arXiv, sans produit, sans pilote annoncé et sans calendrier de commercialisation.

RecherchePaper

1 source

Quand un robot défaillant doit-il demander de l'aide : dialogue correctif homme-robot à partir de preuves capteur auditées

À lire aussi

RoboFAC : un cadre complet pour l'analyse et la correction des défaillances en robotique

Apprendre de l'expérience de la flotte : un apprentissage collectif à partir de 96 robots

Apprentissage de compétences d'attaquant agile pour robots humanoïdes footballeurs à partir de capteurs bruités

Apprentissage de corrections de trajectoire sensibles aux interactions à partir de trajectoires non étiquetées : un cadre GNN sim-vers-réel par LiDAR pour les robots de chantier