FR/EU ecosystemearXiv cs.RO 12 octobre 2026

Robot-WATCHDOG : détection des défaillances par une représentation en graphe centrée sur les objets

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Robot-WATCHDOG, un cadre d'apprentissage auto-supervisé publié sur arXiv par une équipe liée au CEA-List, s'attaque à la détection d'échecs en temps réel pour les politiques robotiques apprises. Le système représente chaque scène de manipulation sous forme de graphe spatio-temporel centré sur les objets, puis propose deux scores de défaillance complémentaires. Le premier, TPC (Trajectory Projection and Correlation), est une mesure non paramétrique qui évalue l'écart géométrique par rapport aux trajectoires nominales ainsi que la cohérence relationnelle entre objets. Le second, GnnT, combine un réseau d'attention sur graphes (Graph Attention Network) et un Transformer pour prédire les états futurs des objets, l'écart entre prédiction et observation signalant l'anomalie. L'évaluation porte sur un benchmark public et sur un nouveau jeu de données de tâches sémantiquement complexes, avec six tâches et dix graines aléatoires. Les deux scores dépassent les détecteurs fondés sur l'image, surtout sur les erreurs sémantiques et d'interaction. TPC obtient les meilleurs résultats en AUPR et en coefficient de Matthews (MCC) sur les moyennes des deux jeux de données, avec une faible variance d'une graine à l'autre. Aucune valeur chiffrée n'est détaillée dans le résumé, et les résultats qualitatifs sont publiés sur une page dédiée.

L'enjeu est très concret pour quiconque envisage de déployer des politiques de type VLA ou de l'apprentissage par imitation hors du laboratoire : on ne peut pas énumérer à l'avance tous les modes de défaillance d'un environnement ouvert, donc le détecteur doit être entraîné uniquement sur des démonstrations réussies. Le difficile compromis est de rester insensible aux variations bénignes (éclairage, position légèrement décalée, fond différent) tout en repérant les fautes qui comptent, comme un objet mal placé ou une interaction incorrecte. Les détecteurs fondés sur les pixels confondent souvent ces deux situations. En abstrayant la scène en objets et en relations, l'approche déplace le problème vers un espace plus robuste et plus interprétable. Le fait que le score non paramétrique TPC batte, en moyenne, le modèle appris GnnT est aussi un signal : un moniteur simple, stable et peu coûteux peut suffire, ce qui compte pour la certification et la supervision en production. Réserve toutefois : il s'agit de six tâches de manipulation en benchmark, sans validation annoncée sur des flottes industrielles, et la méthode suppose une perception fiable des objets en amont.

Ce travail s'inscrit dans la montée en puissance des politiques généralistes (Pi-0, GR00T, Helix et consorts), dont les taux de réussite restent insuffisants pour des cadences industrielles sans surveillance. La détection d'échecs sans exemples d'échec, déjà explorée par des méthodes visuelles ou par des modèles de fondation utilisés comme juges, constitue donc une brique de sûreté de plus en plus demandée. La présence du CEA-List, laboratoire français d'ingénierie logicielle et de systèmes intelligents, donne à cette contribution une visibilité européenne notable, dans un secteur où la fiabilité est souvent un argument face aux acteurs américains et chinois. Les prochaines étapes naturelles seraient un test sur robot réel en ligne, l'intégration à une boucle de reprise ou de demande d'aide humaine, et une comparaison sur des benchmarks partagés avec les moniteurs adossés aux VLA.

Impact France/UE

Le CEA-List, laboratoire français, contribue à la sûreté des politiques robotiques apprises, une brique utile à la fiabilité et à la certification de la robotique européenne.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Guardian : détection des erreurs de planification et d'exécution robotiques par modèles vision-langage

Des chercheurs du laboratoire Willow, rattaché à l'INRIA et à l'École normale supérieure de Paris (di.ens.fr/willow), ont publié Guardian, un modèle vision-langage (VLM) entraîné pour détecter les erreurs de planification et d'exécution dans la manipulation robotique. Pour l'entraîner, l'équipe a construit GuardianFail-36k, un jeu de données de 36 000 exemples générés automatiquement en perturbant des trajectoires de manipulation réussies, à la fois dans le simulateur RLBench et sur le jeu de données réel BridgeDataV2 (bras robotiques réels). Ces perturbations produisent des échecs jugés représentatifs de la distribution réelle des pannes, chacun accompagné d'un raisonnement structuré étape par étape généré par des VLM. Guardian, conçu pour raisonner sur plusieurs points de vue caméra simultanément, est ensuite testé sur trois benchmarks qu'il n'a jamais vus à l'entraînement: RoboFail, RoboVQA, et UR5-Fail, un nouveau benchmark introduit par les auteurs eux-mêmes. Le papier, référencé arXiv:2512.01946 (version 4, republication), met à disposition code, données et modèles en accès libre. L'enjeu dépasse la simple classification d'erreurs: les modèles VLA (vision-language-action) qui pilotent aujourd'hui les bras et humanoïdes manquent d'un mécanisme fiable pour savoir quand ils échouent, ce qui limite leur robustesse en environnement réel. Les auteurs pointent explicitement le goulot d'étranglement du secteur, la rareté et le manque de diversité des données d'échec pour entraîner ces détecteurs, et y répondent par une génération synthétique à grande échelle plutôt que par une simple collecte. Résultat concret rapporté dans le papier: une fois couplé à une politique de manipulation pilotée par LLM, Guardian améliore de façon mesurable le taux de succès des tâches, aussi bien en simulation qu'en conditions réelles. Cela suggère qu'une boucle de détection d'échec et de reprise, plutôt qu'une exécution en boucle ouverte, devient un ingrédient nécessaire pour fiabiliser des politiques de manipulation à l'échelle industrielle. Il s'agit toutefois d'un résultat de recherche évalué sur benchmarks académiques, non d'un déploiement commercial ou d'un produit intégré à une flotte de robots. Ce travail s'inscrit dans la lignée des recherches sur les politiques génératives de manipulation (VLA), où des benchmarks comme RoboFail et RoboVQA existaient déjà mais souffraient justement du manque de données d'échec exploitables, limitant la capacité de généralisation des détecteurs entraînés dessus. En publiant conjointement un pipeline de génération de données, un dataset à 36 000 exemples et un nouveau benchmark UR5, Willow cherche à établir un standard reproductible pour la vérification d'échecs en robotique, un sujet jusqu'ici traité de façon fragmentée. L'ouverture du code et des modèles laisse la porte ouverte à une intégration par d'autres équipes de recherche ou industriels développant leurs propres piles VLA, sans qu'aucun calendrier de déploiement pilote ou d'industrialisation ne soit mentionné à ce stade.

UELe laboratoire Willow (INRIA/ENS Paris) publie en open source un modèle et un dataset renforçant la recherche européenne en robustesse des politiques VLA pour la manipulation robotique.

FR/EU ecosystemePaper

1 source

2arXiv cs.RO

Apprentissage de la séparation contrôlée de petits objets entre deux doigts avec une peau tactile

Des chercheurs du DLR (Deutsches Zentrum für Luft- und Raumfahrt, le centre aérospatial allemand) publient sur arXiv (2605.31486) une approche inédite pour la séparation contrôlée de petits objets par une main robotique à deux doigts. La tâche est précise : après avoir saisi une poignée de billes de 6 mm de diamètre dans un bac, le système doit en lâcher progressivement jusqu'à n'en conserver qu'un nombre cible entre ses doigts. Aucune caméra n'intervient dans la boucle de contrôle ; le robot s'appuie exclusivement sur une peau tactile à résolution spatiale positionnée sur le bout d'un doigt. La politique de contrôle est apprise en simulation par apprentissage par renforcement avec une récompense sparse qui se déclenche uniquement lorsque le nombre désiré d'objets est atteint. Le transfert sim-to-real est démontré sur la DLR-Hand II, une main mécatronique multi-doigts de référence dans la communauté académique robotique. L'analyse conduite sur les capteurs tactiles constitue le principal apport scientifique. Un capteur idéal à haute résolution permet de résoudre la tâche quasi parfaitement, tandis qu'un capteur réduit à une grille de 4x4 taxels améliore encore les résultats de 20% par rapport à l'utilisation des seuls encodeurs articulaires des doigts. Un estimateur entraîné conjointement prédit les positions de contact réelles, ce qui permet d'instrumenter finement l'apport de chaque niveau de résolution sensorielle. Pour les industriels, cette démonstration valide l'hypothèse que le toucher seul peut suffire pour des tâches de tri et de dosage en environnement encombré, sans éclairage contrôlé ni vision, ce qui élargit le spectre applicatif des cellules de picking autonomes dans des contextes où la caméra est inutilisable ou coûteuse à intégrer. Le DLR développe sa ligne DLR-Hand depuis les années 1990, avec la DLR-Hand II comme référence académique de longue date en manipulation dextère. Sur le plan concurrentiel, la manipulation fine de très petits objets reste un problème ouvert que ciblent plusieurs acteurs : Shadow Robotics et ses tendons haute précision, les capteurs tactiles Digit (Meta AI) et GelSight (MIT), ou encore Xela Robotics côté intégration commerciale. La combinaison apprentissage par renforcement en simulation, transfert sim-to-real réussi et retour tactile seul sur des objets de 6 mm reste très peu documentée à cette échelle. Le travail est un preprint non encore évalué par les pairs ; une soumission à IROS ou ICRA préciserait les limites de la généralisation à d'autres géométries d'objets et à des contextes de production réelle.

UELa publication du DLR valide l'usage du toucher seul pour le tri fin sans vision, ouvrant une piste compétitive pour les équipes de robotique industrielle européennes qui développent des cellules de picking en environnement contraint.

FR/EU ecosystemePaper

1 source

3arXiv cs.RO

Voir et Bifurquer : branchement par vision pour la programmation interactive de compétences robotiques

Une équipe du CIIRC (Czech Institute of Informatics, Robotics and Cybernetics, Prague) publie sur arXiv un framework appelé See & Switch, qui étend la programmation par démonstration (PbD) aux tâches robotiques conditionnelles basées sur la vision. Le système représente une tâche comme un graphe de segments de compétence reliés par des états de décision : lors de l'exécution, un module appelé Switcher analyse les images d'une caméra embarquée dans la main (eye-in-hand) pour sélectionner la branche à suivre ou signaler une situation inconnue nécessitant une nouvelle démonstration. En cas d'erreur ou de cas imprévu, l'opérateur peut intervenir via enseignement kinesthésique, joystick ou gestes manuels. Le système a été évalué sur trois tâches de manipulation dextère impliquant 8 utilisateurs novices, pour un total d'environ 900 séquences d'exécution sur robot réel. Les résultats mesurés sur des fenêtres temporelles définies par l'utilisateur atteignent 90,6 % de précision dans la sélection de branche, et une détection d'anomalies supérieure à 90 % dans 47 des 79 états de décision testés. Ces résultats sont pertinents pour les intégrateurs industriels qui cherchent à déployer la PbD dans des environnements variables sans passer par la programmation explicite de chaque variante. Le principal verrou du secteur est que les systèmes PbD classiques supposent un environnement fixe : un changement de disposition, d'orientation de pièce ou de contexte casse le programme. See & Switch traite ce problème au niveau du graphe de tâche plutôt qu'au niveau du modèle de perception, ce qui le rend modulaire et extensible sans réentraîner un réseau complet. La nuance importante : les performances de branchement sont évaluées en mode offline sur des fenêtres déjà identifiées, ce qui isole le classificateur visuel des erreurs de timing réelles, les chiffres de 90 % ne reflètent donc pas directement la robustesse end-to-end en déploiement non supervisé. La PbD a connu un regain d'intérêt fort depuis 2022 avec les approches VLA (Vision-Language-Action) portées par des systèmes comme Pi-0 (Physical Intelligence), OpenVLA ou ACT (Action Chunking with Transformers). See & Switch se positionne différemment : il n'utilise pas de grand modèle pré-entraîné mais une architecture légère et interprétable, orientée vers l'enseignement interactif sur site par du personnel non expert. Les travaux proviennent du groupe ImitRob au CIIRC, qui publie régulièrement sur la PbD depuis plusieurs années. Le code et les données sont disponibles publiquement. La prochaine étape logique serait de coupler ce graphe de décision avec un backbone de perception plus robuste, ou de tester la scalabilité sur des cellules industrielles multi-postes.

UELe framework See & Switch, issu du groupe ImitRob au CIIRC de Prague (UE), est publié en open source et ne requiert pas de grand modèle pré-entraîné, ce qui le rend directement accessible aux intégrateurs industriels européens souhaitant déployer la programmation par démonstration dans des environnements variables sans expertise en deep learning.

FR/EU ecosystemePaper

1 source

4The Robot Report

Coherence Guard : Palm Garden AI développe une couche décisionnelle relationnelle pour les robots interagissant avec les humains

Palm Garden AI, entreprise basée en Allemagne et en Thaïlande, développe Coherence Guard, une couche logicielle décrite comme « agnostique de plateforme » destinée aux robots en interaction directe avec des humains. Selon Joachim Scheuerer, PDG de l'entreprise, ce module ne remplace ni la perception, ni la planification de mouvement, ni l'apprentissage par renforcement, ni les piles de contrôle robotique existantes. Il s'insère plutôt comme une couche d'évaluation pré-action : avant qu'un robot exécute un geste, Coherence Guard évalue si l'action est « relationnellement cohérente » dans un environnement humain réel, en tenant compte du timing, de la proximité, des demandes de limites, du ton émotionnel, de la préservation de la confiance et du retrait respectueux. Le système s'appuie sur l'infrastructure comportementale ANATTA 9 de Palm Garden, bâtie sur le système d'exploitation cloud Transwarp (TCOS), et se positionne au-dessus ou à côté des piles de contrôle robotique classiques (SDK/API, ROS 2, planification, modèles du monde). Baptisé Relational Infrastructure Framework (RIF), ce cadre ajoute une compréhension des rôles, intentions, vulnérabilités et conséquences futures possibles, là où les modèles du monde physique se limitent aux objets, à l'espace et au mouvement. Le RIF est disponible sur demande auprès de Palm Garden AI. À mesure que les robots humanoïdes et robots de service se dirigent vers l'hospitalité, les soins, le commerce de détail, l'éducation, le guidage et le domicile, la gestion des interactions sociales devient un enjeu aussi critique que la mobilité ou la manipulation. Palm Garden AI parie que cette couche relationnelle deviendra une catégorie d'infrastructure nécessaire, au même titre que la perception ou la planification de trajectoire. Pour les intégrateurs et décideurs B2B, l'annonce pointe un angle mort du secteur : la plupart des piles robotiques actuelles savent naviguer, parler et exécuter des tâches, mais ne savent pas juger si un geste techniquement possible est socialement approprié, par exemple continuer une tâche alors qu'une personne exprime un malaise. Ce type de défaillance, plus subtil qu'une panne technique, peut pourtant déterminer l'acceptabilité sociale d'un robot en environnement réel et donc sa commercialisation effective. Reste que Coherence Guard, comme beaucoup d'annonces du secteur, en est au stade du cadre logiciel disponible sur demande plutôt que du produit déployé à grande échelle : aucun chiffre de déploiement, aucun partenaire robotique nommé, aucun benchmark quantitatif indépendant n'accompagne l'annonce, ce qui invite à la prudence sur la portée réelle de la technologie à ce stade. Le concept trouve son origine dans l'expérience de Palm Garden Retreat, un établissement en Thaïlande où l'équipe a observé pendant trois ans des situations d'interaction humaine structurées : arrivée, orientation, silence, vulnérabilité, construction de confiance, malentendu et retrait respectueux. Scheuerer cite comme « benchmark » simple le retrait respectueux : si une personne montre un signe d'inconfort ou demande de l'espace, le robot doit interrompre sa tâche, reconnaître le signal, augmenter la distance si nécessaire, réduire son intensité expressive et revenir à un état neutre. Ces comportements de base couvrent aussi l'accueil et l'orientation, la présence de soutien, l'assistance non intrusive, l'escalade en cas d'incertitude élevée et l'explication préservant la cohérence. Palm Garden AI se positionne ainsi sur un segment encore peu occupé, distinct des efforts des grands acteurs de la robotique humanoïde (Figure, Tesla avec Optimus, ou les modèles VLA comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure), qui se concentrent d'abord sur la manipulation et la mobilité générale. Aucun calendrier de déploiement pilote ni partenaire intégrateur n'a été communiqué à ce stade ; l'entreprise indique seulement que le RIF est accessible sur demande.

UEPalm Garden AI, entreprise basée en Allemagne, développe cette couche logicielle relationnelle, renforçant l'écosystème européen sur un segment encore peu occupé de l'interaction homme-robot.

FR/EU ecosystemeActu

1 source