RecherchearXiv cs.RO 18 septembre 2026

INSPECT : apprendre à un robot à choisir son point de vue grâce à l'usage d'un assistant

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article publié le 18 septembre 2026 sur arXiv (2609.20615) présente INSPECT, une méthode qui apprend à un robot à choisir ses points de vue d'inspection à partir d'enregistrements d'un assistant porté sur des lunettes connectées, utilisé par des opérateurs humains pour vérifier la présence de pièces et la bonne installation d'un assemblage. Le système combine trois mécanismes: PI-TwinSwap (Presence-Invariant TwinSwap), qui calibre l'évidence visuelle des objets via des interventions d'identité appariées; une supervision indexée sur les confirmations vocales de l'opérateur, qui distingue ce qui relève d'une vraie preuve de ce qui n'est qu'un changement de cadrage caméra; et un calibrage centré sur l'objet qui adapte les préférences de vue relative à la pose du robot, complété par un filtrage au niveau des clauses. Le robot sélectionne sa prochaine vue uniquement à partir de son observation courante et des poses connues, sans comparer d'images candidates. Sur des assemblages physiques de boîtes de vitesses, INSPECT obtient la meilleure utilité de vue parmi les politiques non-oracle testées et fait passer le taux de vérifiabilité complète, jugé par des évaluateurs humains, de 34,8% à 41,7% par rapport à un robot qui conserverait sa vue actuelle. Transféré sans réentraînement à des enregistrements commerciaux de meuleuses d'angle du jeu de données IMPACT, avec une tête de perception gelée, le sélecteur de vue relative fait passer le taux de décision correcte de 50,6% à 54,3%. Le code source est publié sur GitHub (Kratos-Wen/INSPECT).

L'intérêt pour les intégrateurs et les équipes de contrôle qualité industriel tient moins au produit, il s'agit d'un travail de recherche académique et non d'un système commercialisé, qu'à la méthode d'apprentissage: entraîner une politique de sélection de vue sans étiquettes de vue coûteuses dans le domaine cible, en réutilisant les traces d'usage d'un assistant d'assemblage déjà déployé. C'est un signal utile dans le débat sur le passage à l'échelle des politiques de perception robotique, mais les gains rapportés restent modestes, autour de sept points de pourcentage dans les deux évaluations, ce qui laisse un taux d'erreur encore substantiel et invite à la prudence avant toute extrapolation à d'autres tâches d'inspection.

Le travail s'inscrit dans la lignée des recherches qui exploitent des interactions égocentriques homme-machine, ici les vidéos et confirmations vocales issues d'un assistant à lunettes intelligentes, comme signal d'apprentissage supervisé indirect plutôt que comme simples journaux d'usage. Aucun acteur français ou européen du secteur robotique n'est mentionné dans cette publication. Les auteurs comparent leur approche à des politiques oracle et non-oracle existantes et valident sa capacité de transfert entre deux domaines très différents, l'assemblage mécanique de précision et la maintenance d'outillage industriel, ce qui constitue le principal argument de généralisation avancé. Aucun pilote industriel ni calendrier de déploiement n'est annoncé; la contribution reste, à ce stade, une preuve de concept méthodologique accompagnée d'un code source ouvert.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprendre à exploiter la compliance : un cadre d'apprentissage de politique en admittance pour l'insertion robotique

Une équipe de chercheurs a publié le 28 septembre 2026 sur arXiv (référence 2609.31439v1) un nouveau cadre baptisé LeCo, pour "Leverage Compliance", destiné à l'assemblage robotique de précision par insertion de connecteurs. Le système combine une politique visuelle apprise par apprentissage automatique avec un contrôle en admittance à raideur fixe, et ajoute un mécanisme de rétroaction multi-fréquence qui agrège les mesures de contact haute fréquence en récompenses au niveau des transitions de la politique. Deux termes de coût inédits structurent l'apprentissage: un coût de conflit intégré, qui pénalise les situations où la politique continue de pousser pendant que le contrôleur relâche la pression sans progression réelle, et un coût de traînée directionnelle en force, qui sanctionne les épisodes de chargement prolongé au sein d'une même transition. Testé sur quatre tâches réelles d'assemblage de connecteurs avec un bras robotique physique, LeCo atteint un taux de réussite agrégé de 94%. Par rapport à une méthode de référence, les pics de force résultante chutent d'environ 30% et les pics de couple d'environ 64% sur les essais réussis, tandis qu'une étude d'ablation montre que le seul ajout du coût de conflit réduit de 53% la densité médiane de conflits en situation de contact. L'enjeu dépasse la simple démonstration technique: l'assemblage par insertion (connecteurs électriques, câblage automobile, électronique) reste l'un des points faibles classiques des politiques visuo-motrices, car une politique entraînée à atteindre un objectif visuel peut continuer à pousser mécaniquement même quand un contrôleur conforme cède sous la résistance, générant des charges inutiles sans avancement. LeCo apporte une preuve empirique que ce défaut de coordination entre perception, décision et contrôle physique peut être corrigé par un signal de récompense dédié, plutôt que par un simple ajustement de la raideur mécanique. Pour les intégrateurs industriels visant l'automatisation de lignes d'assemblage fin (connectique, PCB, câblage), ce type de résultat réduit concrètement le risque de casse de pièces fragiles et améliore la fiabilité des cycles d'insertion, un enjeu direct de rentabilité en production. Ce travail s'inscrit dans une littérature plus large sur la manipulation robotique en contact riche, où l'articulation entre contrôle hybride position/force et politiques apprises par imitation ou renforcement reste un problème ouvert, distinct des efforts actuels sur les modèles généralistes vision-langage-action (Pi-0, GR00T N2, Helix) qui visent une polyvalence de tâches plutôt qu'une précision d'insertion fine. Les auteurs ne précisent pas d'affiliation industrielle ni de calendrier de transfert vers une ligne de production; il s'agit à ce stade d'une contribution de recherche validée sur quatre tâches en laboratoire, sans annonce de déploiement commercial.

RecherchePaper

1 source

2arXiv cs.RO

Apprendre d'une main stable : un agent faiblement supervisé pour l'assistance robotique sous microscopie

Des chercheurs proposent, dans une préversion arXiv (2601.20776v2), un cadre d'assistance robotique sous microscope fondé sur une supervision faible, qui associe une perception tenant compte de la calibration à un contrôle en admittance. Le système exploite des trajectoires de «mise en route» réutilisables pour en extraire de l'information spatiale implicite. Il obtient ainsi une perception résolue en profondeur, sans repères fiduciaires externes ni annotation manuelle de la profondeur image par image, et sans l'étiquetage 2D fastidieux des approches d'automatisation classiques. En caractérisant les résidus des modèles d'observation et de calibration, les auteurs établissent un budget d'erreur dans l'espace de la tâche à partir de ces enregistrements. Dans leurs conditions de laboratoire, l'erreur latérale empirique est d'environ 49 µm. L'erreur axiale, estimée de façon volontairement prudente, atteint environ 291 µm lors de grands déplacements dans le plan. Une étude intra-sujets portant sur 8 participants montre une baisse de 77,1 % de la charge de travail globale mesurée par le NASA-TLX, par rapport à une assistance «steady-hand» simple. Pour la micromanipulation, le principal intérêt est de réduire le coût d'instrumentation et de données. Les systèmes guidés par microscope exigent d'ordinaire des marqueurs, des calibrations lourdes ou des annotations de profondeur coûteuses, ce qui freine leur transfert hors du laboratoire. Réutiliser des trajectoires de mise en route abaisse cette barrière et pourrait intéresser les intégrateurs de postes de chirurgie assistée, d'injection cellulaire ou d'assemblage de précision. Il faut toutefois relativiser les résultats. L'erreur axiale de 291 µm reste grande pour de nombreuses tâches cellulaires ou microchirurgicales, et les auteurs eux-mêmes limitent leurs conclusions aux «conditions de laboratoire évaluées». Un échantillon de 8 utilisateurs rend le chiffre de 77,1 % indicatif plutôt que probant. Il s'agit en outre d'une mesure subjective, comparée à une base de référence minimale, et non à un système de pointe. Enfin, ce travail n'apporte ni produit ni déploiement, seulement une démonstration en boucle fermée. Ces travaux prolongent plusieurs années de recherche sur les robots «steady-hand», nés pour filtrer les tremblements du geste humain en chirurgie oculaire et en microchirurgie. Leur contrôle en admittance fait réagir le robot à la force appliquée par l'opérateur. Le défi persistant était la perception métrique en 3D sous un microscope à profondeur de champ très faible, sans capteurs supplémentaires. Les auteurs y répondent par un apprentissage faiblement supervisé, dans un mouvement plus large vers la réduction de l'annotation dans la robotique médicale et de laboratoire. Cette version 2 remplace une version antérieure, et l'article ne précise ni validation clinique, ni calendrier, ni partenaire industriel. Les prochaines étapes naturelles seraient de réduire l'erreur axiale, de tester sur des échantillons biologiques réels et d'élargir le panel d'utilisateurs, y compris des opérateurs expérimentés.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Apprendre de l'expérience de la flotte : un apprentissage collectif à partir de 96 robots

Des chercheurs proposent un cadre baptisé Collective Experience Learning (CEL), qui exploite directement les exécutions d'une flotte de robots déployés pour améliorer une politique partagée, sans recourir à de nouvelles démonstrations d'experts ni à des actions correctives. Après une initialisation supervisée par des experts, la méthode FERT (failure-guided expérience retrieval fine-tuning) utilise les contextes d'échec pour retrouver des segments pertinents dans les trajectoires réussies, puis privilégie leurs actions enregistrées lors de mises à jour supervisées. Les opérateurs se limitent à fournir une étiquette binaire de réussite ou d'échec par épisode et à remettre l'environnement en état. Un système d'entraînement asynchrone tolérant aux pannes, FATS, coordonne l'exécution des robots, l'inférence dans le cloud et l'optimisation de la politique malgré les interruptions locales. Sur cinq tâches de manipulation réelles, les politiques atteignent 93,3 à 99,2 % de réussite, mesurées sur 120 essais par tâche avec des robots exclus de la collecte de données d'entraînement. Sur l'emballage multi-étapes d'un téléphone, le passage à 96 robots fait grimper le taux de succès de 79,2 % à 98,3 %. L'enjeu est celui du coût de la supervision humaine à mesure que les parcs de robots grossissent. Aujourd'hui, l'amélioration d'une politique en production repose largement sur des correctifs fournis par des téléopérateurs, ce qui ne passe pas à l'échelle quand on multiplie les machines. Ici, le signal vient de l'activité normale du parc, avec un effort humain réduit à un jugement binaire et à des remises à zéro. À temps de collecte fixé par robot, les résultats indiquent que plus de robots apporte généralement plus d'expérience et de meilleures performances sur les tailles testées, ce qui plaide pour un effet d'échelle exploitable par les intégrateurs et exploitants de flottes. Il faut toutefois rester prudent: il s'agit d'un travail académique, sur cinq tâches choisies par les auteurs, sans chiffres de cadence, de coût ni de durée d'entraînement. Le gain de 79,2 % à 98,3 % est mesuré sur une tâche précise, et le texte indique une amélioration « généralement » monotone, pas systématique. La fiabilité de 99 % en conditions de production, avec variété d'objets et d'environnements, reste à démontrer. Ce travail s'inscrit dans la montée des approches d'apprentissage à partir de données de déploiement, après les politiques généralistes de type VLA (vision-langage-action) entraînées sur des démonstrations, et les méthodes d'apprentissage par renforcement ou de correction humaine en ligne, qui demandent un expert dans la boucle. Des acteurs comme Physical Intelligence (Pi-0), Nvidia (GR00T) ou Figure (Helix) misent sur des données massives et des flottes pour affiner leurs modèles, sans toujours détailler leurs boucles d'amélioration en production. L'article, publié sur arXiv en version 2 (2610.25736), ne mentionne aucun pilote industriel ni calendrier de commercialisation. Les prochaines étapes à surveiller sont la reproduction sur d'autres tâches et morphologies, la robustesse face aux échecs rares, et surtout un test en exploitation réelle avec des flottes clientes.

RecherchePaper

1 source

4arXiv cs.RO

Apprendre de l'humain pour une assistance proactive dans le transport collaboratif homme-robot

Une équipe de recherche en robotique présente PROACT, un framework pour le transport collaboratif homme-robot, décrit dans un article arXiv (2609.25351v1) publié en septembre 2026. Le système combine anticipation du comportement humain et contrôle compliant du corps entier d'un robot, via une architecture transformer entraînée sur un vaste jeu de données réel de démonstrations de transport en binôme humain-humain. Ce modèle apprend à prédire le mouvement futur de l'objet transporté à partir du comportement collaboratif observé. Testé sur 108 essais réels avec un manipulateur mobile à 9 degrés de liberté, PROACT réduit le travail d'interaction moyen de 59,2% par rapport à une approche purement compliante, et de 20,4% par rapport à une commande prédictive (MPC) classique. Le temps de complétion moyen baisse de 12,9% et 6,9% respectivement face à ces deux références. Une vidéo des expériences a été mise en ligne pour illustrer les résultats. Le transport collaboratif d'objets lourds ou encombrants reste un problème non résolu en robotique, avec des applications directes en logistique, en manufacturing et à domicile. Jusqu'ici, les approches se scindaient en deux familles incompatibles: des robots efficaces pour déplacer l'objet mais rigides face aux ajustements de l'utilisateur, ou des robots souples et réactifs mais incapables d'agir sans guidage humain constant. En démontrant qu'un seul modèle peut réduire simultanément l'effort physique perçu par l'utilisateur et le temps d'exécution, PROACT apporte une preuve empirique que l'anticipation apprise et la compliance mécanique ne sont pas mutuellement exclusives, un résultat qui intéresse directement les intégrateurs travaillant sur la cobotique industrielle et l'assistance physique. Le travail s'inscrit dans la lignée des recherches sur le contrôle compliant et le model prédictive control appliqués à la manipulation collaborative, deux approches jusque-là traitées séparément dans la littérature. L'apport de PROACT est de fusionner ces deux paradigmes grâce à un modèle appris du comportement humain plutôt qu'à des règles ou une planification pure. L'article ne précise pas de partenariat industriel ni de calendrier de déploiement commercial: il s'agit à ce stade d'un résultat de recherche validé en environnement contrôlé, avec du matériel expérimental, et non d'un produit ou d'un pilote industriel annoncé.

RecherchePaper

1 source