RecherchearXiv cs.RO 18 septembre 2026

INSPECT : apprendre à un robot à choisir son point de vue grâce à l'usage d'un assistant

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article publié le 18 septembre 2026 sur arXiv (2609.20615) présente INSPECT, une méthode qui apprend à un robot à choisir ses points de vue d'inspection à partir d'enregistrements d'un assistant porté sur des lunettes connectées, utilisé par des opérateurs humains pour vérifier la présence de pièces et la bonne installation d'un assemblage. Le système combine trois mécanismes: PI-TwinSwap (Presence-Invariant TwinSwap), qui calibre l'évidence visuelle des objets via des interventions d'identité appariées; une supervision indexée sur les confirmations vocales de l'opérateur, qui distingue ce qui relève d'une vraie preuve de ce qui n'est qu'un changement de cadrage caméra; et un calibrage centré sur l'objet qui adapte les préférences de vue relative à la pose du robot, complété par un filtrage au niveau des clauses. Le robot sélectionne sa prochaine vue uniquement à partir de son observation courante et des poses connues, sans comparer d'images candidates. Sur des assemblages physiques de boîtes de vitesses, INSPECT obtient la meilleure utilité de vue parmi les politiques non-oracle testées et fait passer le taux de vérifiabilité complète, jugé par des évaluateurs humains, de 34,8% à 41,7% par rapport à un robot qui conserverait sa vue actuelle. Transféré sans réentraînement à des enregistrements commerciaux de meuleuses d'angle du jeu de données IMPACT, avec une tête de perception gelée, le sélecteur de vue relative fait passer le taux de décision correcte de 50,6% à 54,3%. Le code source est publié sur GitHub (Kratos-Wen/INSPECT).

L'intérêt pour les intégrateurs et les équipes de contrôle qualité industriel tient moins au produit, il s'agit d'un travail de recherche académique et non d'un système commercialisé, qu'à la méthode d'apprentissage: entraîner une politique de sélection de vue sans étiquettes de vue coûteuses dans le domaine cible, en réutilisant les traces d'usage d'un assistant d'assemblage déjà déployé. C'est un signal utile dans le débat sur le passage à l'échelle des politiques de perception robotique, mais les gains rapportés restent modestes, autour de sept points de pourcentage dans les deux évaluations, ce qui laisse un taux d'erreur encore substantiel et invite à la prudence avant toute extrapolation à d'autres tâches d'inspection.

Le travail s'inscrit dans la lignée des recherches qui exploitent des interactions égocentriques homme-machine, ici les vidéos et confirmations vocales issues d'un assistant à lunettes intelligentes, comme signal d'apprentissage supervisé indirect plutôt que comme simples journaux d'usage. Aucun acteur français ou européen du secteur robotique n'est mentionné dans cette publication. Les auteurs comparent leur approche à des politiques oracle et non-oracle existantes et valident sa capacité de transfert entre deux domaines très différents, l'assemblage mécanique de précision et la maintenance d'outillage industriel, ce qui constitue le principal argument de généralisation avancé. Aucun pilote industriel ni calendrier de déploiement n'est annoncé; la contribution reste, à ce stade, une preuve de concept méthodologique accompagnée d'un code source ouvert.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Lancer un objet sans le saisir : le point de vue de l'apprentissage par renforcement

Un article publié le 2 septembre 2026 sur arXiv (2609.00771) décrit une méthode de lancer robotique sans préhension pilotée par apprentissage par renforcement, testée sur un bras UR5e d'Universal Robots poussé à 5 m/s en bout d'effecteur. Déployée sans réentraînement sur le robot réel, elle lance des objets variés, dont une pièce de 790 grammes et un colis de 20x20x28 cm, vers des cibles situées jusqu'à 350 cm de distance ou 180 cm de hauteur, avec un taux de réussite réel de 97%. En simulation, la politique atteint 99% de succès sur des milliers de configurations et généralise à des objets inédits. Le lancer non préhensile étend le rayon d'action d'un robot au-delà du pick-and-place, une capacité utile pour les objets lourds, volumineux ou déformables que les pinces classiques gèrent mal. Les approches précédentes s'appuyaient sur des modèles de contact simplifiés et des trajectoires paramétrées en basse dimension, ce qui limitait la qualité des lancers et l'espace atteignable ; ici, la politique optimise directement les trajectoires articulaires en exploitant glissement et roulement comme modes de contact. Le transfert simulation-vers-réel réussi sur du matériel poussé près de ses limites est un signal encourageant pour la manipulation dynamique par RL, même si la forte sensibilité révélée à la friction dynamique, contrastant avec la bonne tolérance à l'incertitude de masse, reste un point de vigilance pour tout intégrateur. Le papier reste au stade de la recherche académique publiée sur arXiv, sans annonce de produit, de partenaire industriel ni de calendrier de commercialisation. Il se positionne face aux méthodes historiques de lancer robotique fondées sur la préhension dynamique et des modèles de contact analytiques, en misant sur l'apprentissage par renforcement plutôt que sur l'optimisation classique pour gagner en généralisation à des objets et des cibles non vus à l'entraînement. Le choix d'un UR5e, cobot industriel largement déployé en usine et en logistique, suggère une volonté de portabilité vers du matériel déjà répandu, sans qu'aucun pilote ni déploiement commercial ne soit annoncé à ce stade.

UELe choix du cobot UR5e (Universal Robots, origine danoise), très répandu dans l'industrie européenne, suggère une portabilité potentielle vers du matériel déjà déployé en Europe, sans pilote ni déploiement annonce a ce stade.

RecherchePaper

1 source

2arXiv cs.RO

Brachiation robuste sur un robot bibras taille humaine grâce à l'apprentissage par renforcement guidé par points de passage

Une prépublication arXiv (2608.17320), publiée mi-août 2026, décrit une méthode d'apprentissage par renforcement permettant à un robot bipède à deux bras de taille humaine de pratiquer la brachiation, le déplacement par les bras seuls comme chez les primates sur des barres suspendues. Baptisée Waypoint-Guided Reinforcement Learning (WGRL), la technique ne spécifie que quelques points de passage épars pour la trajectoire de l'effecteur terminal; le mouvement complet du corps est ensuite généré par renforcement, guidé par une récompense mêlant respect des points de passage, réussite de la tâche et efficacité énergétique. Conçu pour le transfert sim-to-real, l'entraînement a été validé par des essais sim-to-sim sur des parcours de barres à géométrie variable, puis par des tests sur le robot physique, confirmant une brachiation robuste avec récupération après échec de prise. Le résultat s'attaque à un verrou resté ouvert sur les plateformes grandeur nature: la coordination fine et le timing précis pour saisir et relâcher un appui, sans données de démonstration humaine disponibles, la tâche étant trop spécifique pour un jeu d'apprentissage par imitation. En s'appuyant sur de simples points de passage plutôt que sur des trajectoires complètes annotées, la méthode contourne ce manque de données, un frein courant à l'apprentissage par renforcement en robotique réelle. Pour les chercheurs en locomotion et les intégrateurs travaillant sur des humanoïdes, elle élargit les modes de déplacement envisageables au-delà de la marche bipède, qui concentre l'essentiel des efforts du secteur, vers des structures, échafaudages ou sites industriels sans appui continu au sol. La brachiation robotique est étudiée depuis plusieurs décennies, mais les démonstrations concluantes restaient jusqu'ici cantonnées à des simulateurs ou à des robots miniatures et légers, la coordination bras-corps se compliquant nettement à l'échelle humaine entre inertie et contraintes de couple. Ce travail prolonge un courant de recherche qui combine apprentissage par renforcement et transfert sim-to-real pour la locomotion dynamique, déjà exploité pour la marche et la course des humanoïdes bipèdes. L'article ne précise ni le laboratoire d'origine ni le nom commercial de la plateforme testée, et présente ses résultats comme des lignes directrices méthodologiques réutilisables plutôt que comme un produit finalisé, sans calendrier de déploiement ni partenariat industriel annoncé.

RecherchePaper

1 source

3arXiv cs.RO

CoMo : apprendre le mouvement latent continu depuis des vidéos internet pour un apprentissage robotique à grande échelle

Des chercheurs ont publié sur arXiv (référence 2505.17006, version 3) une méthode baptisée CoMo, pour "Continuous Motion", conçue pour extraire automatiquement des représentations continues du mouvement à partir de vidéos issues d'Internet, et les réutiliser comme étiquettes d'action pour entraîner des politiques robotiques. CoMo repose sur deux mécanismes distincts : une différence temporelle précoce (Td) appliquée en amont de l'encodeur pour rendre plus difficile l'apprentissage par raccourcis visuels (les modèles ont tendance à coder l'arrière-plan statique plutôt que le mouvement lui-même), et un apprentissage contrastif temporel (Tcl) qui construit des paires positives avec un décalage temporel réduit vers le futur, et des paires négatives en inversant la direction du temps. Le résultat est un espace latent continu, entraîné sur des vidéos à grande échelle, capable de générer des pseudo-étiquettes d'action pour des vidéos jamais vues en phase d'inférence. Des expériences en simulation et en conditions réelles montrent des gains de performance par rapport aux approches discrètes, aussi bien avec des architectures diffusion que autorégressives. L'enjeu industriel est direct : l'un des goulots d'étranglement du robot learning est la rareté des démonstrations téléopérées, coûteuses à collecter. Si une méthode peut extraire un signal d'action utilisable depuis des vidéos YouTube ou des caméras industrielles non étiquetées, elle réduit mécaniquement le coût de constitution des datasets. La contribution principale de CoMo face aux méthodes discrètes par quantification vectorielle (VQ) est de supprimer la perte d'information liée à la projection dans un codebook de petite taille, et surtout de combler le fossé de distribution entre un espace discret de tokens visuels et un espace d'actions continues à valeurs réelles, fossé qui pénalise l'apprentissage conjoint d'une politique unifiée. La généralisation zéro-shot annoncée est la prétention la plus forte : elle signifie que CoMo pourrait étiqueter des vidéos de nouveaux environnements ou tâches sans ré-entraînement, ce qui reste à valider sur des benchmarks standardisés ; l'abstract ne cite pas de métriques numériques précises. Ce travail s'inscrit dans un axe de recherche très actif depuis 2023, qui cherche à exploiter Internet comme source de supervision pour les robots, aux côtés de méthodes comme RT-2 de Google DeepMind, Pi-0 de Physical Intelligence, ou encore les travaux sur les VLA (Vision-Language-Action models) d'UC Berkeley et du MIT. Les approches discrètes concurrentes (type GROOT ou méthodes VQ-VAE appliquées à la vidéo) souffrent précisément des limitations que CoMo prétend résoudre. La prochaine étape naturelle serait une validation sur des benchmarks robotiques communautaires comme RLBench, LIBERO ou BridgeData V2, et un test à l'échelle de données réellement "internet-scale" pour confirmer si la généralisation zéro-shot tient face à la diversité des distributions visuelles du monde réel.

RecherchePaper

1 source

4arXiv cs.RO

Apprendre à agir en attendant : réglage par renforcement de politiques robotiques généralistes sous latence d'inférence

Des chercheurs ont publié le 26 août 2026 sur arXiv (2608.23831) un article décrivant ARLI (Asynchronous RL with Intermediate Information), un cadre d'apprentissage par renforcement destiné à continuer d'améliorer les politiques robotiques généralistes de type VLA (vision-language-action) pendant leur déploiement, malgré leur latence d'inférence. Le problème identifié: les modèles VLA modernes sont volumineux et lents à inférer, ce qui provoque des pauses ou des mouvements saccadés à l'exécution, modifie la dynamique effective de l'environnement et brise l'hypothèse markovienne sur laquelle repose le RL classique, faisant échouer les algorithmes standards. ARLI s'appuie sur l'inférence asynchrone, qui entrelace génération et exécution des actions pour masquer la latence, et y ajoute une politique RL à faible latence conçue pour maximiser la réactivité pendant la fenêtre d'inférence, via deux mécanismes: une augmentation d'état intégrant les actions déjà engagées, et une observation prise à mi-inférence, ce qui rétablit une structure quasi markovienne. La méthode est évaluée sur des tâches de manipulation, en simulation et en conditions réelles. L'enjeu dépasse le cadre académique. Les politiques généralistes de type VLA, dans la lignée de modèles comme Pi-0, GR00T N2 ou Helix, sont de plus en plus présentées comme la voie vers des robots capables d'apprendre en continu sur le terrain, mais leur taille impose des temps d'inférence qui, en pratique, cassent les hypothèses du RL standard, un angle mort rarement discuté dans les annonces commerciales centrées sur des démonstrations. En montrant qu'ARLI permet un finetuning RL efficace là où les approches classiques échouent totalement, et qu'il égale voire dépasse les performances d'un RL sans latence en conditions idéalisées, l'article répond à une hypothèse implicite du secteur, celle d'une transposition directe de l'amélioration continue par renforcement des petits modèles rapides vers les grands VLA déployés en usine. Pour les intégrateurs envisageant du RL en ligne sur des flottes équipées de VLA volumineux, ce travail offre une piste concrète contre les artefacts de latence, plutôt qu'un simple constat du problème. Ce travail s'inscrit dans la vague récente de politiques robotiques généralistes entraînées par imitation puis affinées, une lignée qui inclut Pi-0, GR00T N2 ou Helix, ainsi que des humanoïdes comme Optimus ou Figure 03 qui reposent sur ces architectures VLA pour leur autonomie. Le RL post-déploiement reste néanmoins un chantier de recherche plus qu'une pratique industrielle établie, freiné justement par les contraintes de latence que cet article cherche à lever. Aucun partenariat industriel, pilote commercial ni déploiement en usine n'est mentionné: il s'agit d'un travail évalué en simulation et sur banc réel, sans calendrier annoncé vers une intégration en production. Les suites logiques, non précisées dans l'article, porteraient vraisemblablement sur le passage à l'échelle de la méthode à des flottes de robots et à des tâches de manipulation plus complexes.

RecherchePaper

1 source