RecherchearXiv cs.RO 21 octobre 2026

Une caméra frontale suffit (presque) : un gant UMI sans électronique, étiqueté et observé par une seule caméra mobile

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent un dispositif de collecte de démonstrations pour la manipulation robotique qui remplace la caméra de poignet, les câbles et le système de suivi de pose des interfaces portatives classiques (type UMI) par une seule caméra égocentrique portée sur la tête de l'opérateur (122 USD). Cette caméra lit des marqueurs fiduciaires imprimés sur un gant sans électronique (22 USD), confrontés à des tuiles de papier collées autour de l'espace de travail. Les mêmes images donnent la pose 6-DoF (six degrés de liberté) de la pince et l'ouverture de ses mâchoires. Au déploiement, la caméra est montée sur un bras à bas coût (120 USD) placé à côté du robot, qui reproduit le mouvement de la tête de l'opérateur à partir de l'état articulaire du robot. Face aux encodeurs du robot, les étiquettes affichent une erreur médiane de 6,5 mm en position et 1,6 degré en orientation, avec 93 à 100 % des images couvertes. Une politique entraînée sur ces étiquettes plutôt que sur les encodeurs perd 3 % en perte de validation.

Sur le plan expérimental, ajouter 194 démonstrations au gant à 48 épisodes téléopérés fait passer le taux de réussite de 10/25 à 17/25, au niveau de 172 épisodes téléopérés seuls (18/25). La politique complète, entraînée conjointement avec une caméra de tête, réussit 20 fois sur 25. La recette à caméra de poignet obtient 15/25 : ses politiques lâchent l'objet quand la cible sort de leur champ de vision. Une caméra fixe plafonne à 12/25. Ces résultats viennent d'un preprint arXiv, sans relecture par les pairs, avec 25 essais par configuration. Les écarts entre 17, 18 et 20 réussites sont donc trop faibles pour être concluants. On ne sait pas non plus si les résultats tiennent sur d'autres tâches, d'autres robots ou d'autres environnements.

L'intérêt pour les intégrateurs tient au coût et à la simplicité du pipeline. Un gant à 22 USD et une caméra unique suppriment les flux de données à horodater, synchroniser et calibrer entre eux, ce qui est un frein courant aux collectes de données à grande échelle. L'équivalence approximative entre 194 démonstrations au gant plus 48 épisodes téléopérés et 172 épisodes téléopérés laisse penser que des démonstrations humaines peu chères peuvent remplacer une part importante de la téléopération, plus lente et mobilisant un robot. Le résultat sur la vue de tête touche aussi un choix de conception : une caméra qui suit l'attention de l'opérateur garde l'objet et la cible visibles là où une caméra de poignet les perd. Le dispositif a une contrainte : il exige des tuiles de papier placées dans l'espace de travail, donc un environnement légèrement préparé. Ce n'est pas encore une collecte en conditions réelles non préparées.

Ce travail s'inscrit dans la lignée de l'interface UMI (Universal Manipulation Interface), qui a popularisé les pinces portatives avec caméra de poignet pour apprendre sans robot. Il rejoint d'autres approches de données humaines égocentriques, comme les vidéos à la première personne ou les gants instrumentés, que cherchent à exploiter plusieurs acteurs des modèles VLA (vision-langage-action). Ici, la différence est l'absence totale d'électronique sur la main. Les prochaines étapes à surveiller sont la validation sur davantage de tâches et de plateformes, et la robustesse du suivi quand les marqueurs sont occultés ou que l'éclairage varie.

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

PhyPush : une seule poussée suffit pour estimer les propriétés physiques sans capteurs grâce aux transformeurs guidés par la physique

PhyPush, présenté dans un article arXiv (2605.18284) publié en mai 2026, est un framework basé sur un Transformer guidé par la physique, capable d'estimer la masse et le coefficient de friction d'un objet à partir d'une seule poussée. La particularité centrale : le système n'utilise que la vélocité cinématique de l'effecteur final, une donnée disponible nativement sur tout bras robotique standard, sans capteur de force/couple, sans réseau de capteurs tactiles, et sans système de capture de mouvement multi-caméras. Le modèle intègre directement les contraintes issues de la deuxième loi de Newton et du modèle de friction de Coulomb dans sa fonction de perte, ce qui renforce la cohérence physique des estimations. En simulation, PhyPush réduit l'erreur d'estimation de plus de 10 % par rapport à une baseline disposant pourtant d'un accès privilégié aux données de force complètes ; en conditions réelles, il surpasse une approche purement data-driven sur des objets et surfaces hors domaine d'entraînement. L'impact pour l'intégration industrielle est direct. L'estimation précise de la masse et de la friction est un prérequis pour la manipulation adaptative fiable, notamment dans les lignes de tri, d'assemblage ou de logistique où les objets varient constamment. Les approches existantes exigeaient soit un instrumentation coûteuse (capteurs F/T à 2 000-10 000 €/unité), soit des environnements contrôlés incompatibles avec un déploiement à l'échelle. PhyPush déplace ce prérequis vers une inférence logicielle sur hardware standard, ce qui ouvre la voie à une perception physique embarquée sur des flottes de robots sans sur-coût matériel. La preuve que l'apprentissage guidé par la physique peut surpasser une baseline disposant de plus d'information sensorielle est également un signal fort : la structure inductive correcte compense le manque de capteurs, ce qui contredit l'hypothèse selon laquelle plus de données brutes implique nécessairement de meilleures estimations. L'estimation interactive des propriétés physiques par poussée (push-based estimation) est un problème étudié depuis une décennie, mais les solutions robustes restaient dépendantes de setups lourds issus des labos de manipulation tactile (MIT, Stanford, CMU). L'émergence des Transformers appliqués à la dynamique robotique et l'intégration de prior physique dans les fonctions de perte sont des tendances récentes qui convergent ici. Côté concurrence, les travaux de perception tactile comme celles de GelSight ou des approches sim-to-real de Meta (DIGIT) adressent un problème similaire mais via du hardware dédié ; des équipes comme Physical Intelligence (Pi-0) ou Figure AI intègrent eux aussi des modules d'estimation d'état dans leurs pipelines VLA, mais sans publier les détails. PhyPush se positionne comme une brique bas coût et open science pour tout intégrateur souhaitant ajouter de l'adaptation physique à un bras existant. Les prochaines étapes logiques incluent la généralisation à des poussées multi-axes, l'intégration dans des boucles de contrôle en temps réel, et le test sur des plateformes humanoïdes où la variabilité des objets manipulés est maximale.

RecherchePaper

1 source

2arXiv cs.RO

Une seule démonstration suffit pour l'apprentissage par renforcement robotique en conditions réelles

Des chercheurs présentent AutoSERL, un framework d'apprentissage par renforcement (RL) pour robots qui n'a besoin que d'une seule démonstration humaine pour apprendre des tâches de manipulation complexes en conditions réelles, sans intervention humaine continue pendant l'entraînement. Le système repose sur trois mécanismes complémentaires : une fenêtre glissante d'intervention qui guide l'exploration pour éviter les minima locaux et les mouvements dangereux, un mécanisme de récupération de sécurité qui détecte les échecs et corrige la trajectoire via des points de reprise prédéfinis, et un critère d'arrêt automatique qui coupe le guidage dès que la politique apprise devient autonome. Les auteurs ont testé AutoSERL sur six tâches de manipulation à contact intensif (insertion, accrochage, tâches à charnière) réparties sur deux plateformes robotiques différentes. Le framework atteint 100% de réussite sur les tâches d'insertion et dépasse systématiquement SERL entraîné avec 20 démonstrations, l'apprentissage par imitation classique (behavior cloning) et MILES, une méthode dédiée à l'apprentissage en un coup, tout en égalant les performances de HIL-SERL qui nécessite lui une supervision humaine continue. L'intérêt pour l'industrie tient à la réduction drastique du coût de collecte de données, généralement le principal frein au déploiement de RL sur du matériel physique. La plupart des approches existantes exigent soit des dizaines de démonstrations, soit un opérateur qui intervient en permanence pendant l'entraînement, ce qui limite le passage à l'échelle en usine ou en intégration industrielle. En automatisant l'intervention à partir d'un seul exemple tout en conservant une robustesse aux variations de position des pièces, AutoSERL rapproche le RL réel de tâches d'assemblage fin, un terrain où les approches purement basées sur l'imitation ou les politiques VLA préentraînées peinent encore à garantir une fiabilité industrielle. Ce travail s'inscrit dans la lignée de SERL et HIL-SERL, frameworks de référence pour le RL avec intervention humaine sur robots physiques, en cherchant à supprimer leur principale contrainte opérationnelle. Le code et les vidéos de démonstration sont publiés par les auteurs sur un site dédié, mais le papier, déposé sur arXiv le 1er juillet 2026, reste à ce stade une contribution de recherche académique évaluée en laboratoire sur deux plateformes robotiques, sans indication de déploiement industriel ni de partenariat commercial annoncé.

RecherchePaper

1 source

3arXiv cs.RO

EgoAERO : apprendre la manipulation habile à partir d'une seule vidéo égocentrique sans ressources d'objet

Des chercheurs ont publié en juin 2026 sur arXiv un framework baptisé EgoAERO, capable d'apprendre la manipulation dextre à partir d'une unique démonstration vidéo RGB-D égocentrique humaine, sans recourir à aucun asset 3D de l'objet manipulé. Le pipeline enchaîne trois modules : un tracking et une reconstruction de l'objet sans asset préalable, une compensation du mouvement égocentrique de la caméra, et une optimisation adaptative des contacts main-objet. Les trajectoires cohérentes obtenues sont ensuite converties en politiques robotiques via un apprentissage résiduel en deux étapes. Les auteurs introduisent également un mécanisme d'évaluation de qualité en ligne et publient EgoDex-R, un dataset de 4,3 millions de frames RGB-D pour l'entraînement de politiques dextres. En simulation comme en conditions réelles, EgoAERO atteint des performances proches des reconstructions assistées par modèles CAD sur le benchmark HOI4D, référence standard pour l'interaction main-objet. Le verrou technique levé ici est structurant pour la robotique dextre : jusqu'ici, les méthodes d'imitation à partir de vidéo humaine exigeaient soit des scans 3D préalables des objets, soit plusieurs démonstrations, soit des marqueurs visuels. Or, scanner chaque objet d'un environnement industriel ou domestique est un frein majeur à la scalabilité des systèmes. EgoAERO suggère qu'une caméra RGB-D standard (de type Intel RealSense ou intégrée à des lunettes connectées) et une seule prise vidéo suffisent pour bootstrapper une politique robotique fonctionnelle. C'est un signal fort en faveur d'une démocratisation de la collecte de données dextres, potentiellement réalisable par des opérateurs non spécialisés plutôt que par des sessions de télé-opération coûteuses. Ce travail s'inscrit dans une vague de recherche visant à exploiter les corpus vidéo égocentrique à grande échelle (Ego4D, HOI4D, EPIC-Kitchens), jusqu'ici sous-utilisés pour le robot learning faute de géométrie objet exploitable. Les approches concurrentes en manipulation dextre reposent encore largement sur la télé-opération avec gants haptiques (Physical Intelligence avec pi0, Dexterous Manipulation Lab de CMU) ou sur des assets CAD (DITTO, DexMV). EgoAERO n'est à ce stade qu'un preprint, sans déploiement industriel annoncé ni validation sur une large variété d'objets du monde réel : les expériences rapportées restent sur des scènes contrôlées du benchmark HOI4D, et la robustesse à des objets déformables ou transparents reste à démontrer.

RecherchePaper

1 source

4Interesting Engineering

Une seule caméra, 500 commandes par seconde : un drone de course atteint 100 km/h et surpasse les champions humains

Une équipe du MAVLab de la faculté d'ingénierie aérospatiale de l'université de technologie de Delft (TU Delft) affirme avoir conçu un drone de course autonome qui a battu trois anciens champions du monde humains ainsi que toutes les autres équipes autonomes lors de la compétition Abu Dhabi Autonomous Drone Racing Competition 2025, avec des pointes à environ 100 km/h (62 mph). Baptisé MonoRace, le système perçoit son environnement avec une seule caméra frontale et une centrale inertielle (IMU). Un réseau de neurones repère les portes du parcours dans chaque image, souvent floue et déformée à cette vitesse, tandis que l'IMU et un modèle de la dynamique du drone estiment position et mouvement, sans GPS ni capture de mouvement externe. Le logiciel gère aussi des perturbations réelles comme les interférences sur la caméra et la saturation des capteurs. Le pilotage repose sur un petit réseau de neurones entraîné par apprentissage par renforcement, qui produit directement les commandes moteur 500 fois par seconde sur la puce du contrôleur de vol, sans empilement de contrôleurs intermédiaires ni planification de trajectoire préalable. Les travaux sont publiés dans Science Robotics. L'intérêt tient à la comparaison avec les systèmes autonomes précédents, qui s'appuyaient sur davantage de capteurs. Ici, la performance vient d'une perception minimale et d'un contrôle de bout en bout suffisamment léger pour tourner sur du matériel embarqué très contraint. Autre point notable : les organisateurs ont conçu et exploité à la fois le drone et le circuit, si bien que l'équipe n'en maîtrisait ni le matériel ni le tracé. Cela atténue le reproche habituel de démonstration taillée sur mesure, même si la course reste un environnement structuré, avec des portes connues à détecter, et que le résultat ne dit rien de la tenue dans des scènes ouvertes ou imprévisibles. Pour les ingénieurs et décideurs, le message est que l'on peut obtenir de la vitesse et de la robustesse en cherchant à tirer le maximum d'intelligence de ressources limitées plutôt qu'en ajoutant des capteurs et du calcul, ce qui joue sur le coût, la masse et la consommation. Selon Christophe De Wagter, l'objectif n'était pas de doter le robot de capteurs plus puissants, mais de mesurer ce que l'on peut extraire de moyens restreints. La course de drones sert depuis des années de banc d'essai à l'IA robotique, car elle impose décisions rapides et marges d'erreur minimes. Le groupe de Delft, où le professeur Guido de Croon défend cette logique, y poursuit une ligne de recherche sur l'autonomie légère. Ici, l'optimisation visait la vitesse, mais l'équipe indique que la même approche pourrait privilégier l'efficacité énergétique ou la sécurité, du petit robot aspirateur aux immenses grues portuaires. Les chercheurs y voient des principes transposables aux véhicules, aux robots mobiles et, à terme, aux machines aériennes et humanoïdes, qui doivent décider vite avec un calcul embarqué réduit. Aucune commercialisation ni pilote industriel n'est annoncé : il s'agit à ce stade d'un résultat de recherche validé en compétition, non d'un produit livré ni d'un déploiement réel. Les prochaines étapes à surveiller sont la généralisation hors des portes de course et le transfert vers des tâches où l'on privilégie la sûreté et la sobriété plutôt que la vitesse pure.

UETravaux menés par TU Delft (Pays-Bas, UE) sur l'autonomie légère, transposables à la robotique européenne embarquée, sans acteur français impliqué.

RecherchePaper

1 source