Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

Look, Focus, Act : apprentissage robotique efficace et robuste grâce au regard humain et aux transformeurs à vision fovéale

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs du Soltani Lara Lab publient GIAVA (Gaze Integrated Active-Vision ALOHA), un système de vision robotique qui reproduit les mouvements de tête et de cou humains ainsi que l'ajustement du regard pour un traitement visuel "fovéalisé", c'est-à-dire concentré sur les zones pertinentes de la scène plutôt que sur l'image entière. Le système étend la plateforme robotique AV-ALOHA et s'appuie sur un nouveau cadre de collecte de données permettant d'enregistrer simultanément le suivi oculaire, le contrôle de la perspective et les démonstrations de manipulation d'un opérateur humain. L'équipe publie en open source un benchmark de simulation et un jeu de données associé. Techniquement, l'innovation centrale consiste à intégrer l'information de regard dans les Vision Transformers (ViT), très utilisés en apprentissage robotique, via un schéma de tokenisation par patchs fovéalisée : au lieu de découper l'image en patchs uniformes, le système alloue davantage de "tokens" aux zones fixées par le regard et moins au reste, réduisant fortement leur nombre total et donc le coût de calcul.

Cette approche s'attaque à un angle mort classique de la vision robotique actuelle, qui traite généralement l'image caméra de façon passive et uniforme, contrairement à la vision humaine, structurée par l'attention active. Pour les équipes qui entraînent des politiques robotiques par imitation ou VLA (Vision-Language-Action), le résultat est double : une baisse significative de la charge de calcul, un enjeu concret pour l'embarqué et le temps réel, et une robustesse accrue face aux distracteurs visuels en arrière-plan, un problème récurrent dans le passage simulation-réel. Les auteurs rapportent même des gains de taux de réussite sur certaines tâches de haute précision, suggérant que la fovéalisation n'est pas qu'une optimisation de coût mais peut aussi améliorer la performance brute.

Ce travail s'inscrit dans la lignée des recherches sur la segmentation d'image fovéalisée et prolonge la plateforme AV-ALOHA, déjà utilisée pour la téléopération à vision active. En ouvrant le code, le simulateur et le jeu de données, les auteurs positionnent le regard humain comme un biais inductif encore sous-exploité pour les futures architectures de perception robotique, avec des développements attendus sur des tâches de manipulation plus complexes et des déploiements matériels réels.

À lire aussi

RoHIL : apprentissage par renforcement robotique robuste avec supervision humaine face aux variations d'éclairage
1arXiv cs.RO 

RoHIL : apprentissage par renforcement robotique robuste avec supervision humaine face aux variations d'éclairage

Les systèmes de reinforcement learning avec humain dans la boucle (HIL-RL) atteignent des taux de succès quasi parfaits sur le poste de travail où ils sont entraînés, mais s'effondrent lorsque le même robot est déplacé de quelques mètres vers un poste différent. La cause est simple : des variations d'éclairage (position des lampes, lumière naturelle) perturbent suffisamment la distribution des entrées visuelles pour invalider la politique apprise. Pour combler ce "cross-domain gap" sans recollecte de données terrain, des chercheurs présentent RoHIL (Robust Human-in-the-Loop), un framework de fine-tuning hors ligne évalué sur quatre tâches de manipulation robotique réelle. RoHIL repose sur trois mécanismes : un re-lighting basé sur un world model qui resynthétise le flux visuel des trajectoires sources sous plusieurs environnements HDRI virtuels sans modifier les actions ni les récompenses, un mécanisme anti-oubli appelé Illumination-Retention Replay (IRR) qui entrelace transitions d'adaptation et transitions de rétention, et un régulariseur Bellman-acteur ancré limitant la dérive de représentation par rapport à la politique source. L'enjeu industriel est direct : recollecte de démonstrations et ré-entraînement HIL à chaque nouveau poste sont incompatibles avec un déploiement à l'échelle. La fragilité aux variations lumineuses reste l'un des obstacles les plus sous-estimés entre laboratoire et production réelle. RoHIL répond à ce problème sans interaction robot supplémentaire, ce qui réduit le coût d'intégration pour les opérateurs. La combinaison IRR et régulariseur Bellman démontre qu'il est possible d'adapter une politique à de nouvelles conditions visuelles tout en préservant les performances sur l'environnement d'origine, résultat non trivial face à l'oubli catastrophique classique. Ce travail, déposé sur arXiv en mai 2025 sous soumission anonyme et vraisemblablement en cours d'évaluation par une conférence, s'inscrit dans la vague de recherches visant à rendre les politiques robotiques robustes aux variations de domaine. Les approches concurrentes incluent la randomisation de domaine à l'entraînement, les politiques multi-environnements ou l'augmentation visuelle agressive, mais ces techniques nécessitent d'anticiper les variations en amont. RoHIL se distingue par son mode entièrement offline. Aucun déploiement commercial ni partenariat industriel n'est mentionné : il s'agit d'un résultat académique à ce stade, dont les extensions naturelles porteront sur un plus grand nombre de postes, de conditions lumineuses et de tâches à degrés de liberté élevés.

RecherchePaper
1 source
Apprentissage par transfert efficace des modèles dynamiques de robots grâce à la similarité morphologique
2arXiv cs.RO 

Apprentissage par transfert efficace des modèles dynamiques de robots grâce à la similarité morphologique

Une équipe de recherche présente une méthode de transfert d'apprentissage pour modéliser la dynamique de robots sous-marins souples à propulsion par nageoires, selon un article publié sur arXiv le 5 juillet 2026 (arXiv:2607.05665v1). Le problème visé : un modèle de dynamique entraîné sur un robot de grande taille (domaine source) doit être adapté à un robot plus petit (domaine cible) partageant la même morphologie mais des propriétés hydrodynamiques différentes, avec très peu de données labellisées disponibles sur ce second robot. Les chercheurs développent pour cela une approche d'adaptation de domaine fondée sur un autoencodeur, qui apprend une représentation latente partagée alignant les dynamiques des deux plateformes. Testée sur deux robots sous-marins réels, la méthode permet d'estimer avec précision les vitesses dans le référentiel du corps sur la plateforme cible, sans qu'aucune donnée labellisée ne soit nécessaire pour celle-ci. L'enjeu pratique dépasse le cas d'école : collecter des données de vérité terrain sous l'eau (via systèmes de capture de mouvement, capteurs externes) est coûteux, lent et souvent impraticable en conditions réelles de déploiement. Pouvoir réutiliser un modèle de dynamique d'un robot vers un autre, dès lors qu'ils partagent une morphologie proche, réduit drastiquement le besoin de re-calibration à chaque nouvelle plateforme ou variante d'échelle. Pour les opérateurs de flottes de robots sous-marins souples (inspection, surveillance environnementale, biomimétisme), cela ouvre la voie à un déploiement plus rapide de nouveaux engins sans campagne de collecte de données dédiée, et valide l'idée que des architectures de type autoencodeur peuvent capter des invariants dynamiques transférables entre robots morphologiquement similaires. Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage par transfert et l'adaptation de domaine, déjà explorées pour le sim-to-real en robotique terrestre et aérienne, mais encore peu appliquées à la robotique sous-marine souple, un domaine où la modélisation hydrodynamique reste particulièrement complexe. Les robots à nageoires bio-inspirés font l'objet d'un intérêt croissant en laboratoire pour leur efficacité énergétique et leur discrétion comparés aux propulseurs classiques à hélice. Les auteurs ne précisent pas de calendrier de validation en conditions opérationnelles, l'étude relevant pour l'instant de la preuve de concept en environnement contrôlé.

RecherchePaper
1 source
HARP-VLA : apprentissage de représentations alignées humain-robot pour modèle vision-langage-action
3arXiv cs.RO 

HARP-VLA : apprentissage de représentations alignées humain-robot pour modèle vision-langage-action

Des chercheurs ont publié le 31 mai 2026 HARP-VLA (Human-Robot Aligned Representation Learning for Vision-Language-Action), un framework de pré-entraînement conçu pour exploiter les vastes corpus de vidéos humaines dans l'apprentissage de politiques de manipulation robotique. Le coeur de l'approche repose sur deux composants entraînés conjointement : un encodeur visuel adapté aux robots et un modèle d'action latente. L'entraînement combine un petit nombre de démonstrations appariées humain-robot utilisées comme ponts inter-embodiment, et une quantité bien plus importante de vidéos non appariées des deux types comme supervision de dynamique. Sur le benchmark CALVIN ABC-D, HARP-VLA atteint un score moyen de 4,481 tâches consécutives réussies, et enregistre un gain de 7,1 points de pourcentage de taux de succès en conditions réelles par rapport à la meilleure baseline testée. Le problème que résout HARP est structurel pour tout le champ des VLA (Vision-Language-Action models) : les vidéos humaines sont abondantes et bon marché, mais les représentations visuelles qu'on en extrait sont mal alignées avec celles d'un robot, ce qui rend le co-entraînement inefficace voire contre-productif. Les modèles d'action latente existants, comme ceux utilisés dans les travaux sur UniPi ou Genie, réduisaient déjà le gap d'exécution en apprenant des abstractions d'action, mais restaient dépendants de features visuelles non alignées induisant des actions latentes domain-dépendantes. HARP introduit une perte d'alignement par discrimination relative de paires (source-relative pair-discriminative alignment loss) qui adapte les représentations robot vers la sémantique humaine sans effacer la discrimination inter-paires. Pour les intégrateurs et les équipes de recherche en manipulation, c'est un signal concret que le sim-to-real gap peut être partiellement adressé au niveau de la représentation, pas seulement du domaine de simulation. Ce travail s'inscrit dans une lignée de recherches sur l'apprentissage inter-embodiment qui a pris de l'ampleur depuis RT-2 (Google DeepMind, 2023) et OpenVLA (2024), lesquels montraient qu'un pré-entraînement sur données humaines ou web pouvait transférer vers des politiques robotiques. Les approches concurrentes directes incluent Octo, pi-0 de Physical Intelligence, et GR00T N2 de NVIDIA, tous confrontés à la même tension entre généralisation cross-embodiment et performance sur tâches précises. HARP se distingue en n'exigeant que peu de démonstrations appariées, ce qui réduit le coût de collecte de données. L'article reste pour l'instant une publication arXiv sans déploiement industriel annoncé, et les résultats en conditions réelles, bien que positifs, portent sur un nombre limité de configurations de manipulation.

RechercheOpinion
1 source
Apprentissage de la sécurité robotique à partir de rares retours humains par prédiction conforme
4arXiv cs.RO 

Apprentissage de la sécurité robotique à partir de rares retours humains par prédiction conforme

Des chercheurs ont publié sur arXiv (référence 2501.04823v2) une méthode permettant d'apprendre les préférences de sécurité d'un opérateur humain à partir de retours binaires très limités, puis de les traduire en garanties statistiques formelles pour un robot autonome. Le principe : un humain visionne des trajectoires effectuées par le robot et signale simplement les comportements jugés dangereux. L'algorithme applique ensuite la prédiction conforme (conformal prediction) sur ces annotations pour délimiter, dans l'espace d'état du robot (ou dans un espace latent appris), une zone suspecte dont il est garanti qu'elle contiendra au moins une fraction spécifiée des futures erreurs de la politique. Un système d'alerte se déclenche dès que le robot pénètre cette zone. La méthode a été validée expérimentalement sur des quadrirotor en vol libre : 30 vols répartis sur 6 tâches de navigation, avec pour objectif de franchir un portique désigné en suivant une politique visuomotrice. Le classifieur par plus proches voisins, combiné à la prédiction conforme, détecte de manière fiable quand la politique va rater le franchissement, sans nécessiter de jeu de données de calibration séparé. L'intérêt industriel de cette approche réside dans deux points souvent négligés dans les déploiements robotiques actuels : la subjectivité de la sécurité et la fragilité des politiques entraînées sur données "sûres". Un robot formé sur des trajectoires correctes peut produire des comportements dangereux hors distribution, et les contraintes définies manuellement ratent systématiquement les cas limites. Ici, la garantie de taux de manqués (miss rate) est mathématiquement contrôlée par l'utilisateur, ce qui est exploitable dans un cahier des charges de déploiement. La méthode est également "sample-efficient" : elle évite la pratique courante en prédiction conforme de geler une partie des données de calibration, ce qui compte lorsque les retours humains sont coûteux à collecter. Pour un intégrateur déployant des robots mobiles ou des drones d'inspection, c'est un outil de qualification potentiellement plus réaliste que les approches par fonctions de barrière de contrôle (CBF) ou vérification formelle, qui supposent des modèles analytiques précis. La prédiction conforme gagne depuis 2022 une traction notable en robotique apprise, notamment pour quantifier l'incertitude dans les politiques de type Vision-Language-Action (VLA) et les planificateurs model predictive control (MPC) -- c'est précisément ce dernier que les auteurs améliorent ici. Les approches concurrentes incluent les CBFs (moins flexibles avec des politiques neuronales), le safe reinforcement learning avec contraintes Lagrangiennes, et les méthodes de détection d'anomalies par reconstruction. L'article ne mentionne pas de partenaire industriel ni de timeline de transfert ; il s'agit d'un preprint académique, code et vidéos publiés, sans peer review finalisé à ce stade. Les suites naturelles seraient une validation sur des robots manipulateurs ou des AMR en environnement d'entrepôt, et l'extension à des retours humains plus granulaires que le binaire safe/unsafe.

RecherchePaper
1 source