Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Look, Focus, Act : apprentissage robotique efficace et robuste grâce au regard humain et aux transformeurs à vision fovéale
RecherchearXiv cs.RO 

Look, Focus, Act : apprentissage robotique efficace et robuste grâce au regard humain et aux transformeurs à vision fovéale

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs du Soltani Lara Lab publient GIAVA (Gaze Integrated Active-Vision ALOHA), un système de vision robotique qui reproduit les mouvements de tête et de cou humains ainsi que l'ajustement du regard pour un traitement visuel "fovéalisé", c'est-à-dire concentré sur les zones pertinentes de la scène plutôt que sur l'image entière. Le système étend la plateforme robotique AV-ALOHA et s'appuie sur un nouveau cadre de collecte de données permettant d'enregistrer simultanément le suivi oculaire, le contrôle de la perspective et les démonstrations de manipulation d'un opérateur humain. L'équipe publie en open source un benchmark de simulation et un jeu de données associé. Techniquement, l'innovation centrale consiste à intégrer l'information de regard dans les Vision Transformers (ViT), très utilisés en apprentissage robotique, via un schéma de tokenisation par patchs fovéalisée : au lieu de découper l'image en patchs uniformes, le système alloue davantage de "tokens" aux zones fixées par le regard et moins au reste, réduisant fortement leur nombre total et donc le coût de calcul.

Cette approche s'attaque à un angle mort classique de la vision robotique actuelle, qui traite généralement l'image caméra de façon passive et uniforme, contrairement à la vision humaine, structurée par l'attention active. Pour les équipes qui entraînent des politiques robotiques par imitation ou VLA (Vision-Language-Action), le résultat est double : une baisse significative de la charge de calcul, un enjeu concret pour l'embarqué et le temps réel, et une robustesse accrue face aux distracteurs visuels en arrière-plan, un problème récurrent dans le passage simulation-réel. Les auteurs rapportent même des gains de taux de réussite sur certaines tâches de haute précision, suggérant que la fovéalisation n'est pas qu'une optimisation de coût mais peut aussi améliorer la performance brute.

Ce travail s'inscrit dans la lignée des recherches sur la segmentation d'image fovéalisée et prolonge la plateforme AV-ALOHA, déjà utilisée pour la téléopération à vision active. En ouvrant le code, le simulateur et le jeu de données, les auteurs positionnent le regard humain comme un biais inductif encore sous-exploité pour les futures architectures de perception robotique, avec des développements attendus sur des tâches de manipulation plus complexes et des déploiements matériels réels.

À lire aussi

Retissage de la sémantique, de la dynamique et du contrôle : un transformeur à trois flux centré sur l'action, simple mais efficace
1arXiv cs.RO 

Retissage de la sémantique, de la dynamique et du contrôle : un transformeur à trois flux centré sur l'action, simple mais efficace

Une équipe de chercheurs publie sur arXiv (2610.11416v1) ACT³, pour Action-Centric Tri-Stream Transformer, une architecture de politique robotique qui combine trois flux de calcul. Un modèle vision-langage (VLM) apporte la compréhension sémantique. Un modèle du monde (WM) génératif de vidéo apporte la prédiction de dynamique. Un « expert d'action » produit les commandes. Cet expert accède aux représentations des deux backbones par attention couche par couche, et chaque backbone n'attend qu'à l'intérieur de son propre flux. Les flux se propagent donc indépendamment, mais les deux backbones restent mis à jour par la supervision de contrôle. Les auteurs affirment des résultats supérieurs aux approches comparables sur des benchmarks de manipulation en simulation et en conditions réelles. Le résumé ne donne ni taux de réussite, ni noms de benchmarks, ni plateforme matérielle, ni coût de calcul : il s'agit d'un preprint de recherche, sans produit ni déploiement. L'intérêt tient au problème que cible ce travail. Les VLA (Vision-Language-Action) héritent de VLM pré-entraînés riches en sémantique mais pauvres en connaissances de physique, ce qui limite la généralisation des politiques. Greffer un modèle du monde corrige ce manque, mais la manière de fusionner sémantique et dynamique reste ouverte. ACT³ défend une solution volontairement simple, sans mélange des représentations, qui préserve les rôles distincts de chaque source. Si le gain se confirme, c'est un schéma réutilisable pour les équipes qui assemblent des politiques à partir de briques pré-entraînées. Deux réserves s'imposent. Faire tourner un générateur de vidéo à l'inférence pèse sur la latence et le budget GPU, et rien n'est chiffré ici. Les résultats annoncés sans valeurs ne permettent pas non plus d'évaluer l'écart entre démonstration et fiabilité industrielle. Ce travail s'inscrit dans la lignée des VLA bâtis sur des VLM, comme Pi-0 de Physical Intelligence ou GR00T de NVIDIA, dont l'expert d'action dédié est le modèle évident. Il suit aussi la vague récente de politiques qui injectent des modèles du monde vidéo pour anticiper les conséquences physiques des actions. La suite dépendra d'éléments que le résumé ne fournit pas : publication du code et des poids, comparaisons indépendantes avec des baselines établies, et mesures de fréquence de contrôle sur robot réel.

RecherchePaper
1 source
RoHIL : apprentissage par renforcement robotique robuste avec supervision humaine face aux variations d'éclairage
2arXiv cs.RO 

RoHIL : apprentissage par renforcement robotique robuste avec supervision humaine face aux variations d'éclairage

Les systèmes de reinforcement learning avec humain dans la boucle (HIL-RL) atteignent des taux de succès quasi parfaits sur le poste de travail où ils sont entraînés, mais s'effondrent lorsque le même robot est déplacé de quelques mètres vers un poste différent. La cause est simple : des variations d'éclairage (position des lampes, lumière naturelle) perturbent suffisamment la distribution des entrées visuelles pour invalider la politique apprise. Pour combler ce "cross-domain gap" sans recollecte de données terrain, des chercheurs présentent RoHIL (Robust Human-in-the-Loop), un framework de fine-tuning hors ligne évalué sur quatre tâches de manipulation robotique réelle. RoHIL repose sur trois mécanismes : un re-lighting basé sur un world model qui resynthétise le flux visuel des trajectoires sources sous plusieurs environnements HDRI virtuels sans modifier les actions ni les récompenses, un mécanisme anti-oubli appelé Illumination-Retention Replay (IRR) qui entrelace transitions d'adaptation et transitions de rétention, et un régulariseur Bellman-acteur ancré limitant la dérive de représentation par rapport à la politique source. L'enjeu industriel est direct : recollecte de démonstrations et ré-entraînement HIL à chaque nouveau poste sont incompatibles avec un déploiement à l'échelle. La fragilité aux variations lumineuses reste l'un des obstacles les plus sous-estimés entre laboratoire et production réelle. RoHIL répond à ce problème sans interaction robot supplémentaire, ce qui réduit le coût d'intégration pour les opérateurs. La combinaison IRR et régulariseur Bellman démontre qu'il est possible d'adapter une politique à de nouvelles conditions visuelles tout en préservant les performances sur l'environnement d'origine, résultat non trivial face à l'oubli catastrophique classique. Ce travail, déposé sur arXiv en mai 2025 sous soumission anonyme et vraisemblablement en cours d'évaluation par une conférence, s'inscrit dans la vague de recherches visant à rendre les politiques robotiques robustes aux variations de domaine. Les approches concurrentes incluent la randomisation de domaine à l'entraînement, les politiques multi-environnements ou l'augmentation visuelle agressive, mais ces techniques nécessitent d'anticiper les variations en amont. RoHIL se distingue par son mode entièrement offline. Aucun déploiement commercial ni partenariat industriel n'est mentionné : il s'agit d'un résultat académique à ce stade, dont les extensions naturelles porteront sur un plus grand nombre de postes, de conditions lumineuses et de tâches à degrés de liberté élevés.

RecherchePaper
1 source
TACROSS : un système tactile humain, efficace, économique et évolutif, pour des capteurs tactiles hétérogènes en apprentissage robotique dextérique
3arXiv cs.RO 

TACROSS : un système tactile humain, efficace, économique et évolutif, pour des capteurs tactiles hétérogènes en apprentissage robotique dextérique

TACROSS, un système présenté sur arXiv (2610.11945) par une équipe académique, vise à réduire le coût de collecte de démonstrations tactiles pour l'apprentissage de la manipulation dextre. Son matériel central est un gant piézorésistif à cinq couches, facturé 10,86 dollars et doté de 285 points de détection. Côté logiciel, des « canonicalizers » et des adaptateurs résiduels projettent les signaux du gant humain et ceux des capteurs tactiles robotiques dans un espace latent commun de 256 dimensions. Un Transformer temporel, avec attention entre les doigts, produit cet espace. Les auteurs l'ont évalué sur quatre tâches de manipulation riches en contacts. Face à la téléopération classique, ils annoncent un gain d'efficacité de 3,5 fois et une réduction de 95,7 % du coût de l'équipement d'acquisition. Le matériel, le code et un jeu de données tactiles de plus de 150 heures doivent être publiés en open source. Aucune date de publication n'est précisée. L'intérêt principal tient à la méthode d'alignement. Les gants humains, capacitifs ou piézorésistifs, et les capteurs de robot diffèrent par leur principe de transduction, leur disposition, leur résolution spatiale et leur réponse dynamique. Aligner les canaux bruts est donc mal posé. TACROSS aligne plutôt les flux au niveau des événements de contact, c'est-à-dire de la sémantique du toucher et non des valeurs brutes. La supervision des actions reste réservée aux démonstrations robot. Les démonstrations humaines servent à apprendre la représentation tactile et fournissent une supervision auxiliaire pondérée par un score de confiance, via des cibles de main retargetées valides. Pour un intégrateur, l'enjeu est le coût marginal de la donnée tactile, aujourd'hui un frein face à la vision seule dans les politiques VLA et d'imitation. Un gant à une dizaine de dollars changerait l'échelle de collecte, à condition que le transfert tienne hors du banc d'essai. Les chiffres viennent des auteurs eux-mêmes. Quatre tâches ne couvrent pas la variété d'un atelier, et le calcul du gain de 3,5 fois dépend du protocole de téléopération retenu comme référence. Le résumé ne donne ni taux de réussite par tâche ni détail sur les capteurs robotiques testés. Ce travail s'inscrit dans la montée en puissance de la donnée tactile pour les mains dextres, après des années où la collecte par téléopération (gants à capture de mouvement, exosquelettes, interfaces VR) a limité le volume de démonstrations. Les gants tactiles humains existaient déjà, mais sans réponse claire au fossé entre capteurs humains et robotiques. TACROSS propose cette réponse sous forme de système complet, matériel et logiciel. La suite dépendra de la publication effective du code, des plans du gant et des 150 heures de données. Une reproduction indépendante, sur d'autres mains robotiques et d'autres capteurs, sera le vrai test de la généralité de l'alignement par événements de contact. Il s'agit pour l'instant d'une préimpression sans pair-review ni déploiement industriel.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Vers une intelligence physique semblable à l'humain : apprentissage vision-langage-action continu pour la manipulation robotique
4arXiv cs.RO 

Vers une intelligence physique semblable à l'humain : apprentissage vision-langage-action continu pour la manipulation robotique

Des chercheurs proposent LifelongVLA, un nouveau framework d'apprentissage continu pour les modèles Vision-Language-Action (VLA) appliqués à la manipulation robotique, décrit dans un article publié sur arXiv (2607.14852). Le système s'attaque à un problème classique de l'apprentissage séquentiel chez les robots : le compromis plasticité-stabilité, c'est-à-dire la capacité d'apprendre une nouvelle tâche sans effacer les compétences acquises précédemment. Concrètement, LifelongVLA introduit un module de gating LoRA à double échelle temporelle, séparant l'adaptation en deux voies légères : un adaptateur court terme pour la plasticité (apprentissage rapide de nouvelles tâches) et un adaptateur long terme pour la consolidation stable des compétences déjà maîtrisées. Une passerelle "task-aware" arbitre entre les deux. Le framework ajoute aussi une stratégie de rejeu ("replay") stochastique et économe en mémoire cache, qui préserve des signaux de rétention équilibrés sans avoir à stocker les trajectoires complètes des tâches passées. Les auteurs rapportent des résultats supérieurs aux méthodes existantes sur un bras robotique xArm en conditions réelles, avec une expansion efficace des compétences et une meilleure rétention des comportements de manipulation déjà appris. Cette avancée cible un angle mort réel des modèles VLA actuels (type Pi-0, GR00T N2 ou Helix) : la plupart sont entraînés une fois puis figés, ou doivent être ré-entraînés intégralement pour intégrer une nouvelle tâche, ce qui est coûteux et impraticable pour un déploiement industriel évolutif. Si un robot déployé en usine ou en entrepôt doit apprendre continuellement de nouvelles manipulations sans tout ré-apprendre à chaque fois ni oublier les précédentes, une méthode d'adaptation légère et peu gourmande en mémoire comme celle-ci intéresse directement les intégrateurs et décideurs qui cherchent à réduire les coûts de ré-entraînement et les temps d'arrêt liés à la mise à jour des compétences robotiques. C'est un pas vers des flottes de robots capables de monter en compétences sur site plutôt que de dépendre d'un redéploiement complet du modèle depuis un data center. Le travail s'inscrit dans la lignée de la recherche en "continual learning" appliquée à la robotique, un domaine longtemps dominé par les architectures de vision classique avant l'essor des VLA génératifs à grande échelle. Contrairement aux approches de fine-tuning complet ou à certaines méthodes de rejeu qui nécessitent de stocker l'intégralité des trajectoires passées (coûteux en stockage et en calcul), LifelongVLA mise sur des adaptateurs LoRA légers, une technique déjà largement utilisée pour le fine-tuning efficace des grands modèles de langage, ici transposée au contrôle robotique. L'article ne mentionne pas de partenaire industriel ni de déploiement commercial ; il s'agit d'un travail de recherche académique testé sur un seul bras xArm, avec des perspectives de validation à plus grande échelle et sur des plateformes robotiques plus variées à confirmer.

RechercheActu
1 source