Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
SharedAssembly : une méthode de collecte de données par téléassemblage partagé
RecherchearXiv cs.RO 

SharedAssembly : une méthode de collecte de données par téléassemblage partagé

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont présenté SharedAssembly, un cadre de téléopération bilatérale à autonomie partagée conçu pour accélérer la collecte de démonstrations d'assemblage de haute précision destinées à l'entraînement de modèles robotiques fondamentaux sensibles au toucher. Le système intègre une intelligence spécifique à la tâche d'assemblage à la fois côté opérateur (leader) et côté robot (follower), afin de faciliter le pilotage de tâches à jeu très serré, de l'ordre du sous-millimètre. Lors d'études utilisateurs réalisées en conditions réelles, SharedAssembly atteint un taux de réussite d'assemblage de 97 %, tout en réduisant nettement le temps nécessaire pour compléter chaque tâche. Fait notable, ces gains de performance s'accentuent encore lorsque la tolérance mécanique diminue, c'est-à-dire précisément quand les tâches deviennent les plus difficiles à réaliser manuellement. Le papier, publié sur arXiv (2503.12287v2), est une version révisée d'un travail antérieur.

Ce résultat s'attaque à un goulot d'étranglement bien identifié dans le développement de modèles robotiques génériques de type VLA (vision-language-action) : la manipulation en contact riche, comme l'insertion de connecteurs ou l'assemblage de pièces mécaniques à faible tolérance, nécessite des démonstrations massives et de haute qualité, difficiles à produire avec les interfaces de téléopération classiques qui exigent une expertise poussée. SharedAssembly montre qu'un opérateur novice peut égaler, voire dépasser, les performances d'un expert utilisant un système conventionnel, ce qui réduit la barrière de compétence à l'entrée. Pour les équipes qui construisent des jeux de données d'assemblage à grande échelle, cela signifie un vivier d'opérateurs élargi et un coût de collecte potentiellement réduit.

La collecte de démonstrations reste un frein majeur au passage des modèles de manipulation du laboratoire à des applications industrielles fiables, à l'image des efforts déployés autour d'architectures comme Pi-0 ou GR00T pour entraîner des politiques génériques à partir de données télé-opérées. En s'appuyant sur l'autonomie partagée plutôt que sur une téléopération purement manuelle ou une automatisation complète, SharedAssembly se positionne comme une brique intermédiaire pour la collecte de données d'assemblage contraint, un domaine où peu de frameworks publiés démontrent un tel niveau de fiabilité sur des tolérances aussi fines. Le papier ne précise pas de calendrier de déploiement industriel ni d'intégration à un pipeline commercial existant.

Dans nos dossiers

NVIDIA GR00TarXiv cs.RO

À lire aussi

RoboCade : la collecte de données robotiques par le jeu
1arXiv cs.RO 

RoboCade : la collecte de données robotiques par le jeu

Des chercheurs ont publié RoboCade, une plateforme de télé-opération gamifiée conçue pour collecter à grande échelle des données de démonstration robotique, un pré-requis critique pour l'apprentissage par imitation. La plateforme intègre des mécaniques de jeu classiques, retours visuels, effets sonores, barres de progression, classements et badges, dans une interface accessible à des utilisateurs non experts. Trois tâches de manipulation ont été instanciées sur la plateforme : arrangement spatial, scanning et insertion. Le résultat quantifié : les politiques robotiques entraînées en co-training avec des données issues de RoboCade améliorent leur taux de réussite sur des tâches cibles non gamifiées de 16 à 56 % selon la tâche. Une étude utilisateur auprès de novices montre en parallèle un gain de 24 % sur l'appréciation subjective de la plateforme gamifiée par rapport à une interface standard. L'enjeu derrière ces chiffres est structurel. La collecte de données de démonstration pour l'apprentissage par imitation (imitation learning) est aujourd'hui un goulot d'étranglement majeur dans la robotique d'autonomie : elle exige un accès physique à des robots réels, une main-d'œuvre qualifiée, et un investissement temporel soutenu sur des tâches répétitives. RoboCade déplace ce modèle vers un crowd-sourcing distant, ouvrant la collecte à un public large sans expertise robotique préalable. La hausse de performance constatée valide que des données produites par des utilisateurs non experts dans un contexte gamifié restent exploitables pour entraîner des politiques efficaces, ce qui conteste implicitement l'hypothèse selon laquelle la qualité de démonstration exige nécessairement un opérateur expert. Cette approche s'inscrit dans une tendance plus large visant à décorréler la qualité des politiques robotiques du coût de la collecte de données. Des initiatives comme Open X-Embodiment (Google DeepMind) ou BridgeData V2 ont montré la valeur des grands datasets partagés, mais ceux-ci restent produits en laboratoire. RoboCade propose une alternative orientée scalabilité via le grand public, sans nécessiter de déploiement physique robot côté utilisateur. La question qui reste ouverte, et que le papier ne traite pas encore, est celle du passage à l'échelle réel : quelle dégradation de signal introduit la variabilité des profils utilisateurs à très grande échelle, et comment filtrer les démonstrations sous-optimales sans supervision humaine intensive.

RecherchePaper
1 source
HATS : système de téléopération humain-agent pour la collecte de données multi-bras
2arXiv cs.RO 

HATS : système de téléopération humain-agent pour la collecte de données multi-bras

Des chercheurs ont publié sur arXiv (référence 2606.16491) un système de télé-opération baptisé HATS (Human-Agent Teleoperation System), conçu pour collecter des données d'entraînement dans des configurations à quatre bras robotiques. Le principe repose sur un découplage du contrôle : un seul opérateur humain télé-opère deux bras principaux directement, tandis qu'un agent basé sur un MLLM (modèle de langage multimodal à grande échelle, non spécifié dans le papier) gère deux bras assistants de façon autonome, sans phase d'entraînement préalable. L'opérateur peut en temps réel corriger le comportement des bras assistants et prévenir des collisions via commandes vocales. Selon les auteurs, l'efficacité de collecte et les taux de réussite obtenus avec HATS sont comparables à ceux d'équipes de deux opérateurs experts humains. Le problème que HATS tente de résoudre est structurant pour le secteur : les scénarios de manipulation industrielle complexes nécessitent souvent plus de deux bras, mais les systèmes de télé-opération existants imposent un arbitrage difficile entre charge cognitive (un seul opérateur gérant tout) et coût de coordination (plusieurs opérateurs synchronisés). En déléguant les sous-tâches à un agent MLLM, HATS réduit la charge sur l'humain sans multiplier les intervenants. Les évaluations en aval (downstream policy evaluations) suggèrent que les données collectées produisent des politiques de manipulation efficaces, mais ces résultats restent auto-rapportés et n'ont pas encore été validés de façon indépendante. La robustesse sur des tâches longues ou à haute précision, là où des corrections vocales pourraient s'avérer insuffisantes, n'est pas encore documentée. La collecte de démonstrations téléopérées est aujourd'hui le principal goulot d'étranglement pour entraîner des politiques de manipulation polyvalentes, notamment dans les approches VLA (Vision-Language-Action, architectures combinant perception visuelle, compréhension du langage et génération d'actions). Des systèmes comme ALOHA de Stanford ou les configurations bimanuelless d'Agility Robotics reposent sur des datasets construits par télé-opération humaine à deux bras. HATS étend cette approche à quatre bras en s'appuyant sur les capacités de raisonnement spatial des MLLM récents pour automatiser les bras secondaires. Cette direction est à suivre de près : si elle se généralisait, elle réduirait significativement le coût humain de construction des datasets d'imitation, un verrou majeur pour le passage à l'échelle des robots manipulateurs.

RecherchePaper
1 source
RCT : un jeu de données tactiles vision-langage collecté par robot pour la généralisation du toucher
3arXiv cs.RO 

RCT : un jeu de données tactiles vision-langage collecté par robot pour la généralisation du toucher

Des chercheurs du Faerber Lab publient RCT (Robotic Contact Tactile), un jeu de données touch-vision-language collecté par robot pour évaluer la généralisation tactile des systèmes robotiques. Le dataset comprend 29 279 frames tactiles issues de pressions complètes effectuées par un bras robotique sur 122 matériaux de référence industriels répartis en 7 catégories, enregistrées à l'aide de trois capteurs DIGIT positionnés à plusieurs points de contact. Particularité méthodologique : RCT conserve chaque pression comme une séquence de contact continue plutôt que comme des frames isolées, ce qui permet des évaluations "held-out" rigoureuses par matériau, catégorie, capteur, position de contact ou séquence entière. Les auteurs démontrent que les frames issues d'une même pression sont fortement corrélées entre elles : un découpage aléatoire des frames (frame-random split), pratique courante dans le domaine, place des observations quasi-identiques de la même interaction physique à la fois dans les jeux d'entraînement et de test. En supprimant ce chevauchement de séquences, le score de Recall@1 en correspondance tactile-texte chute de 17,7 points de pourcentage à encodeur fixe. Lorsque les matériaux sont également exclus à l'entraînement, la performance s'effondre davantage, avec un Recall@1 de seulement 25,1 % (± 6,1 %) en moyenne sur trois tirages de matériaux non vus. Le jeu de données est open source, disponible sur faerber-lab.github.io/RCT. Cette étude expose un biais méthodologique qui gonflait artificiellement les résultats publiés sur la perception tactile robotique. En analysant le split public TVL/HCT, référence largement utilisée dans le domaine, les auteurs montrent que chaque séquence de contact du jeu de test apparaît déjà dans l'entraînement : une simple recherche du plus proche voisin en pixels bruts, sans aucun apprentissage, retrouve la bonne séquence dans 98,3 % des cas. Autrement dit, les benchmarks existants mesurent en grande partie de la mémorisation plutôt que de la généralisation réelle. Pour les équipes qui développent des systèmes de manipulation tactile destinés à des environnements ouverts (tri de déchets, logistique, inspection de pièces), cela signifie que des modèles annoncés comme performants pourraient largement sous-performer face à des matériaux jamais rencontrés. L'étude montre aussi une piste corrective concrète : échantillonner uniformément les frames au sein d'une pression, plutôt que de façon aléatoire, améliore l'entraînement contrastif, et les embeddings entraînés sur RCT améliorent les probes de catégorisation sur des matériaux inédits. Le travail s'inscrit dans la lignée des jeux de données touch-vision-language existants comme TVL (Touch-Vision-Language) et HCT, dont RCT réutilise la structure de split pour illustrer le problème de fuite de données. Le choix des capteurs DIGIT, développés initialement par Meta AI et largement adoptés en recherche tactile académique, ancre RCT dans l'écosystème matériel dominant du secteur plutôt que dans des capteurs propriétaires. Aucun acteur français ou européen n'est mentionné dans cette publication, qui reste un travail de recherche fondamentale plutôt qu'une annonce produit. Les prochaines étapes attendues pour le domaine concernent l'adoption de protocoles d'évaluation "contact-sequence-aware" par les équipes travaillant sur la manipulation tactile, ainsi que l'extension de ce type de benchmark held-out-material à d'autres modalités sensorielles combinées, à mesure que les architectures VLA (vision-language-action) intègrent de plus en plus le retour tactile comme signal de contrôle.

RecherchePaper
1 source
SIEVE : sélection de données tenant compte de la structure pour l'apprentissage par imitation avec des modèles VLA
4arXiv cs.RO 

SIEVE : sélection de données tenant compte de la structure pour l'apprentissage par imitation avec des modèles VLA

Des chercheurs proposent SIEVE, une méthode de sélection de données pour l'apprentissage par imitation des modèles Vision-Language-Action (VLA), publiée sur arXiv en juillet 2026. Contrairement aux approches existantes qui évaluent les démonstrations au niveau de la trajectoire complète ou de la paire état-action, SIEVE découpe les démonstrations en primitives visuo-motrices réutilisables et en interfaces de transition entre ces primitives. La méthode alloue ensuite un budget de sélection aux motifs de composition en maximisant l'exposition structurelle sous rendement décroissant, puis retient dans chaque groupe les trajectoires médianes, jugées les plus centrales, stables et propices à l'imitation. Testée sur plusieurs jeux de données, bancs d'essai et modèles VLA, SIEVE dépasse systématiquement les méthodes de sélection concurrentes. Résultat le plus marquant : la méthode surpasse un entraînement sur l'intégralité des données tout en n'utilisant que 50% des démonstrations et 50% des étapes d'entraînement. Pour les équipes qui entraînent des modèles VLA de type Pi-0, GR00T N2 ou Helix, ce travail s'attaque à un goulot d'étranglement concret : la collecte de démonstrations robotiques coûte cher, en téléopération humaine comme en génération synthétique, et empiler toujours plus de données ne garantit pas de meilleures politiques en raison de la redondance et du bruit. En démontrant qu'un entraînement sur moitié moins de données peut surpasser l'usage du jeu complet, SIEVE remet en question l'hypothèse du « plus de données égale de meilleures performances » dans l'apprentissage par imitation, et ouvre une piste d'optimisation des coûts pour les laboratoires et startups qui n'ont pas les ressources de calcul des géants du secteur. C'est un signal direct pour les décideurs B2B qui doivent arbitrer entre volume de collecte et qualité de curation avant de déployer des politiques VLA en production. L'apprentissage par imitation sur de larges jeux de démonstrations est devenu le paradigme dominant pour entraîner les modèles VLA, dans la lignée de travaux comme RT-2, OpenVLA ou les politiques génératives de Physical Intelligence et NVIDIA. La curation des données reste toutefois un problème ouvert : les méthodes précédentes se limitaient à des critères de diversité ou de qualité au niveau de la trajectoire entière, sans capturer les structures réutilisables qui composent les comportements à long horizon, comme saisir puis orienter un objet avant de le placer. SIEVE s'inscrit dans cette lignée de recherche sur l'efficacité des données et ouvre la voie à des travaux futurs sur la généralisation de cette approche structurelle à d'autres familles de modèles VLA et à des tâches de manipulation plus complexes.

RecherchePaper
1 source