Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

HATCH : chaînes de tâches attestées par le matériel pour une manipulation vérifiable

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent HATCH, un banc d'essai pour la manipulation robotique conçu comme une « escape room » physique. Il est décrit dans un preprint arXiv (v1, octobre 2026). Les tâches couvrent cinq catégories de compétences, chacune à trois niveaux de difficulté. Elles sont enchaînées : le capteur qui confirme la réussite d'une tâche déverrouille la suivante, ce qui transforme la salle en une seule évaluation à long horizon. La réussite est établie par l'instrumentation et non par un jugement humain. Le score est indépendant de l'embodiment, c'est-à-dire de la morphologie du robot, et les positions des objets sont tirées au hasard par une graine propre au jour de l'essai. Les équipes soumettent des passages « attestés » : vidéo non coupée, journaux de capteurs et graine utilisée. Des événements organisés, plus rares, servent à calibrer l'ensemble. Les spécifications des tâches, le guide de construction, la nomenclature (BOM) et les grilles de notation sont publiés sous licence ouverte. Le résumé ne donne ni budget de construction, ni nombre de tâches, ni résultats de robots réels.

L'enjeu est la crédibilité des annonces de capacités. Aujourd'hui, une vidéo de démonstration ne dit presque rien du taux de réussite, du nombre d'essais écartés ni du degré de préparation de la scène. Les auteurs jugent les classements existants fermés, simulés ou manipulables. HATCH s'attaque à ces trois défauts : le matériel est réplicable, le scoring est mesuré par capteurs, et la randomisation limite le « par cœur » des scénarios. Pour un intégrateur ou un décideur B2B, cela pourrait offrir une base de comparaison entre humanoïdes et bras pilotés par des VLA (modèles vision-langage-action), au lieu de se fier aux vidéos des constructeurs. La chaîne de tâches mesure aussi la fiabilité sur la durée, où les erreurs s'accumulent. Reste une limite : l'auto-soumission, même attestée, laisse des angles de triche (essais répétés, sélection du meilleur passage), et la validité de l'approche dépendra de l'adoption. Pour l'instant, il s'agit d'une proposition méthodologique.

HATCH s'inscrit dans un paysage de benchmarks qui se sont multipliés avec l'essor des modèles généralistes de manipulation. Les suites en simulation sont reproductibles mais éloignées du réel. Les évaluations sur robot réel, elles, sont souvent propres à un laboratoire ou à une entreprise. Le sim-to-real et la généralisation restent des points disputés, d'où l'intérêt d'une évaluation physique et ouverte. Le résumé ne cite aucun partenaire industriel ni acteur européen. La suite dépendra de la publication effective des plans, de la construction de salles par d'autres équipes et de la tenue d'événements de calibration. Sans ces étapes, la proposition restera théorique.

Dans nos dossiers

IA physique & VLAManipulation robotiquearXiv cs.RO

À lire aussi

L'apprentissage par robot en contexte simplifié : une recette accessible pour les tâches de manipulation
1arXiv cs.RO 

L'apprentissage par robot en contexte simplifié : une recette accessible pour les tâches de manipulation

Des chercheurs proposent SimpleICL, un cadre minimaliste et reproductible pour l'apprentissage en contexte (ICL, in-context learning) en robotique. Le principe est de laisser un robot déduire puis exécuter une tâche à partir de démonstrations visuelles, sans réentraînement. L'étude, publiée sur arXiv (2609.38173v1), commence par corriger un défaut de formulation. Une démonstration visuelle mélange trajectoires d'actions, sémantique des objets, affordances de manipulation, relations spatiales et but de la tâche. On ne sait donc pas ce que le robot doit réellement imiter. Les auteurs définissent explicitement la cible d'apprentissage pour lever cette ambiguïté du prompt visuel. Sur cette base, ils construisent SimpleICL, qui associe un encodeur de prompt visuel à un protocole de collecte de données à faible coût. Selon eux, il n'exige ni pré-entraînement massif ni infrastructure de données spécialisée. Ils annoncent de bonnes performances en simulation et en environnement réel. Le résumé ne donne ni score, ni taux de réussite, ni plateforme robotique, ni volume de données, et ces points restent à vérifier dans l'article complet. Les expériences mettent en évidence quatre propriétés de l'ICL robotique : la discrimination des actions, de la sémantique, de la composition et des affordances. Les données et le pipeline d'entraînement doivent être publiés en open source. L'intérêt tient moins à un résultat chiffré qu'à la remise à plat du problème. Une grande partie des travaux sur les VLA (vision-language-action, modèles qui transforment images et instructions en actions) repose sur des instructions textuelles et des volumes de pré-entraînement très élevés. L'ICL par démonstration visuelle promet une autre logique : montrer une fois la tâche plutôt que reprogrammer ou affiner un modèle. Pour un intégrateur, cela pourrait réduire le coût de changement de série ou de poste. Si l'approche se confirme sans données massives, elle abaisse la barrière d'entrée pour les laboratoires et les PME, et fournit une base de comparaison reproductible dans un domaine où les protocoles divergent. La définition de la cible d'apprentissage donne aussi un cadre pour évaluer ce que le robot a compris d'une démonstration, ce qui manque souvent aux démos spectaculaires. Ce texte reste un travail de recherche. Il ne décrit ni produit livré ni déploiement industriel, et l'écart entre laboratoire et atelier reste entier. Ces travaux s'inscrivent dans la suite de l'ICL apparu avec les grands modèles de langage, puis transposé à la manipulation robotique par imitation à un ou peu de coups. Les grands acteurs des modèles fondation, comme Physical Intelligence avec Pi-0, NVIDIA avec GR00T ou Figure avec Helix, misent sur des volumes de données et de calcul importants. SimpleICL vise une voie plus légère et ouverte, dont la pertinence dépendra de la généralisation à des tâches longues, à d'autres robots et à des scènes non vues. La suite dépend de la publication effective du code et des données, promise mais pas encore vérifiable. Une réplication indépendante, notamment par des laboratoires européens, serait le vrai test.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Deux par deux : apprentissage multi-tâches de l'assemblage d'objets appariés pour une manipulation robotique généralisable
2arXiv cs.RO 

Deux par deux : apprentissage multi-tâches de l'assemblage d'objets appariés pour une manipulation robotique généralisable

Des chercheurs publient 2BY2, un jeu de données annoté à grande échelle pour l'assemblage d'objets appariés du quotidien, décrit dans une version révisée d'un article arXiv (2504.06961v2). Il couvre 18 tâches fines inspirées de gestes réels comme brancher une prise, disposer des fleurs dans un vase ou insérer du pain dans un grille-pain, avec 1034 instances et 517 paires d'objets annotées en pose et en symétrie. Les auteurs proposent une méthode d'estimation de pose SE(3) en deux étapes, basée sur des caractéristiques équivariantes, qui atteint des performances état de l'art sur les 18 tâches du benchmark. Des expériences robotiques réelles confirment la fiabilité et la capacité de généralisation de cette méthode sur des tâches d'assemblage 3D complexes. Ce travail comble un vide méthodologique pour la robotique domestique : la plupart des benchmarks d'assemblage existants portent sur des fragments géométriques abstraits ou des pièces industrielles standardisées, loin des interactions fonctionnelles et asymétriques des objets du quotidien. En ciblant explicitement les futurs robots d'assistance à domicile, 2BY2 offre un terrain d'évaluation plus représentatif que les jeux de données orientés usine. Le transfert réussi de la méthode du benchmark simulé vers des essais robotiques physiques est un signal notable, suggérant que les approches de pose SE(3) équivariante peuvent réduire l'écart simulation-réel sur des tâches de manipulation fine, un problème persistant pour les politiques de manipulation généralistes. Les résultats « état de l'art » restent toutefois mesurés sur le benchmark propre des auteurs, une limite à garder en tête avant toute extrapolation. L'article, référencé 2504.06961 sur arXiv et republié en version 2, s'inscrit dans la lignée des travaux de « shape assembly » qui se concentraient jusqu'ici sur des fragments cassés ou des composants industriels aux formes régulières. 2BY2 étend le problème à des objets paires à forte composante fonctionnelle, des gestes triviaux pour un humain mais qui exigent une compréhension conjointe de la géométrie et de l'usage. Les auteurs comparent leur méthode aux approches antérieures de shape assembly sur l'ensemble des 18 tâches et revendiquent une supériorité systématique. La publication de ce dataset annoté pose une base de comparaison pour de futurs travaux, sans qu'un calendrier de mise à disposition du code ou de partenariat industriel ne soit précisé à ce stade.

RecherchePaper
1 source
FOMI : une interface de manipulation à retour d'effort pour enseigner les tâches riches en contacts
3arXiv cs.RO 

FOMI : une interface de manipulation à retour d'effort pour enseigner les tâches riches en contacts

Des chercheurs présentent FOMI, une interface de manipulation à retour d'effort destinée à la collecte de démonstrations humaines pour l'apprentissage de politiques robotiques. Le dispositif, publié sur arXiv, repose sur un mécanisme en forme de ciseaux qui transmet directement aux mains de l'opérateur les forces d'interaction avec l'objet, via des liens d'actionnement, sans capteur de force. Autour de cette interface, l'équipe a construit un système complet de collecte intégrant calibration des capteurs, acquisition des données et synchronisation, utilisable sans robot. En associant les variations de pose et l'ouverture de la pince de FOMI aux poses de l'effecteur et aux commandes de préhension du robot, le même système sert aussi à la téléopération. Sur quatre tâches riches en contacts, FOMI améliore l'efficacité de collecte d'environ 29 % en mode sans robot et 18 % en téléopération, par rapport aux meilleures références testées. Les politiques entraînées sur ces démonstrations réalisent des tâches de manipulation difficiles avec des taux de réussite annoncés comme élevés, sans que le résumé en donne les valeurs chiffrées. L'enjeu touche un goulot d'étranglement du secteur: la qualité et le coût des données de démonstration. Les interfaces portables sans robot, dans la lignée de ce que l'on a vu avec les pinces de collecte à main, permettent de passer à l'échelle sans mobiliser de bras robotisés, mais elles privent l'opérateur de sensation tactile. Or l'insertion, le serrage ou l'assemblage exigent des ajustements en temps réel guidés par l'effort. Faire ressentir ces forces sans instrumenter l'outil de capteurs coûteux pourrait abaisser le prix des données pour les contacts riches, là où les politiques de type VLA restent les plus fragiles. Il faut toutefois relativiser: les gains de 18 à 29 % portent sur quatre tâches, face à des références non détaillées dans le résumé, et le mode de mesure de l'efficacité n'est pas précisé. Aucune donnée n'est fournie sur le nombre de démonstrations nécessaires, ni sur la robustesse hors laboratoire, ce qui laisse ouvert l'écart entre résultat académique et usage industriel. Ce travail s'inscrit dans la montée des approches de collecte découplées du robot, qui cherchent à contourner le coût de la téléopération classique, et dans le mouvement qui met le retour haptique au service de l'apprentissage par imitation. Il concurrence les interfaces portables passives et les dispositifs de téléopération à retour d'effort, plus lourds et plus chers. Il s'agit ici d'un prototype de recherche, ni produit commercialisé ni déploiement en usine, et aucun calendrier de diffusion ni code ouvert n'est mentionné dans le résumé. La suite logique consistera à valider le dispositif sur des tâches plus variées, avec d'autres morphologies de robots, et à mesurer son effet sur la généralisation des politiques apprises.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
ManiUnit : un jeu de données et un banc d'essai de compétences de manipulation pour les tâches à long horizon
4arXiv cs.RO 

ManiUnit : un jeu de données et un banc d'essai de compétences de manipulation pour les tâches à long horizon

ManiUnit est un jeu de données et un benchmark de compétences de manipulation, construit à partir de 50 activités du simulateur BEHAVIOR-1K et publié sur arXiv en octobre 2026. Le jeu de données compte 137 899 segments répartis sur 21 types de compétences et 417 sous-tâches, tandis que le benchmark comprend 1 260 instances de test. Chaque segment est associé à une instruction explicite de sous-tâche. Le benchmark mesure aussi la sensibilité à des perturbations de la position initiale de la base mobile ou de la configuration articulaire du robot. Il restaure des états intermédiaires du simulateur et définit des conditions de succès locales, ce qui permet d'évaluer chaque compétence sans exécuter les étapes qui la précèdent. Sur deux activités à long horizon, une politique de compétence entraînée sur les segments ManiUnit atteint 78,7 % de succès local en manipulation, contre 49,3 % pour une politique de tâche entraînée sur des démonstrations complètes. Une fois coordonnées par un planificateur, politiques de tâche et de compétence font passer le succès sur la tâche complète de 4,0 % à 18,0 %. L'enjeu est de rendre diagnostiquables les échecs de la manipulation mobile à long horizon, où un robot doit traverser plusieurs pièces et enchaîner des compétences à partir d'une seule consigne en langage naturel. Les auteurs identifient trois difficultés. D'abord, des observations proches sous une même consigne rendent la sélection de la compétence ambiguë. Ensuite, même lorsqu'une compétence réussit, l'état du robot qu'elle transmet à la suivante peut s'écarter des états de départ démontrés et dégrader l'exécution. Enfin, les métriques au niveau de la tâche masquent les causes d'échec, puisqu'une défaillance précoce empêche de tester les étapes suivantes. Les évaluations de politiques vision-langage-action (VLA) représentatives montrent que des scores agrégés similaires peuvent cacher des écarts importants d'une compétence à l'autre. Sur le benchmark complet, les perturbations articulaires réduisent le taux de succès d'environ 56 % par rapport aux états de départ démontrés. Ce résultat appelle à la prudence face aux démonstrations de VLA mesurées sur des conditions initiales propres. Il faut toutefois relativiser la portée de ces chiffres : tout est mesuré en simulation, sur un nombre limité d'activités pour la comparaison compétence contre tâche, et un succès de 18,0 % sur la tâche complète reste très éloigné d'un seuil industriel. Les auteurs ne nomment pas ici les modèles VLA évalués. ManiUnit s'inscrit dans la lignée de BEHAVIOR-1K, benchmark de tâches domestiques de longue durée, et d'une tendance à décomposer les tâches en compétences réutilisables pilotées par un planificateur, plutôt qu'à entraîner une politique monolithique. Le gain obtenu avec le planificateur suggère que cette approche modulaire est plus prometteuse, mais elle dépend de la robustesse de chaque compétence face aux états hérités. Le jeu de données et le benchmark sont des ressources de recherche, sans calendrier de déploiement ni transfert vers le matériel réel annoncé dans le résumé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source