RecherchearXiv cs.RO 24 septembre 2026

BrickCraft-Duo : apprentissage et raffinement efficaces de compétences bi-bras pour l'assemblage compositionnel long horizon

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

L'équipe de recherche à l'origine du projet BrickCraft-Duo, dont le site est hébergé sous le compte GitHub de Jichuan Yu, présente un système d'apprentissage de compétences pour l'assemblage collaboratif de briques encastrables par deux bras robotiques. Le framework, modulaire, apprend des compétences réutilisables à bras unique et à bras double à partir de démonstrations, en exploitant un alignement de symétrie bilatérale qui permet de partager les compétences entre bras symétriques et entre rôles d'assemblage et de support. Un module de raisonnement tenant compte de la stabilité mécanique compose ensuite ces compétences hétérogènes pour exécuter de façon autonome des séquences longues, et une boucle de correction humaine permet d'affiner les compétences ciblées. Sur cinq tâches réelles impliquant des configurations partiellement soutenues et des séquences allant jusqu'à neuf étapes, le système atteint un taux de réussite d'au moins 60% sur l'ensemble de la tâche et un taux de complétion d'au moins 95% au niveau de chaque étape individuelle.

Ce résultat s'inscrit dans un débat central de la robotique de manipulation: faut-il viser des modèles génériques de type vision-langage-action (VLA) entraînés bout en bout, ou des architectures modulaires composant des compétences spécialisées et réutilisables. En misant sur la composition de compétences plutôt que sur un apprentissage massif end-to-end, BrickCraft-Duo cherche à limiter le volume de données nécessaire tout en gardant une exécution robuste sur des tâches à tolérances d'insertion serrées et fortes dépendances inter-étapes, un défi typique de l'assemblage industriel de précision. Pour les intégrateurs et équipes R&D en manipulation bimanuelle, l'écart persistant entre le taux de réussite sur la tâche complète (60%) et le taux de complétion par étape (95%) illustre concrètement le problème de propagation d'erreurs dans les séquences longues, même quand chaque geste élémentaire est fiable.

L'assemblage de briques encastrables sert ici de banc d'essai représentatif car il combine interactions mécaniques complexes, dépendances structurelles entre étapes et tolérances géométriques strictes, des propriétés transposables à l'assemblage industriel réel. L'approche se distingue des modèles VLA généralistes à grande échelle (à la Pi-0 ou GR00T) en misant sur une décomposition explicite des tâches et sur l'intervention humaine ciblée pour corriger les échecs, plutôt que sur une politique unique apprise de bout en bout. Le papier, référencé sur arXiv sous l'identifiant 2609.28281, ne précise pas de calendrier de mise à disposition du code ni de partenariat industriel; le site du projet est présenté comme point d'accès aux démonstrations et résultats détaillés.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

BrickCraft : composition de compétences visuomotrices avec guidage manuel pour l'assemblage de briques emboîtables à long horizon

Des chercheurs de l'Intelligent Control Lab ont déposé sur arXiv en mai 2026 (réf. 2605.07605) BrickCraft, un framework compositionnel pour l'assemblage autonome de briques emboîtables par bras robotique. L'approche repose sur une formulation relative : chaque étape est ancrée à une brique de référence dans la structure partielle, ce qui décompose toute séquence longue en un ensemble fini de compétences primitives réutilisables. Pour piloter l'exécution physique, le système introduit les "situated manuals", des guides spatiaux projetés en temps réel dans les observations du robot, permettant à des politiques visuomotrices apprises de recevoir un ancrage spatial précis sans avoir à reprogrammer chaque primitive pour chaque nouvelle structure. L'abstract ne précise ni le robot utilisé, ni les métriques chiffrées (taux de succès, temps de cycle), des informations attendues dans la version complète de l'article. L'assemblage de briques emboîtables constitue un banc d'essai redoutable pour la manipulation fine : les tolérances d'emboîtement sont de l'ordre du dixième de millimètre, les séquences dépassent fréquemment plusieurs dizaines d'étapes, et une erreur de positionnement en amont propage des défauts irréversibles. BrickCraft s'attaque simultanément aux trois verrous classiques du domaine, à savoir le raisonnement sur horizon long, l'ancrage spatial (spatial grounding) et la manipulation fine, là où les approches end-to-end actuelles peinent à généraliser. La capacité à transférer des compétences apprises sur un nombre limité de démonstrations vers des structures inédites est particulièrement notable : elle indique que les primitives ne sont pas surajustées à une topologie spécifique, un écueil fréquent des méthodes par imitation en robotique d'assemblage. Du côté de la compétition académique et industrielle, l'assemblage de briques LEGO a déjà mobilisé le MIT CSAIL, l'ETH Zurich via des approches de planification de tâches et mouvements (TAMP), et plus récemment des équipes exploitant des Vision-Language-Action models (VLA) comme Pi-0 d'Embodied Intelligence ou GR00T N2 de NVIDIA pour la manipulation généraliste. BrickCraft choisit un inductive bias différent : exploiter la structure hiérarchique et répétitive propre aux assemblages par emboîtement plutôt que viser une généralité totale, un parti pris qui peut s'avérer payant pour des applications industrielles ciblées comme le montage de kits, le prototypage ou les lignes de petites séries. Le projet dispose d'un site dédié, mais aucun partenariat industriel ni timeline de déploiement n'est annoncé à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

Composition de compétences pour l'apprentissage par renforcement des robots à pattes

Un article de recherche publié sur arXiv (référence 2609.14647v1, soumission de type "new") intitulé "Skill Composition for Legged Robot Reinforcement Learning" pose un constat simple sur l'état de l'art en robotique humanoïde : les robots à pattes, et les humanoïdes en particulier, maîtrisent de mieux en mieux des comportements isolés, chacun obtenu par l'entraînement d'un contrôleur spécialisé par apprentissage par renforcement. Ces politiques spécialisées s'entraînent vite, convergent de façon fiable puisqu'elles ne traitent qu'un problème restreint, et peuvent être validées indépendamment les unes des autres, trois propriétés qu'une politique unique de bout en bout censée tout couvrir ne possède pas. Le point faible identifié par les auteurs n'est pas l'acquisition des compétences elles-mêmes, mais la transition entre elles : le passage de contrôle d'une politique à une autre reste fragile et mal maîtrisé. L'argument central du papier est que la composition de sous-politiques indépendantes mérite d'être traitée comme un problème de recherche à part entière, et non comme un détail d'implémentation confié au premier mécanisme disponible. Une composition fiable est ce qui transforme une collection de compétences isolées en un répertoire réellement exploitable, extensible et partageable, un enjeu direct pour les intégrateurs qui cherchent à assembler des bibliothèques de comportements réutilisables plutôt que de réentraîner un modèle monolithique à chaque nouvelle tâche. Plus fondamentalement, si le contrôle peut être transféré entre politiques spécialisées de façon sûre et à tout moment, le choix de l'action suivante peut être délégué à un composant de nature différente, comme un planificateur, un automate ou un contrôleur symbolique, dont le comportement est inspectable à l'avance. Les politiques n'auraient alors plus qu'à agir, tandis que ce que le robot est autorisé à faire deviendrait vérifiable, un argument qui va à contre-courant de la course actuelle aux politiques VLA de bout en bout, à l'image de Pi-0, GR00T N2 ou Helix, et qui remet en avant l'intérêt de l'architecture modulaire pour la certification et la sécurité en environnement industriel. Il s'agit d'un article de position et de méthode, sans résultats chiffrés, démonstration matérielle ni annonce de déploiement dans le résumé disponible : aucun robot, aucune entreprise ni aucun site de test n'y sont cités, ce qui le distingue nettement des communiqués produits du secteur. Il s'inscrit dans un débat plus large qui oppose, d'un côté, les laboratoires misant sur des politiques vision-langage-action entraînées de bout en bout pour couvrir un maximum de tâches avec un seul réseau, et de l'autre, une tradition de robotique plus classique fondée sur la planification hiérarchique et les automates symboliques. En proposant de faire de la composition de compétences un objet de recherche autonome, les auteurs ouvrent une voie intermédiaire entre ces deux approches, sans préciser dans l'abstract de calendrier, de prototype ou de partenariat industriel concret pour la suite des travaux.

RecherchePaper

1 source

3arXiv cs.RO

L'apprentissage conjoint de prédicats et d'actions permet la composition zéro-shot de compétences

Des chercheurs ont publié le 21 mai 2026 sur arXiv un préprint intitulé "Jointly Learning Predicates and Actions Enables Zero-Shot Skill Composition", introduisant PACTS (Predicate Action Skills), une nouvelle classe de politiques visuomotrices en boucle fermée pour la robotique. Le problème posé est précis : les approches actuelles d'apprentissage par démonstration (LfD) permettent à un robot d'acquérir des compétences isolées, mais échouent à les recombiner de façon inédite sans réentraînement. PACTS y répond en modélisant chaque compétence comme un processus génératif joint sur deux flux simultanés : les trajectoires d'action et les trajectoires de croyance prédicative, c'est-à-dire des représentations symboliques de l'état du monde induites par chaque action. Un seul modèle produit ainsi des séquences action-résultat cohérentes, sans pipeline séparé. L'enjeu est structurel pour la robotique industrielle et de service : la capacité de composition zéro-shot signifie qu'un robot formé sur des briques de base peut enchaîner des tâches nouvelles sans nouvelle collecte de données ni réentraînement, ce qui est un verrou majeur dans le déploiement à grande échelle. Les politiques génératives modernes, notamment les VLA (Vision-Language-Action models) comme pi-0 de Physical Intelligence ou les modèles de diffusion appliqués aux trajectoires, ne modélisent que la distribution des actions, sans raisonnement explicite sur les états symboliques intermédiaires. PACTS utilise les prédictions de prédicats en ligne comme interface symbolique pour séquencer les compétences et surveiller leur exécution, s'approchant ainsi d'une forme de planification symbolique intégrée. Les auteurs montrent que la génération jointe améliore à la fois la qualité des actions produites et la classification des prédicats, deux métriques qui se renforçaient rarement dans les approches précédentes. Ce travail s'inscrit dans un débat actif entre approches purement neuronales (end-to-end) et approches hybrides neuro-symboliques pour la manipulation robotique. Les méthodes de Task and Motion Planning (TAMP) classiques atteignent une bonne compositionnalité mais nécessitent des modèles symboliques prédéfinis ; les politiques d'imitation modernes générealisent mal sans représentation intermédiaire explicite. PACTS tente de combler les deux, en apprenant les symboles depuis les données de démonstration plutôt qu'en les codant manuellement. Le code et les expériences sont annoncés sur le site du projet (planpacts.github.io), mais le préprint n'est pas encore évalué par des pairs, et aucun résultat de déploiement terrain ni partenaire industriel n'est mentionné à ce stade.

RechercheOpinion

1 source

4arXiv cs.RO

Efficacité de l'apprentissage par renforcement en ligne pour la manipulation robotique via entraînement centralisé et décomposition du critique

Une équipe de recherche présente HIL-HARC, une méthode d'apprentissage par renforcement en ligne appliquée directement sur des bras robotiques réels, sans phase de simulation préalable et avec intervention humaine ponctuelle pendant l'entraînement. Le système combine un entraînement centralisé à exécution décentralisée (CTDE) avec une architecture de récompense hybride (HRA) : plusieurs bras partagent un même critique multi-tête, décomposé en une tête "tâche" liée à une récompense éparse et une tête "préhension" fondée sur un potentiel de saisie. Les objectifs du critique et de l'acteur ont été reformulés pour exploiter ces valeurs Q décomposées, en tenant compte de la distribution catégorielle propre au contrôle discret de la pince. La méthode a été testée sur deux bras robotiques réels et sur un robot humanoïde simulé, pour des tâches de préhension-dépôt d'une balle de tennis et d'une banane, de repositionnement d'une casserole, et de déplacement de blocs en simulation, avec une plage de randomisation de domaine 5 à 25 fois plus large que dans les travaux antérieurs. Comparée à une référence de l'état de l'art, la méthode fait passer le taux de réussite de 60% à 80% sur la balle de tennis, de 60% à 90% sur la banane, et de 25% à 95% sur le déplacement de blocs simulé, tout en réussissant une tâche sur laquelle la référence échoue systématiquement. Ce résultat s'attaque à deux limites connues du RL en ligne avec intervention humaine : la faible tolérance aux variations d'environnement, jusqu'ici restreinte à de petites plages de randomisation, et l'instabilité provoquée par l'entraînement simultané de plusieurs agents, qui rend les cibles d'apprentissage non stationnaires. En montrant qu'un critique centralisé partagé absorbe une randomisation bien plus large tout en améliorant l'efficacité d'échantillonnage, ces travaux nuancent l'idée selon laquelle seule une simulation massive permettrait d'obtenir des politiques robustes aux variations physiques. Pour les intégrateurs et équipes de R&D en manipulation robotique, cela ouvre une piste pour affiner des politiques directement sur site industriel, sans dépendre d'un pipeline sim-to-real coûteux à calibrer, un enjeu d'autant plus actuel que les architectures vision-langage-action cherchent à généraliser au-delà de démonstrations scriptées. Le travail s'inscrit dans la lignée du RL avec intervention humaine en temps réel, en réutilisant des briques issues du RL multi-agent, l'entraînement centralisé à exécution décentralisée et la décomposition de récompense, pour les appliquer à un contexte mono-robot multi-tâche. Aucun système commercial n'est nommé dans la comparaison, et l'ensemble reste à ce stade un résultat de recherche publié en préprint sur arXiv plutôt qu'un produit déployé : les essais réels se limitent à un nombre restreint de tâches de préhension, et le volet humanoïde n'a été validé qu'en simulation. Les auteurs mettent à disposition vidéos et détails complémentaires sur un site dédié, sans annoncer de calendrier de transfert vers un humanoïde physique ni de partenariat industriel.

RecherchePaper

1 source