RecherchearXiv cs.RO 10 juin 2026

Sémantique et exécution physique : une architecture neuro-symbolique pour l'assemblage robotique multi-paire

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs présente un cadre neuro-symbolique de bout en bout conçu pour l'assemblage robotique multi-paires en environnements non structurés, publié sur arXiv (2606.10808). Le système fonctionne à partir d'une caméra RGB-D montée sur le bras (configuration eye-on-hand) et s'appuie sur un bras UR3 d'Universal Robots. Le pipeline traite chaque paire pièce-cible en générant un sous-graphe optimal via un grand modèle de langage (LLM), puis coordonne l'ensemble des sous-graphes en une séquence globale cohérente grâce à une étape de résolution topologique. Des arbres de comportement dynamiques intégrant des compétences atomiques pilotées par retour d'effort ferment la boucle d'exécution physique. Sur 100 scènes réelles évaluées hors ligne, le framework atteint 97 % d'exécutabilité globale, et le déploiement sur robot réel obtient un taux de succès de 90 % avec une tolérance de 0,5 mm sous forte interférence entre pièces.

Ce résultat est notable parce qu'il adresse deux défauts symétriques qui bloquent l'industrialisation de la planification autonome d'assemblage. Les planificateurs classiques (recherche d'état, PDDl) explosent combinatoirement dès que le nombre de pièces augmente. Les approches purement neuronales ou LLM-only produisent des "hallucinations logiques" : séquences d'actions syntaxiquement valides mais physiquement incohérentes (conflits topologiques, collisions ignorées). Le framework proposé découple les deux niveaux : le LLM génère uniquement des actions basiques pour limiter les hallucinations, tandis qu'un discriminateur léger insère les actions de support pour les cas limites. La tolérance de 0,5 mm sous interférence forte est un indicateur concret de robustesse, même si les vidéos de démonstration disponibles ne couvrent pas l'ensemble des 100 configurations testées, ce qui limite la vérification indépendante des chiffres annoncés.

Le problème de l'assemblage multi-paires est un verrou industriel identifié depuis les années 1990 dans la robotique manufacturière, avec des applications directes en électronique, aéronautique et assemblage de sous-systèmes automobiles. Les approches concurrentes actuelles incluent les planificateurs symboliques classiques (MoveIt, OpenRAVE), les politiques d'imitation learning (ACT, Diffusion Policy) et les Visual Language Action models (pi-0 de Physical Intelligence, RoboFlamingo). Ce framework se positionne entre la planification symbolique vérifiable et l'inférence neuronale généraliste. Les auteurs soulignent que l'architecture est extensible à faible coût par ajout de nouvelles paires ou actions. Les prochaines étapes logiques seraient un déploiement sur des bras à plus haute charge utile et une validation sur des lignes d'assemblage industrielles réelles, domaine où des acteurs européens comme Wandercraft ou Enchanted Tools pourraient trouver des synergies applicatives.

Impact France/UE

Les équipes R&D robotique européennes (notamment dans l'aéronautique et l'électronique) pourraient intégrer cette architecture pour automatiser des tâches d'assemblage multi-pièces à tolérance serrée, un verrou industriel non résolu par les planificateurs classiques.

Dans nos dossiers

Wandercraft Enchanted Tools — Mirokaï Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Relier sémantique et physique : des LLM contraints pour une manipulation robotique sûre et fiable

Des chercheurs présentent un système qui relie raisonnement en langage naturel et exécution physique sûre pour la manipulation robotique, décrit dans un article publié le 29 août 2026 sur arXiv (2608.29379v1). Le pipeline part d'observations RGB-D pour construire un modèle de scène explicite tenant compte des collisions, puis contraint les décisions d'un grand modèle de langage via des appels d'outils validés par schéma selon le Model Context Protocol (MCP), rejetant les commandes mal formées avant qu'elles n'atteignent le robot. Chaque appel validé est ensuite traduit de façon déterministe dans un pipeline MoveIt Task Constructor, où les mouvements candidats sont vérifiés contre la scène reconstruite avant exécution, une étape de type "vérifier puis agir". Testé sur un bras robotique physique UFactory 850, le système atteint jusqu'à 80% de réussite sur dix essais par tâche pour des opérations de versement impliquant liquides, matières granulaires et solides discrets, et 90% de réussite sur une tâche de saisie-et-dépose avec la même architecture. L'intérêt de ces travaux tient à la démonstration chiffrée d'un problème bien identifié dans la robotique pilotée par LLM: un plan verbalement cohérent peut être physiquement infaisable si la cinématique et les collisions ne sont pas vérifiées avant exécution. Les auteurs montrent qu'une politique scriptée classique surpasse légèrement leur méthode sur la tâche la plus simple, mais chute à seulement 10% de réussite sur la tâche la plus difficile, contre 60% pour leur approche contrainte. Pour les intégrateurs industriels et les équipes robotique, ce résultat suggère qu'ajouter une couche de validation formelle entre le langage et l'action améliore surtout la robustesse sur les cas complexes, plutôt que la performance brute sur les cas faciles où des solutions scriptées suffisent déjà. Ce travail s'inscrit dans la lignée des recherches sur le "language-action gap", l'écart entre la capacité des LLM à décomposer des instructions en séquences d'actions et leur incapacité native à garantir la faisabilité physique de ces actions dans un environnement encombré et perçu de façon imparfaite. La solution proposée combine plusieurs briques existantes, le MCP pour la validation structurée des appels d'outils côté langage, et MoveIt Task Constructor pour la planification de mouvement sous contraintes cinématiques et de collision côté robot, plutôt que d'introduire une nouvelle architecture de bout en bout. Les tests restent limités à un seul bras robotique et un nombre réduit d'essais par tâche, ce qui invite à la prudence avant toute extrapolation vers des déploiements industriels à plus grande échelle.

RecherchePaper

1 source

2arXiv cs.RO

PVRA : un système de vote par points-clés pour l'assemblage robotique

Des chercheurs publient sur arXiv (identifiant 2608.19968v1) un nouveau framework baptisé PVRA, pour Pointwise Key-point Voting Framework for Robotic Assembly, destiné à l'assemblage robotique autonome. Contrairement aux systèmes de vision par ordinateur actuels qui se limitent à la perception d'objets individuels, PVRA repose sur une représentation par points-clés 3D pour apprendre les dépendances entre pièces au sein d'un assemblage progressif. Le système traite en entrée des données RGB-D (couleur et profondeur) d'une scène d'assemblage et produit des sorties directement exploitables pour piloter la manipulation. Les auteurs ont entraîné et évalué leur réseau modulaire sur un jeu de données dédié à l'estimation de pose pour l'assemblage, puis comparé ses performances à des méthodes de référence centrées sur l'objet, à l'aide d'un ensemble élargi de métriques conçues spécifiquement pour les assemblages progressifs. L'article ne précise ni charge utile, ni degrés de liberté, ni temps de cycle, ni site de déploiement: il s'agit d'une contribution de recherche méthodologique, pas d'un produit commercialisé ni d'un pilote industriel. Pour les intégrateurs et les équipes R&D en robotique industrielle, ce travail illustre une limite reconnue de la perception objet par objet: détecter et localiser chaque pièce ne suffit pas à orchestrer un assemblage multi-étapes, où chaque geste dépend de l'état des connexions déjà réalisées. En modélisant explicitement les dépendances d'assemblage plutôt que les seuls objets, PVRA s'inscrit dans une tendance de fond visant à rapprocher la perception robotique du raisonnement séquentiel nécessaire aux tâches de type peg-in-hole, vissage ou emboîtement, courantes en électronique, en automobile et en petite série manufacturière. Si les gains rapportés se confirment au-delà du jeu de données de test, ce type d'approche pourrait réduire la dépendance à des séquences d'assemblage programmées à la main, un frein connu à l'autonomie des cellules robotisées face à la variabilité des produits. Cette publication s'inscrit dans un courant de recherche plus large sur la perception 3D par points-clés pour la manipulation, domaine où les laboratoires universitaires explorent depuis plusieurs années des alternatives aux pipelines classiques de détection d'objets et d'estimation de pose 6D. Les auteurs situent leur contribution après une analyse comparative des travaux existants en perception centrée sur l'objet et en planification d'assemblage, qu'ils jugent insuffisamment reliés entre eux. L'article, classé comme nouvelle soumission sur arXiv, ne mentionne ni partenariat industriel ni feuille de route de déploiement; les prochaines étapes habituelles pour ce type de travaux académiques restent la publication en conférence, la mise à disposition du code et du jeu de données, puis d'éventuelles reprises par des équipes industrielles pour validation sur des cas réels.

RecherchePaper

1 source

3arXiv cs.RO

Recherche arrière de disposition pour l'assemblage robotique à contraintes séquentielles

Une équipe de recherche publie sur arXiv (2608.18454v1) un nouvel algorithme baptise Backward Layout Search (BLS), conçu pour résoudre un problème clé de la planification d'assemblage robotique : déterminer ou positionner chaque pièce et selon quelle orientation initiale, tout en garantissant une exécution sans collision de la séquence d'assemblage prescrite. Le défi tient au fait que l'environnement d'obstacles change après chaque étape d'assemblage, et que les pièces non encore assemblées restant dans l'espace de travail peuvent bloquer les mouvements du robot. L'innovation de BLS consiste a assigner les poses initiales des pièces en ordre inverse de la séquence d'assemblage, en s'appuyant sur une observation clé : la faisabilité de chaque étape ne dépend que des poses initiales de la pièce en cours et des pièces assemblées plus tard. A chaque expansion, l'algorithme effectue des vérifications géométriques, cinématiques, de préhension et de mouvement prescrit, tandis que des masques de collision et un filtrage des ensembles candidats éliminent les poses infaisables. Les configurations partielles prometteuses sont retenues par sélection en faisceau, puis les layouts complets sont valides par une planification de mouvement complète exécutée dans l'ordre normal d'assemblage. Teste sur cinq modèles d'assemblage, BLS produit des configurations exécutables et sans collision, avec une réduction du nombre d'évaluations d'étapes et du temps de recherche par rapport a une recherche avant équivalente. Cette contribution s'attaque a un goulot d'étranglement souvent sous-estime dans l'automatisation de l'assemblage industriel : la planification du layout, c'est-a-dire ou et comment positionner chaque pièce avant même que le robot ne commence a assembler. Pour les intégrateurs de cellules d'assemblage, cette étape reste aujourd'hui largement manuelle ou résolue par simulation lourde, avec un risque constant de collisions entre pièces non assemblées et bras robotique. En inversant l'ordre de recherche, et en exploitant le fait que la faisabilité d'une étape ne dépend que des poses courantes et futures et non des poses passées, BLS réduit l'espace combinatoire a explorer par rapport a une approche avant classique. C'est une preuve que des gains d'efficacité algorithmique substantiels restent possibles sur des problèmes de planification robotique via la recherche géométrique classique, dans un domaine ou la plupart des annonces récentes se concentrent sur les modèles VLA plutôt que sur ce type d'algorithmes. Le papier est publie comme soumission nouvelle sur arXiv, sans mention d'affiliation industrielle ni de déploiement en usine : il s'agit d'une contribution de recherche académique en planification de taches et de mouvement, un sous-domaine actif de la robotique d'assemblage. Les résultats reposent sur cinq modèles d'assemblage testes en comparaison directe avec une recherche avant appariée, sans précision sur l'environnement de simulation ni sur un éventuel passage a des pièces réelles. Aucun acteur commercial, français ou international, n'est cite dans cette publication, qui reste a ce stade un résultat de laboratoire plutôt qu'une brique prête a intégrer dans une chaine de production.

RecherchePaper

1 source

4arXiv cs.RO

Deux par deux : apprentissage multi-tâches de l'assemblage d'objets appariés pour une manipulation robotique généralisable

Des chercheurs publient 2BY2, un jeu de données annoté à grande échelle pour l'assemblage d'objets appariés du quotidien, décrit dans une version révisée d'un article arXiv (2504.06961v2). Il couvre 18 tâches fines inspirées de gestes réels comme brancher une prise, disposer des fleurs dans un vase ou insérer du pain dans un grille-pain, avec 1034 instances et 517 paires d'objets annotées en pose et en symétrie. Les auteurs proposent une méthode d'estimation de pose SE(3) en deux étapes, basée sur des caractéristiques équivariantes, qui atteint des performances état de l'art sur les 18 tâches du benchmark. Des expériences robotiques réelles confirment la fiabilité et la capacité de généralisation de cette méthode sur des tâches d'assemblage 3D complexes. Ce travail comble un vide méthodologique pour la robotique domestique : la plupart des benchmarks d'assemblage existants portent sur des fragments géométriques abstraits ou des pièces industrielles standardisées, loin des interactions fonctionnelles et asymétriques des objets du quotidien. En ciblant explicitement les futurs robots d'assistance à domicile, 2BY2 offre un terrain d'évaluation plus représentatif que les jeux de données orientés usine. Le transfert réussi de la méthode du benchmark simulé vers des essais robotiques physiques est un signal notable, suggérant que les approches de pose SE(3) équivariante peuvent réduire l'écart simulation-réel sur des tâches de manipulation fine, un problème persistant pour les politiques de manipulation généralistes. Les résultats « état de l'art » restent toutefois mesurés sur le benchmark propre des auteurs, une limite à garder en tête avant toute extrapolation. L'article, référencé 2504.06961 sur arXiv et republié en version 2, s'inscrit dans la lignée des travaux de « shape assembly » qui se concentraient jusqu'ici sur des fragments cassés ou des composants industriels aux formes régulières. 2BY2 étend le problème à des objets paires à forte composante fonctionnelle, des gestes triviaux pour un humain mais qui exigent une compréhension conjointe de la géométrie et de l'usage. Les auteurs comparent leur méthode aux approches antérieures de shape assembly sur l'ensemble des 18 tâches et revendiquent une supériorité systématique. La publication de ce dataset annoté pose une base de comparaison pour de futurs travaux, sans qu'un calendrier de mise à disposition du code ou de partenariat industriel ne soit précisé à ce stade.

RecherchePaper

1 source