Aller au contenu principal
Deux par deux : apprentissage multi-tâches de l'assemblage d'objets appariés pour une manipulation robotique généralisableIllustration générée par IA
RecherchearXiv cs.RO 

Deux par deux : apprentissage multi-tâches de l'assemblage d'objets appariés pour une manipulation robotique généralisable

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient 2BY2, un jeu de données annoté à grande échelle pour l'assemblage d'objets appariés du quotidien, décrit dans une version révisée d'un article arXiv (2504.06961v2). Il couvre 18 tâches fines inspirées de gestes réels comme brancher une prise, disposer des fleurs dans un vase ou insérer du pain dans un grille-pain, avec 1034 instances et 517 paires d'objets annotées en pose et en symétrie. Les auteurs proposent une méthode d'estimation de pose SE(3) en deux étapes, basée sur des caractéristiques équivariantes, qui atteint des performances état de l'art sur les 18 tâches du benchmark. Des expériences robotiques réelles confirment la fiabilité et la capacité de généralisation de cette méthode sur des tâches d'assemblage 3D complexes.

Ce travail comble un vide méthodologique pour la robotique domestique : la plupart des benchmarks d'assemblage existants portent sur des fragments géométriques abstraits ou des pièces industrielles standardisées, loin des interactions fonctionnelles et asymétriques des objets du quotidien. En ciblant explicitement les futurs robots d'assistance à domicile, 2BY2 offre un terrain d'évaluation plus représentatif que les jeux de données orientés usine. Le transfert réussi de la méthode du benchmark simulé vers des essais robotiques physiques est un signal notable, suggérant que les approches de pose SE(3) équivariante peuvent réduire l'écart simulation-réel sur des tâches de manipulation fine, un problème persistant pour les politiques de manipulation généralistes. Les résultats « état de l'art » restent toutefois mesurés sur le benchmark propre des auteurs, une limite à garder en tête avant toute extrapolation.

L'article, référencé 2504.06961 sur arXiv et republié en version 2, s'inscrit dans la lignée des travaux de « shape assembly » qui se concentraient jusqu'ici sur des fragments cassés ou des composants industriels aux formes régulières. 2BY2 étend le problème à des objets paires à forte composante fonctionnelle, des gestes triviaux pour un humain mais qui exigent une compréhension conjointe de la géométrie et de l'usage. Les auteurs comparent leur méthode aux approches antérieures de shape assembly sur l'ensemble des 18 tâches et revendiquent une supériorité systématique. La publication de ce dataset annoté pose une base de comparaison pour de futurs travaux, sans qu'un calendrier de mise à disposition du code ou de partenariat industriel ne soit précisé à ce stade.

À lire aussi

Zeva : apprentissage causal en contexte pour une manipulation robotique généralisable
Illustration générée par IA
1arXiv cs.RO 

Zeva : apprentissage causal en contexte pour une manipulation robotique généralisable

Zeva, présenté dans un article arXiv (identifiant 2608.30880v1) publié fin août 2026, est un nouveau framework de recherche pour la manipulation robotique généralisable. Son principe central: pendant le déploiement réel, le robot apprend directement de ses propres interactions physiques, sans jamais mettre à jour les poids de son modèle de politique (policy model), qui reste gelé. Un composant appelé Causal Interaction Extractor encode chaque action exécutée et le changement d'état qu'elle provoque en un signal d'interaction causale, stocké dans une mémoire causale à double échelle temporelle. Pour chaque nouvelle action, les signaux pertinents sont récupérés dans cette mémoire et injectés comme contexte dans le modèle figé, une forme d'apprentissage en contexte (in-context learning) appliquée pour la première fois, selon les auteurs, à l'expérience physique d'un robot. Les tests couvrent à la fois la simulation et la manipulation en conditions réelles, comparés à des VLA (vision-language-action) et des WAM de référence, sans que l'article précise de noms de robots, de sites de déploiement ou de chiffres de payload et de temps de cycle. Pour l'industrie robotique, l'intérêt de Zeva tient à une promesse précise: un taux de succès qui continue de progresser au fil du déploiement, sans réentraînement ni gradient, et une expérience d'interaction qui se généralise d'une tâche à l'autre. C'est une réponse directe à un problème connu des intégrateurs et des VLA actuels, à savoir l'écart entre performance en pré-entraînement et robustesse face à des conditions physiques imprévues sur le terrain. Si les résultats se confirment au-delà du cadre expérimental de l'article, cela ouvrirait la voie à des robots capables de s'adapter en usine sans cycle coûteux de collecte de données et de fine-tuning, un argument fort pour les décideurs B2B qui évaluent le coût total d'exploitation des humanoïdes et bras manipulateurs. Il convient toutefois de noter que l'affirmation d'être le "premier" framework de ce type, ainsi que le qualificatif de performance "meilleure parmi les VLA et WAM comparés", reste à valider par la communauté, l'article ne détaillant pas la méthodologie de sélection des tâches ni des vidéos de démonstration. Zeva s'inscrit dans la lignée des travaux récents sur les architectures VLA comme Pi-0 ou GR00T N2, qui cherchent à combiner généralisation par pré-entraînement massif et adaptabilité en ligne. Contrairement à ces approches qui misent sur des mises à jour de poids ou du fine-tuning post-déploiement, Zeva mise sur une mémoire externe consultée à l'inférence, une piste plus proche des techniques de récupération augmentée utilisées en traitement du langage. L'article ne mentionne aucun acteur français ou européen, ni de partenariat industriel ni de calendrier de pilotes commerciaux, ce qui situe cette publication au stade de la recherche académique plutôt que du produit prêt au déploiement.

RecherchePaper
1 source
Uni-PNP : apprentissage unifié de politiques de préhension et de manipulation sans préhension pour atteindre des poses d'objets généralisables
Illustration générée par IA
2arXiv cs.RO 

Uni-PNP : apprentissage unifié de politiques de préhension et de manipulation sans préhension pour atteindre des poses d'objets généralisables

Uni-PNP est une politique unifiée qui apprend conjointement la manipulation préhensile (avec saisie) et non préhensile (pousser, basculer, faire glisser) pour amener un objet dans une pose cible, quels que soient l'objet et le préhenseur. Les auteurs, dont le code et la page projet sont annoncés publiquement, procèdent en deux temps. Un encodeur de géométrie est d'abord pré-entraîné à prédire le mouvement d'un objet induit par un contact, à partir d'un jeu de données de dynamique de contact issu de simulations d'interactions entre objets et pinces variés. La politique est ensuite entraînée par apprentissage par renforcement en deux étapes, des objets saisissables vers des objets non saisissables, afin de favoriser la découverte d'interactions non préhensiles et leur combinaison avec la saisie. En simulation, le taux de succès atteint 76,39 % sur plusieurs centaines d'objets vus avec leurs pinces, et 57,91 % sur des objets inédits, soit 20,52 et 17,79 points de pourcentage de plus que la meilleure référence de pose-reaching testée. Les chercheurs décrivent aussi un transfert vers un scénario réel. L'intérêt tient à ce que la plupart des systèmes existants enchaînent des primitives distinctes (pousser, puis saisir) avec des objectifs intermédiaires prescrits, ce qui limite la coordination fine entre contact et prise. Ils restent en outre sensibles à la géométrie de l'objet et de la pince, et dépendent de supports précis dans l'environnement, un frein concret au déploiement en entrepôt ou en atelier où les pièces et les outils varient. Les comportements émergents rapportés vont dans le sens d'une manipulation plus robuste : repositionnement avec ou sans saisie, prise obtenue après avoir fait basculer l'objet, réorientation en s'appuyant sur la table pendant la saisie. Il faut toutefois relativiser : 57,91 % sur objets inédits reste loin d'une fiabilité industrielle, ces chiffres viennent de la simulation, et la validation réelle est présentée de façon qualitative. L'écart entre démonstration et production demeure donc entier. Ce travail s'inscrit dans la lignée des recherches sur la manipulation non préhensile et sur l'apprentissage par renforcement avec curriculum en simulation, qui traitaient jusqu'ici saisie et contact comme deux compétences à assembler. Il se positionne face aux approches séquentielles par primitives et aux politiques de pose-reaching généralistes. C'est une publication académique (arXiv, v1), sans produit, prix ni calendrier de déploiement. Les suites logiques seront des évaluations réelles plus étendues, avec davantage de pinces et de scènes, et l'intégration éventuelle de ces politiques dans des modèles vision-langage-action plus larges.

RecherchePaper
1 source
Apprentissage de compétences atomiques sémantiques pour la manipulation robotique multitâche
Illustration générée par IA
3arXiv cs.RO 

Apprentissage de compétences atomiques sémantiques pour la manipulation robotique multitâche

Des chercheurs ont mis en ligne une nouvelle version (v2) de leur article "Learning Semantic Atomic Skills for Multi-Task Robotic Manipulation" sur arXiv (2512.18368), présentant AtomSkill, un framework d'apprentissage par imitation pour la manipulation robotique multi-tâches. La méthode s'attaque à trois obstacles connus de l'apprentissage par démonstration à grande échelle : démonstrations sous-optimales, multi-modalité des comportements et interférences destructrices entre tâches lorsqu'un même modèle doit apprendre plusieurs compétences simultanément. AtomSkill découpe les démonstrations en compétences atomiques de longueur variable, alignées sémantiquement grâce à un objectif contrastif qui impose à la fois cohérence sémantique et cohérence temporelle, formant une bibliothèque de compétences compacte et réutilisable. La politique apprise prédit à la fois la position finale (keypose) d'une compétence et les actions immédiates, ce qui permet des transitions fluides entre compétences en fonction de la progression. Lors de l'inférence, un échantillonneur par diffusion génère des séquences de compétences plausibles, tandis que les keyposes prédites déclenchent automatiquement l'enchaînement. Les auteurs annoncent des résultats supérieurs aux méthodes de référence en imitation learning et aux approches par compétences existantes, en simulation comme en conditions réelles. L'enjeu dépasse la seule prouesse technique : la plupart des bibliothèques de compétences actuelles sont soit trop dépendantes de la structure du langage utilisé pour les décrire, soit mal alignées sémantiquement d'une tâche à l'autre, ce qui limite leur capacité à généraliser. Résoudre ce compromis conditionne directement la viabilité des politiques multi-tâches pour des applications industrielles comme le picking, l'assemblage ou la manutention, où un même robot doit enchaîner des gestes variés sans réapprentissage complet à chaque nouvelle tâche. C'est aussi un signal dans le débat actuel sur les modèles vision-langage-action (VLA) : la promesse d'une politique unique capable de généraliser à grande échelle reste difficile à tenir, et des architectures hiérarchiques par compétences comme AtomSkill pourraient constituer une alternative plus robuste que les VLA monolithiques. L'article s'inscrit dans une lignée de recherche en concurrence directe avec des approches VLA de bout en bout telles que Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure. Contrairement à ces annonces industrielles très médiatisées, il s'agit ici d'une publication académique sans chiffres de benchmark détaillés ni précisions sur le matériel utilisé dans l'abstract, et sans affiliation commerciale indiquée. Les auteurs renvoient vers une page de projet (atom-skill.github.io) pour le code et les démonstrations vidéo ; la validation à plus grande échelle sur robots physiques reste, comme souvent à ce stade de publication, la prochaine étape à surveiller.

RecherchePaper
1 source
GSAM : un cadre robotique sûr et généralisable pour la manipulation d'objets articulés
Illustration générée par IA
4arXiv cs.RO 

GSAM : un cadre robotique sûr et généralisable pour la manipulation d'objets articulés

Des chercheurs ont publié sur arXiv (référence 2605.30740) GSAM, un framework conçu pour la manipulation d'objets articulés (tiroirs, portes, robinets) par des robots de service. Le système combine quatre modules : un percepteur visuel qui extrait les paramètres cinématiques (axe de rotation, amplitude de mouvement), un raffineur basé sur un VLM fine-tuné utilisant le raisonnement par chaîne-de-pensée (CoT) pour corriger les estimations brutes, un générateur de contraintes d'interaction qui encode la géométrie de l'objet et l'évitement d'obstacles, et un planificateur cinématique qui vérifie l'atteignabilité avant exécution. Sur 50 tâches de type charnière réparties en 5 catégories d'objets et 50 configurations initiales aléatoires de l'effecteur, GSAM améliore le taux de succès de 36,0 % par rapport à la meilleure baseline existante, avec une réduction de l'écart-type de 3,1 % indiquant une meilleure consistance comportementale. Ce résultat s'attaque directement au fossé démo-réalité sur une sous-tâche souvent ignorée : les interactions avec des objets mécaniquement contraints impliquent des trajectoires curvilignes et une compréhension de la géométrie interne que ni les politiques end-to-end entraînées en simulation ni les planificateurs purement visuels ne gèrent correctement. L'usage du raisonnement CoT pour corriger des estimations cinématiques erronées plutôt que pour générer un plan de haut niveau constitue un usage pragmatique et inhabituel des VLM en robotique. Pour les intégrateurs sur des robots de service industriels ou hospitaliers, la réduction des collisions destructrices a une valeur opérationnelle directe : forcer mécaniquement un joint en production est un incident matériel, pas une métrique abstraite. Le problème de manipulation articulée est étudié depuis plusieurs années dans des équipes comme Stanford (projet Where2Act, 2021), ETH Zurich et CMU. Les approches concurrentes comprennent les frameworks VLA tels que pi0 (Physical Intelligence) ou OpenVLA, ainsi que les méthodes de perception articulée comme PARIS ou CatGrasp. GSAM se distingue en combinant explicitement un LLM pour la génération de contraintes et un VLM pour la perception raffinée, plutôt qu'une politique implicite entraînée bout-en-bout. Le travail reste un preprint arXiv non soumis à une conférence majeure (ICRA, IROS, CoRL) : les gains annoncés sont encourageants mais nécessitent une validation sur robot physique en conditions non contrôlées.

RecherchePaper
1 source