Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
SketchMate : raisonnement géométrique à base d'agents pour l'insertion de précision sans apprentissage préalable
RecherchearXiv cs.RO 

SketchMate : raisonnement géométrique à base d'agents pour l'insertion de précision sans apprentissage préalable

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent SketchMate, une méthode d'insertion de pièces inconnues en zéro-shot, décrite dans un preprint arXiv (2610.41844v1). Un modèle vision-langage (VLM) construit un « croquis » de la tâche, composé de quelques primitives géométriques et de deux repères d'accouplement (mate frames). Un agent VLM mesure ce croquis avec des outils géométriques appliqués à des cartes de profondeur multivues. Un planificateur standard et un contrôleur compliant exécutent ensuite l'insertion. Comme le croquis décrit les pièces indépendamment de leur placement, il n'est construit qu'une fois par tâche. Une mémoire de croquis stocke chaque exécution de l'agent et la transfère aux placements suivants par recalage de nuages de points, de sorte que le VLM n'est appelé que pour les pièces inédites. Une fois la pièce saisie, le robot inspecte de près les deux faces d'accouplement et corrige le croquis par appariement de formes. Sur 69 épisodes simulés, la méthode insère 88 % des pièces à la pose assemblée, selon un test cinématique strict, alors que ReKep et MOKA, avec le même VLM, n'en insèrent aucune. Sur de nouveaux placements de huit tâches, réutiliser une seule exécution stockée donne autant d'insertions réussies que rappeler l'agent à chaque épisode, avec un croquis produit en 3,4 s au lieu d'environ 90 s.

L'enjeu est la précision. Une insertion exige une exactitude sub-millimétrique et la bonne orientation des détails d'ergotage, alors que les sorties spatiales des méthodes agentiques à base de VLM restent trop grossières. Le gain de latence (environ 26 fois plus rapide) rend l'approche plus crédible pour des cadences industrielles, puisque le coût du raisonnement du VLM est amorti sur les placements suivants. Il faut toutefois relativiser. Les résultats sont obtenus en simulation, aucune validation sur robot réel n'est mentionnée, et les deux bases de comparaison n'ont pas été conçues pour de l'insertion à ce niveau de tolérance, ce qui explique en partie leur score nul.

ReKep et MOKA appartiennent à la lignée des méthodes qui font produire à un VLM des contraintes ou des points clés pour guider la manipulation en zéro-shot. Leur limite est la résolution spatiale. SketchMate déplace le travail du VLM vers une représentation géométrique mesurable et réutilisable. Face à lui se trouvent les politiques apprises de type VLA, qui demandent en général des démonstrations par tâche. Les suites logiques sont un transfert sur robot réel, des tests sur des pièces à tolérances industrielles et une évaluation de la robustesse de la mémoire de croquis sur des catalogues de pièces plus larges.

Dans nos dossiers

arXiv cs.RO

À lire aussi

RACaP : raisonnement, action et codage à base d'agents pour un apprentissage robotique évolutif
1arXiv cs.RO 

RACaP : raisonnement, action et codage à base d'agents pour un apprentissage robotique évolutif

Des chercheurs ont publié sur arXiv, le 25 septembre 2026 (référence 2609.29394), un article décrivant RACaP (Reasoning, Acting, and Coding as Policies), un framework agentique pour l'apprentissage robotique évolutif. Contrairement aux méthodes Code as Policies (CaP) classiques, qui génèrent et réparent du code au moment de l'exécution au prix d'une latence et d'un mélange entre mécanismes réutilisables et décisions spécifiques à la tâche, RACaP déplace la génération de code vers une phase d'évolution en amont et s'appuie, au déploiement, sur une boucle ReAct qui appelle des API de politiques figées et typées, combinant curriculum d'apprentissage et auto-évolution autonome. Sur les bancs d'essai en simulation LIBERO, RACaP atteint 54,4% de réussite sur LIBERO-90, 45,0% en zero-shot sur LIBERO-PRO et 46,0% sur LIBERO-Long, contre au maximum 4,0% pour les baselines CaP sur les tâches à long horizon, soit 2,5 fois leur taux de réussite sur LIBERO-PRO et un temps de décision médian 1,9 fois plus rapide. Un fine-tuning par échantillonnage par rejet distille ensuite les décisions ReAct de GPT-5.6 dans un modèle compact Qwen3-VL-8B-Instruct, accélérant l'inférence par décision d'un facteur 13,2 et réduisant les appels physiques répétés de 16 à 4. Ce travail cible un problème concret pour les intégrateurs: la latence et la fragilité des approches où un modèle de langage génère et corrige du code de contrôle en direct, ce qui complique la maintenance et le passage à l'échelle sur des tâches longues. En séparant le code réutilisable, figé après évolution, des décisions prises en temps réel via mémoire de travail, mémoire d'expérience et retour visuel, RACaP illustre une piste pour rendre les agents VLA (vision-language-action) plus robustes et plus rapides sans sacrifier l'adaptabilité. La distillation vers un modèle compact comme Qwen3-VL-8B-Instruct répond directement à une contrainte industrielle: les grands modèles comme GPT-5.6 restent trop lents et coûteux pour tourner en boucle fermée sur un robot physique. Ces résultats demeurent toutefois obtenus en simulation sur les bancs académiques LIBERO, et non lors d'un déploiement réel en usine ou en entrepôt, laissant ouvert l'écart classique entre performance simulée et performance en conditions réelles. RACaP s'inscrit dans la lignée des méthodes Code as Policies, qui font piloter des robots par des grands modèles de langage générant directement du code exécutable, une approche dont les limites sur les tâches longues et complexes sont confirmées ici par les scores plafonnés à 4,0% des baselines CaP citées dans l'article. En comparant son architecture à ces méthodes de référence sur les mêmes bancs LIBERO-90, LIBERO-PRO et LIBERO-Long, l'équipe cherche à démontrer qu'une architecture combinant code figé et raisonnement au moment de l'action offre une meilleure transférabilité zero-shot, un critère que surveillent les décideurs avant tout investissement en robotique VLA. L'article, disponible en prépublication sous la référence 2609.29394v1, ne mentionne ni calendrier de déploiement sur robot physique ni partenariat industriel; les prochaines étapes attendues pour ce type de travaux académiques restent une validation sur plateforme réelle et une revue par les pairs.

RechercheActu
1 source
RL sensible à la géométrie pour l'insertion de vêtements ajustés portables
2arXiv cs.RO 

RL sensible à la géométrie pour l'insertion de vêtements ajustés portables

Des chercheurs proposent un cadre d'apprentissage par renforcement (RL) pour l'habillage robotisé, testé sur l'enfilage d'un bracelet sur une main. Le travail, publié sur arXiv (2610.32143), part d'un constat connu: l'assistance à l'habillage est difficile à cause des ouvertures étroites des vêtements et des membres articulés. Une petite erreur de pose relative entre la main et l'ouverture suffit à provoquer un accrochage, une insertion manquée ou un habillage incomplet. Plutôt que de modéliser l'état complet de l'objet déformable, les auteurs formulent la tâche comme un problème d'insertion « conscient de la géométrie », qui ne retient que les relations spatiales utiles entre la partie du corps et l'ouverture. Leur politique s'appuie sur un curriculum par étapes, qui guide l'agent de l'alignement grossier vers l'insertion puis le placement final. Elle ajoute une « porte douce » d'insertion doigt par doigt, qui donne un retour continu sur la progression de chaque doigt et limite les insertions prématurées. L'évaluation couvre des bracelets rigides et déformables, avec des ablations de composants, des variations systématiques de la pose initiale de la main et une exécution en boucle fermée sur un robot réel. En évaluation déformable après entraînement, la méthode complète atteint 84,7 ± 1,2 % de réussite. La porte d'insertion apporte le gain le plus important, et l'ajout du curriculum par-dessus ce mécanisme donne le meilleur score. Sur un mannequin de main, la même politique réussit 15 essais sur 20 (75 %) en conditions réelles. Les auteurs ne détaillent pas dans ce résumé le robot utilisé, le nombre de répétitions simulées ni les conditions de test physique. Pour les intégrateurs et les équipes qui travaillent sur l'assistance à la personne, l'intérêt est surtout méthodologique. Représenter la tâche par quelques relations géométriques évite de simuler fidèlement le tissu, l'un des verrous du transfert simulation-réel pour les objets déformables. L'écart entre 84,7 % en simulation et 75 % en réel reste modeste, mais il apparaît sur un échantillon de 20 essais, ce qui laisse une marge d'incertitude large. Surtout, un mannequin n'a ni les mouvements involontaires, ni les variations morphologiques, ni les exigences de sécurité d'une personne réelle. Un taux de réussite de 75 % reste donc loin d'un niveau déployable pour un usage en soins, et la tâche, un bracelet, est bien plus simple qu'une manche ou une chaussette. Ce travail s'inscrit dans la robotique d'assistance, où l'habillage constitue un cas d'école de manipulation déformable en contact avec le corps humain. Les approches antérieures reposaient souvent sur des modèles explicites du vêtement ou sur de la démonstration, ce que cette formulation géométrique cherche à contourner. Les suites logiques seraient de passer à des vêtements plus complexes, à des mains humaines réelles et à des mesures de force de contact. Aucun partenariat industriel, calendrier de pilote ni acteur commercial n'est mentionné à ce stade, et il s'agit d'une prépublication non évaluée par des pairs.

RecherchePaper
1 source
Planification de mouvements précis pour la manipulation robotique par apprentissage par transfert sans données d'entraînement
3arXiv cs.RO 

Planification de mouvements précis pour la manipulation robotique par apprentissage par transfert sans données d'entraînement

Des chercheurs ont publié sur arXiv (arXiv:2606.06041) un framework baptisé iCEM+TL, qui combine la méthode évolutionnaire iCEM (improved Cross-Entropy Method) avec du Transfer Learning pour améliorer la planification de mouvement bas-niveau en robotique de manipulation. L'approche transfère directement les paramètres-clés d'iCEM appris sur des tâches simples vers des tâches plus complexes -- empilage d'objets, glissement, placement en étagère -- sans réentraîner depuis zéro. Complétée par une refonte des fonctions de récompense (Reward Redesign) via décomposition de tâche pour les scénarios d'empilage et de placement en étagère, la méthode atteint des gains de taux de succès allant jusqu'à 23 % en simulation. Elle a ensuite été validée sur un robot réel Franka Emika Panda dans un scénario d'empilage, confirmant la transférabilité sim-to-real de l'approche. L'intérêt principal réside dans l'efficacité d'échantillonnage : iCEM+TL contourne le besoin de longues phases d'entraînement en réutilisant explicitement la connaissance déjà acquise sur des tâches amont. Pour les intégrateurs industriels ou les équipes R&D robotique, cela signifie qu'ajouter une nouvelle tâche de manipulation à un bras existant ne nécessite pas un réentraînement complet -- un gain direct en temps et en coût de déploiement. Le fait que le transfert soit qualifié de "zero-shot" dans le titre mérite toutefois une nuance : il s'agit ici d'un transfert de paramètres entre tâches proches dans un même domaine, et non d'une généralisation à des environnements radicalement différents. Les résultats restent majoritairement issus de simulation, avec une validation robotique limitée à un seul scénario d'empilage -- la robustesse à l'échelle industrielle reste à établir. iCEM est un algorithme de planification en temps réel apparu comme alternative légère aux méthodes d'apprentissage par renforcement profond, notamment pour la manipulation sur bras sériels. Le Franka Emika Panda (7 DOF) est devenu un banc de test standard de la communauté académique, utilisé par des dizaines d'équipes dans le monde. Dans ce paysage, iCEM+TL se positionne en dehors des approches VLA (Vision-Language-Action) comme pi0 de Physical Intelligence ou des policies à diffusion qui dominent actuellement les benchmarks de référence tels que RLBench. La suite naturelle serait de tester le framework sur des tâches à horizon plus long, sur d'autres morphologies de robots, et de comparer formellement les gains de temps d'entraînement face aux baselines RL modernes.

RecherchePaper
1 source
Basse fidélité suffit : transfert simulation-réel sans apprentissage préalable pour le contrôle d'un poisson robotique
4arXiv cs.RO 

Basse fidélité suffit : transfert simulation-réel sans apprentissage préalable pour le contrôle d'un poisson robotique

Des chercheurs montrent qu'un simulateur volontairement sommaire suffit pour entraîner le contrôleur d'un poisson robotique souple, qui fonctionne ensuite sur le matériel sans aucun réglage. La plateforme est un poisson mou à moteur unique, actionné par tendon et sous-actionné. Son modèle de fluide est quasi statique et sans mémoire : il ne modélise ni sillage ni historique de masse ajoutée. La politique apprise n'observe que ce que le matériel peut mesurer. Elle ne commande pas la queue directement. Elle passe par un générateur de trajectoire rythmique à bande limitée. Le simulateur est calé en deux étapes d'identification indépendantes, l'une pour la dynamique de la queue, l'autre pour le modèle de fluide sans état. Déployée telle quelle dans un bassin extérieur, une seule politique en boucle fermée atteint des cibles, rejette des perturbations, et acquiert puis suit des cibles hors distribution. L'étude est publiée sur arXiv (2609.36993). Elle ne donne ni vitesses, ni taux de réussite chiffrés, ni nombre d'essais dans son résumé. Le résultat va à l'encontre de l'idée courante selon laquelle un bon transfert simulation-réalité exige une simulation de plus en plus fidèle, donc de plus en plus coûteuse, en particulier pour les fluides. Les auteurs attribuent le transfert à une contrainte plutôt qu'à la fidélité : le générateur ne peut pas sortir de la bande de fréquences sur laquelle le fluide a été identifié, si bien que la politique ne rencontre jamais de régimes où le modèle simplifié serait faux. Une partie de la physique se trouve ainsi dans la structure du contrôleur et non dans le simulateur. Pour les intégrateurs et les équipes de R&D en robotique sous-marine ou souple, cela pourrait réduire le coût d'entraînement, mais rien ne dit encore que l'approche vaut hors de cette bande de fonctionnement. Un seul robot a été testé, dans un bassin extérieur, et non en milieu ouvert avec courants, vagues ou turbulences. Le résumé ne compare pas non plus la méthode à des simulateurs à haute fidélité ou à la randomisation de domaine. Ce travail s'inscrit dans une limite connue de la robotique sous-marine : les capacités des contrôleurs freinent les tâches complexes. Les poissons souples sont difficiles à modéliser, car l'interaction fluide-structure est coûteuse à simuler. Les arbitrages classiques opposent la précision des solveurs CFD (mécanique des fluides numérique) à la vitesse d'un entraînement par apprentissage par renforcement. Les auteurs posent en conclusion la question de la part de physique qui peut résider dans le contrôleur plutôt que dans le simulateur. Il s'agit d'un résultat de laboratoire, pas d'un produit ni d'un déploiement commercial, et le résumé n'annonce ni pilote ni calendrier. Les suites logiques seraient de tester d'autres morphologies, des bandes de fréquences plus larges et des conditions d'eau moins contrôlées.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source