Aller au contenu principal
FORGE : généraliser l'utilisation fonctionnelle d'outils par raisonnement sur trajectoires de points clésIllustration générée par IA
RecherchearXiv cs.RO 

FORGE : généraliser l'utilisation fonctionnelle d'outils par raisonnement sur trajectoires de points clés

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de recherche publie sur arXiv (arXiv:2607.05780) un système baptisé FORGE, conçu pour résoudre un problème concret de la robotique manipulatrice : un robot entraîné à utiliser un outil précis échoue généralement à transférer cette compétence à un objet différent partageant pourtant la même fonction, par exemple utiliser une pierre ou une chaussure pour planter un clou comme le ferait un humain. Les chercheurs ont testé plusieurs représentations intermédiaires (images d'affordance, vidéos de démonstration humaine, trajectoires de points-clés en 2D) et retiennent les trajectoires de points-clés comme le meilleur compromis entre expressivité fonctionnelle et capacité à être traduites en actions robotiques. FORGE fonctionne en deux étapes distinctes : d'abord prédire des trajectoires de points-clés génériques à partir de données sans action associée, puis les ancrer en commandes motrices concrètes grâce à un nombre limité de démonstrations. Sur un banc d'essai de sept outils dédié à une tâche de type "frapper pour enfoncer", la méthode dépasse les approches de référence sur des outils jamais vus, en simulation comme en conditions réelles, avec plus du double du taux de réussite moyen.

Cette avancée cible un verrou connu des politiques d'apprentissage par imitation et des modèles vision-langage-action (VLA) : la plupart généralisent mal dès qu'un outil change de forme, même si sa fonction reste identique. Pour les intégrateurs qui envisagent des robots humanoïdes ou des bras manipulateurs en environnement non structuré, où l'outil disponible n'est pas toujours celui prévu, cette capacité d'improvisation fonctionnelle est un prérequis pour sortir de la démonstration contrôlée et aller vers un déploiement réel.

FORGE s'inscrit dans une tendance de recherche plus large visant à découpler le raisonnement de haut niveau de l'exécution motrice, une logique que l'on retrouve dans des systèmes comme GR00T N2, Pi-0 ou Helix, qui cherchent tous à réduire la dépendance à des démonstrations robotiques coûteuses en s'appuyant sur des données vidéo ou des données sans action. Il s'agit ici d'un travail académique publié en préprint, sans partenaire industriel identifié ni déploiement annoncé : la prochaine étape logique serait d'étendre la validation au-delà de ce banc d'essai de sept outils vers des tâches de manipulation plus variées.

À lire aussi

Gradients fonctionnels naturels pour l'optimisation de trajectoires fluides
Illustration générée par IA
1arXiv cs.RO 

Gradients fonctionnels naturels pour l'optimisation de trajectoires fluides

Une équipe de chercheurs a soumis sur arXiv (référence 2605.28202, mai 2026) un framework d'optimisation de trajectoire pour la manipulation robotique dans des environnements encombrés ou à passages étroits. La méthode introduit ce que les auteurs nomment des "gradients fonctionnels naturels" : plutôt que d'opérer dans un espace discret de waypoints, les mises à jour sont calculées directement dans l'espace fonctionnel, découplant la régularité de la trajectoire du pas de discrétisation temporelle. L'algorithme optimise un objectif lissé par noyau gaussien et emploie un estimateur Monte-Carlo du gradient naturel, ce qui le rend utilisable sans gradients analytiques, un avantage déterminant lorsque la détection de collision ou les simulations à contacts riches empêchent toute différentiation exacte. Les expériences portent sur des tâches de manipulation contrainte aux dégagements géométriques étroits. Pour un intégrateur ou un ingénieur en manipulation, l'apport concret réside dans la capacité à produire des trajectoires faisables là où des planificateurs établis comme CHOMP, TrajOpt ou GPMP2 peinent à converger ou génèrent des mouvements saccadés. La compatibilité "boîte noire" avec n'importe quel simulateur de contacts ouvre également la voie à une intégration dans des pipelines sim-to-real existants sans modifier le moteur physique sous-jacent. Les résultats présentés montrent une amélioration mesurable de la faisabilité et du lissé par rapport à ces baselines, bien que le préprint ne soit pas encore soumis à comité de lecture et que les conditions précises d'évaluation restent à examiner de façon indépendante. L'optimisation de trajectoire est un problème central depuis CHOMP (2009) et TrajOpt (2013) ; l'idée de gradient naturel, issue des travaux d'Amari en apprentissage statistique, n'avait pas encore été formalisée dans l'espace fonctionnel des trajectoires robotiques. Ce travail s'inscrit dans une dynamique active où les méthodes d'optimisation classique doivent maintenir leur pertinence face aux politiques diffusion et aux VLA (Vision-Language-Action models, modèles action guidés par le langage et la vision), qui représentent aujourd'hui une approche concurrente croissante pour la manipulation en espace contraint. Le code source et les vidéos de démonstration sont accessibles sur la page projet des auteurs ; une soumission à ICRA, IROS ou CoRL constituerait la prochaine étape naturelle de validation.

RecherchePaper
1 source
Sélection optimale du point de fonctionnement pour la planification de trajectoire par linéarisation unique de bras robotiques non linéaires
Illustration générée par IA
2arXiv cs.RO 

Sélection optimale du point de fonctionnement pour la planification de trajectoire par linéarisation unique de bras robotiques non linéaires

Des chercheurs proposent une méthode hors ligne pour choisir le point de linéarisation unique utilisé dans la planification de trajectoire de bras manipulateurs non linéaires, publiée sur arXiv (2611.18935). Le principe : plutôt que de fixer arbitrairement le point de linéarisation au début, au milieu ou à la fin du mouvement, ils le traitent comme une variable d'optimisation. Des points candidats sont échantillonnés le long d'une trajectoire cubique de référence commune, et chacun génère un modèle affine servant à résoudre un même programme quadratique (QP) contraint à horizon fini. Les séquences de commande obtenues sont ensuite exécutées sur la dynamique non linéaire réelle, et le point qui minimise l'objectif de trajectoire non linéaire est retenu, par recherche sur grille puis raffinement borné. L'évaluation porte sur quatre mouvements point à point d'un UR5 limité à trois degrés de liberté. Les positions optimales, exprimées en valeur normalisée le long de la trajectoire, se situent entre 0,325 et 0,935. Face à la meilleure des linéarisations conventionnelles (initiale, médiane ou terminale), l'approche réduit l'objectif de 17 à 18 %, 21 à 22 %, 37 à 38 % et 7 à 8 % selon les quatre tâches. Un test complémentaire avec correction par retour PID identique, sur une tâche représentative, indique que l'avantage persiste. L'intérêt est surtout méthodologique, mais il est concret pour les intégrateurs et les équipes de contrôle. La linéarisation en un seul point garde le planificateur léger : un QP convexe se résout vite et de façon prévisible, ce qui compte sur des contrôleurs embarqués ou des cellules à cadence élevée. Les résultats montrent que le choix du point, souvent fait par défaut, pèse lourd sur la qualité : le fait que l'optimum varie entre 0,325 et 0,935 selon la tâche invalide l'heuristique du point médian ou terminal. Le gain atteint 37 à 38 % sur l'une des tâches, sans changer le modèle de planification ni son coût de calcul en ligne, puisque la sélection est faite hors ligne. Il faut toutefois relativiser : la validation se limite à quatre mouvements, à un seul robot réduit à trois DOF et, pour la partie PID, à une seule tâche. Rien n'indique encore la tenue sur un six axes complet, avec charge variable, perturbations ou contraintes de collision. Il s'agit d'un résultat de simulation, pas d'un déploiement. Ce travail s'inscrit dans la longue tradition de la commande prédictive linéarisée et des méthodes de type programmation quadratique séquentielle ou iLQR, qui re-linéarisent à chaque itération et offrent une meilleure fidélité au prix d'un calcul plus lourd. La linéarisation unique se place à l'opposé, comme compromis de simplicité, et cette étude cherche à en extraire le maximum. Elle reste éloignée des approches apprises (politiques VLA, apprentissage par renforcement) qui occupent l'actualité des humanoïdes, mais répond au même besoin : des trajectoires fiables et peu coûteuses en calcul sur du matériel industriel standard, ici un UR5 d'Universal Robots. Les suites logiques seraient une extension aux six DOF, une comparaison directe avec des méthodes à ré-linéarisation multiple, et une sélection du point adaptée à chaque tâche, voire apprise, pour éviter la recherche sur grille.

RecherchePaper
1 source
GraphPoint : graphes d'entités sémantiques et trajectoires de points pour la manipulation robotique compositionnelle
Illustration générée par IA
3arXiv cs.RO 

GraphPoint : graphes d'entités sémantiques et trajectoires de points pour la manipulation robotique compositionnelle

Un article déposé sur arXiv (référence 2609.18358) début septembre 2026 présente GraphPoint, une méthode de manipulation robotique associée à un nouveau benchmark baptisé CoMani. Le travail part d'un constat répandu en robotique : les politiques de manipulation entraînées par apprentissage peinent à généraliser au-delà de leurs démonstrations, même quand une nouvelle instruction combine des objets et des comportements déjà vus séparément. Les auteurs expliquent que lorsque langage et scène visuelle sont trop fortement corrélés pendant l'entraînement, la politique finit par mémoriser un mapping visuo-moteur fixe au lieu de réellement suivre l'instruction donnée. CoMani propose des scènes initiales appariées et des variations contrôlées portant sur un seul facteur sémantique à la fois, afin de forcer les modèles évalués à s'appuyer sur le langage plutôt que sur des raccourcis visuels. Deux niveaux de généralisation compositionnelle sont testés : à l'intérieur d'une sous-tâche, en recombinant entités, types d'action et modificateurs déjà connus, et entre sous-tâches, en réutilisant des comportements appris dans des tâches longues et inédites. GraphPoint, la méthode proposée, relie des graphes d'entités sémantiques à un contrôle géométrique en prédisant la trajectoire future du point de préhension du gripper, convertie ensuite en commandes moteur via la géométrie du robot ; le gripper et les objets sont organisés par rôles sémantiques et leurs interactions conditionnées par le type et le modificateur d'action demandés, tandis qu'une estimation de progression guide les transitions entre étapes. L'enjeu dépasse la seule démonstration technique : il touche directement le problème de l'écart entre performance affichée sur des tâches déjà vues et robustesse réelle en usage, un point sensible pour tout intégrateur évaluant une politique vision-langage-action avant déploiement industriel. En isolant précisément si un modèle suit l'instruction ou reconnaît simplement une scène mémorisée, CoMani offre aux équipes de recherche un outil de diagnostic plus rigoureux que les démonstrations vidéo sélectionnées qui dominent souvent la communication du secteur autour des capacités de généralisation. Le papier s'inscrit dans la vague récente de benchmarks cherchant à mesurer la généralisation compositionnelle des politiques de manipulation plutôt que leur seule réussite sur des tâches figées. Les auteurs indiquent que le code sera publié en accès libre sous le nom GraphPoint, sans préciser de calendrier ni d'institution porteuse. Aucun partenariat industriel, déploiement réel ou chiffre de performance chiffré au-delà des résultats d'ablation sur CoMani n'est mentionné à ce stade, ce qui situe cette publication au stade de la recherche amont plutôt que du produit commercialisable.

RecherchePaper
1 source
Sur les capacités de généralisation, les choix de conception et les limites de l'apprentissage par imitation de points clés
Illustration générée par IA
4arXiv cs.RO 

Sur les capacités de généralisation, les choix de conception et les limites de l'apprentissage par imitation de points clés

Une équipe de chercheurs publie en mai 2026 sur arXiv (arXiv:2605.26649) une évaluation systématique du Keypoint Imitation Learning (KIL), méthode d'apprentissage par imitation pour la manipulation robotique. Le principe : plutôt que d'alimenter directement un modèle avec des images RGB brutes, on extrait d'abord des points-clés visuels via des modèles fondationnels (de type DINOv2 ou SAM), utilisés comme représentation intermédiaire compacte. Sur plus de 2 000 exécutions réelles couvrant cinq tâches de manipulation distinctes, le KIL atteint un taux de succès global de 75 %, contre 47 % pour la baseline RGB pure, et légèrement au-dessus de S2-diffusion (73 %), méthode concurrente fondée sur la diffusion. L'étude teste également la généralisation à des objets et configurations de scène inédits, et étend la méthode aux tâches impliquant plusieurs instances d'un même objet. Ce résultat consolide le KIL comme approche data-efficiente : moins de démonstrations humaines sont nécessaires pour atteindre une performance correcte, ce qui est un levier critique pour tout intégrateur cherchant à réduire le coût d'annotation en manipulation industrielle. Cependant, les auteurs tempèrent eux-mêmes l'enthousiasme : le KIL ne surpasse pas systématiquement les représentations alternatives sur l'ensemble des métriques, et hérite des limitations des modèles fondationnels utilisés pour l'extraction des points-clés, notamment la sensibilité aux occultations et aux ambiguïtés multi-instances. Les 75 % annoncés couvrent cinq tâches sans détail des conditions exactes de chaque scénario, et les vidéos disponibles sur le site compagnon restent des démonstrations sélectionnées, pas une validation en production. L'apprentissage par imitation à base de RGB souffre depuis plusieurs années d'une faible généralisation hors distribution, ce qui a stimulé des travaux sur les représentations intermédiaires : keypoints, poses 6D, champs de distance implicites. Côté positionnement concurrentiel, les approches par diffusion (Diffusion Policy, S2-diffusion) et les VLA (Vision-Language-Action, dont OpenVLA ou pi-0 de Physical Intelligence) dominent actuellement la recherche en manipulation dextère. Le KIL se positionne comme alternative plus légère et plus interprétable, sans prétendre détrôner ces approches sur les tâches complexes. Les auteurs indiquent comme suites l'extension à des scènes plus encombrées et la robustification de l'extraction de keypoints face aux imperfections des modèles fondationnels.

RecherchePaper
1 source