Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
FORGE : généraliser l'utilisation fonctionnelle d'outils par raisonnement sur trajectoires de points clés
RecherchearXiv cs.RO43min

FORGE : généraliser l'utilisation fonctionnelle d'outils par raisonnement sur trajectoires de points clés

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (arXiv:2607.05780) un système baptisé FORGE, conçu pour résoudre un problème concret de la robotique manipulatrice : un robot entraîné à utiliser un outil précis échoue généralement à transférer cette compétence à un objet différent partageant pourtant la même fonction, par exemple utiliser une pierre ou une chaussure pour planter un clou comme le ferait un humain. Les chercheurs ont testé plusieurs représentations intermédiaires (images d'affordance, vidéos de démonstration humaine, trajectoires de points-clés en 2D) et retiennent les trajectoires de points-clés comme le meilleur compromis entre expressivité fonctionnelle et capacité à être traduites en actions robotiques. FORGE fonctionne en deux étapes distinctes : d'abord prédire des trajectoires de points-clés génériques à partir de données sans action associée, puis les ancrer en commandes motrices concrètes grâce à un nombre limité de démonstrations. Sur un banc d'essai de sept outils dédié à une tâche de type "frapper pour enfoncer", la méthode dépasse les approches de référence sur des outils jamais vus, en simulation comme en conditions réelles, avec plus du double du taux de réussite moyen.

Cette avancée cible un verrou connu des politiques d'apprentissage par imitation et des modèles vision-langage-action (VLA) : la plupart généralisent mal dès qu'un outil change de forme, même si sa fonction reste identique. Pour les intégrateurs qui envisagent des robots humanoïdes ou des bras manipulateurs en environnement non structuré, où l'outil disponible n'est pas toujours celui prévu, cette capacité d'improvisation fonctionnelle est un prérequis pour sortir de la démonstration contrôlée et aller vers un déploiement réel.

FORGE s'inscrit dans une tendance de recherche plus large visant à découpler le raisonnement de haut niveau de l'exécution motrice, une logique que l'on retrouve dans des systèmes comme GR00T N2, Pi-0 ou Helix, qui cherchent tous à réduire la dépendance à des démonstrations robotiques coûteuses en s'appuyant sur des données vidéo ou des données sans action. Il s'agit ici d'un travail académique publié en préprint, sans partenaire industriel identifié ni déploiement annoncé : la prochaine étape logique serait d'étendre la validation au-delà de ce banc d'essai de sept outils vers des tâches de manipulation plus variées.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

Utilisation créative d'outils par raisonnement contrefactuel
1arXiv cs.RO 

Utilisation créative d'outils par raisonnement contrefactuel

Des chercheurs ont déposé en mai 2025 sur arXiv (arXiv:2605.05411) un framework de raisonnement causal destiné à l'utilisation créative d'outils par les robots. L'objectif est de permettre à un système robotique d'identifier et d'exploiter des objets comme outils, même lorsque ceux-ci ne sont pas conçus pour la tâche en question. Le pipeline repose sur deux composants complémentaires : une suggestion de caractéristiques (features) par un modèle de vision-langage (VLM), et une génération contrefactuelle d'outils via des perturbations ciblées sur les propriétés géométriques et physiques de l'objet. Une fois les relations causales identifiées dans un modèle de dynamique simulé, les nouveaux objets sont classifiés selon ces features causales, et le transfert de compétence se fait par keypoint matching conditionné sur ces mêmes caractéristiques. Les démonstrations expérimentales incluent l'atteinte d'un objet distant avec différents bâtons, la collecte de bonbons dans un bol avec divers ustensiles, et l'utilisation de caisses comme plateformes pour atteindre un objet en hauteur. L'approche est notable car elle découple explicitement la découverte causale de l'exécution motrice, là où les pipelines VLA (Vision-Language-Action) de type Pi-0 ou GR00T N2 apprennent ces deux aspects conjointement depuis de grandes quantités de données de démonstration. En ancrant la sélection d'outil dans la physique du problème plutôt que dans des corrélations statistiques, le framework prétend offrir une meilleure généralisation à des objets non vus lors de l'entraînement. Les comparaisons avec des baselines montrent que l'identification de features causales améliore à la fois la fiabilité de la sélection d'outil et la qualité du transfert de compétence par keypoints. Pour un intégrateur industriel, cela représente une piste concrète pour réduire la dépendance aux grandes bases de données de démonstration et faciliter l'adaptation à des environnements non structurés, un point de friction majeur dans les déploiements actuels. Ce travail s'inscrit dans un courant de recherche qui cherche à introduire du raisonnement causal explicite dans la robotique manipulatoire, en réaction aux limites de généralisation des approches purement end-to-end. Des équipes comme celles de DeepMind (avec RoboCat) ou Stanford (avec la série LEROBOT) explorent également des mécanismes de transfert, mais avec des architectures plus orientées données. La génération contrefactuelle d'outils rappelle des travaux antérieurs sur l'analogie structurelle en planification symbolique, ici traduite dans un espace physique continu. À ce stade, le framework est présenté sous forme de préprint sans déploiement industriel annoncé ; les expériences restent en environnement contrôlé, et les métriques de robustesse en conditions réelles ne sont pas encore publiées.

RecherchePaper
1 source
Gradients fonctionnels naturels pour l'optimisation de trajectoires fluides
2arXiv cs.RO 

Gradients fonctionnels naturels pour l'optimisation de trajectoires fluides

Une équipe de chercheurs a soumis sur arXiv (référence 2605.28202, mai 2026) un framework d'optimisation de trajectoire pour la manipulation robotique dans des environnements encombrés ou à passages étroits. La méthode introduit ce que les auteurs nomment des "gradients fonctionnels naturels" : plutôt que d'opérer dans un espace discret de waypoints, les mises à jour sont calculées directement dans l'espace fonctionnel, découplant la régularité de la trajectoire du pas de discrétisation temporelle. L'algorithme optimise un objectif lissé par noyau gaussien et emploie un estimateur Monte-Carlo du gradient naturel, ce qui le rend utilisable sans gradients analytiques, un avantage déterminant lorsque la détection de collision ou les simulations à contacts riches empêchent toute différentiation exacte. Les expériences portent sur des tâches de manipulation contrainte aux dégagements géométriques étroits. Pour un intégrateur ou un ingénieur en manipulation, l'apport concret réside dans la capacité à produire des trajectoires faisables là où des planificateurs établis comme CHOMP, TrajOpt ou GPMP2 peinent à converger ou génèrent des mouvements saccadés. La compatibilité "boîte noire" avec n'importe quel simulateur de contacts ouvre également la voie à une intégration dans des pipelines sim-to-real existants sans modifier le moteur physique sous-jacent. Les résultats présentés montrent une amélioration mesurable de la faisabilité et du lissé par rapport à ces baselines, bien que le préprint ne soit pas encore soumis à comité de lecture et que les conditions précises d'évaluation restent à examiner de façon indépendante. L'optimisation de trajectoire est un problème central depuis CHOMP (2009) et TrajOpt (2013) ; l'idée de gradient naturel, issue des travaux d'Amari en apprentissage statistique, n'avait pas encore été formalisée dans l'espace fonctionnel des trajectoires robotiques. Ce travail s'inscrit dans une dynamique active où les méthodes d'optimisation classique doivent maintenir leur pertinence face aux politiques diffusion et aux VLA (Vision-Language-Action models, modèles action guidés par le langage et la vision), qui représentent aujourd'hui une approche concurrente croissante pour la manipulation en espace contraint. Le code source et les vidéos de démonstration sont accessibles sur la page projet des auteurs ; une soumission à ICRA, IROS ou CoRL constituerait la prochaine étape naturelle de validation.

RecherchePaper
1 source
Sur les capacités de généralisation, les choix de conception et les limites de l'apprentissage par imitation de points clés
3arXiv cs.RO 

Sur les capacités de généralisation, les choix de conception et les limites de l'apprentissage par imitation de points clés

Une équipe de chercheurs publie en mai 2026 sur arXiv (arXiv:2605.26649) une évaluation systématique du Keypoint Imitation Learning (KIL), méthode d'apprentissage par imitation pour la manipulation robotique. Le principe : plutôt que d'alimenter directement un modèle avec des images RGB brutes, on extrait d'abord des points-clés visuels via des modèles fondationnels (de type DINOv2 ou SAM), utilisés comme représentation intermédiaire compacte. Sur plus de 2 000 exécutions réelles couvrant cinq tâches de manipulation distinctes, le KIL atteint un taux de succès global de 75 %, contre 47 % pour la baseline RGB pure, et légèrement au-dessus de S2-diffusion (73 %), méthode concurrente fondée sur la diffusion. L'étude teste également la généralisation à des objets et configurations de scène inédits, et étend la méthode aux tâches impliquant plusieurs instances d'un même objet. Ce résultat consolide le KIL comme approche data-efficiente : moins de démonstrations humaines sont nécessaires pour atteindre une performance correcte, ce qui est un levier critique pour tout intégrateur cherchant à réduire le coût d'annotation en manipulation industrielle. Cependant, les auteurs tempèrent eux-mêmes l'enthousiasme : le KIL ne surpasse pas systématiquement les représentations alternatives sur l'ensemble des métriques, et hérite des limitations des modèles fondationnels utilisés pour l'extraction des points-clés, notamment la sensibilité aux occultations et aux ambiguïtés multi-instances. Les 75 % annoncés couvrent cinq tâches sans détail des conditions exactes de chaque scénario, et les vidéos disponibles sur le site compagnon restent des démonstrations sélectionnées, pas une validation en production. L'apprentissage par imitation à base de RGB souffre depuis plusieurs années d'une faible généralisation hors distribution, ce qui a stimulé des travaux sur les représentations intermédiaires : keypoints, poses 6D, champs de distance implicites. Côté positionnement concurrentiel, les approches par diffusion (Diffusion Policy, S2-diffusion) et les VLA (Vision-Language-Action, dont OpenVLA ou pi-0 de Physical Intelligence) dominent actuellement la recherche en manipulation dextère. Le KIL se positionne comme alternative plus légère et plus interprétable, sans prétendre détrôner ces approches sur les tâches complexes. Les auteurs indiquent comme suites l'extension à des scènes plus encombrées et la robustification de l'extraction de keypoints face aux imperfections des modèles fondationnels.

RecherchePaper
1 source
Robometer : mise à l'échelle des modèles de récompense robotique généralistes par comparaison de trajectoires
4arXiv cs.RO 

Robometer : mise à l'échelle des modèles de récompense robotique généralistes par comparaison de trajectoires

Des chercheurs ont publié Robometer, un cadre de modélisation de récompense (reward model) généraliste pour robots, conçu pour s'entraîner sur de grands datasets incluant des trajectoires échouées et sous-optimales. Le système repose sur un double objectif d'apprentissage : une perte de progression par frame ancrée sur des données expertes, et une perte de comparaison de préférences entre trajectoires imposant des contraintes d'ordonnancement global entre différentes exécutions d'une même tâche. Pour soutenir cette approche à grande échelle, les auteurs ont constitué RBM-1M, un dataset dédié à l'apprentissage de récompenses comprenant plus d'un million de trajectoires couvrant des robots de morphologies et de tâches variées, avec une fraction substantielle de données sous-optimales et d'échecs avérés. Le code, les poids du modèle et des vidéos sont accessibles sur robometer.github.io. L'enjeu est de surmonter la limitation fondamentale des reward models actuels, entraînés à prédire la progression absolue d'une tâche uniquement depuis des démonstrations expertes, ce qui confère une supervision purement locale et se révèle peu scalable face aux vastes datasets robotiques peuplés de trajectoires ratées ou imparfaites. Robometer exploite les comparaisons inter-trajectoires comme signal de supervision global, permettant d'extraire de l'information utile même des séquences d'échec et de lever l'ambiguïté de l'assignation de labels de progression denses. Ce changement de paradigme est significatif pour les praticiens : si les gains annoncés sur benchmarks et évaluations en conditions réelles se confirment indépendamment, les coûts de curation de données pour l'entraînement de politiques robotiques pourraient être substantiellement réduits. La modélisation de récompenses à grande échelle est un problème ouvert depuis plusieurs années dans la communauté robotique, avec des approches comme EUREKA d'NVIDIA ou les variantes robotiques du RLHF (Reinforcement Learning from Human Feedback) qui cherchent toutes à réduire la dépendance à l'annotation humaine dense. Robometer se positionne comme une alternative généraliste et multi-embodiment, sans être lié à une architecture ou un robot spécifique. Les suites naturelles incluent l'intégration dans des pipelines VLA (Vision-Language-Action), où la qualité du signal de récompense conditionne directement la généralisabilité des politiques apprises à l'échelle ; l'ouverture du code et des poids rend désormais possible des validations indépendantes, condition nécessaire pour confirmer les bénéfices au-delà du cadre expérimental des auteurs.

RechercheOpinion
1 source