RecherchearXiv cs.RO 8 mai 2026

Utilisation créative d'outils par raisonnement contrefactuel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont déposé en mai 2025 sur arXiv (arXiv:2605.05411) un framework de raisonnement causal destiné à l'utilisation créative d'outils par les robots. L'objectif est de permettre à un système robotique d'identifier et d'exploiter des objets comme outils, même lorsque ceux-ci ne sont pas conçus pour la tâche en question. Le pipeline repose sur deux composants complémentaires : une suggestion de caractéristiques (features) par un modèle de vision-langage (VLM), et une génération contrefactuelle d'outils via des perturbations ciblées sur les propriétés géométriques et physiques de l'objet. Une fois les relations causales identifiées dans un modèle de dynamique simulé, les nouveaux objets sont classifiés selon ces features causales, et le transfert de compétence se fait par keypoint matching conditionné sur ces mêmes caractéristiques. Les démonstrations expérimentales incluent l'atteinte d'un objet distant avec différents bâtons, la collecte de bonbons dans un bol avec divers ustensiles, et l'utilisation de caisses comme plateformes pour atteindre un objet en hauteur.

L'approche est notable car elle découple explicitement la découverte causale de l'exécution motrice, là où les pipelines VLA (Vision-Language-Action) de type Pi-0 ou GR00T N2 apprennent ces deux aspects conjointement depuis de grandes quantités de données de démonstration. En ancrant la sélection d'outil dans la physique du problème plutôt que dans des corrélations statistiques, le framework prétend offrir une meilleure généralisation à des objets non vus lors de l'entraînement. Les comparaisons avec des baselines montrent que l'identification de features causales améliore à la fois la fiabilité de la sélection d'outil et la qualité du transfert de compétence par keypoints. Pour un intégrateur industriel, cela représente une piste concrète pour réduire la dépendance aux grandes bases de données de démonstration et faciliter l'adaptation à des environnements non structurés, un point de friction majeur dans les déploiements actuels.

Ce travail s'inscrit dans un courant de recherche qui cherche à introduire du raisonnement causal explicite dans la robotique manipulatoire, en réaction aux limites de généralisation des approches purement end-to-end. Des équipes comme celles de DeepMind (avec RoboCat) ou Stanford (avec la série LEROBOT) explorent également des mécanismes de transfert, mais avec des architectures plus orientées données. La génération contrefactuelle d'outils rappelle des travaux antérieurs sur l'analogie structurelle en planification symbolique, ici traduite dans un espace physique continu. À ce stade, le framework est présenté sous forme de préprint sans déploiement industriel annoncé ; les expériences restent en environnement contrôlé, et les métriques de robustesse en conditions réelles ne sont pas encore publiées.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

FORGE : généraliser l'utilisation fonctionnelle d'outils par raisonnement sur trajectoires de points clés

Une équipe de recherche publie sur arXiv (arXiv:2607.05780) un système baptisé FORGE, conçu pour résoudre un problème concret de la robotique manipulatrice : un robot entraîné à utiliser un outil précis échoue généralement à transférer cette compétence à un objet différent partageant pourtant la même fonction, par exemple utiliser une pierre ou une chaussure pour planter un clou comme le ferait un humain. Les chercheurs ont testé plusieurs représentations intermédiaires (images d'affordance, vidéos de démonstration humaine, trajectoires de points-clés en 2D) et retiennent les trajectoires de points-clés comme le meilleur compromis entre expressivité fonctionnelle et capacité à être traduites en actions robotiques. FORGE fonctionne en deux étapes distinctes : d'abord prédire des trajectoires de points-clés génériques à partir de données sans action associée, puis les ancrer en commandes motrices concrètes grâce à un nombre limité de démonstrations. Sur un banc d'essai de sept outils dédié à une tâche de type "frapper pour enfoncer", la méthode dépasse les approches de référence sur des outils jamais vus, en simulation comme en conditions réelles, avec plus du double du taux de réussite moyen. Cette avancée cible un verrou connu des politiques d'apprentissage par imitation et des modèles vision-langage-action (VLA) : la plupart généralisent mal dès qu'un outil change de forme, même si sa fonction reste identique. Pour les intégrateurs qui envisagent des robots humanoïdes ou des bras manipulateurs en environnement non structuré, où l'outil disponible n'est pas toujours celui prévu, cette capacité d'improvisation fonctionnelle est un prérequis pour sortir de la démonstration contrôlée et aller vers un déploiement réel. FORGE s'inscrit dans une tendance de recherche plus large visant à découpler le raisonnement de haut niveau de l'exécution motrice, une logique que l'on retrouve dans des systèmes comme GR00T N2, Pi-0 ou Helix, qui cherchent tous à réduire la dépendance à des démonstrations robotiques coûteuses en s'appuyant sur des données vidéo ou des données sans action. Il s'agit ici d'un travail académique publié en préprint, sans partenaire industriel identifié ni déploiement annoncé : la prochaine étape logique serait d'étendre la validation au-delà de ce banc d'essai de sept outils vers des tâches de manipulation plus variées.

RecherchePaper

1 source

2arXiv cs.RO

L'apprentissage par imitation en contexte avec raisonnement visuel

Un article de recherche publié sur arXiv (identifiant 2603.07530v2, version révisée) présente ICLR, pour "In-Context Imitation Learning with Visual Reasoning", une nouvelle méthode d'apprentissage par imitation en contexte pour les robots manipulateurs. Le principe consiste à faire adapter un robot à une nouvelle tâche à partir d'un petit nombre de démonstrations, sans réentraînement du modèle. La nouveauté d'ICLR est d'enrichir les démonstrations avec des traces de raisonnement visuel structurées, c'est-à-dire des trajectoires futures anticipées du robot représentées directement dans l'espace image, plutôt que de se limiter aux seules paires état-action utilisées par les approches existantes. Ces traces de raisonnement et les actions de bas niveau sont apprises conjointement au sein d'un unique transformeur autorégressif, ce qui permet au modèle d'imiter non seulement le geste final mais aussi le cheminement qui y conduit. Les auteurs rapportent des évaluations à la fois en simulation et sur des tâches de manipulation réelles, avec des gains constants en taux de succès et en généralisation face à des tâches inédites et de nouvelles configurations d'objets, comparé aux méthodes d'apprentissage par imitation en contexte existantes. L'enjeu pour l'industrie robotique tient au principal talon d'Achille des systèmes vision-langage-action (VLA) actuels: leur capacité à généraliser au-delà des tâches et objets vus à l'entraînement reste limitée, surtout quand une même séquence de gestes peut correspondre à des intentions différentes selon le contexte. En donnant au modèle une représentation explicite de l'intention, sous forme de trajectoire visuelle anticipée plutôt qu'une simple politique action-état, ICLR s'attaque directement à l'ambiguïté qui bloque le déploiement des robots généralistes en environnement peu structuré. Si les résultats se confirment à plus grande échelle, cela renforcerait l'hypothèse selon laquelle intégrer un raisonnement visuel explicite, plutôt que de scaler uniquement les données de démonstration, est une voie crédible pour rendre les politiques d'apprentissage en contexte plus robustes, un enjeu direct pour les intégrateurs qui cherchent à déployer des bras robotiques capables de s'adapter rapidement à de nouvelles références produits sans campagne de réentraînement coûteuse. Ce travail s'inscrit dans la lignée des recherches récentes sur l'apprentissage par imitation en contexte (in-context imitation learning), un domaine qui cherche à reproduire pour la robotique la flexibilité du few-shot learning observée dans les grands modèles de langage, et fait écho aux efforts plus larges autour des modèles VLA tels que Pi-0 ou GR00T N2, qui tentent eux aussi de combler l'écart entre démonstrations en laboratoire et déploiement réel. L'article ne précise pas d'industriel partenaire ni de calendrier de mise en production; il s'agit d'une contribution académique, acceptée pour la conférence ICLR, dont l'apport reste à ce stade expérimental. La suite logique pour ce type de travaux est généralement une intégration progressive dans des piles logicielles open source de manipulation robotique, avant une éventuelle reprise par des acteurs commerciaux du secteur.

RecherchePaper

1 source

3arXiv cs.RO

Contrôle par planification réactive pour robots mobiles en environnements encombrés d'obstacles

Une équipe de chercheurs a publié en mai 2026 sur arXiv (arXiv:2605.14232v1) une méthode de contrôle de mouvement pour robots mobiles évoluant dans des environnements encombrés d'obstacles. L'approche, baptisée RPCS (Reactive Planning based Control Strategy), s'attaque à un problème classique de la robotique mobile : déplacer un robot d'un point de départ à une cible sans collision, en ne disposant que d'une information partielle sur l'environnement, c'est-à-dire sans carte globale préalable. Le système fonctionne en deux couches combinées : une trajectoire de référence est d'abord tracée en ligne droite entre les deux points, puis un module de planification réactive (RPS) la modifie localement à la volée lorsque des obstacles sont détectés. Un contrôleur de suivi adaptatif (ATCS), basé sur des techniques de discrétisation, assure ensuite l'exécution effective de cette trajectoire potentiellement modifiée. Les résultats présentés s'appuient uniquement sur des simulations numériques, sans validation hardware reportée. L'intérêt de cette architecture réside dans la séparation claire entre planification réactive et contrôle de suivi, ce qui permet théoriquement d'adapter chaque couche indépendamment selon le robot cible. Pour les intégrateurs travaillant sur des AGV ou AMR dans des entrepôts à géométrie variable, la capacité à opérer sans carte globale complète reste un enjeu réel, les approches purement réactives souffrent souvent de blocages locaux, et les approches globales peinent face aux environnements dynamiques. L'ATCS adaptatif suggère une robustesse potentielle aux perturbations de modèle, mais l'absence d'expérimentation physique limite la portée des conclusions à ce stade. Ce travail s'inscrit dans une longue tradition de recherche sur la navigation réactive, depuis les champs de potentiel de Khatib (1986) jusqu'aux approches VFH et DWA largement déployées dans ROS. Les chercheurs ne positionnent pas explicitement leur méthode face aux planificateurs modernes appris (RL, imitation learning) qui commencent à équiper des plateformes commerciales comme Spot de Boston Dynamics ou les AMR de MiR. La prochaine étape naturelle serait une validation sur robot réel en environnement semi-structuré, condition sine qua non pour que la méthode pèse dans le débat industriel.

RecherchePaper

1 source

4arXiv cs.RO

Modélisation dynamique par données d'un robot continu à actionnement tendineux

Des chercheurs associés au CERN publient sur arXiv (arXiv:2605.18720, mai 2025) une étude comparative de méthodes d'identification de systèmes par apprentissage automatique appliquées à un robot continu à actionnement par tendons équipé de joints roulants. Trois approches ont été évaluées : N4SID (identification par sous-espaces), ARX (modèle autorégressif à entrées exogènes) et SINDYc (identification parcimonieuse de dynamiques non linéaires avec contrôle). Le résultat central : malgré le nombre élevé de joints du robot, un modèle dynamique à seulement deux degrés de liberté (2-DDL) suffit à capturer fidèlement le comportement du système, grâce aux fortes dépendances cinématiques entre les joints. Les modèles obtenus ont été validés sur données expérimentales, puis intégrés dans un contrôleur prédictif (MPC) opérant en temps réel. L'enjeu est réel pour quiconque travaille sur le contrôle de robots continus : leur dynamique est réputée difficile à modéliser, dominée par la friction, hautement non linéaire et de dimension élevée. Démontrer qu'un modèle 2-DDL issu de données expérimentales suffit pour piloter un MPC réduit considérablement la complexité d'intégration. Cela ouvre la voie à des boucles de contrôle plus rapides sans requérir de modèles analytiques complets, souvent inaccessibles pour les structures souples. Le robot en question est développé au CERN, probablement pour des applications d'inspection ou de maintenance dans des environnements confinés, domaine où les robots continus rivalisent avec des solutions de Festo Robotics ou des laboratoires comme le BioRobotics Institute de Pise. L'article reste un preprint non encore évalué par les pairs, et les performances du MPC en conditions opérationnelles réelles restent à confirmer.

UELe CERN étant une institution paneuropéenne (Genève, FR/CH), les méthodes présentées, modèle 2-DDL data-driven couplé à un MPC temps réel, intéressent directement les équipes R&D européennes travaillant sur l'inspection robotisée en environnements confinés (nucléaire, ITER, maintenance industrielle).

RecherchePaper

1 source