Actualités robotique — page 17

7 422 articles au fil, du plus récent au plus ancien.

39

801arXiv cs.RO 

PhasePlan : planification ordonnée des phases futures pour les modèles de cerveau de robot

Une équipe de chercheurs propose PhasePlan, une méthode de planification ordonnée des phases futures pour les « robot brain models », ces modèles qui fusionnent vision, langage et état du robot pour générer des actions de manipulation. Le constat de départ est que la plupart de ces modèles prédisent des « action chunks » de longueur fixe, qui peuvent chevaucher plusieurs phases d'une tâche. À partir des observations multimodales courantes, PhasePlan prédit la phase de tâche associée à chaque position d'action future. Les représentations de planification obtenues conditionnent ensuite les actions correspondantes. L'entraînement se fait en deux temps : le planificateur est d'abord appris, puis gelé pendant l'adaptation du modèle d'action, afin de garder des représentations de phase stables. La méthode est instanciée sur le modèle π0.5 pré-entraîné et sur AcrossWAM1.0. L'évaluation quantitative détaillée porte uniquement sur π0.5. Sur une tâche de manipulation sur tapis roulant, l'erreur d'action articulaire hors ligne baisse d'environ 22,5 % par rapport au π0.5 d'origine. Les auteurs rapportent aussi une meilleure modélisation des transitions de phase et de la prédiction d'actions à cheval sur plusieurs phases. L'intérêt tient au défaut visé. Un chunk de longueur fixe mélange des phases hétérogènes (approche, saisie, transport, dépose), ce qui brouille les transitions et pousse le modèle vers les schémas d'action les plus fréquents. En environnement dynamique comme un convoyeur, où le timing du geste compte autant que sa trajectoire, ce biais dégrade la qualité d'exécution. Pour les intégrateurs, la piste est intéressante : elle améliore un VLA existant sans changer d'architecture, par un module de planification gelé. Les résultats appellent toutefois de la prudence. La métrique est une erreur hors ligne sur trajectoires articulaires, pas un taux de réussite en boucle fermée sur robot réel. Une seule tâche est chiffrée, et la seconde instanciation n'est pas quantifiée en détail. Le gain de 22,5 % ne dit donc pas encore s'il se traduit en cadence ou en fiabilité de production. Ce travail s'inscrit dans la lignée des modèles π0 et π0.5 de Physical Intelligence, devenus une base courante pour l'adaptation de politiques VLA, et dans les recherches sur la structure temporelle de la génération d'actions : chunking, hiérarchie de sous-tâches, raisonnement intermédiaire. Il rejoint des approches comme Helix de Figure ou GR00T de NVIDIA, qui séparent planification de haut niveau et contrôle bas niveau, avec ici une planification alignée position par position sur l'horizon d'action. Il s'agit d'un preprint arXiv (2609.39970v1), sans relecture par les pairs, sans déploiement industriel annoncé ni code ou calendrier mentionné dans le résumé. La suite logique serait une validation en boucle fermée sur robot réel, des comparaisons avec d'autres méthodes de chunking adaptatif, et une évaluation chiffrée sur AcrossWAM1.0 et sur des tâches plus variées.

Recherche❖Paper

1 source

39

802arXiv cs.RO 

Dream4ACT : une interface d'action visuelle partagée pour la modélisation vidéo-action multi-morphologies

Dream4ACT, présenté sur arXiv (2609.40153v1), est un modèle du monde conçu pour modéliser conjointement la vidéo et l'action de robots de morphologies différentes. Son principe central est une interface visuelle partagée, baptisée « action views ». Les configurations articulaires cibles du robot sont rendues par cinématique directe à partir du fichier URDF, depuis quatre caméras virtuelles prescrites. Observations et actions prennent ainsi la même forme d'image, ce qui leur permet de partager un autoencodeur vidéo et un transformeur de diffusion (DiT). L'entraînement repose sur du « masked flow-matching ». En choisissant quelles séquences futures sont corrompues, un seul modèle entraîné conjointement assure la dynamique directe, la dynamique inverse et la génération simultanée d'observations et d'actions. Pour obtenir des commandes exécutables à partir des vues d'action prédites, les auteurs proposent un mécanisme de récupération multivue sous contrainte URDF, sans apprentissage et sans décodeur propre à chaque embodiment. Les résultats annoncés sont un taux de succès moyen de 88,98 % sur RoboTwin 2.0 et un score global de 65,66 sur TriWorldBench. L'enjeu est de savoir si les modèles de génération vidéo (VGM), riches en connaissances spatio-temporelles, peuvent servir de base à la commande robotique. Les vecteurs d'action articulaires gênent cet usage, car leur dimension et leur sémantique changent d'un robot à l'autre et ils n'ont pas de structure dans l'espace image. Les visualisations de l'effecteur terminal, elles, ne décrivent pas la configuration complète du bras. Dream4ACT contourne le problème en traitant l'action comme une image, tout en conservant la géométrie articulée propre à chaque robot. Pour un intégrateur ou une équipe de recherche, l'intérêt est de réutiliser un même backbone vidéo pour plusieurs plateformes sans réentraîner un décodeur par morphologie. Les chiffres sont à relativiser : RoboTwin 2.0 est un benchmark en simulation. Rien n'est dit ici sur un transfert sur robot réel, sur la latence d'inférence ni sur les comparaisons avec des politiques VLA établies. Le résultat est une contribution de recherche, pas un produit ni un déploiement. Ce travail s'inscrit dans la montée des « world models » et des approches vidéo-action, qui cherchent à exploiter des modèles génératifs préentraînés plutôt que des politiques entraînées de zéro. Il se place face aux VLA qui prédisent directement des vecteurs d'action, comme Pi-0 ou GR00T, et face aux modèles vidéo conditionnés par l'action, qui restent souvent propres à un seul embodiment. Le score sur TriWorldBench, qualifié de « compétitif » par les auteurs, mesure la prédiction multivue conditionnée par l'action. L'article n'indique ni acteur européen impliqué ni calendrier de suite. Les étapes à surveiller sont la validation sur matériel réel, le passage à des morphologies plus variées (mains dextres, humanoïdes) et la publication de code ou de poids permettant une reproduction indépendante.

Recherche❖Paper

1 source

39

803arXiv cs.RO 

Analyse d'observabilité et calibration en ligne de l'odométrie visuelle-inertielle-roues pour robots mobiles 4WIS4WID

Une nouvelle prépublication arXiv (v1, non évaluée par les pairs) décrit un cadre d'odométrie visuelle-inertielle-roues (VIWO) avec calibration en ligne, conçu pour les robots mobiles à quatre roues indépendamment directrices et motrices (4WIS4WID). Les auteurs dérivent un modèle d'odométrie 2D directement à partir des quatre vitesses d'entraînement et des quatre angles de braquage, en combinant les contraintes de roulement longitudinal et de non-glissement latéral de chaque roue. Ils développent aussi un modèle de préintégration et des jacobiens analytiques, afin de rendre le filtrage et la calibration efficaces. La validation repose sur des simulations et sur des essais réels avec un robot 4WIS4WID. L'abstract ne fournit ni erreur de positionnement, ni durée d'essai, ni nom de plateforme, ni comparaison chiffrée avec d'autres méthodes. L'apport principal est théorique, mais il touche un point sensible de la mobilité industrielle. Les bases 4WIS4WID, très manœuvrantes et capables de déplacements latéraux ou diagonaux, équipent de nombreux AMR et manipulateurs mobiles. Leurs décalages de braquage, rarement connus avec précision, dégradent l'odométrie. L'analyse d'observabilité montre qu'un modèle utilisant seulement les vitesses d'entraînement rend tous les décalages de braquage inobservables. Le modèle redondant proposé, qui exploite aussi le non-glissement latéral, les rend observables. Les auteurs identifient quatre directions inobservables classiques des systèmes visuels-inertiels et trois directions supplémentaires liées au placement arbitraire du repère d'odométrie. Il reste treize paramètres intrinsèques de roues à calibrer. Ils précisent aussi les mouvements dégénérés (vitesse de lacet nulle, braquage constant, roue qui ne roule pas) et les conditions d'excitation correspondantes. Pour un intégrateur, cela définit des trajectoires de calibration à exécuter en production et des situations où l'estimation devient peu fiable. Faute de métriques publiées dans le résumé, le gain réel en précision reste à confirmer à la lecture de l'article complet. Ce travail s'inscrit dans la lignée de la fusion visuelle-inertielle (VINS) étendue aux capteurs de roues, déjà étudiée pour les bases différentielles ou de type voiture, bien plus que pour les architectures à braquage indépendant. Il comble un vide à mesure que ces plateformes se généralisent dans les entrepôts et les usines. Aucun acteur commercial, aucun calendrier de déploiement ni aucune publication de code ne sont mentionnés dans l'abstract. Les prochaines étapes probables sont des évaluations sur davantage de plateformes, des comparaisons avec des méthodes de référence et une éventuelle intégration dans les piles de navigation open source.

Recherche❖Paper

1 source

39

804arXiv cs.RO 

CEER2 : compliance directionnelle et réglable de l'effecteur final et de la base pour la loco-manipulation humanoïde

Des chercheurs publient CEER2, un cadre de contrôle de compliance pour la manipulation et la locomotion de robots humanoïdes (loco-manipulation), décrit dans un preprint arXiv (2609.38709). Le système combine deux briques. La première est une compliance directionnelle et réglable des effecteurs (EE, les mains ou les pinces), c'est-à-dire une raideur qui varie selon l'axe : le robot peut céder à une force de contact dans une direction tout en gardant sa précision de mouvement dans une autre. La seconde est une compliance sélectionnable du tronc (« root »), qui permet à la base du robot soit de rejeter une force externe, soit de la suivre. L'architecture est hiérarchique : un contrôleur d'apprentissage par renforcement module, par des commandes de haut niveau sur les effecteurs et le tronc, une politique de suivi de mouvement du corps entier qui reste figée. Les forces d'interaction ne sont pas mesurées par des capteurs dédiés. Elles sont estimées à partir de l'historique proprioceptif. Les essais, en simulation puis sur un humanoïde réel, couvrent le contrôle directionnel de la raideur, son ajustement en ligne, des comportements distincts du tronc, la manipulation compliante et le portage collaboratif. Le résumé ne précise ni le modèle de robot, ni les valeurs de raideur, ni les taux de réussite. L'enjeu est concret pour l'industrie. Les humanoïdes savent de mieux en mieux reproduire des mouvements complexes du corps entier, mais le contact physique reste le point faible : essuyer une surface, insérer une pièce, ouvrir une porte ou porter une charge avec un opérateur exigent de répondre à la force sans perdre la trajectoire utile. L'estimation de force par proprioception, sans capteurs force-couple aux poignets, pourrait réduire le coût et la fragilité du matériel, ce qui compte pour un intégrateur. Le fait de ne pas réentraîner la politique de base, mais de la moduler par une couche supérieure, laisse aussi espérer une réutilisation sur d'autres tâches. Deux réserves s'imposent. Il s'agit d'un preprint sans validation par les pairs, et la démonstration sur une seule plateforme ne dit rien de la robustesse sur des cycles longs, avec des charges variées ou en environnement industriel non contrôlé. Ce travail s'inscrit dans un mouvement plus large où les politiques de suivi de mouvement appris (reinforcement learning en simulation, transfert au réel) ont rendu la locomotion humanoïde fiable, et où l'interaction avec les forces devient le front suivant. Il rejoint les recherches sur le contrôle d'impédance appris, la loco-manipulation de corps entier et les modèles vision-langage-action (VLA) qui dominent les annonces des acteurs commerciaux, souvent peu explicites sur la gestion du contact. Les auteurs mettent en avant le portage collaboratif humain-robot, cas d'usage pertinent pour la logistique et l'assistance. Les suites probables sont des tests sur des tâches contact-riches plus longues, des comparaisons chiffrées avec des contrôleurs classiques d'impédance ou d'admittance, et une intégration avec des politiques de haut niveau.

Recherche❖Paper

1 source

39

805arXiv cs.RO 

Retargeting de mouvement à dense résolution temporelle pour robots à pattes

Une équipe de chercheurs publie sur arXiv (v1, septembre 2026) une méthode baptisée DTMR (Dense Temporal Motion Retargeting) pour adapter à des robots à pattes des mouvements issus d'humains ou d'animaux. Le problème visé est l'écart morphologique entre la source et le robot : une réception de saut ou un temps de vol humain ne sont pas réalisables tels quels par une machine aux masses, couples et inerties différents. Les approches classiques corrigent soit la géométrie, soit le timing, soit les deux en séquence. DTMR optimise le timing et le contrôle dans un seul problème, et le terme « dense » signifie que le tempo est ajusté à chaque pas de contrôle. Le problème est résolu par un MPC (commande prédictive) à échantillonnage, exécuté en parallèle sur GPU. L'évaluation porte sur deux heures de mouvements humains retargetés sur quatre robots humanoïdes. Les auteurs affirment que DTMR surpasse les méthodes de référence, surtout sur les mouvements dynamiques. À budget de déformation temporelle égal, il retargete plus précisément qu'une base qui optimise aussi la dimension temporelle, avec un calcul environ 19 fois plus rapide. Des politiques entraînées sur ces références ont été transférées sur un humanoïde réel. L'intérêt tient à la place de cette étape dans la chaîne de production des comportements humanoïdes. Les politiques apprises par imitation ou par renforcement, qu'elles soient en simulation ou destinées au déploiement, dépendent de la qualité des trajectoires de référence. Si un saut est mal cadencé, la politique apprend soit à compenser par des artefacts, soit échoue. Ne déformer le temps que là où c'est nécessaire préserve le reste du mouvement, ce qui compte pour les gestes expressifs ou les tâches de loco-manipulation. Le gain d'un facteur 19 réduit le coût de préparation de grands corpus de mouvements, un goulot réel pour qui veut passer de quelques démos à des bibliothèques de compétences. Il faut toutefois rester prudent : le transfert réel n'est mentionné que sur un seul robot, sans taux de réussite ni précisions sur la nature des mouvements testés. Les comparaisons se font contre des baselines choisies par les auteurs, et la métrique de précision n'est pas détaillée dans le résumé. Il s'agit d'un résultat de recherche, pas d'un produit livré ni d'un déploiement. Ce travail s'inscrit dans une lignée qui va du retargeting cinématique par optimisation de pose aux pipelines de suivi de mouvement humain (type DeepMimic, puis les approches de tracking à grande échelle sur humanoïdes) et à l'essor du MPC par échantillonnage accéléré sur GPU. Il intéresse directement les acteurs qui entraînent des modèles généralistes à partir de données de mouvement humain, comme Figure, Tesla (Optimus), Unitree, Agility ou NVIDIA avec GR00T, ainsi que les laboratoires européens travaillant sur la locomotion, dont Wandercraft côté français. Les suites probables sont une diffusion du code et une validation sur davantage de plateformes et de mouvements à forte dynamique, comme les sauts, les roulades ou la course. Elles passeront aussi par l'intégration dans les pipelines d'entraînement de politiques complètes.

Recherche❖Paper

1 source

39

806arXiv cs.RO 

Modélisation du monde conditionnée par le langage pour la navigation visuelle

Une équipe de chercheurs publie sur arXiv (2603.26741, version 2) un travail sur la navigation visuelle conditionnée par le langage, baptisée LCVN. Dans cette tâche, un agent incarné doit suivre une instruction en langage naturel en ne disposant que d'une observation égocentrique initiale, sans image du but. La perception et le contrôle continu doivent donc être guidés uniquement par le texte. Les auteurs introduisent le jeu de données LCVN, qui regroupe 39 016 trajectoires et 117 048 instructions vérifiées par des humains, couvrant des environnements et des styles de consigne variés. Ils comparent deux approches. La première, l'imagination latente, associe un modèle du monde à base de diffusion (LCVN-WM), qui imagine les observations futures, à un agent acteur-critique (LCVN-AC) dont la politique est apprise entièrement dans cet espace latent imaginé. La seconde, la prédiction autorégressive unifiée (LCVN-Uni), utilise un seul backbone multimodal qui prédit actions et observations en une passe sur une séquence de tokens partagée. Les résultats montrent que les deux approches sont complémentaires. L'imagination latente produit des déroulés plus cohérents dans le temps, tandis que la prédiction unifiée généralise mieux à des environnements jamais vus. Pour un ingénieur robotique ou un intégrateur, l'enseignement porte sur l'arbitrage d'architecture entre un modèle du monde explicite, utile pour la planification, et un modèle unique de type VLA (vision-langage-action), plus robuste hors distribution. Des ablations isolent l'effet du guidage linguistique, des signaux de conditionnement et du style d'instruction. Elles permettent de savoir si le goulot d'étranglement vient de l'ancrage du langage ou de la modélisation de la dynamique. Cette distinction est précieuse pour orienter les investissements, entre meilleures données langagières et meilleurs modèles dynamiques. Il faut cependant rester prudent : il s'agit d'un travail académique évalué sur un benchmark, sans déploiement sur robot physique annoncé. Il ne dit rien du transfert sim-to-real ni des temps de latence en conditions industrielles. Ce travail s'inscrit dans la longue tradition de la navigation visuelle conditionnée par un but image, qui sert de banc d'essai à l'IA incarnée depuis des années. Il rejoint la tendance actuelle qui combine modèles du monde génératifs et politiques linguistiques, portée par des modèles du monde comme ceux de la famille Genie ou Cosmos et par les VLA généralistes (Pi-0, GR00T, Helix), qui visent surtout la manipulation. La navigation par instruction reste moins couverte par ces modèles. Le jeu de données, relativement volumineux pour la tâche, peut servir de référence commune. Aucune suite commerciale ni calendrier de pilote n'est annoncé. La prochaine étape logique serait de tester ces approches hybrides sur du matériel réel, ou d'unifier imagination latente et prédiction autorégressive dans une même architecture.

Recherche❖Paper

1 source

39

807arXiv cs.RO 

Redonner vie au « Code as Policy » : des agents de pointe écrivent, appellent et font évoluer les outils robotiques

Des chercheurs publient URAI (Universal Robot-Agent Interface), un cadre qui sépare les rôles entre modèles de pointe et code exécutable pour la manipulation robotique. Un agent de programmation écrit des outils robotiques réutilisables ou spécifiques à une tâche à partir de l'intention de la tâche, puis les affine grâce au retour d'exécution et aux consignes humaines. Un agent d'exécution choisit et paramètre ces outils d'après les observations courantes. Chaque appel déroule localement un mouvement complet (approche, saisie, retrait) avant de rendre la main à l'agent. Les révisions validées persistent d'un épisode à l'autre sans toucher aux poids du modèle, et une interface graphique et une API communes donnent aux humains et aux agents accès aux mêmes outils. Sur cinq tâches du banc RoboDojo et quatre agents d'exécution figés, le taux de succès agrégé passe de 18,0 % à 53,0 % par rapport au contrôle direct des bouts de doigts, avec le gain le plus net sur Swap Blocks. Trois agents sur quatre terminent leurs épisodes 1,3 à 1,5 fois plus vite, avec 1,5 à 1,7 fois moins de tokens de sortie. Le coût de DeepSeek-V4-Flash, lui, varie à peine. Le cadre est aussi évalué sur sept tâches réelles avec un robot bimanuel AgileX : manipulation d'objets, pliage de textile et morpion en interaction avec un humain. L'intérêt tient à l'arbitrage que ce travail rend mesurable. Faire raisonner un modèle de pointe à chaque mouvement élémentaire rend la manipulation lente et gourmande en tokens, ce qui pèse directement sur la latence et le coût d'exploitation d'un déploiement. Ici, le code absorbe les séquences de mouvement, et le modèle ne garde que la décision de haut niveau entre deux appels. Le résultat le plus instructif est la comparaison avec un programme écrit à l'avance : avec les mêmes outils, il n'atteint que 24 %, contre 56 % pour deux agents qui décident après chaque appel. Autrement dit, la boucle de rétroaction au niveau du modèle compte autant que la qualité des outils. À nuancer : les gains de vitesse ne sont pas uniformes, l'évaluation en simulation reste limitée à cinq tâches, et les résultats réels sur sept tâches AgileX sont décrits sans les chiffres détaillés dans le résumé. Pour un intégrateur, l'idée d'une bibliothèque d'outils améliorable sans réentraînement est séduisante, mais sa robustesse en production reste à démontrer. Ce travail relance l'approche « code as policy », où un modèle de langage génère directement du code de contrôle. Cette approche avait montré ses limites lorsque le programme généré gérait seul toutes les décisions suivantes. URAI y répond en gardant le modèle dans la boucle. Il se place face aux politiques VLA (vision-langage-action) entraînées de bout en bout, comme Pi-0 ou GR00T, qui exigent des données de téléopération et des mises à jour de poids, alors qu'URAI s'appuie sur des modèles génériques figés et sur l'écriture d'outils. Les deux voies pourraient se combiner, des VLA fournissant des primitives que des agents orchestreraient. Il s'agit d'un preprint (arXiv, v1) : aucun produit, calendrier de déploiement ni partenaire industriel n'est annoncé. Les prochaines étapes à surveiller sont une validation sur davantage de tâches réelles, des comparaisons directes avec des VLA, et la reproductibilité sur d'autres matériels que l'AgileX.

Recherche❖Paper

1 source

39

808arXiv cs.RO 

Imitation conditionnée par un plan pour récupérer des objets malgré l'auto-occlusion en encombrement dense

Des chercheurs présentent TRACE, un cadre d'imitation conditionnée par un plan, conçu pour extraire un objet d'un encombrement dense lorsque le bras robotique masque lui-même les objets qu'il déplace. Le système initialise un jumeau numérique à partir d'une seule observation non occultée. Un enseignant privilégié, qui accède à l'état complet de la scène simulée, y génère une trajectoire nominale fixe. Un étudiant récurrent combine le contexte local de cette trajectoire, des observations partielles des objets et la proprioception pour choisir des actions qui corrigent les écarts par rapport à la prédiction. Le clonage comportemental initialise l'étudiant, puis DAgger l'affine avec des étiquettes de l'enseignant sur les états réellement visités par l'étudiant. En simulation, sur 511 scènes de test, TRACE atteint 90,7 % de succès, contre 43,4 % pour la simple relecture de la trajectoire nominale et 96,7 % pour l'enseignant en boucle fermée. À budget égal de 26 373 étiquettes, la supervision sur les états de l'étudiant donne 87,8 %, contre 66,7 % pour le clonage des seules démonstrations expertes. Sur un UR5e, le taux de succès est de 90,0 %, contre 95,0 % pour l'enseignant, et le temps d'exécution total passe de 192,7 s à 67,3 s. L'intérêt tient à ce que le résultat cible un goulot concret de la manipulation en environnement encombré : les retraits répétés du bras pour retrouver de la visibilité. L'enseignant en boucle fermée en impose en moyenne 16,8 par essai pendant la poussée, ce qui explique l'essentiel de l'écart de durée. TRACE les évite et ne conserve qu'un retrait final pour évaluer la saisissabilité de l'objet. Pour un intégrateur, le gain d'un facteur 2,9 sur le temps de cycle, pour une perte de cinq points de succès, est le compromis à retenir. Le déploiement ne requiert ni requêtes à l'enseignant ni simulations en ligne pendant la poussée, ce qui allège les contraintes de calcul embarqué. L'expérience montre aussi que l'échantillonnage sur les états de l'étudiant apporte un gain au-delà du seul nombre d'étiquettes, un argument en faveur de DAgger face au clonage pur. Les réserves sont classiques : l'échantillon réel (probablement 20 essais, d'après les pourcentages) est mince, un seul bras est testé, et la méthode suppose une première vue dégagée pour construire le jumeau numérique. Ces travaux s'inscrivent dans la lignée des approches enseignant-étudiant avec information privilégiée, déjà courantes en locomotion et en manipulation, ici appliquées au cas précis de l'auto-occultation. Ils se distinguent des politiques généralistes de type VLA (vision-langage-action), comme Pi-0 ou GR00T, qui visent la généralité plutôt que la robustesse sur une tâche étroite. Il s'agit d'une prépublication arXiv sans produit ni déploiement industriel annoncé. Les auteurs promettent de publier code et données sur trace-retrieval.github.io, ce qui permettra de vérifier les résultats. Les suites logiques seraient de tester d'autres bras et d'autres densités d'encombrement, puis de traiter des scènes où l'observation initiale est elle-même partiellement occultée, condition plus proche des applications de picking en entrepôt.

Recherche❖Paper

1 source

38

809arXiv cs.RO 

FORTE : prévision de l'occupation pour une planification spatio-temporelle sensible au risque en environnements dynamiques

FORTE est un cadre de navigation pour robots mobiles en environnement dynamique, décrit dans un preprint arXiv (2609.39305v1). Il repose sur la prédiction de grilles d'occupation (OGM), qui estiment où des obstacles se trouveront dans les secondes à venir. Au lieu de détecter et de suivre chaque objet, FORTE exploite directement l'évolution spatio-temporelle de l'occupation prédite, selon deux critères : le recouvrement spatio-temporel de l'occupation avec la trajectoire envisagée, et sa directivité, c'est-à-dire le sens dans lequel l'occupation se déplace. Le système compare plusieurs chemins de topologies différentes et retient le plus adapté. Le prédicteur est un modèle de diffusion latente qui génère tout l'horizon de prévision d'un seul passage (non autorégressif), avec des modules de décalage temporel (temporal shift) pour garder la cohérence entre les images. Les auteurs annoncent jusqu'à 215,3 % d'IoU en plus, une inférence 5,24 fois plus rapide, et un taux de réussite en navigation jusqu'à 3,5 fois supérieur à l'état de l'art. L'intérêt tient à deux verrous classiques. Les pipelines « détection, suivi, prédiction » cumulent les erreurs (identités perdues, objets manqués), et les prédicteurs génératifs sont souvent trop lents pour le replanning en ligne. Produire l'horizon complet en un coup répond au second problème et limite la dérive propre aux modèles autorégressifs. Une approche indépendante du suivi d'objets serait utile aux AMR d'entrepôt et aux robots mobiles ou humanoïdes évoluant parmi des piétons. Les chiffres demandent toutefois de la prudence : ce sont des maxima (« jusqu'à »), les baselines ne sont pas nommées dans le résumé, et celui-ci ne précise ni la part de simulation et de matériel réel, ni la latence absolue, ni la plateforme de calcul. Le travail s'inscrit dans la lignée des méthodes de navigation fondées sur les OGM, qui traitent souvent les cartes prédites comme des instantanés et n'exploitent donc pas leur dimension temporelle au moment de planifier. Il s'agit d'une publication académique, sans produit, sans pilote ni partenaire industriel annoncés, et aucun acteur français ou européen n'y apparaît dans le résumé. La suite logique serait une validation sur robot réel, l'évaluation de la consommation sur calcul embarqué et la comparaison avec les approches VLA de bout en bout, qui visent le même problème par une autre voie.

Recherche❖Paper

1 source

38

810arXiv cs.RO 

DiffWAM : un modèle du monde et d'actions rapide et efficace pour la navigation

Des chercheurs présentent DiffWAM, un modèle « monde-action » de navigation pour drones (UAV) qui convertit les représentations prédictives d'un modèle vidéo gelé en trajectoires de caméra continues en 3D. Là où les approches courantes génèrent d'abord une vidéo du futur, puis reconstruisent la géométrie pour en tirer un mouvement, DiffWAM s'en dispense au déploiement. Le module Grid-Motion conserve les associations spatio-temporelles du mouvement à partir de caractéristiques multi-niveaux. Le module Latent2Pose les ancre dans la géométrie de la première image pour retrouver un mouvement 3D métriquement cohérent. Les rollouts vidéo complets et la reconstruction géométrique ne servent qu'à la supervision hors ligne. Le système inclut aussi FastDreamer, qui recouvre le calcul prédictif et géométrique avec le vol en cours et transmet les trajectoires de façon asynchrone, avec horodatage, pour une exécution continue. Sur le banc d'essai DiffWAM-1000 (1 000 échantillons), le modèle atteint une RMSE de trajectoire de 0,3492 m et un taux de succès à l'arrivée de 74,40 %. Une version embarquée, DiffWAM-Flash, affiche 1,08 s de latence pour le pipeline du modèle sur NVIDIA Jetson AGX Thor. L'intérêt tient à la latence et au coût de calcul, deux obstacles à l'usage de modèles vidéo de fondation en robotique aérienne. Supprimer le décodage vidéo et la reconstruction multi-images à l'inférence rend ces modèles plus compatibles avec un calcul embarqué. Cela suggère que le mouvement est déjà largement encodé dans les représentations prédictives, sans passer par une vidéo générée. Les résultats appellent toutefois des réserves. Le banc DiffWAM-1000 semble propre aux auteurs, et un succès à l'arrivée de 74,40 % laisse environ un échec sur quatre, ce qui reste loin d'un seuil industriel. Une latence de 1,08 s dit peu de choses sans connaître la vitesse de vol, la fréquence de replanification et la gestion des obstacles dynamiques. Les expériences réelles (passages contraints, orbites, trajectoires en S, navigation multi-étapes) sont qualifiées de représentatives, donc probablement choisies, sans statistiques de réussite publiées dans le résumé. Ce travail s'inscrit dans la montée des modèles « monde-action » et des approches VLA (vision-langage-action), qui réutilisent les a priori des modèles vidéo pour piloter des robots. Il en propose une variante efficace pour la navigation aérienne, face aux pipelines « générer puis reconstruire ». Aucun acteur industriel n'est cité, et aucun acteur français ou européen n'apparaît dans le résumé. Il s'agit d'un résultat de recherche publié sur arXiv, accompagné d'une page projet, sans produit ni déploiement commercial annoncé. La suite logique serait une validation sur d'autres bancs d'essai, des essais en extérieur à plus grande échelle et une comparaison publique avec d'autres méthodes de navigation par modèle vidéo.

Recherche❖Paper

1 source

38

811arXiv cs.RO 

La fonction avant la forme : correspondance fonctionnelle pour la génération de prises dextériques inter-morphologies

Des chercheurs proposent FunCo-Grasp, un cadre de génération de préhensions dextres « cross-embodiment », c'est-à-dire transférable d'une main robotique à l'autre. Il est décrit dans un préprint arXiv (v1, non évalué par les pairs). Le principe est d'établir des « correspondances fonctionnelles » entre des mains aux géométries, topologies et cinématiques très différentes. Deux alignements y contribuent. Le Functional Part Alignment associe chaque lien physique de la main à une partie fonctionnelle commune, selon son rôle dans la saisie. Le Canonical Frame Alignment exprime ensuite ces parties dans des repères locaux canoniques. Un modèle de diffusion, conditionné par cette représentation et par la géométrie de l'objet, génère l'agencement spatial cible des parties fonctionnelles. Cet agencement est ensuite converti en configuration articulaire exécutable. Pour une main inédite, il suffit de fournir ses modèles géométrique et cinématique, plus une annotation fonctionnelle légère faite une seule fois. Aucune donnée de préhension sur la main cible, aucun fine-tuning et aucun retargeting appris ne sont nécessaires. En simulation, sur des objets exclus de l'entraînement dans le CMapDataset filtré, le taux de succès moyen atteint 92,40 % sur trois mains vues à l'entraînement et 74,02 % sur quatre mains inédites. En conditions réelles, le même modèle réussit 76,00 % des essais sur deux mains inédites, sans entraînement supplémentaire. L'intérêt tient à l'obstacle que ces travaux visent. Aujourd'hui, chaque nouvelle main dextre oblige souvent à recollecter des données ou à réentraîner, ce qui freine les intégrateurs qui comparent ou changent d'effecteur. Ici, le coût d'adaptation se réduit à une annotation unique. Cela rend plausible un modèle de préhension réutilisable d'une main à l'autre. L'écart de 18 points entre mains vues et inédites en simulation montre cependant que le transfert est loin d'être résolu. Le chiffre réel de 76 % repose sur seulement deux mains, et l'article ne donne ici ni le nombre d'objets, ni le nombre d'essais, ni les conditions de test. Il décrit de plus des préhensions statiques, pas de la manipulation en main, ce qui reste loin des exigences d'une ligne de production. Le résultat va néanmoins dans le sens d'une hypothèse du secteur : une représentation structurée par la fonction généralise mieux que l'apprentissage de motifs propres à chaque main. Le travail s'inscrit dans une série de méthodes cross-embodiment pour la dextérité. Les approches précédentes s'appuient souvent sur des représentations spécifiques à chaque main ou sur du retargeting appris, ce qui limite la généralisation. Les mains multi-doigts se multiplient pourtant, des modèles à quatre doigts jusqu'aux mains humanoïdes à plus de vingt degrés de liberté. Le préprint n'annonce ni code, ni pilote industriel, ni calendrier. Les prochaines étapes logiques seraient un test sur un éventail plus large de mains, la prise en compte de la manipulation dynamique et une évaluation sur des objets non rigides ou en environnement encombré.

Recherche❖Paper

1 source

38

812arXiv cs.RO 

DynaHarness : un cadre physique dynamique pour des agents robotiques auto-évolutifs

DynaHarness, un travail publié sur arXiv (2609.40306), propose une couche de supervision dite « harnais physique dynamique » qui encadre l'exécution de politiques robotiques pré-entraînées sur des tâches de manipulation longues. L'architecture sépare un « cerveau lent », chargé du raisonnement sémantique (il propose des capacités et leurs arguments symboliques), et un « cerveau rapide », qui ancre les commandes dans le monde physique, les surveille, refuse les actions non résolues, substitue une capacité à une autre et demande un nouveau plan si nécessaire. Un contrat d'exécution partagé borne chaque commande acceptée et consigne les traces d'exécution à travers trois familles de composants : des compétences analytiques, des compétences de récupération et un VLA (modèle vision-langage-action) gelé. Sur le benchmark LIBERO-Pro, le système atteint 75,2 % de réussite sur 800 états initiaux nouvellement tirés, contre 17,5 % pour la politique gelée seule. À bibliothèque de capacités identique, l'exécution dynamique complète obtient 74,0 %, contre 63,9 % pour un replanning nominal en une étape. Pour les intégrateurs et les équipes R&D, l'intérêt est moins le score que le déplacement du problème. Les auteurs soutiennent qu'une politique VLA, même performante, ne suffit pas sur les tâches longues : la valeur se joue dans la manière dont les capacités existantes sont ancrées, surveillées et coordonnées à l'exécution, sans réentraîner le modèle de base. L'écart entre 17,5 % et 75,2 % illustre la fragilité d'un VLA gelé face à des conditions initiales perturbées, ce qui rejoint le constat de nombreux déploiements : la robustesse vient de l'orchestration autour du modèle. Le gain plus modeste de 10 points face au replanning simple indique toutefois que l'essentiel de l'amélioration provient de la bibliothèque de capacités elle-même, et que la gouvernance dynamique apporte un complément mesurable mais pas décisif. Il faut aussi noter que les résultats sont obtenus uniquement en simulation, sans validation sur robot physique mentionnée dans le résumé. Ce travail s'inscrit dans la tendance des architectures à double système, où un module lent planifie et un module rapide exécute, popularisée côté industrie par des approches comme Helix de Figure ou GR00T de NVIDIA, et dans la montée des agents capables de se réviser eux-mêmes. La particularité de DynaHarness est sa boucle d'auto-évolution : l'attribution des échecs localise la faute dans les traces, déclenche une révision ciblée d'une capacité ou d'un mécanisme d'exécution, puis des tests de régression appariés décident de l'admission ou du rejet de la modification. LIBERO-Pro, variante plus exigeante du benchmark LIBERO conçue pour mettre à nu la sur-adaptation des politiques, reste un banc d'essai simulé. Une page projet est disponible, mais aucune date de transfert vers du matériel réel n'est annoncée.

Recherche❖Paper

1 source

38

813arXiv cs.RO 

SplineWAM : des horizons d'action adaptatifs pour les modèles du monde et d'action grâce aux B-splines

Des chercheurs publient SplineWAM (arXiv 2609.39873), une méthode qui change la façon dont les « world action models » (WAM) découpent leurs actions dans le temps. Un WAM est une grande politique robotique qui prédit conjointement la vidéo future et les actions à exécuter, et renvoie à chaque appel d'inférence un segment d'actions de longueur fixe (action chunk). SplineWAM compresse au contraire la trajectoire dans une fenêtre de taille fixe de paramètres de B-splines cubiques, dont les instants de nœuds s'ajustent aux caractéristiques du mouvement. Un même budget de paramètres peut ainsi se décoder en segments de résolution et de durée variables, et la durée exécutée comme l'intervalle avant le prochain appel découlent de la prédiction elle-même. La supervision vidéo est alignée sur les nœuds ajustés de la démonstration plutôt que sur une grille uniforme, ce qui concentre les images supervisées là où la trajectoire est complexe. Pour l'exécution asynchrone, les auteurs introduisent JP-RTC (Jacobian-Pullback Real-Time Chunking), qui impose la continuité sur les actions brutes exécutées par le robot, et non sur les paramètres de la spline. Les paramètres sont corrigés via le décodeur pour que le début du segment coïncide avec les actions déjà engagées. Sur LIBERO-Plus et RoboCasa, le taux de réussite gagne 8,2 et 4,4 points face à un WAM à action chunking classique, avec 22 % et 26 % d'appels de politique en moins par épisode. Sur trois tâches bimanuelles réelles en mode asynchrone, SplineWAM fait mieux ou égale la référence tout en décodant 1,2 à 1,6 fois plus de mouvement exécuté par appel. L'enjeu est surtout économique et opérationnel. Un WAM uniforme dépense autant de calcul sur un déplacement en espace libre que sur une insertion riche en contacts, ce qui plafonne le débit lorsque la politique tourne dans le cloud, où chaque appel coûte de la latence et du GPU. Moins d'appels pour un succès égal ou supérieur laisse envisager de servir davantage de robots par accélérateur, ou de tolérer des liaisons plus lentes. Le résultat nuance aussi l'idée qu'un horizon d'action fixe est un détail d'implémentation neutre : le choisir de façon adaptative semble améliorer à la fois la qualité et l'efficacité. Des réserves s'imposent toutefois. Les gains en simulation sont modestes, et les résultats réels, limités à trois tâches, indiquent « mène ou égale » la référence, ce qui n'est pas une victoire nette. Le papier ne donne pas, dans son résumé, de mesure de latence de bout en bout ni de coût par tâche. Le contexte est celui de la montée des WAM, qui prolongent les VLA (vision-langage-action) en ajoutant la prédiction vidéo pour mieux ancrer la physique des tâches. Le problème de la continuité entre segments successifs a été traité jusqu'ici par le real-time chunking, que JP-RTC reprend en l'adaptant à une représentation paramétrique. Les B-splines, courantes en planification de trajectoire, entrent ainsi dans la conception des politiques apprises. Les benchmarks utilisés, LIBERO-Plus et RoboCasa, sont des environnements de simulation de référence, mais leur transfert à des cellules industrielles reste à démontrer. Aucun partenaire industriel ni calendrier de déploiement n'est annoncé : il s'agit d'une préversion de recherche, dont la validité dépendra d'une réplication sur d'autres plateformes et d'une mesure du gain réel en coût de service cloud.

Recherche❖Paper

1 source

38

814arXiv cs.RO 

AIfred : apprentissage augmenté par une incarnation robotique fonctionnelle au bureau

Des chercheurs ont présenté AIfred, un bras robotique de bureau portant un projecteur fixé à l'effecteur terminal, qui affiche des consignes générées par IA directement à côté du travail manuscrit de l'utilisateur. Le système, décrit dans une prépublication arXiv, combine trois briques : une perception de l'espace de travail, une génération de contenu sensible au contexte et une projection pilotée par le robot. Il a été testé sur trois usages : des exercices de mathématiques, la génération d'images et le dessin. L'étude porte sur 36 participants, qui ont comparé AIfred à ChatGPT (GPT-5.6 Luna) tournant sur un ordinateur portable. Tant que l'aide restait disponible pendant l'exercice de maths, les deux outils se sont équivalus (6,7 contre 7,3 sur 10, p = 0,41). Une fois l'assistance retirée, le groupe AIfred a obtenu 7,0 sur 10 contre 4,4 pour l'autre, soit un transfert d'apprentissage à court terme supérieur de 60 % (p = 0,003). Des professeurs d'art et de design indépendants ont par ailleurs classé les dessins réalisés avec AIfred comme meilleurs dans 33 cas sur 36. L'intérêt tient moins au matériel qu'à l'hypothèse testée. Les assistants génératifs actuels répondent sur un écran distinct, ce qui oblige l'utilisateur à passer sans cesse de sa feuille à la fenêtre de dialogue. Les résultats suggèrent que la colocalisation spatiale de l'aide ne change pas la performance immédiate, mais modifie ce qui reste appris, et que l'effet dépend de la tâche : il joue quand le guidage partage le même repère spatial que le travail, comme une correction sur une équation ou un tracé. Pour les concepteurs de robots d'assistance, d'outils éducatifs ou de postes de travail augmentés, cela déplace la question de la capacité du modèle vers la manière de l'incarner. Le robot sert ici d'interface plutôt que de manipulateur. Les limites sont nettes : un échantillon de 36 personnes, un apprentissage mesuré à court terme seulement, et une comparaison avec une interface de chat sur laptop qui n'isole pas la contribution propre du bras mobile par rapport à un simple projecteur fixe. Ces travaux s'inscrivent dans la lignée de la réalité augmentée spatiale et des bureaux interactifs, qui projettent depuis longtemps de l'information sur des surfaces de travail. Ils profitent aujourd'hui de modèles multimodaux assez rapides pour lire une feuille manuscrite et produire un guidage contextualisé. Cette prépublication relève de la recherche académique : aucun produit commercial, prix ou calendrier de déploiement n'est annoncé. Les suites naturelles seraient des études plus longues sur la rétention, des comparaisons avec des projecteurs fixes et l'extension à d'autres disciplines. Le résultat reste à confirmer par réplication avant de pouvoir être considéré comme un effet établi.

Recherche❖Paper

1 source

38

815arXiv cs.RO 

Magic-W0 : un modèle fondation monde-action structuré pour l'intelligence physique

Magic-W0, un modèle de fondation « monde-action » (WAM, world-action model), est présenté dans un preprint arXiv (2609.39870v1) dont les auteurs ne sont pas précisés dans le résumé. Le modèle code chaque interaction comme une « Structured World Transition » en trois blocs. L'état courant associe le contexte vision-langage à une géométrie 3D de la scène. La transition est décrite par un mouvement 3D qui capture les changements tridimensionnels induits par l'action. L'état futur est exprimé sous forme de sémantique décrivant le résultat attendu de la tâche. L'architecture aligne couche par couche la prédiction du monde et la génération d'actions continues : les hypothèses d'action en cours conditionnent la prédiction de transition, et les représentations prédites alimentent en retour la génération d'actions. Le pré-entraînement combine manipulation humaine égocentrique, données UMI (interface de collecte par préhenseur portable), données de robots réels et simulation. La supervision porte sur des représentations latentes (géométrie, mouvement 3D, sémantique future) issues de modèles visuels préentraînés. Sur le benchmark RoboDojo-Sim, Magic-W0 obtient un score moyen de 27,10, le plus élevé parmi les WAM comparés. Les auteurs annoncent aussi de bonnes performances sur plusieurs tâches sur robot réel après un fine-tuning avec peu de données. L'intérêt tient à la critique que formule le papier : la plupart des WAM prédisent des images futures ou des latents génériques, peu exploitables pour le contrôle, et pas forcément liés à l'action. Magic-W0 propose une représentation explicitement géométrique et orientée contrôle. Des tests d'intervention à l'inférence montrent que ces représentations réagissent de façon systématique aux changements d'action candidate, et que l'information d'action circule via les représentations 3D jusqu'aux prédictions sémantiques. C'est un argument de causalité plus solide que la simple qualité visuelle. Pour un intégrateur, la promesse est une adaptation rapide à de nouvelles tâches avec peu de données, point critique du coût de déploiement. Il faut toutefois relativiser. Le score de 27,10 n'a de sens que par rapport aux WAM comparés, sans valeur absolue ni écart précisé dans le résumé. Les tâches réelles ne sont pas détaillées : ni taux de réussite, ni volume de données de fine-tuning, ni plateforme robotique. On reste donc au stade du résultat de recherche, sans produit livré ni déploiement. Ce travail s'inscrit dans la montée des modèles VLA (vision-langage-action) et de leurs extensions « monde », qui cherchent à doter les politiques d'une dynamique de l'environnement conditionnée par l'action, au-delà de la simple imitation. Le recours massif aux vidéos humaines égocentriques et aux données UMI reflète la tendance à contourner le coût de la téléopération robot. Magic-W0 se positionne face aux autres WAM et aux politiques fondées sur la reconstruction vidéo, dont le résumé ne cite pas les noms. Les prochaines étapes à surveiller sont la publication du code et des poids, une évaluation indépendante de RoboDojo-Sim, et surtout des résultats détaillés sur robot réel, seuls capables de dire si la structure 3D apporte un gain tangible face aux approches VLA génériques.

Recherche❖Paper

1 source

38

816arXiv cs.RO 

Social-WM : des modèles du monde latents sensibles à la sécurité pour la navigation sociale des robots

Des chercheurs publient Social-WM, un cadre de planification par modèle de monde latent destiné à la navigation sociale des robots, c'est-à-dire le déplacement parmi des piétons et des obstacles. Le système est entraîné uniquement à partir de séquences vidéo RGB égocentriques. Il prédit, en fonction de l'action commandée, l'observation future réellement obtenue après chaque commande. Il apprend ainsi les conséquences pertinentes pour la sécurité. Un second objectif, dit de dynamique inverse « réalisable », associe chaque transition latente observée à l'action effectivement réalisée, et non à l'action nominale demandée. Au déploiement, le robot imagine plusieurs actions candidates dans le modèle de monde. Le modèle inverse estime ensuite leur réalisabilité, et l'écart entre action nominale et action réalisable sert de signal de sécurité avant exécution. Sur le benchmark Social-HM3D, Social-WM atteint 63,77 % de réussite avec 21,67 % de collisions avec des humains. Les résultats restent solides en transfert zéro-shot sur Social-MP3D. L'approche n'utilise ni suivi explicite des piétons, ni état humain privilégié, ni apprentissage par renforcement en ligne. L'intérêt tient à la manière de traiter le problème. Une action « avancer » peut s'exécuter entièrement en espace libre, mais doit être freinée ou modifiée face à un piéton ou un obstacle. Les données de navigation sociale contiennent donc un décalage systématique entre commande et mouvement réel. En apprenant ce décalage plutôt qu'en le supposant nul, le robot dispose d'un indicateur de risque sans module de perception dédié aux humains. Pour un intégrateur, cela réduit la dépendance à des piles de suivi et de prédiction de trajectoires, coûteuses à calibrer. Le fait que la dynamique et la réalisabilité soient indépendantes du but permet de réutiliser le même modèle pour la navigation par position et par image-cible. Il faut toutefois relativiser : un taux de collision de 21,67 % reste très éloigné d'un niveau acceptable en environnement réel, et les résultats proviennent de simulation. Aucun test sur robot physique ni comparaison de coûts de calcul n'est mentionné dans le résumé. Ce travail s'inscrit dans la montée des modèles de monde latents, qui planifient dans un espace de représentation compact plutôt qu'en reconstruisant des pixels, et dans l'effort pour combler l'écart entre simulation et réel en navigation sociale. Les benchmarks utilisés, construits sur les scènes HM3D et Matterport3D, relèvent de la simulation d'intérieur et couvrent mal la variété des lieux publics. Les approches concurrentes reposent généralement soit sur l'apprentissage par renforcement en ligne, soit sur des modules explicites de suivi des piétons. La suite logique est une validation sur plateforme mobile réelle, dans des espaces partagés comme les hôpitaux ou la logistique, où des robots mobiles autonomes (AMR) croisent déjà des opérateurs. Il s'agit pour l'instant d'une préimpression arXiv (v1), non évaluée par les pairs, sans produit ni déploiement annoncé.

Recherche❖Paper

1 source

38

817arXiv cs.RO 

Au-delà de l'alignement de politique : boucler la planification et l'apprentissage pour le contrôle de robots avec des modèles du monde appris

Des chercheurs proposent PL-MPC (Planning-Learning MPC), une évolution de TD-MPC, la famille de méthodes qui combine un modèle du monde appris, une optimisation de trajectoire en ligne (MPPI) et des fonctions de valeur et de politique apprises. Trois modifications sont introduites, sans toucher à l'architecture du modèle du monde ni à l'optimiseur. Des cibles TD multi-étapes hybrides exposent le critique à davantage de récompenses réellement observées avant le bootstrap. Une estimation de valeur terminale sensible au désaccord entre critiques réduit le poids des valeurs incertaines pendant la planification. Enfin, une distillation de l'acteur pondérée par le retour privilégie les actions exécutées par le planificateur dans les épisodes les plus rentables. Sur HumanoidBench, le Total Average Return passe de 98±18 à 387±255 sur balance-hard, et de 199±13 à 466±200 sur hurdle. Les résultats restent dépendants de la tâche sur le reste du benchmark, et la méthode demeure compétitive sur DMControl. Un test de transfert sim-to-real zero-shot est réalisé sur l'alignement d'un écrou avec une clé, avec un bras KUKA IIWA14 à 7 DoF. Le taux de succès observé est supérieur à celui de TD-M(PC)^2, pour la taille d'objet d'entraînement et deux tailles inédites. Code et données doivent être publiés ultérieurement. L'intérêt tient à la manière dont le problème est posé. Le planificateur génère les données dont le critique et l'acteur apprennent, et ceux-ci notent et proposent à leur tour les plans futurs : les erreurs de valeur peuvent donc se renforcer d'un cycle à l'autre. Les variantes précédentes se contentaient d'aligner la politique sur le comportement du planificateur. PL-MPC traite aussi la supervision du critique et la valeur terminale, ce qui suggère que les gains viennent de la boucle entière plutôt que d'un seul composant. Il faut toutefois lire les chiffres avec prudence. Les écarts-types sont très larges (387±255, 466±200), les gains se concentrent sur deux tâches, et les ablations montrent que les composants interagissent différemment d'une tâche à l'autre. Le test sim-to-real reste un seul scénario sur bras fixe, sans aucune mesure sur un humanoïde réel : il ne dit rien du passage à l'échelle sur des robots à corps entier. Ce travail prolonge TD-MPC et TD-MPC2, références du contrôle basé sur modèle du monde pour les systèmes de grande dimension, ainsi que TD-M(PC)^2, variante contrainte par la politique qui sert ici de point de comparaison direct. Il se positionne en recherche amont, à distance des approches VLA généralistes (Pi-0, GR00T, Helix) qui dominent les annonces industrielles. HumanoidBench reste un banc d'essai simulé, et un transfert réussi sur un bras industriel ne garantit pas la robustesse sur un humanoïde. La suite dépendra de la publication du code et des données annoncés sur pl-mpc-humanoid.github.io, puis d'éventuelles validations sur matériel humanoïde.

Recherche❖Paper

1 source

38

818arXiv cs.RO 

OccluDex : apprentissage hiérarchique de représentations visuo-tactiles 3D pour la manipulation dextérique égocentrique sous auto-occlusion

Des chercheurs publient sur arXiv OccluDex, un cadre d'apprentissage de représentations visuo-tactiles 3D destiné à la manipulation dextre en vision égocentrique, c'est-à-dire avec une caméra placée du point de vue du robot. Le problème visé est que la main occulte elle-même les surfaces de l'objet et les zones de contact, ce qui prive l'estimation d'état d'une partie de l'information visuelle. L'encodeur repose sur un autoencodeur masqué multi-échelle qui encode progressivement la géométrie 3D partielle. Des jetons tactiles de contact sont ensuite fusionnés avec les caractéristiques géométriques de haut niveau par attention croisée. Il est préentraîné sur des démonstrations humaines visuo-tactiles synchronisées, puis transféré gelé comme backbone perceptif pour de l'apprentissage par renforcement. Deux tâches servent à l'évaluation : la rotation d'un robinet (un tour complet de poignée dans le sens horaire) et la réorientation d'un objet posé sur une table de 180 degrés, sans le renverser. En simulation, les auteurs annoncent une précision supérieure de 12,6 % sur objets inconnus et de 8,3 % sur objets déjà vus, par rapport au meilleur modèle de référence. Des essais physiques avec une main Shadow Hand montrent un transfert sim-to-real zero-shot sur des objets inconnus. Pour les équipes qui développent des mains dextres, l'intérêt tient à l'angle choisi. La plupart des travaux traitent l'occultation comme un bruit à tolérer, alors qu'elle est ici le cœur du problème, et c'est elle qui domine dès que la main se referme sur un objet. Le tactile compense la vision justement là où elle manque. Le préentraînement sur démonstrations humaines et le backbone gelé réduisent aussi le coût de l'apprentissage par renforcement, car l'encodeur n'a pas à être réappris pour chaque tâche. À nuancer toutefois : les gains en simulation sont modestes, et les auteurs ne précisent pas le nombre d'essais réels, le taux de réussite physique ni la variété des objets. Le test se limite à deux tâches et à une seule main, très coûteuse. Le passage vers des mains d'humanoïdes de série reste donc une extrapolation, et l'affirmation sur la manipulation humanoïde est une projection, pas un résultat démontré. Ces travaux s'inscrivent dans la ligne des représentations 3D visuo-tactiles et des autoencodeurs masqués, appliqués à la manipulation dextre, souvent évaluée en simulation puis sur Shadow Hand. Ils se positionnent face à des approches qui combinent nuages de points et tactile sans hiérarchie entre structure globale et contact local. Les modèles VLA généralistes, qui exploitent surtout des images RGB, traitent peu le tactile et l'occultation. Aucun pilote industriel ni calendrier n'est annoncé, et il s'agit d'une publication de recherche préliminaire (v1), non évaluée par les pairs. La suite logique serait une validation sur davantage de tâches, de mains et de capteurs tactiles, avec des statistiques de réussite en conditions réelles.

Recherche❖Paper

1 source

37

819arXiv cs.RO 

OGPO : optimisation de politique générative en une étape pour le contrôle de robots en temps réel

Des chercheurs publient OGPO (One-Step Generative Policy Optimization), un cadre d'apprentissage pour le contrôle robotique en temps réel, dont la version 2 vient d'être diffusée sur arXiv (2601.20701). Il vise un problème précis : les politiques de contrôle fondées sur la diffusion ou le flow matching génèrent les actions en plusieurs étapes d'échantillonnage, ce qui limite leur usage dès que la latence compte. Réduire ce nombre d'étapes à un seul dégrade d'ordinaire la qualité de représentation et la performance sur la tâche. Les auteurs décrivent un compromis à trois pôles entre vitesse, fidélité et performance. OGPO associe une architecture légère au principe d'« interval velocity » pour une inférence en une étape sans distillation, tandis qu'une technique de « représentation spreading » évite la dégradation des représentations. Une phase d'apprentissage par renforcement (RL) on-policy affine ensuite cette politique rapide et stable. Sur les benchmarks RoboMimic et OpenAI Gym, la méthode égale ou dépasse des références multi-étapes, avec une inférence 5 à 20 fois plus rapide et une fréquence de contrôle supérieure à 120 Hz. Un déploiement physique sur un bras Franka Emika Panda est présenté comme validation. L'intérêt tient à la place des politiques génératives dans la robotique actuelle. Diffusion et flow matching sont devenus des choix courants pour représenter des comportements multimodaux, y compris dans plusieurs architectures VLA (vision-langage-action). Leur coût d'inférence impose pourtant des compromis : fréquences de contrôle basses, découpage des actions en blocs (chunking), ou matériel de calcul embarqué plus lourd. Une politique à plus de 120 Hz sans distillation, si les résultats tiennent, rapprocherait ces méthodes des boucles de contrôle réactives, utiles pour la manipulation fine ou le contact. L'ajout du RL on-policy répond à une limite connue de l'apprentissage par imitation, dont la performance reste bornée par la qualité des démonstrations. Les réserves sont claires : RoboMimic et Gym sont des benchmarks académiques, la validation réelle se limite à un seul bras et le résumé ne détaille ni les tâches physiques, ni le taux de réussite, ni le matériel de calcul. Le gain de 5 à 20 fois dépend des références choisies. Ce travail s'inscrit dans une course à l'accélération des politiques génératives. Diffusion Policy a imposé le paradigme, les approches de flow matching comme Pi-0 l'ont repris à plus grande échelle, et plusieurs équipes explorent la distillation en peu d'étapes ou le fine-tuning par RL de ces politiques. OGPO prend une voie sans distillation, en combinant vitesse et amélioration par renforcement. Il s'agit ici d'une publication de recherche, sans produit ni déploiement industriel annoncé. La suite dépendra des preuves sur des tâches plus variées, sur des robots différents et, surtout, de son intégration dans de grands modèles VLA. Une page de projet accompagne l'article.

Recherche❖Paper

1 source

37

820arXiv cs.RO 

DODGER : apprentissage par renforcement guidé par la sécurité pour la navigation de robots parmi des obstacles dynamiques

Des chercheurs publient sur arXiv (2609.38873) DODGER, un cadre d'apprentissage par renforcement (RL) « guidé par la sécurité » pour la navigation de robots au milieu d'obstacles dynamiques, comme des piétons. La méthode s'appuie sur les fonctions barrières de contrôle (CBF), un outil mathématique qui définit un ensemble d'états sûrs et sert à corriger une commande dangereuse avant son exécution. Elle a été évaluée de trois façons : une analyse de sécurité sur une voiture de Dubins (modèle cinématique simplifié), une simulation d'humanoïde en modèle complet (full-order), puis des essais réels sur un humanoïde équipé d'une perception par LiDAR. Le robot atteint des cibles en évitant plusieurs obstacles mobiles, sans filtre de sécurité à l'exécution. Le résumé ne donne ni taux de collision, ni vitesse d'obstacle, ni nombre d'essais, ni modèle d'humanoïde. Il s'agit d'un travail de recherche, sans produit ni déploiement. L'intérêt tient à une limite des approches CBF-RL actuelles. Elles n'exécutent en entraînement que des actions déjà filtrées. L'agent explore donc moins, ce qui pèse surtout en environnement dynamique, où la sécurité dépend du mouvement relatif entre robot et obstacle. DODGER inverse la logique : les actions produites par la politique pilotent directement les rollouts d'entraînement. Les références filtrées par CBF et les violations de contraintes ne servent qu'à orienter l'apprentissage vers l'évitement. Si cela tient à plus grande échelle, la politique embarquée n'aurait plus besoin d'un solveur de sécurité en ligne. Cela réduirait la charge de calcul et les risques de conflit entre filtre et politique. Pour un intégrateur, la question est de savoir si l'on peut se passer d'un filtre redondant dans des sites partagés avec des opérateurs humains. Les garanties restent empiriques : une politique sans filtre en ligne ne offre plus de certificat formel à l'exécution. Aucune comparaison chiffrée avec les méthodes concurrentes n'apparaît dans le résumé. Le travail prolonge les méthodes qui intègrent les CBF dans le RL, déjà utilisées pour la locomotion et la navigation de robots à pattes, et rejoint l'effort actuel pour transférer des politiques apprises en simulation vers des humanoïdes réels. Il reste au stade de préprint (v1), sans relecture par les pairs. Les prochaines étapes à surveiller sont la publication des taux de succès et de collision face aux baselines à filtre, les tests avec des obstacles plus nombreux et plus rapides, des piétons réels en environnement non contrôlé, et d'autres plateformes humanoïdes. Aucune annonce de pilote industriel ni d'échéance n'accompagne ce préprint.

Recherche❖Paper

1 source

37

821arXiv cs.RO 

Cue the Flow : guider les politiques de flow matching pour la manipulation robotique en livraison en milieu ouvert

Des chercheurs proposent une méthode, baptisée « Cue the Flow », pour piloter une politique de manipulation sans la réentraîner. Elle vise la livraison d'objets en environnement ouvert, où un manipulateur mobile doit suivre des instructions libres de l'utilisateur et saisir des objets potentiellement inconnus. Le travail, publié sur arXiv (2609.38989), part d'un modèle vision-langage-action (VLA) préentraîné à flow matching, utilisé comme interface de contrôle bas niveau. Un modèle de grounding de haut niveau convertit la consigne en indice spatial, et celui-ci sert à orienter la politique. Les auteurs ajoutent un adaptateur léger conditionné par cet indice. Il est d'abord entraîné par objectifs contrastifs, afin de produire des représentations saillantes et spatialement discriminantes. Il est ensuite supervisé pour prédire une transformation affine diagonale appliquée au bloc d'actions généré (action chunk), ce qui aligne l'action sur la cible désignée. Les tests couvrent des configurations sur table et sur base mobile, avec des objets vus ou non à l'entraînement. Les auteurs annoncent jusqu'à près de 2 fois le taux de réussite moyen des tâches, pour un surcoût d'inférence négligeable. Il s'agit d'un résultat de laboratoire, sans produit ni déploiement associé, et l'extrait disponible ne donne ni nom de modèle de base, ni plateforme, ni nombre d'essais. L'enjeu est de savoir où placer la frontière entre planification et contrôle. Les architectures à double système, avec un modèle de grounding en amont et un contrôleur en aval, restent fragiles face au bruit de perception, aux scènes dynamiques et aux contacts riches. Ici, les auteurs conservent la réactivité d'un VLA à flow matching et ne lui injectent que l'information manquante : quelle est la cible. Cela suggère que le préentraînement fournit déjà l'essentiel du savoir-faire de manipulation, et que le goulot se situe dans l'association entre langage et objet nouveau. Pour un intégrateur, l'intérêt pratique est qu'un adaptateur léger, sans surcoût de calcul notable, peut s'ajouter à une politique existante sans réentraînement complet. La formulation « jusqu'à près de 2× » désigne toutefois le meilleur cas. Elle ne dit rien de la robustesse sur des déploiements longs, et les performances moyennes restent à vérifier dans l'article complet. Ce travail s'inscrit dans la course aux VLA généralistes, avec des modèles à flow matching comme Pi-0 de Physical Intelligence, et dans l'essor des architectures à double système comme Helix de Figure ou GR00T de NVIDIA. La livraison en milieu ouvert est un cas d'usage logique pour les manipulateurs mobiles, mais l'écart entre démonstration et fiabilité réelle y reste important. L'approche par adaptateur laisse entrevoir une adaptation rapide à de nouveaux objets, sans collecte massive de données. Les prochaines étapes à surveiller sont la validation sur d'autres VLA de base, des tests en conditions non contrôlées et une éventuelle publication du code, qui n'est pas mentionnée dans le résumé.

Recherche❖Paper

1 source

37

822arXiv cs.RO 

IronMind : passage à l'échelle de la manipulation dextérique humanoïde par pré-entraînement égocentrique dans l'espace caméra

IronMind, un modèle vision-langage-action (VLA) décrit dans un preprint arXiv (v1, non évalué par les pairs), vise à entraîner des humanoïdes à la manipulation dextre à partir de vidéos égocentriques humaines, c'est-à-dire filmées depuis le point de vue de l'opérateur, combinées à des données robotiques hétérogènes. Les auteurs contournent le retargeting corporel explicite en adoptant une représentation d'action dans l'espace caméra, référentiel natif de ces vidéos, et en alignant sémantiquement les dimensions d'action humaines et robotiques. Sur des budgets de pré-entraînement de 250 à 10 000 heures, la perte de validation décroît approximativement de façon log-linéaire avec le volume de données. Après post-entraînement, sur six tâches difficiles impliquant objets, affordances et consignes de raisonnement inédits, le modèle à 10 000 heures atteint 55,0 % de réussite. Les budgets inférieurs ou égaux à 5 000 heures plafonnent à 11,7 % au mieux, et l'absence de pré-entraînement donne 5,0 %. À budget égal, la représentation en espace caméra surpasse aussi la référence en repère du torse. L'intérêt tient à deux points. D'abord, la manipulation dextre humanoïde commence à montrer une loi d'échelle comparable à celle observée en langage : la perte baisse régulièrement avec les données, et la généralisation en conditions réelles progresse. Ensuite, la source de données change d'économie. Les vidéos égocentriques bon marché, sans cinématique du torse, deviennent exploitables, alors que la téléopération robotique reste lente et coûteuse à collecter. Pour un intégrateur, cela suggère que le goulot d'étranglement se déplace vers la curation et l'alignement de données humaines plutôt que vers le parc de robots. Quelques réserves s'imposent : le saut brutal entre 5 000 et 10 000 heures (de 11,7 % à 55,0 %) repose sur six tâches seulement, sans indication du nombre d'essais ni de l'intervalle de confiance. Le robot utilisé, les temps de cycle et les conditions de test ne sont pas précisés dans le résumé. Il s'agit de résultats de laboratoire, sans déploiement industriel. Ce travail s'inscrit dans la course aux VLA généralistes, où Pi-0 de Physical Intelligence, GR00T de NVIDIA et Helix de Figure exploitent surtout des données téléopérées ou synthétiques. L'usage de vidéo humaine égocentrique à grande échelle est une piste concurrente, déjà explorée par plusieurs laboratoires, que IronMind cherche à rendre praticable en supprimant l'étape de retargeting. Les prochaines étapes à surveiller sont la publication du code et des poids, la réplication sur d'autres plateformes humanoïdes, et la mesure du point de saturation au-delà de 10 000 heures. Aucun acteur français ou européen n'est mentionné dans le résumé.

IA physique❖Paper

1 source

37

823arXiv cs.RO 

Sparse-WAM : accélérer les modèles monde-action grâce à une imagination parcimonieuse guidée par l'action

Des chercheurs proposent Sparse-WAM, un cadre sans entraînement qui accélère l'inférence des « world-action models » (WAMs), ces modèles de contrôle robotique qui s'appuient sur des modèles vidéo pré-entraînés pour prédire conjointement les images futures et les actions. Le coût vient du débruitage : les jetons de frames futures, très nombreux, sont retraités à chaque étape. Sparse-WAM ne traite qu'une partie d'entre eux, sélectionnés d'après leur pertinence pour l'action. Le module Action-Guided Token Selection conserve, pour chaque frame, les régions utiles à l'action, plus un contexte inter-frames. Un moteur nommé Pilot limite le surcoût du calcul des scores d'attention et du regroupement des jetons, grâce à un scoring léger et à la réutilisation des sélections d'une étape à l'autre. Sur LIBERO avec FastWAM-Joint, l'accélération atteint environ 2,0x par rapport à l'inférence dense « eager ». Sur RoboLab-120 avec Cosmos 3 Edge, elle atteint environ 1,8x. Les mesures ont été faites sur une NVIDIA RTX 4090, et les auteurs indiquent que la performance des tâches est « largement préservée ». Le papier (arXiv 2609.38984v1) ne donne pas, dans son résumé, l'ampleur exacte de la perte résiduelle. Les WAMs promettent une meilleure généralisation que les politiques VLA classiques, mais leur latence est un obstacle au déploiement : un modèle vidéo de grande taille qui « imagine » le futur à chaque cycle de contrôle est difficile à tenir en temps réel sur du matériel embarqué ou abordable. Le travail vise ce point. Une carte grand public comme la RTX 4090 sert ici de référence, ce qui intéresse les intégrateurs qui n'ont pas de grappe de GPU de datacenter. Le gain est modeste (un facteur 2 au mieux) et ne règle pas à lui seul la fréquence de contrôle : la comparaison porte sur une base dense non optimisée, et non sur des moteurs d'inférence déjà très optimisés. Les benchmarks restent de la simulation ou des suites standardisées, sans validation sur robot réel annoncée. L'observation de fond est utile : l'attention des jetons d'action vers les frames futures se recouvre fortement d'un pas de débruitage à l'autre, alors que les représentations continuent d'évoluer. Cela suggère qu'une bonne part de l'« imagination » visuelle est redondante pour décider de l'action. Ce travail s'inscrit dans la course à l'efficacité des modèles de diffusion vidéo, où l'élagage de jetons visait jusqu'ici la fidélité visuelle plutôt que la pertinence pour l'action. Il prolonge la lignée des politiques VLA et des modèles de monde, avec des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T, Cosmos) ou Figure (Helix), qui cherchent tous à concilier généralisation et latence. Aucun déploiement industriel n'est annoncé. La suite logique est de tester la méthode sur robot réel, de la combiner avec la quantification ou la distillation, et de vérifier qu'elle tient sur des tâches longues et des scènes moins contrôlées. Cette publication est un préprint, non évalué par des pairs.

IA physique❖Paper

1 source

37

824arXiv cs.RO 

Garantie de performance générale pour le contrôle d'exosquelette d'assistance, indépendant de la tâche, basé sur l'estimation du couple humain

Des chercheurs publient sur arXiv (identifiant 2609.39558, première version) un cadre théorique censé garantir la fiabilité du contrôle d'exosquelettes d'assistance qui reposent sur l'estimation du couple articulaire humain. Le travail est testé sur l'exosquelette de membre supérieur ABLE, dans une configuration multitâche. Les auteurs définissent formellement une « assistance appariée » (matched assistance), c'est-à-dire une situation où le robot contribue positivement au mouvement de l'utilisateur. Ils en déduisent une méthode pour calculer le couple d'interaction désiré du robot, avec une borne inférieure garantie sur la probabilité d'obtenir cette assistance appariée. Cette garantie porte sur toute la distribution des couples, y compris des données absentes de l'entraînement. Les expériences confirment les garanties théoriques et montrent une assistance efficace sur plusieurs tâches, avec un mouvement plus fluide et un effort physique réduit. Le résumé ne chiffre ni la probabilité garantie, ni la réduction d'effort, ni le nombre de participants ou de tâches. L'enjeu touche un point faible connu des exosquelettes pilotés par estimation du couple humain. Une erreur d'estimation crée un décalage entre l'assistance fournie et l'intention de l'utilisateur, ce qui dégrade la contrôlabilité et la performance. Les approches courantes s'appuient souvent sur des modèles entraînés pour une tâche donnée et se généralisent mal. Une garantie probabiliste valable hors distribution d'entraînement répond à une exigence de sécurité et de certification que les intégrateurs et les acteurs de la réhabilitation ou de l'assistance industrielle devront satisfaire avant tout déploiement large. Il faut toutefois rester prudent : il s'agit d'une preuve de concept académique, validée sur un seul dispositif, et une borne théorique reste dépendante des hypothèses de modélisation sur la distribution des couples. Rien n'indique à ce stade un produit, un pilote ou un déploiement réel. Ce résultat s'inscrit dans la recherche sur le contrôle « agnostique à la tâche » des exosquelettes, qui vise à éviter de reprogrammer ou de réentraîner le contrôleur pour chaque geste. Le champ est partagé entre contrôleurs spécifiques à une tâche, performants mais peu flexibles, et estimateurs appris, plus généraux mais sans garanties formelles. Ce travail cherche à combiner généralité et fiabilité démontrable. Les suites logiques seraient des essais avec davantage d'utilisateurs, des tâches plus variées, une extension à d'autres exosquelettes (membre inférieur, tronc) et une comparaison chiffrée avec les contrôleurs de référence. Ces éléments ne sont pas précisés dans le résumé disponible. Aucun acteur industriel, européen ou non, n'est cité.

Exosquelettes❖Paper

1 source

37

825arXiv cs.RO 

Stratégie d'évolution en ligne pour les politiques VLA à flow matching, par optimisation auto-supervisée de la distribution des trajectoires

Des chercheurs proposent Online-ES, un cadre d'adaptation en ligne pour les politiques VLA (Vision-Language-Action) fondées sur le Flow Matching, publié sur arXiv (2609.38855, première version). Le point de départ est une observation : contrairement à une politique déterministe, un VLA génératif apprend une distribution conditionnelle de trajectoires d'actions, où différents vecteurs de bruit latent produisent des actions distinctes pour une même tâche. Les auteurs constatent que cette distribution est souvent mal formée : trajectoires réussies et échouées coexistent, et une part notable de la masse de probabilité reste dans des zones défavorables. Plutôt que d'élaguer l'espace du bruit latent, Online-ES applique une stratégie d'évolution (ES) directement dans l'espace des trajectoires. Les trajectoires échantillonnées sont perturbées puis exécutées, et leurs résultats alimentent un objectif d'erreur quadratique (MSE) auto-supervisé, qui transfère la direction d'évolution vers l'espace des paramètres du modèle. Les auteurs affirment prouver mathématiquement que cet objectif est un estimateur non biaisé de la direction d'évolution optimale. Les échecs servent aussi de retour négatif pour éloigner la politique des régions déjà explorées sans succès. Les tests couvrent la simulation et des environnements réels. Le résumé ne donne ni chiffres de taux de succès, ni noms de robots ou de modèles de base, ni nombre d'essais. L'intérêt pratique tient à la méthode. Les approches de réglage fin par apprentissage par renforcement (RL) exigent en général un modèle de valeur et un calcul d'avantages, ce qui alourdit l'infrastructure et la stabilité d'entraînement. Online-ES revendique une amélioration comparable à ce réglage fin RL sans ces deux composants. Si cela se confirme hors des benchmarks, un intégrateur pourrait corriger une politique VLA sur site à partir des seuls retours d'exécution, sans pipeline RL complet. Le travail rappelle aussi qu'un VLA génératif qui réussit en démonstration peut avoir une distribution d'actions dégradée en réalité, ce qui nourrit l'écart entre démos et fiabilité industrielle. Une réserve s'impose : il s'agit d'un préprint non évalué par des pairs, et « comparable » dépend des tâches, des baselines et du nombre d'interactions réelles nécessaires, que le résumé ne précise pas. Le contexte est celui de la généralisation des VLA à base de Flow Matching, popularisé par des modèles comme Pi-0 de Physical Intelligence, et de la recherche de méthodes d'adaptation après déploiement. Deux voies dominent : le réglage fin par RL, coûteux en données et en ingénierie, et le filtrage du bruit latent à l'inférence. Online-ES propose une troisième voie, évolutionniste. La suite dépendra de la publication du code, des benchmarks détaillés et de validations sur des robots variés. Le coût en essais physiques et la robustesse face au bruit de mesure resteront les points décisifs pour toute adoption industrielle.

Recherche❖Paper

1 source

37

826arXiv cs.RO 

H-WM : planification de tâches et de mouvements robotiques guidée par un modèle du monde hiérarchique

Des chercheurs proposent H-WM (Hierarchical World Model), un cadre qui prédit conjointement les transitions d'états logiques et visuelles pour guider les modèles Vision-Language-Action (VLA) sur des tâches longues. L'architecture associe deux niveaux. Un modèle de monde logique de haut niveau prédit des actions symboliques et des états fondés sur des prédicats, à la manière de la planification de tâches et de mouvements (TAMP) classique. Un modèle de monde visuel de bas niveau prédit les transitions d'états visuels latents. Ces deux sorties sont injectées dans le VLA comme guidage d'état intermédiaire pendant l'exécution. Les auteurs annoncent des gains constants sur trois benchmarks à horizon long ainsi que sur des robots réels, grâce à une exécution plus stable et à une moindre accumulation d'erreurs. Ils publient aussi LIBERO-Logic, un jeu de données aligné image par image qui associe observations visuelles et états robotiques continus à des actions logiques et à des états logiques à base de prédicats. Il s'agit d'un travail de recherche (arXiv 2602.11291, version 3), sans produit ni déploiement industriel. L'enjeu touche l'un des principaux points faibles des VLA : la dérive sur les longues séquences. Les modèles de monde fondés sur la prédiction visuelle, latente ou linguistique sont difficiles à relier à des actions exécutables, et leurs erreurs s'accumulent à mesure que l'horizon s'allonge. H-WM suggère qu'une couche symbolique compacte peut servir d'ancrage sans abandonner la perception, une piste hybride entre l'IA symbolique et l'apprentissage de bout en bout. Pour un intégrateur, la leçon est que les séquences d'assemblage ou de logistique en plusieurs étapes pourraient gagner en fiabilité sans réentraîner un VLA complet. La prudence reste de mise. L'extrait ne chiffre ni les gains, ni les VLA de référence, ni la nature des tâches sur robots réels. Les benchmarks de type LIBERO restent des environnements de simulation, et le passage à des cadences industrielles n'est pas démontré. Ce travail s'inscrit dans la montée des modèles de monde comme brique centrale du contrôle robotique, face aux VLA généralistes de type Pi-0 ou GR00T, qui peinent sur les tâches longues. Il rejoint aussi la renaissance de la planification symbolique couplée aux modèles de fondation. Le jeu de données LIBERO-Logic, étendu à partir du benchmark LIBERO, constitue sans doute la contribution la plus réutilisable, car il offre à d'autres équipes des annotations logiques alignées. La suite dépendra de la généralisation à des scènes ouvertes, de la qualité des prédicats produits automatiquement et du coût d'annotation. Aucun calendrier de pilote n'est annoncé.

Recherche❖Paper

1 source

37

827arXiv cs.RO 

HiWE : modèle hiérarchique de connaissances du monde avec amélioration par points clés visuels pour la planification de trajectoire 3D en zéro-shot

HiWE, publié sur arXiv (2609.39323v1), est un cadre de génération de démonstrations robotiques qui relie trois décisions habituellement traitées séparément : où l'interaction doit avoir lieu, quel mouvement planifier, et comment exécuter le contact. Le lien est assuré par une interface fondée sur des points. PointVLM, un modèle vision-langage ajusté par instructions, associe les objets pertinents pour la tâche à des coordonnées d'image. Son entraînement mélange annotations de points, échantillons dérivés de segmentation, observations de robots et données de questions-réponses visuelles. Les mesures de profondeur projettent ensuite ces prédictions dans une représentation 3D sémantique. Un planificateur linguistique, 3DLLM, s'appuie sur cette représentation pour produire les waypoints de l'effecteur et les commandes de pince, tandis qu'un module de préhension hybride détermine les poses de saisie locales. L'évaluation porte sur 14 tâches de manipulation simulées et quatre tâches sur robot physique, avec des ablations sur les données visuelles d'entraînement, les entrées spatiales et la sélection de saisie. Aucun chiffre de taux de réussite n'figure dans le résumé. L'intérêt tient à la décomposition. Plutôt qu'une politique VLA de bout en bout qui régresse directement des actions, HiWE isole la perception, la planification et la saisie en modules inspectables, reliés par des points 3D lisibles. Pour un intégrateur, c'est plus facile à déboguer et à adapter qu'un modèle monolithique. La notion de « zéro-shot » demande toutefois de la prudence : elle signifie ici l'absence d'entraînement par démonstrations propres à chaque tâche, mais le modèle visuel est affiné sur des données robotiques existantes. Le volume restreint de tâches réelles, quatre seulement, laisse entière la question du passage de la simulation au monde physique et de la robustesse en environnement industriel non contrôlé. Il s'agit d'un résultat de recherche, sans produit livré ni déploiement. Le travail s'inscrit dans la tendance à combiner grands modèles de langage et ancrage visuel pour la manipulation, en concurrence avec les VLA de bout en bout comme Pi-0, GR00T N2 ou Helix de Figure, qui misent sur l'apprentissage direct des actions à grande échelle. Les auteurs précisent que cet article décrit la formulation initiale, fondée sur les points, et que son lien avec l'extension ultérieure GeneralVLA est détaillé dans l'introduction. La suite logique sera de mesurer cette approche modulaire sur davantage de tâches réelles, avec des temps de cycle et des taux de réussite publiés, avant de pouvoir la comparer honnêtement aux VLA entraînés sur de grands volumes de téléopération.

Recherche❖Paper

1 source

37

828arXiv cs.RO 

Évaluation et amélioration de la mémoire au niveau des compétences pour la manipulation robotique en observabilité partielle

Des chercheurs publient sur arXiv (2609.38886) HIDE, un benchmark dédié à la mémoire en manipulation robotique sous observabilité partielle, ainsi que SEEK, un cadre logiciel pour y répondre. HIDE regroupe 15 tâches réparties en trois familles : comptage de répétitions, rappel d'états passés et suivi de l'avancement d'une exécution. Les configurations initiales sont randomisées. Chaque tâche comporte des points de décision où deux observations quasi identiques exigent des actions différentes, selon ce qui s'est produit auparavant. SEEK combine trois mécanismes de mémoire complémentaires, qui conservent des indices historiques et suivent l'état d'exécution. L'évaluation couvre la simulation et des expériences sur robot réel. Le résumé ne donne ni nom de robot, ni modèle de base, ni taux de succès chiffrés, ni liste des politiques testées. Il indique que les politiques existantes montrent des limites substantielles sur HIDE et que l'ajout de mémoire améliore le taux de succès dans les deux contextes. Le résultat le plus utile est aussi le moins spectaculaire. Aucun des trois mécanismes ne vaut pour toutes les tâches : chacun aide sur certaines et dégrade les performances sur d'autres. Seule leur combinaison obtient le meilleur taux de succès moyen, parmi les configurations évaluées. Pour un intégrateur, cela signifie qu'une mémoire générique ajoutée à une politique VLA (vision-langage-action) ne suffit pas. Il faut choisir l'architecture selon la nature de l'information à retenir : un compteur, un événement passé ou une étape en cours. Le benchmark met aussi un nom sur une faiblesse peu mesurée. Beaucoup de politiques actuelles réagissent à l'observation courante, alors que des tâches réelles (compter des pièces posées, savoir si une étape a déjà été faite, reprendre après une interruption) dépendent d'un état caché. Les démonstrations sélectionnées en vidéo masquent ce défaut, qu'un benchmark standardisé peut enfin quantifier. Les chiffres détaillés manquent toutefois dans le résumé : l'ampleur réelle des gains reste à vérifier dans l'article complet. Ce travail s'inscrit dans la montée en puissance des politiques généralistes de type Pi-0, GR00T ou Helix. Elles généralisent sur des tâches et des environnements variés, mais traitent le plus souvent un historique court, voire une seule image. Les benchmarks de manipulation existants testent surtout la diversité des tâches et la généralisation, rarement la dépendance à l'historique, ce que HIDE cherche à combler. Il s'agit d'une publication de recherche (v1, préprint) : ni produit, ni déploiement industriel, ni pilote annoncé. Les suites plausibles sont l'adoption de HIDE par d'autres laboratoires comme référence commune et l'intégration de mémoire au niveau des compétences dans les grands modèles de fondation robotiques. Cela dépendra de la disponibilité publique du benchmark et du code, que le résumé ne précise pas.

Recherche❖Paper

1 source

37

829arXiv cs.RO 

Un cadre en boucle réel-simulation-réel (RSR) pour le transfert de politiques robotiques généralisables

Des chercheurs proposent un cadre « Real-to-Sim-to-Real » (RSR), publié sur arXiv dans sa troisième version (2503.10118v3), qui vise à réduire l'écart entre simulation et monde réel lors du transfert de politiques de contrôle robotique. Sa contribution centrale est une fonction de coût d'inspiration théorique de l'information. Elle pèse deux objectifs : accomplir la tâche, et orienter la politique vers la collecte d'échantillons réels les plus informatifs possible pour améliorer le transfert. Cette fonction s'intègre dans des algorithmes d'apprentissage par renforcement existants, comme PPO ou SAC, et vise une exploration équilibrée des zones critiques du domaine réel. Le cadre a été implémenté avec la plateforme MuJoCo MJX et testé sur deux familles de tâches : de la manipulation avec un bras robotique à 6 DOF, et de la locomotion avec un robot à pattes. Les auteurs annoncent une acquisition de données plus efficace et une nette amélioration des performances en conditions réelles. Le résumé ne chiffre ni les gains ni le nombre d'essais, et ne nomme ni robots ni laboratoires. L'intérêt est de traiter le sim-to-real comme un problème de choix des données réelles à collecter, et non seulement de réglage de la simulation. Les échantillons réels coûtent cher, surtout sur des robots à pattes ou des bras industriels où chaque essai use le matériel et mobilise des opérateurs. Une politique qui cherche activement l'information manquante sur l'écart de dynamique pourrait réduire le nombre d'itérations réel-simulation nécessaires avant déploiement. Le simulateur différentiable est facultatif. Quand il existe, les données servent aussi à calibrer ses paramètres. Sinon, le cadre reste utilisable, ce qui élargit son champ d'application aux équipes sans pipeline différentiable. Il faut toutefois rester prudent : il s'agit d'un travail académique évalué sur deux plateformes, sans comparaison chiffrée visible dans le résumé, et loin d'une validation à l'échelle industrielle ou sur des tâches longues et variées. Ce travail s'inscrit dans l'effort général pour fermer l'écart sim-to-real, qui freine le passage de l'entraînement massif en simulation aux robots déployés. La randomisation de domaine, l'identification de paramètres et les simulateurs différentiables en sont les approches classiques. Le choix de MuJoCo MJX, version accélérée sur GPU via JAX, reflète la place de ces outils dans la recherche actuelle. Les grands acteurs de l'humanoïde et des modèles de fondation robotiques s'appuient eux aussi fortement sur la simulation, ce qui rend ces méthodes d'exploration guidée potentiellement pertinentes pour eux. La suite dépendra de la publication du code, de l'évaluation sur des systèmes plus complexes et de comparaisons directes avec les méthodes existantes.

Recherche❖Paper

1 source

37

830arXiv cs.RO 

Exploitation des failles : attaques adverses universelles contre les modèles vision-langage-action (VLA) en robotique

Des chercheurs publient sur arXiv une attaque adversariale « universelle » contre les modèles Vision-Language-Action (VLA), ces réseaux de bout en bout qui fusionnent perception visuelle, compréhension du langage et génération d'actions pour la manipulation robotique. Le dispositif, baptisé Universal Adversarial Object, est une sphère dont la texture de surface a été optimisée. Posée dans le champ de vision du robot, elle dégrade nettement le taux de réussite des tâches. L'approche repose sur un cadre d'attaque à plusieurs niveaux, qui perturbe conjointement la planification de trajectoire, l'exécution de la tâche et le contrôle de l'action. Les auteurs l'ont validée en simulation et en conditions réelles sur deux modèles représentatifs, Pi0 et RDT. Le taux de réussite moyen recule de 31,2 % à 39,9 % selon le modèle, et tombe quasiment à zéro dans les scénarios complexes. Le résumé ne précise ni les tâches testées, ni le nombre d'essais, ni la plateforme matérielle, ni le niveau d'accès au modèle supposé pour l'attaquant. Ces éléments conditionnent la portée des chiffres. Pour les intégrateurs et les responsables de déploiement, le résultat touche un point que les démonstrations commerciales abordent peu. Un VLA ne se contente pas d'être fragile face à des variations de décor ou d'éclairage. Il peut être dégradé par un simple objet physique, passif et bon marché à produire, sans intrusion logicielle ni accès au réseau du robot. Le caractère « universel » est le point central : l'objet n'est pas conçu pour une scène ou une consigne donnée, ce qui rend une attaque plausible hors laboratoire. Le travail contredit l'idée implicite selon laquelle l'entraînement à grande échelle suffirait à rendre ces politiques robustes. Il pose aussi une question de sûreté fonctionnelle. Une chute de réussite de plus de 30 % reste un échec de tâche, mais un robot qui interagit avec des humains peut produire des mouvements inattendus. Ces risques sont rarement couverts par les normes de sécurité actuelles, pensées pour des automates déterministes. Il faut toutefois rester prudent : les gains annoncés viennent d'une évaluation académique, avec des tâches choisies par les auteurs. Pi0 (Physical Intelligence) et RDT (Robotics Diffusion Transformer) comptent parmi les VLA ouverts les plus utilisés dans la recherche. Ils servent de base à de nombreux travaux de fine-tuning, ce qui explique leur choix comme cibles. Cette étude s'inscrit dans une littérature croissante sur les attaques adversariales physiques, d'abord développées pour la vision par ordinateur (patchs adversariaux), puis étendues aux modèles multimodaux. Elle intervient alors que Figure, Tesla, NVIDIA et d'autres poussent des politiques VLA vers des déploiements industriels. La suite logique consistera à tester des défenses : entraînement adversarial, détection d'objets hors distribution et filtrage des entrées visuelles. Il faudra aussi vérifier si l'attaque se transfère aux modèles fermés.

Recherche❖Paper

1 source

37

831arXiv cs.RO 

EWAM : spécialisation émergente par profondeur dans un modèle incarné unifié, de la compréhension sémantique à l'action via la prévision visuelle

Des chercheurs ont publié sur arXiv (identifiant 2609.39973, première version) EWAM, un modèle embodied unifié « centré sur l'action ». Il combine deux familles de politiques robotiques. Les VLA (vision-language-action) privilégient la compréhension sémantique. Les WAM (world-action models) apprennent des représentations prédictives de la dynamique de l'environnement. Selon les auteurs, les systèmes qui exposent une politique à ces deux sources concentrent souvent le calcul d'action sur un seul expert. EWAM s'appuie sur une attention conjointe asymétrique. À chaque couche, les tokens d'action lisent l'information sémantique, la vision courante, les images futures prédites et les autres tokens d'action, tandis que les experts perceptifs gardent leurs rôles distincts. Le modèle est pré-entraîné dans deux régimes séparés : des trajectoires robotiques multi-embodiments, et de la vidéo égocentrique humaine. Il dépasse, en simulation et sur robot réel, les baselines VLA, WAM et hybrides. L'abstract ne donne ni chiffres de performance, ni nom des baselines, ni robots utilisés, ni volume de données. Le résultat le plus marquant est une spécialisation émergente par profondeur, apparue sans supervision par couche. Les requêtes d'action regardent surtout les features vision-langage dans les couches superficielles, les images futures prédites dans les couches intermédiaires, puis leurs propres tokens dans les couches profondes. Ce schéma se reproduit d'une tâche à l'autre et reste stable au fil des étapes de débruitage. Le suivi de checkpoints et des interventions causales indiquent qu'il est appris et que la génération d'action en dépend. Pour les intégrateurs et les équipes R&D, l'enjeu est de savoir si la prédiction visuelle est réellement utilisée par la politique ou ne sert que d'objectif auxiliaire : ici, elle l'est apparemment. Les données humaines égocentriques améliorent le transfert entre embodiments et la robustesse sur robot réel, et la supervision par phases de sous-tâches améliore l'achèvement des tâches longues. Ces points restent des affirmations de preprint, non évaluées par des pairs et sans chiffres publics dans le résumé. Aucune preuve de déploiement industriel n'est avancée. Le travail s'inscrit dans la convergence entre VLA (de type Pi-0, GR00T) et modèles du monde générant de la vidéo prédictive, avec en toile de fond l'usage croissant de la vidéo humaine pour contourner le coût de la téléopération. Ce que les auteurs appellent une progression ordonnée « de la compréhension sémantique à la prévision visuelle puis à l'action » est une interprétation fondée sur l'analyse de l'attention, pas une garantie de performance en production. Les suites logiques sont la publication des chiffres complets, du code et des poids, puis une réplication sur d'autres architectures et des tâches plus longues. C'est à ce stade que l'on pourra juger si l'avantage tient hors du banc d'essai des auteurs.

Recherche❖Paper

1 source

37

832arXiv cs.RO 

La curiosité tactile stimule l'interaction des robots avec leur environnement

Des chercheurs publient sur arXiv (2609.40134) TacEx, un cadre d'apprentissage par renforcement (RL) qui utilise le toucher comme moteur de curiosité pour l'exploration robotique. Le principe : décomposer l'incertitude épistémique d'un modèle du monde par modalité sensorielle, puis orienter la récompense intrinsèque vers le canal tactile. Le robot est ainsi incité à chercher les transitions de contact plutôt que les mouvements dans le vide. Selon les auteurs, l'agent apprend à saisir et manipuler des objets sans récompense de tâche ni démonstration experte pendant l'exploration. Le jeu de données ainsi collecté, dense en interactions, sert ensuite à entraîner hors ligne des politiques de pick-and-place, sans nouvelle interaction avec l'environnement. L'équipe applique aussi la méthode au post-entraînement de modèles vision-langage-action (VLA) pré-entraînés sans retour tactile. Elle annonce une amélioration substantielle des performances, avec une grande efficacité en échantillons. Le résumé ne fournit ni taux de réussite, ni nombre d'étapes d'entraînement, ni modèles VLA précis, ni capteurs tactiles utilisés. On ignore aussi si les résultats viennent de la simulation ou de robots physiques. Le problème visé est un goulot d'étranglement connu : la plupart des algorithmes de RL explorent par échantillonnage aléatoire d'actions et dépensent l'essentiel de leur budget en mouvements dans l'espace libre, loin des contacts d'où naissent les compétences de manipulation. Les méthodes de motivation intrinsèque fondées sur le désaccord entre modèles ou l'incertitude épistémique font mieux que le bruit isotrope, mais elles peuvent récompenser des transitions sans intérêt fonctionnel, comme des gestes erratiques. Pour un intégrateur, l'enjeu est la réduction du coût de collecte de données et de mise au point d'une cellule de manipulation. L'intérêt pratique est aussi de pouvoir enrichir des VLA existants avec le toucher sans repartir d'un pré-entraînement complet. Cela irait dans le sens d'un constat croissant : la vision seule plafonne sur les tâches riches en contacts. Les gains restent toutefois à vérifier sur du matériel réel, face à des bases de référence solides. Le travail s'inscrit dans la montée des modèles VLA (Pi-0, GR00T, Helix) qui dominent la manipulation généraliste, mais restent peu sensibles au toucher. Il s'inscrit aussi dans un courant de recherche sur l'exploration par curiosité et les modèles du monde. À ce stade, il s'agit d'un préprint non évalué par des pairs (v1), sans produit ni déploiement associé. La suite logique est une validation sur robots physiques, sur davantage de tâches, et une comparaison avec les autres approches de post-entraînement de VLA, notamment par RL.

Recherche❖Paper

1 source

37

833arXiv cs.RO 

Repenser la lisibilité de l'intention des robots sociaux dans les couloirs : effets de sa représentation et de la distraction humaine

Une équipe de recherche du Fluent Robotics Lab publie sur arXiv (2609.40158) une étude sur la « lisibilité » du mouvement des robots mobiles dans les couloirs. Le travail compare plusieurs façons de représenter l'intention du robot, toutes implémentées dans un même cadre de commande prédictive (MPC, en pratique une variante MPPI), afin d'isoler l'effet de la représentation elle-même. Deux expériences contrôlées, chacune avec 45 participants, ont été menées. La première compare une lisibilité fondée sur le côté de passage, soit fixe, soit mise à jour de façon adaptative, à une lisibilité fondée sur la destination et à une base de référence non lisible. La seconde fait varier le niveau d'attention du piéton, dont la distraction. Les résultats indiquent que la lisibilité par côté de passage, surtout lorsqu'elle est actualisée en continu, produit des trajectoires humaines plus fluides. Elle est aussi jugée plus compétente et moins exigeante mentalement et physiquement. En cas de distraction, la fluidité du mouvement humain se maintient, mais les évaluations subjectives ne suivent pas toujours. Le code est publié en open source sur GitHub (Legible_MPPI). L'intérêt dépasse la recherche académique. Les AMR, robots de livraison et futurs humanoïdes qui évoluent dans des espaces partagés (hôpitaux, entrepôts, bureaux) rencontrent le même problème dans les couloirs étroits : deux agents doivent se croiser sans se bloquer ni se heurter. L'étude suggère qu'indiquer à l'humain de quel côté le robot va passer coordonne mieux l'interaction que lui signaler la destination finale, information peu exploitable à quelques mètres. Elle montre aussi que la lisibilité conserve une partie de son effet quand le piéton regarde son téléphone, ce qui compte pour la sécurité en conditions réelles. Le décalage entre mesures objectives et ressenti rappelle toutefois que la perception de confiance et la performance de coordination ne se confondent pas. Pour un intégrateur, cela plaide pour évaluer la navigation sociale sur des mesures de mouvement et pas seulement sur des questionnaires. Il faut relativiser la portée des résultats. Il s'agit d'une étude préliminaire sur arXiv, avec un échantillon modeste et un scénario unique, le couloir. Aucun produit commercial, déploiement ni chiffre de performance industrielle n'est annoncé. Les travaux sur la lisibilité remontent aux cadres posés pour des observateurs statiques, notamment en manipulation. Leur transposition à la navigation dynamique restait peu explorée. Cette étude s'inscrit dans un courant plus large de navigation sociale où se croisent apprentissage par renforcement, modèles VLA et commande prédictive. La suite logique serait d'étendre les tests à des environnements plus denses, à des groupes de piétons et à des robots non holonomes ou à pattes, puis de les valider sur des sites réels comme des hôpitaux ou des entrepôts.

Recherche❖Paper

1 source

37

834arXiv cs.RO 

Forçage discret : injecter un guidage discret dans le débruitage continu pour des experts d'action en peu d'étapes

Des chercheurs publient sur arXiv (identifiant 2609.39526, version 1) Discrete Forcing, un cadre de génération d'actions pour modèles vision-langage-action (VLA) fondé sur le flow matching. L'approche procède du grossier au fin : un premier module prédit des tokens d'action discrets qui fixent la structure globale du mouvement, puis un second module les utilise pour guider le raffinement d'actions continues. Les deux branches partagent un même backbone de type diffusion transformer, avec des têtes spécialisées. Le nombre de paramètres reste comparable à celui d'un expert d'action continu classique à une seule branche, et chaque branche ne demande qu'une seule passe avant. Les auteurs annoncent de meilleures performances et une inférence plus rapide que celles d'un expert continu à paramètres équivalents, sur plusieurs benchmarks. Le gain progresse de façon régulière avec la capacité du modèle. Des essais sur robot réel sont mentionnés pour des tâches de manipulation de haute précision et dynamiques. Le résumé ne donne ni chiffres, ni noms de benchmarks, ni plateforme robotique. L'enjeu est le coût de l'action experte dans les VLA. Les tokens discrets sont compacts et se prêtent bien à la prédiction par un modèle de langage, mais la quantification limite la précision. Les actions continues, générées par diffusion ou flow matching, sont précises mais demandent souvent plusieurs étapes de débruitage, ce qui pèse sur la latence, critique pour les tâches dynamiques. Si les résultats tiennent, Discrete Forcing montrerait qu'on peut réduire le nombre d'étapes sans alourdir le modèle, en confiant la structure au discret et le détail au continu. Le comparatif à paramètres égaux est une bonne pratique méthodologique. Il faudra cependant voir les chiffres réels, les écarts de latence mesurés, la variété des tâches physiques et la robustesse hors démonstration. Pour un intégrateur, il s'agit d'une brique de recherche, pas d'un produit disponible ni d'un déploiement industriel. Ce travail s'inscrit dans une tension ancienne entre deux familles de politiques. D'un côté, les approches par tokens d'action de type FAST ou les modèles autorégressifs. De l'autre, les experts continus à flow matching popularisés par des modèles comme Pi-0 ou l'architecture de GR00T, qui sont devenus la référence pour la précision. Plusieurs équipes cherchent à accélérer ces experts en réduisant le nombre d'étapes d'inférence, par distillation ou par modèles à peu d'étapes. Discrete Forcing propose une voie hybride plutôt qu'une simple compression. Il s'agit d'une prépublication, sans relecture par les pairs à ce stade. Les prochaines étapes à surveiller sont la publication du code et des poids, des évaluations indépendantes sur des benchmarks établis, et l'intégration éventuelle de l'idée dans des VLA de grande taille.

Recherche❖Paper

1 source

37

835arXiv cs.RO 

Politique texte-vers-3D : alignement fin langage-comportement pour généraliser à des spécifications inédites

Des chercheurs ont publié sur arXiv T3DP (Text-to-3D Policy), un cadre d'apprentissage qui aide une politique de manipulation robotique à suivre des consignes en langage naturel portant sur des variations de comportement absentes des démonstrations d'entraînement. Les auteurs parlent de généralisation à des spécifications non vues : la consigne fixe une position cible, un déplacement ou un état articulé (porte entrouverte, tiroir à moitié tiré) jamais rencontré à l'apprentissage. T3DP ne compresse plus chaque instruction et chaque démonstration en un seul vecteur global. Il conserve leur structure locale et établit une correspondance bidirectionnelle, au niveau des tokens, entre les éléments linguistiques et les segments de comportement. La représentation obtenue conditionne une politique de diffusion 3D sur nuage de points, dont l'architecture reste inchangée. Sur Meta-World, ManiSkill et RoboTwin, le taux de réussite moyen sur spécifications hors distribution progresse de 11,0 à 14,2 points face à un alignement global langage-comportement, avec un gain sur les 15 familles de tâches. Sur robot réel, il passe de 47,5 % à 65,0 % (+17,5 points). Il s'agit de résultats de recherche, sans produit ni déploiement industriel. Le texte ne précise ni le nombre d'essais réels, ni le robot, ni les tâches. L'enjeu touche un point faible des politiques actuelles, qui exécutent bien les variantes vues en démonstration et se dégradent quand la consigne demande une variation fine. Les auteurs montrent que les représentations de langage pré-entraînées et l'alignement global saturent à la sémantique grossière de la tâche et confondent des consignes voisines qui exigent des gestes différents. Pour un intégrateur, c'est la différence entre « range la pièce » et « place-la à 2 cm à gauche du repère » sans nouvelle collecte de données. Le gain est obtenu sans toucher à l'architecture de la politique, ce qui facilite son intégration dans des piles existantes. Les analyses de représentation et de sondage d'actions indiquent que l'alignement fin préserve mieux la géométrie des spécifications. Les résultats restent à nuancer : les benchmarks sont simulés, le test réel semble de petite taille, et un taux de 65 % reste loin des exigences industrielles, où l'on attend plus de 95 % de fiabilité. Ce travail s'inscrit dans la montée des politiques visuomotrices 3D, comme la 3D Diffusion Policy, qui offrent une précision spatiale supérieure aux approches purement 2D. Il complète les modèles vision-langage-action (VLA) généralistes, qui misent sur l'échelle des données et des modèles pour couvrir la diversité des consignes. T3DP suit une autre voie : améliorer l'alignement du langage sur le comportement plutôt qu'ajouter des démonstrations. Le papier est une préversion arXiv (v1), sans relecture par les pairs à ce stade, et ne mentionne pas de code ni de calendrier de transfert. La suite logique serait des validations sur davantage de robots, des tâches longues et une comparaison directe avec des VLA de grande taille.

Recherche❖Paper

1 source

37

836arXiv cs.RO 

Rapport technique UniWAM : manipulation mobile unifiée par modélisation monde-action à flux mixtes et supervision par pose d'ancrage de manipulation

UniWAM, un rapport technique publié sur arXiv, propose un modèle monde-action unifié (« world-action model ») qui traite à la fois la navigation et la manipulation d'un robot mobile. Son architecture à flux mixtes dispose d'encodeurs d'actions et de têtes de sortie distincts pour chaque tâche, mais d'un backbone partagé. Cela permet d'entraîner conjointement le modèle sur des données de navigation et de manipulation échantillonnées indépendamment. Chaque flux peut être inféré seul, ou les deux en parallèle par batch. Les auteurs introduisent aussi la supervision MAP (Manipulation Anchor Pose), qui indique où s'arrêter et comment s'orienter avant de saisir un objet. Un pipeline automatisé génère le jeu MAP-Data à partir de scènes 3D à grande échelle : plus de 1,5 million d'épisodes, soit 7 500 heures. Il fournit, image par image, les boîtes englobantes de l'objet cible et les coordonnées MAP dans le plan image. Sur le banc d'essai MAP-Bench des auteurs, UniWAM réduit l'erreur de position de 30,1 % et l'erreur de cap de 44,0 % par rapport aux meilleures références externes. Sur 24 tâches réelles, il obtient les meilleurs résultats en navigation MAP et en manipulation mobile, avec une manipulation pure seulement « compétitive ». Code, données et benchmark sont publiés. Le point important pour les intégrateurs est que le goulot d'étranglement de la manipulation mobile se situe souvent à la jonction entre les deux phases. Un bras habile ne sert à rien si la base s'arrête mal positionnée ou mal orientée. En formulant explicitement cette pose d'arrêt comme cible apprenable, UniWAM s'attaque à un mode de défaillance fréquent des politiques VLA (vision-langage-action) de bout en bout. Le recours à des scènes 3D synthétiques pour produire une supervision que la collecte réelle ne fournit pas à coût raisonnable illustre aussi un déplacement du problème, de la téléopération vers la génération de données. Les réserves sont claires. Les gains chiffrés portent sur un benchmark conçu par les mêmes auteurs. Les 24 tâches réelles ne sont décrites ni par leur nombre d'essais ni par la plateforme robotique dans le résumé. Enfin, le fait que la manipulation seule ne soit que « compétitive » montre que l'unification n'est pas gratuite. Rien n'indique de déploiement industriel : il s'agit d'un résultat de recherche. Ce travail s'inscrit dans la tendance des modèles fondation robotiques, où des systèmes comme Pi-0, GR00T ou Helix traitent surtout la manipulation, tandis que la navigation reste un module séparé. Les approches monde-action, qui prédisent l'évolution de la scène en plus des actions, gagnent du terrain pour exploiter des données non robotiques. Les prochaines étapes à surveiller sont la validation par des tiers sur MAP-Bench, des tests sur d'autres morphologies, et l'intégration de MAP-Data dans les pipelines d'entraînement ouverts, puisque le jeu est public.

Recherche❖Paper

1 source

37

837arXiv cs.RO 

SimEX : l'AutoResearch en robotique intégrant la simulation

SimEX, un framework d'« autoresearch » décrit dans l'article arXiv 2609.38982v1, propose de confier à un agent de code basé sur un LLM le développement de compétences robotiques, en s'appuyant sur la simulation plutôt que sur des essais physiques répétés. Le système fonctionne en deux étapes. Dans un premier temps, l'agent mène en simulation des itérations ouvertes de sondage et d'optimisation, et construit une « boîte à outils » robotique robuste et généralisable. Dans un second temps, il adapte conjointement cette boîte à outils et le simulateur en quelques essais réels seulement : chaque essai corrige le simulateur, qui sert ensuite à diagnostiquer les échecs et à présélectionner les réparations candidates. Les auteurs évaluent le dispositif en sim-to-sim puis sur robots physiques, sur des tâches de manipulation réelles : pliage de serviette, scan de code-barres et manipulation d'assiettes. Ils annoncent que l'agent acquiert ces compétences sans aucune démonstration et avec seulement 10 minutes d'interaction réelle. L'article ne précise ni la plateforme robotique, ni les taux de réussite dans l'extrait disponible. L'intérêt tient au positionnement de la simulation. Elle n'est plus seulement une source de données d'entraînement devant répliquer au plus près le réel, ce qui est la logique dominante du sim-to-real, mais un laboratoire « à peu près correct » où l'agent élabore connaissances et procédures, puis les recale sur le robot. Pour un intégrateur, la promesse est une mise en service de tâches de manipulation sans collecte de téléopération et avec peu de temps machine, ce qui réduit coûts et risques de casse. Cette approche contourne deux écueils identifiés par les auteurs : la génération directe de code de type Code as Policies, limitée par la compréhension insuffisante des robots et de leur environnement par les LLM, et le réglage par essais-erreurs physiques, coûteux et risqué. Reste à vérifier la portée réelle : le choix des tâches, le nombre d'essais et la robustesse hors des scénarios testés ne sont pas détaillés ici, et des vidéos de démonstration sélectionnées ne remplacent pas une évaluation statistique. Ce travail s'inscrit dans la montée des agents de code appliqués au monde physique, après les succès de ces agents dans les environnements numériques. Il se place en alternative aux politiques apprises de type VLA (vision-langage-action), qui exigent des volumes importants de démonstrations, et aux approches de génération de code robotique pilotées par LLM. Il s'agit d'une publication de recherche, sans produit ni déploiement industriel annoncé. Les prochaines étapes à surveiller sont l'extension à des tâches plus longues et à des robots variés, ainsi que la reproductibilité par d'autres laboratoires, les vidéos et détails étant publiés sur le site du projet.

Recherche❖Paper

1 source

37

838arXiv cs.RO 

Regarder en arrière pour avancer : vérification temporelle des politiques génératives de robots

Des chercheurs proposent Temporal Verification (TeV), un cadre de vérification d'actions pour les VLA (vision-language-action) à flow-matching, détaillé dans un preprint arXiv. Il s'agit d'un travail académique, sans produit commercial, sans partenaire industriel et sans volume de déploiement annoncé. Le principe tient en trois étapes. Un « token temporel » résume l'historique récent d'observations et d'actions du robot. À partir de lui, TeV construit des paires positives et négatives sans démonstration d'expert supplémentaire ni annotation de préférence, puis entraîne par contraste un vérificateur à base d'énergie. Ce vérificateur attribue une énergie plus basse aux séquences d'actions (action chunks) de meilleure qualité et cohérentes avec la trajectoire en cours. Le paysage d'énergie appris sert aussi à guider les échantillons intermédiaires du flux vers les zones de basse énergie, avant la sélection finale parmi plusieurs candidats. Les auteurs revendiquent un classement fiable des candidats, de meilleurs taux de réussite et des trajectoires plus lisses, en simulation et en conditions réelles. Le résumé ne donne ni chiffres, ni noms de robots, ni noms de benchmarks, ni nombre de tâches testées. Le problème visé est connu. Les politiques génératives sont entraînées sur des démonstrations hétérogènes, ce qui produit des séquences d'actions sous-optimales. Leurs erreurs s'accumulent jusqu'à pousser le robot hors distribution, dans des états dont il sort difficilement. La vérification à l'inférence (test-time scaling) échantillonne plusieurs actions et laisse un vérificateur choisir. Les approches existantes sont décrites comme « myopes » : elles jugent chaque candidat sur l'observation courante seule, sans tenir compte de la continuité de la trajectoire. Elles exigent souvent de gros vérificateurs et des démonstrations expertes en plus. Si TeV tient ses promesses hors laboratoire, il abaisserait le coût d'amélioration de VLA déjà déployés, sans réentraîner la politique de base. Il intéresserait donc les intégrateurs qui cherchent plus de robustesse sans collecter de nouvelles données. Deux réserves s'imposent. Les gains réels ne sont pas chiffrés dans le résumé. Et échantillonner plusieurs candidats puis les évaluer ajoute de la latence, un coût à mesurer sur du matériel embarqué à cadence de contrôle élevée. Ce travail s'inscrit dans la montée du calcul à l'inférence pour la robotique, après ses succès sur les modèles de langage. Les VLA à flow-matching de type Pi-0 en sont la cible naturelle, et d'autres équipes explorent la vérification ou le reranking d'actions. TeV se distingue par la mémoire temporelle et l'absence de données supplémentaires. Il faudra attendre la lecture complète de l'article pour juger des benchmarks, des robots utilisés, du surcoût de calcul et de la comparaison avec les vérificateurs concurrents. Le code et les évaluations indépendantes diront si l'approche dépasse le stade du preprint.

Recherche❖Paper

1 source

37

839arXiv cs.RO 

Certification du torseur résiduel et synthèse de commande tenant compte des marges pour l'interaction physique aérienne

Des chercheurs publient sur arXiv (2609.38707v1) un cadre théorique pour certifier l'autorité résiduelle en force et couple (« residual wrench ») d'un multirotor aux actionneurs bornés, une fois la sustentation et la charge de contact prises en compte. Par géométrie convexe, ils calculent des marges signées pour des réserves convexes prescrites, boules euclidiennes ou ellipsoïdes pondérés. Des certificats calculables, issus de bornes d'intériorité des actionneurs, alimentent une allocation qui maximise la marge. Pour préserver la réserve exigée, les commandes sont projetées sur un ensemble admissible resserré. Cette réserve est ensuite reliée à une synthèse de gains structurée, qui certifie une région locale de suivi respectant les limites des actionneurs. Dans cette région, les auteurs établissent une convergence exponentielle nominale et une bornitude ultime robuste. Pour la tâche et la famille de morphologies retenues, un octorotor optimisé obtient une marge supérieure à celle d'un hexarotor optimisé, à poussée totale égale. La validation reste entièrement numérique : simulations en boucle fermée d'un contact soutenu contre un mur rigide, avec un octorotor à géométrie fixe et un quadrirotor à inclinaison variable, à poussée installée équivalente. Le certificat local du quadrirotor admet une limite de poussée normalisée plus élevée pour la famille de tâches considérée. Au-delà des frontières de réalisabilité, la perte d'autorité observée correspond aux prédictions : saturation de poussée des rotors pour l'octorotor, limites des servomoteurs d'inclinaison pour le quadrirotor. Aucun essai matériel ni chiffre de payload n'est mentionné, et les conclusions valent pour la tâche et les morphologies prescrites, pas pour les drones en général. L'intérêt tient à ce que la manipulation aérienne, notamment l'inspection par contact d'ouvrages ou le travail en hauteur, se juge souvent sur des démonstrations sans garantie formelle de marge restante. Un certificat qui indique d'avance combien d'effort un drone peut encore exercer, et par quel actionneur il décrochera, aide les intégrateurs à dimensionner une plateforme et à fixer des limites opérationnelles. Le résultat contredit aussi l'intuition selon laquelle plus de rotors fixes l'emporte toujours : un quadrirotor à inclinaison variable peut offrir une meilleure limite de poussée normalisée qu'un octorotor, au prix d'une dépendance aux servomoteurs. Ce travail s'inscrit dans la lignée des recherches sur les multirotors totalement actionnés et l'interaction physique aérienne, où la conception des morphologies et le contrôle sous saturation ont longtemps été traités séparément. La suite logique est une validation expérimentale sur plateforme réelle, seule capable de confirmer que les modèles d'actionneurs et les perturbations de contact tiennent hors simulation. L'article ne cite ni partenaire industriel ni calendrier de pilote.

Recherche❖Paper

1 source

37

840arXiv cs.RO 

Refus qui fléchissent : mesurer et prédire la malléabilité des tâches dans les planificateurs VLM incarnés

Des chercheurs publient sur arXiv (2609.38971) une étude sur la robustesse des refus de sécurité des VLM (vision-language models) utilisés comme planificateurs de haut niveau pour robots. Le test est simple: placer un seul objet du quotidien dans l'environnement, sans pixel, gradient ni prompt sous contrôle adversarial. Sur 846 tâches qu'un planificateur protégé par une « constitution » (règles de sécurité explicites) refusait initialement, 20,2 % basculent vers l'acceptation avec un ou plusieurs objets, et le nombre d'objets nécessaires varie d'une tâche à l'autre. L'objet n'a pas besoin d'être choisi pour la tâche: des objets tirés d'une liste fixe, sans connaissance de l'environnement ni de l'instruction, contournent la sécurité presque aussi souvent que ceux proposés spécifiquement. Les auteurs prédisent aussi cette vulnérabilité: un score composite de signaux extraits d'un petit VLM open source identifie les tâches « malléables » 2,4 fois plus souvent qu'un tirage aléatoire, sans interroger la cible. Ce résultat déplace le problème. Les red-teamings existants supposent un attaquant qui optimise le prompt, l'image ou un texte dans la scène, et les benchmarks mesurent si un modèle reconnaît un danger dans une scène figée. Ici, aucun adversaire n'est requis: un simple réarrangement ordinaire de l'environnement peut suffire à lever un refus. Pour un intégrateur, cela contredit l'hypothèse selon laquelle un alignement validé en laboratoire se transfère à des sites inconnus, alors que l'intérêt des VLM planificateurs est justement leur généralisation. L'analyse qualitative indique que la fragilité dépend de la visibilité du danger dans l'instruction et la scène: les tâches dont le risque est peu évident sont les plus contournées. La vulnérabilité est donc une propriété de la tâche, pas seulement du modèle. Les auteurs recommandent d'évaluer cette « malléabilité » tâche par tâche avant déploiement. Il faut nuancer: il s'agit d'un préprint non évalué par les pairs, mesuré sur un seul type de garde-fou (constitutionnel) et sans que le résumé précise les modèles testés, ni si l'étude a eu lieu en simulation ou sur matériel réel. Le taux de 20,2 % porte sur des tâches déjà refusées, pas sur l'ensemble des requêtes. Le travail s'inscrit dans la montée des architectures où un VLM planifie et des politiques bas niveau exécutent, popularisées par les approches VLA et les modèles de fondation robotiques, et il prolonge les travaux d'attaques adversariales sur ces planificateurs en les remplaçant par des perturbations réalistes. L'étape suivante logique est l'intégration de tests de malléabilité dans les audits de sécurité avant mise en service, notamment pour les déploiements en environnements non contrôlés.

Recherche❖Paper

1 source

37

841arXiv cs.RO 

Allocation distribuée de tâches multi-robots sans communication sous observations partielles par filtrage multi-Bernoulli étiqueté

Des chercheurs proposent sur arXiv un cadre d'allocation de tâches multi-robots sans aucune communication entre machines, fondé uniquement sur des observations locales. Les tâches sont définies comme l'atteinte de positions cibles. Chaque robot estime la position de ses voisins avec un filtre de Bernoulli multi-objets étiqueté (Labeled Multi-Bernoulli, LMB), puis attribue les tâches de façon indépendante via une stratégie d'enchères gloutonne. Les estimations sont mises à jour en continu et les tâches sont réallouées pendant l'exécution. Les résultats reposent sur des simulations de Monte Carlo, qui indiquent une allocation coopérative efficace malgré le bruit de mesure (clutter) et l'incertitude d'observation. L'article ne donne ici ni nombre de robots, ni temps de cycle, ni comparaison chiffrée avec une méthode de référence. Il n'y a ni matériel réel ni déploiement. Pour les intégrateurs et les décideurs industriels, l'intérêt est d'abord conceptuel. Les flottes d'AMR et de robots mobiles en entrepôt dépendent presque toutes d'un orchestrateur central ou d'un réseau fiable. Or le Wi-Fi saturé, les zones d'ombre ou les environnements brouillés restent une cause fréquente de dégradation en exploitation. Une coordination qui tient sans lien radio réduirait ce point de défaillance unique. Il faut toutefois rester prudent. Une validation purement simulée ne dit rien de l'écart entre démonstration et réalité, c'est-à-dire du gap sim-to-real. Elle ne dit rien non plus de la qualité des capteurs embarqués ni de la montée en charge avec des dizaines de robots. Elle ne dit pas non plus ce que coûte le calcul d'un filtre LMB sur chaque machine. Ce travail ne concerne pas les humanoïdes ni les modèles VLA. Il relève de la couche de coordination de flottes. Ce travail prolonge deux lignes de recherche. L'une est l'allocation de tâches par enchères, courante en robotique distribuée. L'autre est le suivi multi-cibles par ensembles finis aléatoires, dont fait partie le filtre LMB. Il remplace l'échange explicite de messages par l'inférence sur les voisins. Il rejoint les approches de swarm robotics et de robotique décentralisée, plus anciennes que les architectures centralisées dominantes dans la logistique commerciale. Aucun pilote ni calendrier n'est annoncé. Les prochaines étapes logiques seraient des essais sur robots physiques, des tests avec des occultations réalistes et une comparaison avec des allocateurs centralisés.

Recherche❖Paper

1 source

37

842arXiv cs.RO 

LocoWM : locomotion de haute précision grâce à une adaptation résiduelle guidée par un modèle du monde

LocoWM est un cadre de contrôle publié sur arXiv (version 1, identifiant 2609.39179) qui vise la locomotion de haute précision, c'est-à-dire le suivi de commandes de mouvement associé à une régulation fine d'états physiques utiles à la tâche. L'architecture combine trois briques. Une politique de base assure la locomotion qui suit les commandes. Un modèle du monde conditionné par l'action prédit une séquence d'états physiques futurs à partir de l'historique proprioceptif et de l'action proposée par la politique de base. Un adaptateur résiduel, alimenté par cette séquence prédite, produit des corrections additives censées compenser les écarts anticipés. L'entraînement se fait en deux étapes : la locomotion et la dynamique conditionnée par l'action sont d'abord apprises, puis les deux modules sont gelés pendant l'entraînement de l'adaptateur. Les auteurs testent trois scénarios, le nivellement de terrain, la compensation d'accélération et la récupération après poussée. Ils annoncent une meilleure précision de contrôle et une meilleure robustesse aux perturbations que des références de bout en bout et des références résiduelles réactives. Démonstrations et code sont publiés en ligne. Le résumé ne donne aucun chiffre, aucun robot ni aucune plateforme matérielle. L'intérêt tient à un problème connu de l'apprentissage par renforcement pour la marche. Une optimisation conjointe de bout en bout sacrifie souvent les objectifs de précision au profit du suivi de vitesse et de la stabilité, car ces derniers dominent la récompense. Les correcteurs résiduels réactifs, eux, n'agissent qu'une fois l'écart observable, donc trop tard pour des tâches où la tolérance est serrée, par exemple porter une charge, niveler un sol ou tenir une posture en mouvement. Le caractère « préactif » de LocoWM, qui corrige avant que l'erreur ne se manifeste, répond à ce défaut. La séparation entre l'acquisition de la locomotion et l'adaptation de précision est aussi un choix d'ingénierie utile : la politique de base reste intacte et la couche de précision se greffe par-dessus. Reste à vérifier que cela tient au-delà de la simulation. Le résumé ne précise ni le transfert sim-to-real, ni le coût de calcul du modèle du monde à l'inférence, ni l'ampleur des gains. Il s'agit d'un travail de recherche et non d'un produit, sans déploiement industriel. Ce travail s'inscrit dans le courant qui rapproche modèles du monde et contrôle bas niveau pour les robots à pattes et humanoïdes. Il existe déjà des politiques de locomotion apprises en simulation, des architectures à correction résiduelle et des modèles dynamiques appris pour la planification. Les acteurs industriels de l'humanoïde, comme Figure, Tesla ou Agility, dépendent de telles couches de contrôle bas niveau, sans qu'un lien avec LocoWM soit établi ici. Aucun calendrier de suite n'est annoncé. Les prochaines étapes à surveiller sont la validation sur robot réel, la comparaison chiffrée avec les méthodes existantes et la réutilisation du code publié par d'autres laboratoires.

Recherche❖Paper

1 source

36

843arXiv cs.RO 

Mémoire intégrée et compétences réutilisables : un cadre centré sur la mémoire pour les modèles vision-langage-action (VLA)

Des chercheurs proposent Optimus-R, un cadre de type VLA (Vision-Language-Action) centré sur la mémoire, qui traite l'adaptation d'un robot à une nouvelle tâche comme un réglage explicite d'une mémoire requête-compétence, plutôt que comme un réentraînement des paramètres du modèle. Le dispositif repose sur trois briques. Une interface de mémoire « en ligne » insère des tokens de mémoire apprenables dans le flux de préfixe du VLA, ce qui permet au backbone d'extraire des représentations de requête et de compétence liées au contrôle, dans son circuit natif de conditionnement de l'action. Une banque de mémoire requête-compétence externalise ensuite ces compétences : des prototypes de requêtes décident quoi récupérer, des valeurs de compétence précisent comment agir. Enfin, un mécanisme léger « Bridge-and-Adapt » aligne les requêtes et compétences du domaine cible sur l'espace mémoire existant, via un adaptateur et des mises à jour résiduelles. Les auteurs rapportent des expériences en adaptation intra-domaine, inter-domaines et en apprentissage continu. Leur conclusion est un apprentissage de compétences économe en données, avec un oubli catastrophique atténué. Le résumé ne fournit ni taux de réussite, ni nom de robot, ni taille de modèle, ni benchmark. Il s'agit d'un travail de recherche publié sur arXiv, sans produit ni déploiement associé. L'enjeu est très concret pour qui veut déployer des VLA en production. Aujourd'hui, adapter un modèle généraliste à un nouveau poste, une nouvelle pièce ou un nouvel effecteur passe le plus souvent par du fine-tuning. Celui-ci coûte du calcul et des démonstrations, et il peut dégrader les tâches déjà maîtrisées. Pour un intégrateur qui maintient plusieurs cellules, ce risque de régression oblige à revalider l'existant à chaque mise à jour. Déplacer l'apprentissage vers une mémoire externe, extensible avec peu de paramètres modifiés, irait vers une logique plus modulaire, où l'on ajoute une compétence sans toucher au reste. L'approche reste cependant à démontrer. Faute de chiffres dans le résumé, on ignore l'ampleur du gain, la nature des domaines testés (simulation ou matériel réel) et la façon dont la banque se comporte quand le nombre de compétences croît. L'écart entre résultats de laboratoire et exploitation industrielle reste donc entier. Ce travail s'inscrit dans un courant de recherche sur l'apprentissage continu pour les politiques robotiques et l'adaptation efficiente en paramètres, déjà exploré par des méthodes de type adaptateurs ou LoRA appliquées aux VLA. Il rejoint aussi l'intérêt croissant pour les mémoires externes et la récupération de compétences dans les modèles de fondation. Les acteurs industriels comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) travaillent sur des modèles généralistes, mais leurs méthodes d'adaptation propres ne sont pas détaillées publiquement dans ce cadre. La suite logique est la publication du code et des détails expérimentaux, puis une comparaison avec ces approches sur des benchmarks communs et sur robot réel. Tant que ces éléments manquent, Optimus-R relève d'une piste de recherche prometteuse et non d'une solution éprouvée.

Recherche❖Paper

1 source

36

844arXiv cs.RO 

Vision embarquée et navigation MPC pour robots sous-marins : une plateforme BlueROV2 ouverte pour les expériences multi-robots et l'amarrage

Des chercheurs publient sur arXiv une plateforme open source basée sur le BlueROV2, le petit robot sous-marin télépiloté largement répandu en recherche, qui associe vision embarquée et commande prédictive non linéaire (NMPC) pour la navigation autonome et l'amarrage en milieu confiné. Le véhicule embarque un NVIDIA Jetson Orin NX et une caméra stéréo Intel RealSense D435i, logés dans un boîtier de pression modulaire. La caméra, calibrée pour l'usage sous l'eau, fournit une profondeur stéréo et une détection d'objets en temps réel qui donnent la position relative de BlueROV2 voisins, dans le repère caméra comme dans celui du corps du robot. Un estimateur à base de quaternions fusionne ces poses externes avec les mesures inertielles. Le contrôleur NMPC s'appuie sur un modèle non linéaire à six degrés de liberté pour suivre des trajectoires planifiées de navigation et d'amarrage. Les auteurs fournissent aussi des environnements de simulation PX4 SITL et Gazebo fondés sur la physique, des outils de simulation multi-robots et une station d'amarrage physique à bas coût. Les expériences portent sur la perception sous-marine, les performances de calcul embarquées, l'estimation d'état, le suivi de trajectoire et l'amarrage autonome. Le résumé ne chiffre aucun résultat : précision, taux de réussite d'amarrage et charge du Jetson restent à vérifier dans le texte complet. L'intérêt tient moins à un algorithme inédit qu'à la mise à disposition d'une chaîne complète et reproductible, du simulateur au bassin. En robotique sous-marine, les résultats d'amarrage ou de coordination multi-véhicules reposent souvent sur du matériel propriétaire ou sur des systèmes de positionnement acoustique coûteux, ce qui rend les comparaisons difficiles. Un socle ouvert, bâti sur une plateforme que de nombreux laboratoires possèdent déjà, abaisse le coût d'entrée pour les équipes et les intégrateurs qui veulent tester des essaims ou de l'inspection autonome en espace restreint (cuves, ports, structures offshore). L'usage d'une vision purement embarquée pour localiser un congénère ou une station est pertinent là où le GPS est absent et où les balises acoustiques perdent en précision à courte distance. Le recours à un module Jetson montre aussi que le calcul embarqué de perception et de MPC devient accessible sur de petits véhicules. Reste que la vision sous-marine dépend fortement de la turbidité et de l'éclairage : la robustesse hors bassin contrôlé est la vraie question. Ce travail s'inscrit dans l'écosystème du BlueROV2, produit par Blue Robotics, devenu la référence de facto des laboratoires grâce à son autopilote ArduSub/PX4 et à son architecture ouverte. Il prolonge une longue série de travaux sur l'amarrage autonome, souvent fondés sur des balises acoustiques ou lumineuses, et sur la commande prédictive appliquée aux véhicules sous-marins. Les prochaines étapes naturelles sont des essais en eau libre, l'extension à des flottes plus nombreuses et l'intégration de capteurs complémentaires. Il s'agit d'un article de recherche, pas d'un produit commercial : aucun déploiement industriel n'est annoncé.

Recherche❖Paper

1 source

35

845arXiv cs.RO 

Des comportements VLA locaux du corps entier à la manipulation aérienne à l'échelle de la scène

Des chercheurs proposent un cadre unifié pour faire exécuter à des manipulateurs aériens articulés (UAM, pour uncrewed aerial manipulators) des missions de manipulation à l'échelle d'une scène entière, en s'appuyant sur des modèles vision-langage-action (VLA). La méthode repose sur trois briques. D'abord, un pipeline reconfigurable génère de manière synthétique des trajectoires cinématiquement et dynamiquement réalisables, avec des observations multivues synchronisées, ce qui évite toute démonstration physique sur la plateforme. Ensuite, un algorithme baptisé MPAR (measured-progress-aligned realization) recale les séquences d'actions renvoyées de façon asynchrone par le modèle sur la progression réellement mesurée de l'exécution, puis les convertit en trajectoires continues. Enfin, un graphe de scène relationnel associe les consignes en langage naturel à des instances d'objets et à des zones d'interaction praticables, tandis qu'un transfert guidé par la topologie relie les comportements locaux entre différents sites. En simulation, les compétences VLA locales réussissent 39 essais sur 60 (65,0 %), mais dans des conditions favorables : cible fournie par un oracle et transmission du contrôle jugée réalisable. Avec 500 ms de latence ajoutée, avec ou sans blocage transitoire des mises à jour de commande, MPAR réduit de 0,212 s l'erreur de phase médiane à la reprise de contrôle, par rapport à un alignement sur le temps nominal. Le système complet mène à bien 21 missions multisites simulées sur 50 (42,0 %) et a aussi été validé sur un UAM articulé réel, sans que le résumé ne détaille l'ampleur de cet essai. L'intérêt tient à ce que le travail s'attaque à trois freins concrets du VLA appliqué à la robotique aérienne : le coût des démonstrations en corps entier, le décalage entre action et état causé par la latence, et la difficulté d'enchaîner des comportements d'un site à l'autre. Produire les données d'entraînement par synthèse, sans plateforme physique, réduit un goulot d'étranglement majeur, même si l'écart entre simulation et réalité reste à mesurer sur le matériel. Les chiffres appellent toutefois à la prudence : 42 % de réussite sur missions complètes simulées reste loin d'un niveau exploitable en inspection ou en maintenance, et le 65 % local est obtenu avec des aides oracle. Le message pour les intégrateurs est donc nuancé : la composition de compétences sur de longues missions fonctionne en principe, mais l'érosion du taux de succès d'une étape à l'autre demeure le verrou principal. Ce travail s'inscrit dans la montée des modèles VLA, déjà largement testés sur bras fixes et humanoïdes, et dont l'extension aux drones manipulateurs articulés reste rare, car ces plateformes combinent dynamique de vol, bras mobile et latence de communication. Le résumé ne cite ni concurrents ni acteurs industriels, et aucun calendrier de déploiement n'est annoncé. Il s'agit d'une préimpression arXiv, non évaluée par les pairs. Les suites logiques seraient des essais physiques plus nombreux, la levée des hypothèses d'oracle et une comparaison avec d'autres approches de manipulation aérienne.

Recherche❖Paper

1 source

35

846arXiv cs.RO 

Drone football : apprendre à manipuler des objets grâce au flux descendant des multicoptères

Des chercheurs publient sur arXiv (identifiant 2609.38588, première version) une étude qui retourne un problème classique de la manipulation aérienne : au lieu de subir le « downwash », le flux d'air descendant généré par les hélices d'un multicoptère, ils l'emploient comme outil. La tâche choisie est du football pour drone : un quadricoptère doit dribbler une balle sans la saisir. L'équipe développe un modèle simplifié de la dynamique du downwash, puis l'utilise pour entraîner par apprentissage par renforcement (RL) une politique de dribble. Selon le résumé, cette politique se transfère au monde réel (sim-to-real). Le texte disponible ne donne ni taux de réussite, ni durée de dribble, ni nombre d'essais, ni type de drone ou de balle. L'enjeu est conceptuel avant d'être commercial. Les manipulateurs aériens (UAM) actuels embarquent surtout un bras ou une pince, ce qui ajoute de la masse, de la complexité mécanique et des perturbations pour le vol. Ils traitent le downwash comme un bruit à rejeter, ou l'ignorent. Si l'on peut pousser un objet sans contact grâce à l'air, on ouvre une manipulation sans effecteur, plus légère et moins exposée aux collisions. La démonstration conforte aussi l'idée qu'un modèle physique volontairement simplifié, associé au RL, suffit pour franchir l'écart sim-to-real sur une interaction fluide réputée difficile à simuler. Il faut toutefois rester prudent : une balle de football sur sol plat est une tâche de laboratoire. Rien n'indique pour l'instant que la méthode s'applique à des objets de formes variées, à des charges utiles réalistes ou à des environnements industriels. Les performances n'étant pas chiffrées dans le résumé, la robustesse reste à établir. Il s'agit d'un travail de recherche, sans produit ni déploiement. Ce travail s'inscrit dans la lignée des recherches sur les UAM, qui ont longtemps cherché à compenser les effets aérodynamiques sur les bras ou les charges, et dans celle des politiques de vol apprises par RL, déjà éprouvées en course de drones. Il rejoint aussi l'intérêt croissant pour la manipulation non préhensile (pousser, faire rouler, dribbler) plutôt que la saisie. Les suites naturelles seraient l'extension à d'autres objets, la manipulation en interaction avec des surfaces ou plusieurs drones, et la comparaison quantitative avec des UAM à pince. Le résumé ne mentionne aucun partenaire industriel ni calendrier de transfert.

Recherche❖Paper

1 source

35

847arXiv cs.RO 

Ondes de manipulation : un réseau delta couplé par membrane pour déplacer des objets plus petits que l'espacement des actionneurs

Des chercheurs ont mis au point une surface manipulatrice qui couple les effecteurs d'un réseau de 8 x 8 robots delta à trois degrés de liberté (64 actionneurs au total) avec un tissu extensible. L'écart entre centres d'actionneurs est de 43,3 mm. Dans un système de manipulation distribuée classique, un objet doit reposer sur plusieurs actionneurs simultanément, ce qui fixe une taille minimale d'objet manipulable. Le tissu transforme ces 64 contacts discrets en surface continue, et la plateforme déplace des objets de 15 à 90 mm sur une même surface, soit un rapport de six, de part et d'autre de l'espacement des actionneurs. Les auteurs traitent le réseau comme un champ de déplacement et en tirent deux primitives de manipulation : des champs quasi-statiques locaux et des champs cycliques (ondulations). Elles peuvent s'appliquer à tout le réseau ou se limiter au voisinage de chaque objet suivi, ce qui permet d'en déplacer plusieurs en parallèle et de façon indépendante. Une politique apprise agit sur les coefficients basse fréquence d'une transformée en cosinus discrète. À dimension d'action égale, piloter un voisinage de dix-neuf robots delta réduit de moitié l'erreur de placement par rapport au pilotage de l'ensemble du réseau. Cette politique est transférée sur le matériel sans adaptation, avec 76 % de réussite. L'intérêt tient à ce que le pas des actionneurs cesse d'être la limite de la miniaturisation des surfaces actives. Jusqu'ici, manipuler de petits objets demandait de densifier le réseau, donc de multiplier les actionneurs, le câblage et les coûts. Une couche mécanique passive, ici un simple tissu, contourne ce compromis. Le résultat sur le transfert simulation-réel est aussi notable : une politique entraînée en simulation fonctionne sur le matériel sans réglage supplémentaire. Le taux de 76 % reste toutefois une mesure de laboratoire, obtenue sur une seule plateforme. Le résumé ne précise ni la nature des objets, ni la vitesse, ni la répétabilité, ni la charge admissible. Pour des intégrateurs, les applications évidentes seraient le tri, l'alignement ou le positionnement de petites pièces ou de composants fragiles (électronique, pharmacie, agroalimentaire) sans préhenseur dédié. Ce travail n'est pour l'instant qu'une preuve de concept académique et ne constitue ni un produit ni un déploiement industriel. Ces travaux prolongent les recherches sur les systèmes de manipulation distribuée, qui reposent sur des réseaux d'actionneurs (convoyeurs à cellules, tables à jets d'air ou à roues omnidirectionnelles, grilles de robots delta) et butent depuis longtemps sur ce plancher de taille. Des acteurs européens comme Exotec ou Pollen Robotics travaillent sur d'autres approches de la manutention, mais ne sont pas cités ici. Les prochaines étapes probables sont des tests sur des objets de formes et de matériaux variés, un passage à des réseaux plus grands et une évaluation sur de vraies tâches de tri ou d'assemblage. Aucun calendrier, partenaire industriel ni prix n'a été annoncé dans le résumé de l'étude.

Recherche❖Paper

1 source

35

848arXiv cs.RO 

Optimiser, apprendre, affiner : préhension du corps entier et lancer avec un robot souple en spirale

Des chercheurs ont mis au point un cadre d'optimisation qui permet à un robot continu souple en spirale de saisir et de lancer des objets avec tout son corps, à partir d'un état initial où rien n'est encore saisi. La méthode, décrite dans un preprint arXiv (v1, non évalué par les pairs), repose sur une optimisation dans l'espace d'actionnement guidée uniquement par le résultat. La saisie est mesurée par le balayage angulaire de la pointe et par l'enveloppement de l'objet par le corps du robot. Le lancer ajoute l'alignement de la direction de relâchement et une vitesse minimale à la libération. Aucune force de contact, position de contact ou configuration du corps n'est prescrite : saisie, accélération et relâchement émergent de l'interaction compliante. En simulation, le système réussit 492 saisies sur 500 (98,4 %) et affiche 98 %, 97 % et 94 % de réussite sur trois directions de lancer. Sur le matériel, les auteurs rapportent 100 % de réussite sur 50 saisies et sur 30 lancers (10 par direction). L'intérêt tient à la difficulté de fond : la manipulation corps entier par des robots souples, où les contacts changent en permanence, échappe aux méthodes de planification classiques. La relation entre commande et résultat est non lisse, d'où le recours à CMA-ES, un algorithme d'optimisation sans dérivées. Le cadre « optimiser, apprendre, affiner » fonctionne en trois temps : CMA-ES produit des solutions pour des conditions échantillonnées, un prédicteur conditionné par la tâche apprend des points de départ, puis CMA-ES les raffine pour des conditions inédites. Le gain est mesurable : le taux de saisie passe de 78,6 % à 98,4 % et le nombre médian de simulations par optimisation chute de 1184 à 816. Il faut toutefois relativiser. Les scores de 100 % reposent sur de petits échantillons (30 à 50 essais), le résumé ne précise ni les objets, ni leur masse, ni leur diversité, et l'écart entre simulation et matériel n'est pas chiffré. Il s'agit d'un résultat de laboratoire, sans produit ni déploiement associé. Ce travail s'inscrit dans l'essor des robots continus et souples, qui visent des tâches où la compliance répartie est un avantage : objets fragiles, environnements encombrés, contacts incertains. Il se distingue de la ligne dominante des humanoïdes et des modèles vision-langage-action (VLA), qui apprennent des politiques par imitation ou par apprentissage par renforcement sur des préhenseurs rigides. Ici, l'apprentissage reste léger : il sert uniquement à initialiser une optimisation. Le résumé ne mentionne ni acteur industriel ni calendrier de transfert. Les suites probables sont des tests avec des objets plus variés, des charges plus lourdes et une validation en boucle fermée avec retour perceptif, étapes nécessaires avant toute application logistique ou industrielle.

Recherche❖Paper

1 source

35

849arXiv cs.RO 

PneuTac : manipulation tactile avec des robots pneumatiques souples grâce à une simulation unifiée MPM et Gaussian Splatting

PneuTac est un cadre logiciel de recherche, présenté sur arXiv (v1, 2609.38418), qui vise l'apprentissage de la manipulation tactile avec des robots souples pneumatiques. Les auteurs modélisent la dynamique du robot souple et de la membrane déformable du capteur tactile avec la méthode des points matériels (MPM), puis rendent la scène en 3D Gaussian splatting (3DGS). Le calage réel-vers-simulation repose sur une méthode visuelle simple. Des réseaux d'action et de perception, entraînés comme modèles de substitution, accélèrent ensuite la simulation. Ce pipeline sert à collecter des démonstrations guidées par le toucher directement en simulation. Les tests portent sur un doigt souple pneumatique conçu sur mesure, équipé d'un embout tactile à base de vision, avec des évaluations complémentaires sur d'autres dispositifs. Selon les auteurs, les politiques entraînées avec des démonstrations augmentées par la simulation surpassent des références entraînées sur les mêmes données réelles, sur trois tâches de manipulation compliante riches en contacts. Le résumé ne donne ni chiffres de performance ni taux de réussite. L'enjeu est de lever un goulot d'étranglement connu. Les robots souples offrent un contact sûr grâce à leur compliance, et les capteurs tactiles optiques fournissent une perception fine du toucher. Mais les simulateurs existants les traitent séparément et laissent des écarts de calibration importants et coûteux à corriger. Unifier dans un même moteur MPM la déformation du corps pneumatique et celle de la membrane tactile, avec un rendu 3DGS pour l'image, permet de générer des données synthétiques exploitables pour des politiques d'imitation. Pour les intégrateurs, l'intérêt est indirect mais réel : la manipulation d'objets fragiles (alimentaire, logistique, soin) dépend de mains compliantes, et leur programmation par démonstrations réelles reste lente. Il faut toutefois rester prudent. Il s'agit d'un preprint non évalué par les pairs, validé sur un seul doigt et trois tâches, sans chiffres publics dans le résumé, ce qui ne permet pas de conclure à un « sim-to-real résolu » à l'échelle d'une main complète. Ce travail s'inscrit dans la convergence entre simulation différentiable de matériaux mous, capteurs de type GelSight et rendu neuronal. Il se place à côté des grandes lignes de recherche sur les modèles vision-langage-action (VLA), qui restent surtout alimentés par la vision et très peu par le tactile. Les prochaines étapes naturelles sont l'extension à des effecteurs multi-doigts, la publication du code et des jeux de données, et des comparaisons chiffrées avec les simulateurs rigides ou à éléments finis. Aucun partenaire industriel, pilote ni calendrier de déploiement n'est annoncé.

Recherche❖Paper

1 source

33

850arXiv cs.RO 

Local-Minimum Escaper : génération programmatique de sous-objectifs pour une navigation robuste en environnement inconnu

Des chercheurs proposent LME (Local-Minimum Escaper), un cadre hiérarchique programmatique qui aide un robot mobile à sortir des minima locaux lors d'une navigation sans carte (mapless) en environnement inconnu et partiellement observable. Le système n'utilise que les observations locales. Il génère des sous-objectifs candidats et les sélectionne selon des critères heuristiques interprétables, qui combinent la géométrie des obstacles environnants et la sûreté de chaque emplacement. Un planificateur local produit ensuite les commandes de bas niveau vers le sous-objectif retenu. LME ne demande aucun entraînement supplémentaire et reste indépendant du planificateur sous-jacent. Les auteurs l'ont testé en simulation et en conditions réelles, sur un robot à entraînement différentiel et sur un robot quadrupède. Le résumé de l'article ne donne aucun chiffre, ni taux de succès, ni temps de parcours, ni nom de planificateur comparé, ni taille de l'échantillon d'essais. Le point notable est la méthode. La plupart des approches par apprentissage profond par renforcement (DRL) font apprendre les comportements de récupération de façon implicite, via la conception de la récompense et l'optimisation de la politique. LME les traite comme un module explicite, lisible et sans entraînement. Pour un intégrateur, cela veut dire un comportement plus facile à auditer et à déboguer, et un module qui se branche sur un planificateur local déjà en place. Les auteurs affirment que les sous-objectifs générés améliorent nettement la capacité d'autres planificateurs locaux à s'échapper des minima. Cette affirmation reste à vérifier sur les données complètes. Le déploiement sur deux morphologies très différentes suggère une certaine généralité. Il s'agit toutefois de travaux de laboratoire, pas d'un produit livré ni d'un déploiement industriel, et l'expression « scénarios inédits difficiles » ne dit rien de la difficulté réelle des environnements testés. Les minima locaux sont un défaut ancien des méthodes réactives et des champs de potentiel. Les cas typiques sont les impasses, les murs concaves et les couloirs en U. Les solutions classiques passent par des cartes globales, de l'exploration à base de frontières ou des politiques DRL entraînées de bout en bout. LME choisit une voie intermédiaire et symbolique, sans carte. Le papier, publié sur arXiv (2609.38928v1) en première version, n'annonce ni code ni pilote commercial dans son résumé. Les suites logiques seraient une comparaison chiffrée avec des bases DRL récentes et des essais sur des sites réels plus vastes, avec des humains, des sols glissants ou des obstacles dynamiques.

Recherche❖Paper

1 source