Actualités robotique — page 19

7 422 articles au fil, du plus récent au plus ancien.

39

901arXiv cs.RO 

L'apprentissage par robot en contexte simplifié : une recette accessible pour les tâches de manipulation

Des chercheurs proposent SimpleICL, un cadre minimaliste et reproductible pour l'apprentissage en contexte (ICL, in-context learning) en robotique. Le principe est de laisser un robot déduire puis exécuter une tâche à partir de démonstrations visuelles, sans réentraînement. L'étude, publiée sur arXiv (2609.38173v1), commence par corriger un défaut de formulation. Une démonstration visuelle mélange trajectoires d'actions, sémantique des objets, affordances de manipulation, relations spatiales et but de la tâche. On ne sait donc pas ce que le robot doit réellement imiter. Les auteurs définissent explicitement la cible d'apprentissage pour lever cette ambiguïté du prompt visuel. Sur cette base, ils construisent SimpleICL, qui associe un encodeur de prompt visuel à un protocole de collecte de données à faible coût. Selon eux, il n'exige ni pré-entraînement massif ni infrastructure de données spécialisée. Ils annoncent de bonnes performances en simulation et en environnement réel. Le résumé ne donne ni score, ni taux de réussite, ni plateforme robotique, ni volume de données, et ces points restent à vérifier dans l'article complet. Les expériences mettent en évidence quatre propriétés de l'ICL robotique : la discrimination des actions, de la sémantique, de la composition et des affordances. Les données et le pipeline d'entraînement doivent être publiés en open source. L'intérêt tient moins à un résultat chiffré qu'à la remise à plat du problème. Une grande partie des travaux sur les VLA (vision-language-action, modèles qui transforment images et instructions en actions) repose sur des instructions textuelles et des volumes de pré-entraînement très élevés. L'ICL par démonstration visuelle promet une autre logique : montrer une fois la tâche plutôt que reprogrammer ou affiner un modèle. Pour un intégrateur, cela pourrait réduire le coût de changement de série ou de poste. Si l'approche se confirme sans données massives, elle abaisse la barrière d'entrée pour les laboratoires et les PME, et fournit une base de comparaison reproductible dans un domaine où les protocoles divergent. La définition de la cible d'apprentissage donne aussi un cadre pour évaluer ce que le robot a compris d'une démonstration, ce qui manque souvent aux démos spectaculaires. Ce texte reste un travail de recherche. Il ne décrit ni produit livré ni déploiement industriel, et l'écart entre laboratoire et atelier reste entier. Ces travaux s'inscrivent dans la suite de l'ICL apparu avec les grands modèles de langage, puis transposé à la manipulation robotique par imitation à un ou peu de coups. Les grands acteurs des modèles fondation, comme Physical Intelligence avec Pi-0, NVIDIA avec GR00T ou Figure avec Helix, misent sur des volumes de données et de calcul importants. SimpleICL vise une voie plus légère et ouverte, dont la pertinence dépendra de la généralisation à des tâches longues, à d'autres robots et à des scènes non vues. La suite dépend de la publication effective du code et des données, promise mais pas encore vérifiable. Une réplication indépendante, notamment par des laboratoires européens, serait le vrai test.

Recherche❖Paper

1 source

39

902arXiv cs.RO 

RLE-Bench : un examen de qualification pour les agents de code en ingénieurs d'apprentissage robotique

RLE-Bench est un nouveau benchmark, publié sur arXiv (v2 en septembre 2026), qui évalue des agents de code comme ingénieurs en robot learning plutôt que comme simples producteurs de politiques de contrôle. Il regroupe des tâches réparties sur quatre flux de développement robotique : contrôle interactif, apprentissage de politiques, perception et estimation, et conception mécanique. Chaque tâche a ses propres métriques : taux de succès obtenu par l'agent, performance de la politique qu'il a entraînée, qualité du harnais logiciel qu'il a construit, ou structures mécaniques conçues. Ces scores sont agrégés dans un « RLE Index » global, complété par des profils de capacités par flux de travail. Les auteurs ajoutent des études de cas qualitatives sur le comportement des agents. Le résumé ne donne ni le nombre de tâches, ni les modèles testés, ni les scores, ni le classement : ces éléments restent à vérifier dans l'article complet. L'intérêt est de déplacer la mesure de l'artefact isolé vers le processus d'ingénierie. La plupart des benchmarks robotiques notent une politique ou un contrôleur. Or le travail réel consiste à construire, intégrer, diagnostiquer et améliorer des composants hétérogènes sous contraintes de ressources, en raisonnant à partir de retours multimodaux. Pour un intégrateur ou un COO qui envisage de confier des tâches d'ingénierie à des agents de code, un profil par flux est plus exploitable qu'une note unique. Il montre où l'agent est fiable et où il faut garder un humain. L'inclusion de la conception mécanique est notable : elle teste des capacités très éloignées du code pur. Sans chiffres publiés dans le résumé, on ne peut toutefois pas dire si les agents actuels sont proches d'un niveau utilisable ou loin du compte. Ce travail s'inscrit dans la montée des agents de code hors des tâches purement numériques, vers le monde physique. Il prolonge des benchmarks centrés sur les politiques, qui mesurent surtout la manipulation ou la locomotion et non l'ingénierie qui les produit. Le titre parle d'un « examen de qualification », ce qui suggère un seuil minimal de compétence plutôt qu'un plafond. Les auteurs affirment que les tâches robotiques pourraient aussi servir de signal d'entraînement pour de futurs agents. La suite dépendra de l'adoption du benchmark par les laboratoires d'agents et de la publication de résultats comparables entre modèles.

Recherche❖Paper

1 source

39

903arXiv cs.RO 

ReF-HIL : structurer le critique autour des voisinages d'actions humaines pour un apprentissage par renforcement avec humain dans la boucle plus efficace

Des chercheurs proposent ReF-HIL, un cadre d'apprentissage par renforcement avec humain dans la boucle (HIL-RL) destiné à entraîner des politiques de manipulation robotique directement dans le monde réel. Le principe est de combiner l'apprentissage autonome avec des démonstrations humaines et des corrections en ligne. Deux mécanismes sont introduits. Le premier, un « Human-Reference-Guided Value Shaping », apprend une référence de valeur indépendante à partir des seules expériences humaines réussies, pour guider l'apprentissage de la valeur en ligne, tout en intégrant des retours correctifs locaux. Le second, une « Human Action Fence », définit un voisinage d'actions humaines appris. À l'intérieur, l'optimisation guidée par la valeur s'applique sans pénalité d'imitation. À l'extérieur, les mises à jour de la politique et de la valeur sont contraintes. Testé sur cinq tâches de manipulation réelles, ReF-HIL atteint 90 % de succès autonome après 18 à 63 minutes d'entraînement actif, pour des taux de succès finaux de 91,7 à 100 %. Il s'agit d'une prépublication arXiv, sans relecture par les pairs. Le site du projet est anonymisé. Pour les intégrateurs, l'intérêt est le temps d'entraînement sur robot physique, qui reste le principal coût de l'apprentissage par renforcement réel. Une politique fiable en moins d'une heure de temps actif rapproche cette approche de la mise en service industrielle, là où l'imitation pure plafonne souvent sur les cas limites. Deux réserves s'imposent. Les résultats sont comparés à des références choisies par les auteurs (« the evaluated baselines »). Le résumé ne précise ni les tâches, ni le robot, ni le nombre d'essais, et l'écart entre 18 et 63 minutes reste large. Il s'agit d'une démonstration de laboratoire, pas d'un déploiement. Le HIL-RL s'est imposé ces dernières années comme alternative aux grands modèles vision-langage-action (VLA) entraînés par imitation à grande échelle, comme Pi-0. Il vise des tâches précises, avec peu de données et une correction humaine ciblée. Ses deux limites, que ReF-HIL cherche à lever, sont la sous-exploitation des succès humains dans l'estimation de la valeur et les pénalités d'imitation qui brident l'amélioration de la politique. La suite dépendra de la publication du code, d'une validation sur des tâches industrielles plus longues et d'une comparaison directe avec les méthodes de référence du domaine.

Recherche❖Paper

1 source

39

904arXiv cs.RO 

L'apprentissage en contexte pour les robots : méthodes et applications

Une nouvelle revue de littérature déposée sur arXiv (2609.36012v1) propose une taxonomie de l'apprentissage en contexte (in-context learning, ICL) appliqué à la robotique. Le principe : un robot généraliste déduit ce qu'exige une tâche inédite à partir de démonstrations et d'interactions, puis le traduit en actions physiques, sans aucune mise à jour de ses paramètres neuronaux pendant le déploiement. Les auteurs structurent le domaine autour des interfaces qui relient les preuves contextuelles à l'exécution et distinguent quatre familles : les politiques conditionnées par le contexte, le transfert géométrique de démonstrations, le contrôle fondé sur des modèles du monde, et l'exécution par compétences ou par agents. Le texte couvre la manipulation et la navigation. Il s'agit d'un travail de synthèse : le résumé ne mentionne ni nouveau modèle, ni jeu de données, ni chiffre de performance. L'intérêt pratique tient à la grille de lecture. Comparer ces familles d'interfaces met en évidence leurs hypothèses de transfert, ainsi que le rôle de l'entraînement, de la mise en correspondance (entre la démonstration et l'embodiment du robot) et de la mémoire. Les auteurs examinent aussi comment chaque mécanisme préserve les exigences enseignées quand les objets, l'environnement ou les conditions d'exécution changent. Ils relient ensuite la conception des méthodes aux pratiques d'évaluation, en séparant trois choses trop souvent confondues : la réactivité à l'enseignement, le transfert physique réel et le bénéfice tiré de l'expérience conservée. Pour un intégrateur ou un responsable R&D, c'est un critère de lecture utile face aux démonstrations de « robot qui apprend en quelques exemples ». Un système qui réagit à une démonstration ne prouve pas qu'il en reproduit fidèlement l'intention dans des conditions différentes. Le contexte est celui de la montée des modèles généralistes vision-langage-action (VLA) et des modèles du monde, dont les capacités d'adaptation sans réentraînement restent difficiles à comparer d'un laboratoire à l'autre. Les auteurs en tirent un agenda de recherche qui associe l'acquisition compositionnelle de tâches et le transfert fidèle à ce qu'ils nomment l'auto-amélioration récursive physique : l'expérience accumulée améliore la capacité à apprendre les tâches suivantes. Il s'agit d'une direction proposée, pas d'un résultat démontré. Le texte est une préversion (v1) non évaluée par les pairs. Le résumé ne cite aucun acteur industriel, européen ou autre, et aucun calendrier de déploiement.

Recherche❖Paper

1 source

39

905arXiv cs.RO 

Explorer, exécuter, évoluer : une boucle d'acquisition et de réutilisation de compétences pour agents incarnés

Des chercheurs proposent RoboSkill, un cadre logiciel qui permet à un agent multimodal généraliste de piloter un robot en accumulant puis en réutilisant des compétences, plutôt qu'en repartant de zéro à chaque tâche. Le principe tient en une boucle « Explorer, Exécuter, Évoluer ». L'agent explore pour collecter les informations utiles à la tâche, exécute en s'adaptant aux retours de l'environnement, puis fait évoluer une bibliothèque de compétences à partir de ses traces d'exécution. Ces compétences guident ensuite l'exploration et l'exécution du cycle suivant. Deux ajouts visent l'efficacité : un retour tactile qui complète la vision pour lever les ambiguïtés lors des contacts, et du code réutilisable qui vient enrichir les consignes textuelles pour réduire le raisonnement nécessaire à la réutilisation. Sur le benchmark de simulation LIBERO-10, avec quatre agents différents, le taux de réussite dès le premier épisode progresse de 12,5 à 25,0 points de pourcentage et le temps d'exécution moyen baisse de 7,6 à 72,4 %. Sur robots réels, le gain de réussite est de 8,3 points, avec une réduction du temps moyen des essais réussis d'au moins 14,4 %. L'intérêt tient au coût d'exécution, un point faible des agents généralistes en zero-shot. Les modèles vision-langage-action (VLA) et les modèles monde-action montrent de fortes capacités, mais généralisent mal aux tâches inédites. Les agents multimodaux à usage général comblent en partie ce manque, au prix d'un raisonnement et d'une exploration physique répétés à chaque tentative, donc de latence et de coût. RoboSkill suggère qu'une mémoire procédurale exécutable (du code, pas seulement du texte) peut transformer ce coût récurrent en investissement amorti. Pour un intégrateur, l'enjeu est de savoir si un agent apprend d'un déploiement à l'autre sans réentraînement. Des réserves s'imposent toutefois : le gain de 8,3 points sur robot réel est modeste, l'écart entre simulation et réel reste visible, et la taille des essais physiques, les tâches et la nature des capteurs tactiles ne sont pas détaillées dans le résumé. L'amplitude très large des réductions de temps (jusqu'à 72,4 %) dépend fortement de l'agent de base. Ce travail s'inscrit dans la tendance des agents « à bibliothèque de compétences », déjà explorée dans les agents de jeu et de code, ici transposée à la manipulation physique. Il se positionne en complément, et non en concurrent, des VLA et des modèles monde-action, qui restent la voie dominante pour la commande bas niveau. Il s'agit d'une prépublication arXiv (v1), non évaluée par les pairs, sans annonce de produit ni de déploiement industriel. Les suites logiques sont la validation sur des tâches longues et variées, la mesure de la robustesse de la bibliothèque de compétences dans le temps et la démonstration d'un transfert d'un robot à un autre.

Recherche❖Paper

1 source

39

906arXiv cs.RO 

Navigation vision-langage multi-agents systématique : formulation, benchmark et méthode

Une équipe de chercheurs publie sur arXiv (référence 2609.35965) un cadre formel pour la navigation multi-agents guidée par la vision et le langage (VLN, Vision-and-Language Navigation), jusqu'ici centrée sur un seul robot suivant une seule consigne. Les auteurs proposent ce qu'ils présentent comme la première formalisation systématique du problème sous forme de coordination sous contraintes : chaque mission se décompose en sous-tâches liées par des dépendances et des contraintes de ressources, notamment des verrous de présence et des chaînes de détention d'objets. Ils livrent le benchmark MAVLN, produit par un pipeline de création en quatre étapes vérifiées : 11 724 épisodes répartis sur 145 scènes, avec des équipes allant jusqu'à quatre agents et trois régimes de consigne, ainsi que des métriques adaptées à ces contraintes. Ils présentent aussi TRISS, un système de référence qui associe un ordonnanceur de sous-tâches fondé sur un LLM, une mémoire topologique partagée transformant l'exploration de chaque agent en connaissance d'équipe, et un mécanisme d'exécution qui résout les conflits pour produire des trajets sans collision. Une page projet est publiée. Il s'agit d'un travail de recherche en simulation : aucun robot physique, déploiement ni produit n'est annoncé. L'enjeu tient à l'écart entre les démonstrations actuelles et les besoins des sites logistiques ou industriels, où plusieurs machines doivent se partager des ressources et respecter un ordre d'exécution. La plupart des travaux sur les modèles vision-langage-action (VLA) et sur la navigation évaluent un agent isolé. Le benchmark rend mesurable la coordination elle-même : qui fait quoi, dans quel ordre, avec quel objet, sans blocage mutuel. Le résultat le plus instructif est négatif. Les auteurs affirment que TRISS établit une base de comparaison complète mais laisse une marge de progression importante à chaque étage, ordonnancement, planification et exécution. Autrement dit, même avec un LLM qui planifie, la coordination sous contraintes reste loin d'être résolue. Les scores chiffrés ne figurent pas dans le résumé, et les 145 scènes simulées ne disent rien de la robustesse en environnement réel. Pour un intégrateur, cela relativise les promesses d'orchestration de flottes hétérogènes pilotées par langage naturel. Ce travail s'inscrit dans la montée des benchmarks VLN, puis des approches où un LLM sert de planificateur de haut niveau, jusqu'ici surtout mono-agent. Il complète des systèmes de flottes déjà commercialisés, comme les AMR d'Exotec en France, dont l'orchestration repose sur des optimiseurs classiques plutôt que sur des consignes en langage libre. Côté humanoïdes, des acteurs comme Figure avec Helix ou Tesla avec Optimus visent aussi le travail en équipe, sans métrique publique équivalente. Les suites probables sont l'adoption de MAVLN comme banc d'essai par d'autres laboratoires, des évaluations sur robots réels et l'intégration de modèles VLA capables d'agir, pas seulement de se déplacer.

Recherche❖Paper

1 source

39

907arXiv cs.RO 

DROM : un cadre de diffusion guidé par le langage pour la manipulation robotique multi-compétences

DROM, un cadre génératif décrit dans un préprint arXiv (v1), vise un problème classique de la manipulation robotique : apprendre à partir de peu de démonstrations des politiques robustes, capables d'enchaîner plusieurs compétences sur des tâches longues. Les auteurs utilisent des Dynamic Movement Primitives (DMP) pour multiplier un petit nombre de démonstrations expertes en jeux de données multi-compétences. Ils affirment que cela réduit la collecte de données et étend la généralisation spatiale au-delà de la zone démontrée. Le modèle prolonge Motion Planning Diffusion (MPD) avec une attention croisée conditionnée par le langage. Un seul réseau génère alors des trajectoires cohérentes pour plusieurs primitives, y compris des comportements sensibles à l'orientation, difficiles à programmer avec un planificateur classique ou un contrôleur codé en dur. Pour les tâches longues, un grand modèle de langage (LLM) découpe la demande d'un opérateur en séquence de compétences exécutables. La validation a eu lieu sur un Franka Emika Panda, un FANUC CRX25ia et en simulation MuJoCo. Selon les auteurs, DROM dépasse les références MPD et Behavior Cloning. Le résumé ne donne aucun chiffre : ni taux de réussite, ni nombre de démonstrations, ni nombre de compétences, ni temps de cycle. Les jeux de données, les environnements de simulation et le code sont publiés sur GitHub. L'intérêt tient d'abord à la combinaison de trois briques déjà connues, DMP, diffusion et LLM, dans une architecture unique et exploitable en atelier. Pour un intégrateur, la promesse est de réduire le coût de programmation et de téléopération à chaque nouvelle variante de tâche. Un opérateur pourrait piloter une cellule en langage naturel, sans écrire de trajectoires. La présence d'un FANUC CRX25ia, cobot industriel de 25 kg de charge, est un signal plus pertinent que le seul Panda, plateforme de laboratoire. Elle indique une volonté de transfert vers du matériel de production. Il faut toutefois rester prudent. Sans métriques publiées, sans précision sur le sim-to-real, sur la robustesse face aux perturbations ni sur la latence d'inférence de la diffusion, le gain sur les références reste invérifiable à ce stade. L'écart entre une démonstration de laboratoire et une cadence industrielle n'est pas comblé. Ce travail s'inscrit dans une course où dominent les modèles vision-langage-action (VLA) entraînés sur de grands volumes de données, comme Pi-0, GR00T ou Helix. DROM prend le parti inverse : un pipeline modulaire et frugal en données, où le LLM planifie et la diffusion exécute, avec des trajectoires plus interprétables. Ce compromis intéressera les cellules à faible volume et à forte variété. La suite dépendra de la reproduction par des tiers, grâce au dépôt ouvert, et d'essais sur des tâches réelles plus contraintes que celles d'un banc de test académique. Aucun pilote industriel ni calendrier n'est annoncé.

Recherche❖Paper

1 source

39

908arXiv cs.RO 

Apprentissage d'une représentation du mouvement expressive et compositionnelle via des compétences spectrales

Des chercheurs proposent les « spectral skills », une représentation latente qui sert d'interface de commande entre un planificateur de haut niveau et un contrôleur bas niveau pour humanoïdes. Ces skills encodent de courts segments de mouvement sous forme compacte. Elles sont apprises par apprentissage prédictif : l'encodeur doit prédire le mouvement suivant, et non reconstruire son entrée. Sur un humanoïde de 29 DOF, un contrôleur conditionné par ces skills réduit l'erreur de suivi global de 62 % par rapport à l'état de l'art. Le même contrôleur, gelé, enchaîne des skills encodées indépendamment sans politique de transition dédiée. Il compose aussi de nouveaux comportements en ajoutant des directions orthogonales à une skill de base compatible, ce qui produit des combinaisons absentes des données d'entraînement. Les auteurs présentent du suivi de mouvement, de l'enchaînement et de la composition, ainsi qu'un pilotage par un planificateur conditionné par le langage, sur un Unitree G1 réel. Le travail, publié sur arXiv (2609.37677), est accompagné d'une page projet. L'enjeu porte sur l'interface entre planificateur et contrôleur, un point de friction des architectures hiérarchiques pour humanoïdes. Cette interface doit permettre une exécution précise, rester assez simple pour être prédite par un modèle de fondation (VLA ou planificateur de langage) et se prêter à la composition. Les représentations actuelles sacrifient en général l'un de ces critères. Si les résultats se confirment, un contrôleur unique et figé pourrait exécuter des comportements variés sans réentraîner de module de transition. Cela réduirait le coût d'intégration pour ceux qui greffent un planificateur sur une base de locomotion existante. Deux réserves : la réduction de 62 % est relative à un état de l'art que le résumé ne nomme pas, et les démonstrations matérielles sur G1 restent qualitatives. Aucun chiffre de robustesse, de taux de réussite ni de durée d'exécution n'est fourni. Le passage de la démonstration de laboratoire à un déploiement industriel n'est donc pas établi. Ce travail s'inscrit dans le mouvement des modèles de fondation robotiques pour humanoïdes. Ceux-ci adoptent souvent une architecture à deux niveaux, comme les systèmes duaux de type Helix chez Figure ou GR00T chez NVIDIA, avec un module « lent » qui décide et un module « rapide » qui exécute. Le Unitree G1, plateforme abordable et très répandue dans les laboratoires, sert ici de banc d'essai. Il rend la méthode reproductible par d'autres équipes, mais les 29 DOF et les capacités du G1 ne reflètent pas les contraintes de charge utile ou d'endurance d'un humanoïde industriel. Les suites logiques sont la validation sur d'autres morphologies, la comparaison publique avec les méthodes de suivi de mouvement existantes et l'intégration avec des planificateurs de type VLA à grande échelle. Aucun pilote industriel ni calendrier n'est annoncé.

Recherche❖Paper

1 source

39

909arXiv cs.RO 

SkillWeaver : exploration à base d'agents de compétences d'interaction neuronales pour la génération de données robotiques à grande échelle

SkillWeaver, un framework publié sur arXiv (2609.36171), propose de générer automatiquement des données robotiques en simulation grâce à un agent de raisonnement. Le système repose sur des « Neural Interaction Skills » (NIS), des politiques paramétrables, réutilisables et en boucle fermée, entraînées par apprentissage par renforcement pour la manipulation riche en contacts. Étant donné une tâche et un environnement simulé, un agent VLM (modèle vision-langage) décide de la prochaine action, invoque et paramètre une NIS, observe le résultat, puis produit des étapes de vérification, de réflexion et de mémoire. L'exploration prend la forme d'une recherche arborescente guidée par un vérificateur. Le système a généré 39,1 K démonstrations sur 14,1 K scènes, ensuite distillées en politiques visuomotrices. Il s'agit d'un travail de recherche, sans produit ni déploiement industriel associé. L'enjeu porte sur le goulot d'étranglement de la donnée. La téléopération reste coûteuse et difficilement extensible à des environnements variés ou à des tâches longues. Les pipelines de simulation actuels dépendent souvent de contrôleurs en boucle ouverte, de séquences de compétences scriptées ou de programmes propres à chaque tâche, ce qui limite leur généralité. SkillWeaver déplace la logique : le savoir-faire physique est encapsulé dans des primitives apprises, et l'agent découvre lui-même les enchaînements gagnants. Les auteurs affirment une meilleure généralisation à de nouveaux objets, configurations spatiales, tâches et environnements, ainsi qu'un transfert sim-to-sim et sim-to-real en zéro ou few-shot. Ces résultats viennent du résumé de l'article. Le résumé ne donne aucun taux de réussite, aucun modèle de référence ni aucun protocole. Le volume de manipulation réelle testé est aussi inconnu, alors que c'est là que se joue l'écart entre démonstration et réalité. La revendication d'une alternative « scalable » reste donc à confirmer par les tableaux détaillés. Le travail s'inscrit dans la recherche sur la génération de données synthétiques pour les modèles VLA (vision-langage-action), qui alimentent aujourd'hui les efforts autour de Pi-0, GR00T ou Helix. Elle vise à réduire la dépendance à la collecte humaine. Les approches concurrentes combinent LLM et code généré, ou augmentent un petit nombre de démonstrations humaines en simulation. L'originalité ici est de placer des politiques RL fermées, et non du code ou des trajectoires scriptées, comme briques de l'exploration. La suite dépendra de la publication du code et des données, de la reproduction par d'autres laboratoires et de la mesure du coût de calcul de la recherche arborescente. Aucun acteur français ou européen n'est cité dans le résumé.

Recherche❖Paper

1 source

39

910arXiv cs.RO 

ProAct-VLM : replanification de tâches vision-langage avant l'échec, avec retour de perception continu

Une équipe de chercheurs publie sur arXiv ProAct-VLM, un cadre de planification de tâches pour la manipulation robotique. Il intègre un modèle vision-langage (VLM) dans une boucle de perception en temps réel. Le code et la page projet sont hébergés sur GitHub (moured/ProAct-VLM). Le système surveille l'environnement en continu pendant l'exécution d'une tâche longue et replanifie dès qu'un changement pertinent apparaît, avant que l'action en cours n'échoue. Les auteurs l'ont comparé à plusieurs approches de référence et l'ont testé avec différents VLM comme backbone. Ils rapportent de meilleurs taux de succès et une meilleure efficacité sur des tâches de manipulation dynamiques à long horizon. Le résumé publié ne donne ni chiffres précis, ni nom de robot, ni liste des baselines. Le gain reste donc à vérifier dans le texte complet. Le problème visé est courant en déploiement : une pièce déplacée, un objet tombé ou un opérateur qui passe suffisent à rendre un plan périmé ou dangereux. Les pipelines à règles, réglés à la main pour des scénarios précis, se généralisent mal en milieu ouvert. Les cadres à base de VLM existants replanifient surtout de façon réactive, après un échec d'exécution ou lors d'un contrôle en fin de tâche. Certains vérifient des conditions avant chaque action, mais ces contrôles ponctuels ne voient pas ce qui change pendant le mouvement. ProAct-VLM propose de passer d'une correction après l'échec à une anticipation pendant l'exécution. Pour un intégrateur, l'enjeu est de réduire les arrêts, les reprises et les risques de collision dans les environnements semi-structurés, comme la logistique ou l'assemblage avec présence humaine. Il faut toutefois rester prudent. Une boucle de perception continue couplée à un VLM pose des questions de latence, de coût de calcul et de fausses alertes qui déclenchent des replanifications inutiles. Le résumé n'en dit rien. Ce travail s'inscrit dans le mouvement qui utilise les modèles vision-langage comme planificateurs de haut niveau, en complément des politiques VLA (vision-langage-action) qui pilotent directement les actionneurs. Les cadres de replanification réactifs et les vérifications de préconditions constituent les références directes. Ils sont cités comme les limites que ProAct-VLM cherche à dépasser. Il s'agit d'une prépublication (v1) non évaluée par des pairs. On ne sait pas encore si les résultats ont été obtenus en simulation ou sur robot réel, ni sur quelles plateformes. Les prochaines étapes à surveiller sont la publication du code, la reproduction indépendante et des tests sur matériel avec des perturbations réelles.

Recherche❖Paper

1 source

39

911arXiv cs.RO 

Se souvenir de ses actions : mémoire de l'historique d'actions et débruitage à double expert pour les politiques VLA à long horizon

Des chercheurs proposent ActMem-VLA, une architecture qui ajoute une mémoire de l'historique des actions à un modèle vision-langage-action (VLA) déjà entraîné, sans le ré-entraîner. Le système greffe sur une politique de base figée (fine-tunée puis gelée) un plugin composé d'un module mémoire basé sur Mamba, un modèle à espace d'états, et d'un expert léger baptisé PreAction Expert (PAE). Mamba encode les actions déjà exécutées, et cette mémoire conditionne le PAE avec le contexte courant. Pendant les premières étapes de débruitage, à fort bruit, le PAE oriente la progression de la tâche. Il transmet ensuite l'action partiellement débruitée à l'Action Expert (AE) figé, qui affine les détails sur les étapes restantes à faible bruit. Seuls Mamba et le PAE sont optimisés. Sur le benchmark LIBERO-Mem, ActMem-VLA atteint 80,8 % de réussite moyenne sur les dix tâches, contre 65,2 % pour π0.5 et 49,5 % pour MemoryVLA, pour seulement 3,45 % de paramètres supplémentaires. Sur quatre tâches réelles, le gain moyen sur π0.5 est de 28,8 %. L'article ne précise pas s'il s'agit de points de pourcentage ou d'un gain relatif. L'enjeu est le « perceptual aliasing » : à deux étapes différentes d'une tâche longue, l'observation et l'état du robot peuvent être quasi identiques, alors que l'action correcte diffère. Sans accès à l'historique, la politique hésite ou répète une étape déjà faite. Le résultat compte pour les intégrateurs, car la mémoire est ici un module ajouté à un VLA existant, sans repartir d'un entraînement complet. Un modèle de base validé en production pourrait ainsi gagner en fiabilité sur les séquences longues (assemblage multi-étapes, kitting, tri) pour un surcoût de calcul modeste. Le score de 80,8 % montre aussi qu'il reste près d'une tentative sur cinq en échec. LIBERO-Mem est de plus un benchmark de simulation conçu pour tester la mémoire, et l'évaluation réelle ne porte que sur quatre tâches, sans détail public dans le résumé sur le nombre d'essais. Le travail s'inscrit dans une série de méthodes qui injectent des indices temporels ou de progression dans les VLA, par conditionnement de features, modification de l'a priori d'action ou guidage de l'échantillonnage. MemoryVLA, comparé ici, fait partie de cette famille. Le coût de ces approches, qui entraînent conjointement la mémoire et le VLA de base, motive la séparation choisie par les auteurs entre pilotage conditionné par l'historique et raffinement par la politique figée. Le point de comparaison principal reste π0.5 de Physical Intelligence. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs. Aucun déploiement industriel ni code n'est mentionné dans le résumé, et les prochaines étapes probables sont une validation sur d'autres bases VLA et sur des tâches réelles plus longues.

Recherche❖Paper

1 source

38

912arXiv cs.RO 

AquaWAM : un modèle du monde et d'action sensible à la dynamique pour agents incarnés sous-marins

Des chercheurs publient sur arXiv (v2, référence 2609.33299) AquaWAM, présenté comme le premier World Action Model (WAM) conçu pour des agents sous-marins. Un WAM permet à un robot d'anticiper les conséquences d'une action candidate avant de l'exécuter. Les WAM existants prédisent surtout des observations visuelles conditionnées par l'action. AquaWAM prédit à la place des états de navigation compacts. Il modélise la dynamique commandée et la dynamique passive: zone morte des propulseurs, glissement inertiel qui dépasse chaque commande, courants ambiants. Il perçoit via un DVL (capteur de vitesse Doppler), une centrale inertielle (IMU), un capteur de pression et des encodeurs d'articulations. Les caméras ne servent qu'à fournir la sémantique, c'est-à-dire les objectifs et la pose de la cible. Sur le benchmark USIM (20 tâches sous-marines), le modèle atteint 72,6 % de succès. Il décide 2,7 fois plus vite que U0 sur un NVIDIA Jetson AGX Orin. Sans les mesures de vitesse du DVL, il conserve 61,6 % de succès, contre 39,4 % pour U0. Ces résultats visent une hypothèse répandue dans les modèles du monde, selon laquelle prédire des pixels serait la voie générique vers le contrôle. Sous l'eau, l'inertie, la flottabilité, la traînée et la dérive continuent d'agir après la commande. Modéliser directement ces effets, plutôt que la scène, réduit la taille du modèle et le coût de calcul. La vitesse d'inférence sur Jetson AGX Orin, un module embarqué courant, compte pour les intégrateurs d'ROV et d'AUV, dont le calcul et l'énergie sont limités. La robustesse à la perte de capteurs répond à un problème opérationnel: un DVL perd son verrouillage sur le fond, et les eaux turbides dégradent la vision. L'écart entre 61,6 % et 39,4 % suggère une meilleure tolérance à la dégradation, à confirmer hors simulation. Il faut toutefois lire ces chiffres avec prudence. Les résultats proviennent d'un benchmark en simulation, USIM. L'abstract ne mentionne ni essai en bassin ni essai en mer. Il ne dit pas non plus si le comparatif avec U0 est réalisé à budget équivalent. Le résumé ne précise pas non plus l'écart de réalité entre simulation et milieu réel pour des courants variables. Le travail s'inscrit dans l'extension des WAM et des modèles vision-langage-action (VLA) au-delà des manipulateurs terrestres et des humanoïdes, vers des véhicules à dynamique passive marquée. U0 sert ici de référence pour l'embarqué sous-marin. Aucun acteur français ou européen n'est cité dans l'abstract. Les suites probables sont des validations en conditions réelles, l'ouverture éventuelle du code et des tests sur des véhicules physiques. Ce travail reste pour l'instant une publication de recherche, sans produit ni déploiement annoncé.

Recherche❖Paper

1 source

38

913arXiv cs.RO 

PreferenceFlow : guidage à l'inférence des politiques robotiques à flow matching à partir des interventions humaines

Des chercheurs proposent PreferenceFlow, une méthode qui améliore au moment de l'inférence une politique robotique « flow-matching » déjà entraînée, sans signal de récompense et sans modifier ses poids. Le principe : lorsqu'un opérateur humain reprend la main sur le robot, son segment d'action (« chunk ») est apparié à celui que le robot aurait généré depuis le même état de conditionnement. Ces paires servent à entraîner un modèle de préférence. À l'inférence, les auteurs reprennent la mise à jour d'échantillonnage QGF, en remplaçant son gradient de valeur par le gradient de préférence, calculé sur une estimation de l'action « propre ». Deux termes de perte encadrent ce guidage : une perte de plafonnement limite les gradients excessifs sur les paires d'intervention, et une perte de gradient nul décourage tout guidage près des actions issues de démonstrations expertes. Sur quatre tâches réelles d'insertion de précision avec un bras Franka, le taux de succès moyen atteint 90,5 %, contre 69 % pour la politique figée. Le travail est publié sur arXiv (2609.36872, première version) et n'a pas encore été relu par des pairs. L'enjeu est très concret pour les intégrateurs. Les politiques génératives (flow-matching ou diffusion, dont la famille Pi-0) savent exprimer des comportements complexes, mais elles dérapent face aux décalages de distribution rencontrés en production : une pièce légèrement déplacée, un jeu d'ajustement différent. Les correctifs classiques par apprentissage par renforcement exigent une fonction de récompense difficile à écrire en manipulation réelle, et un réentraînement du modèle de base. Ici, la correction passe par des interventions de téléopérateurs, déjà courantes en déploiement, sans toucher aux poids, ce qui simplifie la validation et évite de dégrader les compétences existantes. Le gain de plus de 21 points sur des insertions de précision est significatif, mais des réserves s'imposent : quatre tâches, un seul type de robot (Franka), aucun chiffre fourni sur le nombre d'interventions nécessaires ni sur le temps de cycle ou le surcoût de calcul du guidage. Les ablations indiquent que la régularisation des gradients et l'ordre correct des étiquettes de préférence comptent, mais seulement « dans les conditions évaluées ». Ce travail s'inscrit dans une série de méthodes visant à corriger les politiques VLA et génératives après entraînement : apprentissage à partir d'interventions humaines (type HG-DAgger), guidage par fonction de valeur (QGF, sur lequel PreferenceFlow s'appuie) et affinage par renforcement, plus lourd. L'approche par préférences locales se positionne entre ces options, avec un coût d'annotation réduit à des corrections ponctuelles. Les prochaines étapes à surveiller sont la démonstration sur d'autres embodiments, sur des politiques de grande taille comme Pi-0 ou GR00T, et sur des tâches longues, ainsi que la mesure de la latence ajoutée, déterminante pour la commande en temps réel. Aucun déploiement industriel ni produit n'est annoncé : il s'agit d'un résultat de recherche.

Recherche❖Paper

1 source

38

914arXiv cs.RO 

Apprendre la navigation sociale à partir de vidéos Internet dans l'espace d'états de la politique

Des chercheurs proposent, dans un preprint arXiv (v1), un pipeline qui transforme de simples vidéos monoculaires de personnes en train de marcher en environnements d'entraînement en boucle fermée pour la navigation sociale de robots. Le système ne reconstruit ni ne rend d'observations photoréalistes. Il représente la scène statique par une carte de traversabilité métrique, qui subit une transformation rigide lorsque le robot se déplace de façon contrefactuelle. Les trajectoires des piétons extraites de la vidéo sont rejouées telles quelles dans le temps. La dynamique directe est donc définie dans l'espace d'état de la politique elle-même. La politique entraînée atteint 81,2 % de réussite sur le benchmark indépendant Arena, contre 75,0 % pour la meilleure base de comparaison, et réussit 19 essais réels sur 20 sans fine-tuning. Le résumé ne précise ni la plateforme robotique, ni les sites d'essai, ni le nombre de vidéos utilisées. L'intérêt tient au coût des données. Entraîner une politique robuste de navigation sociale exige des simulateurs variés, avec des agencements de scènes, des terrains et des mouvements humains divers. Construire ces mondes et scripter le comportement des piétons reste long et cher. En s'appuyant sur des vidéos disponibles sur Internet, cette approche déplace le goulot d'étranglement de la modélisation manuelle vers la collecte de vidéos. Elle contourne aussi une partie du problème sim-to-real : comme la politique n'apprend pas sur des images synthétiques, l'écart visuel entre simulation et réel se réduit. L'hypothèse défendue est que la navigation locale dépend surtout de deux informations, la zone traversable et le mouvement des piétons proches. Le résultat de 19/20 la soutient, mais avec des réserves. Le gain de 6,2 points sur Arena est réel sans être spectaculaire. Vingt essais réels donnent un intervalle de confiance large. Le rejeu de trajectoires enregistrées suppose aussi que les piétons ne réagissent pas au robot, ce qui limite la fidélité des interactions. Le travail s'inscrit dans une lignée de recherches sur la navigation sociale : simulateurs à foules scriptées, apprentissage par renforcement dans des scènes synthétiques, puis apprentissage à partir de vidéos humaines. Il rejoint la tendance plus large qui consiste à exploiter des données vidéo à grande échelle pour l'entraînement de politiques robotiques. Les prochaines étapes probables sont des tests sur plusieurs morphologies (quadrupèdes, humanoïdes), dans des foules plus denses et avec des piétons réactifs. La question de la transposition aux plateformes commerciales, notamment aux robots mobiles opérant dans des espaces partagés, restera ouverte tant que le code, les données et les conditions d'essai ne seront pas publiés et reproduits indépendamment.

Recherche❖Paper

1 source

38

915arXiv cs.RO 

CST-WM : un modèle du monde à structure causale pour le suivi visuel incarné

Des chercheurs proposent CST-WM, un modèle du monde à structure causale pour le suivi visuel incarné (embodied visual tracking), publié sur arXiv (2609.06302v2). La tâche consiste à choisir des actions qui gardent une cible mobile visible à bonne distance, puis à la retrouver après une occlusion, une sortie de champ ou le croisement d'un élément distracteur. Le suivi est formulé comme une planification sur les preuves futures de présence de la cible, à l'aide d'un modèle du monde conditionné par l'action. L'état du modèle est scindé en trois branches (preuve de la cible, robot, observation). La transition supprime le lien direct, au même pas de temps, entre l'action et la preuve de la cible, mais conserve le chemin passant par le mouvement du robot et les vues qui en résultent. Couplé à un contrôle prédictif par rollouts (MPC), un modèle unique gère le suivi stable et la réacquisition après perte. Sur EVT-Bench et Habitat 3.0, il est évalué en suivi standard, en récupération après perte et en transfert entre jeux de données. Sur un quadrupède Unitree Go2, il réussit 20 essais réels sur 30 (occlusion, croisement de distracteurs, mouvements rapides), contre 14 sur 30 pour TrackVLA. L'intérêt tient au diagnostic d'un défaut discret mais répandu. Dans les données de suivi enregistrées, les actions de la politique de collecte sont corrélées à la position de la cible. Un prédicteur générique apprend alors un raccourci, où l'action courante est écrite directement dans la prédiction de la cible. Les auteurs appellent cela l'hallucination causale. Les rollouts semblent plausibles, mais le classement des actions candidates repose sur une mauvaise raison, ce qui dégrade précisément la planification. Les résultats vont dans ce sens : retirer le masque d'action provoque la plus forte baisse de réacquisition parmi les ablations. Hors ligne, l'erreur de rollout multi-pas est plus faible et le classement des actions s'accorde mieux avec celui du simulateur. Pour les intégrateurs, le message est qu'un modèle du monde entraîné sur des logs opérationnels peut être trompé par des biais de collecte, et que l'ajout d'une structure causale se montre plus utile que davantage de données. Les limites sont claires : 30 essais par méthode sur un seul robot restent un échantillon réduit, et l'écart de 20 contre 14 sur 30 demande confirmation à plus grande échelle. Ces travaux se positionnent face aux suiveurs réactifs et aux approches VLA (vision-langage-action) comme TrackVLA, qui mappent directement les observations vers les actions sans anticiper les conséquences. Ils s'ajoutent aux modèles du monde utilisés en planification robotique, en y injectant une contrainte causale explicite. Le Go2, plateforme de recherche courante, sert de banc d'essai réaliste, mais aucun déploiement industriel ni produit n'est annoncé : il s'agit d'une publication académique. Les prochaines étapes probables sont des validations sur d'autres morphologies, des environnements plus denses et des mesures de latence de planification, que le résumé ne précise pas.

Recherche❖Paper

1 source

38

916arXiv cs.RO 

Le débruitage résiduel permet une coordination multi-agents à la demande, avec peu d'échantillons

Des chercheurs proposent ALTER, une méthode d'adaptation qui permet à des politiques de diffusion mono-robot préentraînées de coordonner plusieurs robots à partir d'un très petit nombre de démonstrations collaboratives. Le principe repose sur une « tête de coordination » qui prédit un débruiteur résiduel, lequel transforme le comportement individuel de la politique de base en comportement d'équipe lorsque la situation l'exige. L'exécution reste décentralisée : chaque robot n'agit qu'à partir de ses propres observations visuelles, sans communication explicite entre agents. Pour conserver les compétences individuelles, l'équipe mélange ses quelques démonstrations collaboratives avec des données auto-distillées, générées par la politique de base elle-même pendant l'entraînement du débruiteur résiduel. En simulation, ALTER obtient un meilleur taux de réussite de coordination que les méthodes de référence, avec une rétention des compétences d'origine nettement supérieure. Les expériences sur robots réels montrent des tendances similaires. Le résumé publié ne chiffre toutefois ni les taux de réussite, ni le nombre de démonstrations, ni les tâches ou plateformes testées. L'enjeu est d'abord économique. Collecter des données de téléopération à plusieurs robots coûte bien plus cher que pour un seul, et l'espace des configurations d'équipe croît vite. Réutiliser des politiques mono-robot déjà entraînées, avec peu de données supplémentaires, réduit ce coût. Le second apport est la préservation du comportement solo. Un fine-tuning naïf pour la coordination tend à dégrader les compétences d'origine (oubli catastrophique), ce qui obligerait à maintenir deux politiques distinctes. Avec ALTER, un même modèle peut travailler seul ou en équipe, ce qui intéresse les intégrateurs qui déploient des flottes hétérogènes, par exemple des bras ou des humanoïdes assignés tantôt à un poste isolé, tantôt à une tâche à deux (portage d'objets volumineux, assemblage bimanuel réparti sur deux machines). L'absence de communication limite aussi la dépendance à un réseau, point sensible en environnement industriel. Il s'agit néanmoins d'un travail académique dont la portée dépend de la complexité réelle des tâches testées, ce que le résumé ne permet pas d'évaluer. Ce travail s'inscrit dans la vague des politiques de diffusion et des modèles vision-langage-action (VLA) préentraînés, comme Pi-0, Helix ou GR00T, qui offrent de bonnes compétences de manipulation mais restent conçus pour un agent unique. La coordination multi-robot relevait jusqu'ici de la planification centralisée ou de l'apprentissage multi-agent entraîné de zéro, gourmand en données et en calcul. Les approches concurrentes cherchent à entraîner conjointement des politiques d'équipe ou à ajouter des canaux de communication appris. ALTER prend la voie inverse, celle d'une adaptation légère par résidu. Le papier, une version révisée (v2) sur arXiv, n'annonce ni code ni déploiement. Les prochaines étapes à surveiller sont le passage à plus de deux robots, la robustesse face à des robots hétérogènes et la validation sur des tâches industrielles longues.

Recherche❖Paper

1 source

38

917arXiv cs.RO 

Gondola : planification vision-langage ancrée pour la manipulation robotique

Gondola, un modèle de planification vision-langage « ancré », est présenté dans une nouvelle version (v2) d'un article arXiv. Il vise à séparer la planification de haut niveau du contrôle bas niveau en manipulation robotique. À partir d'observations multi-vues et de l'historique de planification, Gondola prédit l'étape suivante sous forme d'instructions textuelles entrelacées avec des masques de segmentation multi-vues. Ces masques désignent au niveau du pixel les objets cibles et les emplacements d'arrivée. Ce plan est ensuite exécuté par une politique de contrôle fondée sur la 3D. Pour l'entraîner, les auteurs ont construit des jeux de données synthétiques qui supervisent trois compétences : la planification ancrée à court horizon, les expressions référentielles multi-vues et le raisonnement compositionnel à long horizon. Le système affirme atteindre l'état de l'art sur le benchmark GemBench et montre un transfert « prometteur » vers des robots réels. Le résumé ne donne ni score chiffré, ni description du matériel, ni nombre de tâches réelles testées. L'approche répond à une faiblesse connue des modèles vision-langage-action (VLA). Lorsqu'ils associent directement pixels et instructions à des actions bas niveau, ils restent difficiles à interpréter et perdent en robustesse sur les tâches longues et complexes. Ici, le plan intermédiaire est lisible, et l'on peut voir quel objet le robot a ciblé avant qu'il n'agisse. Pour un intégrateur, cela facilite le diagnostic des échecs, car on distingue une erreur de raisonnement d'une erreur d'exécution. Les ablations indiquent que l'ancrage au pixel près et la supervision orientée planification pèsent réellement dans les performances. Cela plaide pour des architectures modulaires face aux VLA de bout en bout. Deux réserves s'imposent. GemBench est un benchmark en simulation, et une démonstration robotique réelle décrite comme « prometteuse » ne prouve pas une fiabilité industrielle. L'entraînement sur données synthétiques laisse aussi ouverte la question de l'écart simulation-réalité. Le travail s'inscrit dans un mouvement plus large de découplage entre un « cerveau » de haut niveau et un contrôleur d'exécution. Les architectures à deux systèmes de type Helix en sont un exemple, et les VLA généralistes comme Pi-0 misent au contraire sur le bout en bout. La page du projet est hébergée sur cshizhe.github.io, ce qui suggère un cadre académique, sans annonce de produit, de partenaire industriel ni de calendrier de déploiement. L'article étant une révision (v2), l'évaluation a pu évoluer depuis la première version. La suite dépendra de la publication du code et des modèles, de résultats chiffrés sur des robots physiques et de comparaisons directes avec les VLA de bout en bout sur des tâches longues.

Recherche❖Paper

1 source

38

918arXiv cs.RO 

BlenDAgger : contrôle partagé par mélange pour l'apprentissage par imitation interactif

Des chercheurs proposent Blended DAgger (BlenDAgger), une méthode de collecte de données pour l'apprentissage par imitation, décrite dans un preprint arXiv. Lors des interventions humaines, le système ne laisse pas l'opérateur prendre le contrôle total du robot. Il mélange en continu les actions de la politique et celles du démonstrateur, selon un principe de contrôle partagé. La méthode a été testée sur cinq tâches de manipulation, deux en conditions réelles et trois en simulation. Sur les deux tâches réelles, la politique finale atteint une performance autonome supérieure d'au moins 30 points de pourcentage à celle obtenue avec HG-DAgger, la référence où l'humain reprend la main de façon binaire. Les transitions entre politique et intervention humaine sont 57 % plus fluides, et les trajectoires corrigées sont 14 % plus proches des données d'entraînement. Une étude utilisateur (n=14) sur les deux tâches réelles montre une collecte plus rapide (facteur de Bayes de 13,32), sans différence perçue subjectivement par les opérateurs. L'enjeu est le coût de la donnée corrective, principal goulot d'étranglement des politiques de manipulation entraînées par imitation. La téléopération complète pour corriger un robot est fatigante, et les démonstrations humaines sont rarement optimales. Un opérateur qui ne fait que guider la politique produit des données plus cohérentes avec sa distribution. Cela réduit le décalage entre ce que le robot sait faire et ce qu'on lui enseigne, et pourrait diminuer le temps opérateur nécessaire pour affiner une politique, un poste de coût réel pour les intégrateurs. Les résultats restent toutefois ceux d'un laboratoire. Le résumé ne précise ni les tâches, ni le robot, ni les taux de réussite absolus, ni le nombre de démonstrations. Un écart de 30 points peut donc partir d'une base basse. L'échantillon de 14 participants reste modeste. Cette approche s'inscrit dans la lignée de DAgger (2011) et de HG-DAgger (2019), qui ont popularisé l'apprentissage par imitation interactif. Elle rejoint la vague actuelle du fine-tuning de politiques généralistes à partir de corrections humaines, comme les VLA de type Pi-0 ou GR00T. Le preprint n'annonce ni code, ni déploiement industriel, ni calendrier. Aucun acteur français ou européen n'est cité dans le résumé. La suite dépendra d'une validation sur d'autres robots, d'autres tâches et de plus gros modèles.

Recherche❖Paper

1 source

38

919arXiv cs.RO 

Ancrage sémantique tenant compte des risques pour une planification robotique fiable basée sur les LLM

Des chercheurs proposent un cadre de « Risk-Aware Semantic Grounding » (ancrage sémantique sensible au risque) pour fiabiliser les robots de navigation pilotés par un grand modèle de langage (LLM), et publient sur arXiv (2609.37554v1) un banc d'essai associé, TRUST-NAV. Le problème visé est connu : lorsqu'un LLM sert de planificateur de haut niveau, ses sorties deviennent peu fiables si l'instruction est ambiguë, sans support dans l'environnement ou incohérente sur le plan sémantique. L'architecture estime donc, avant toute planification, trois risques distincts : l'ambiguïté, l'hallucination et le conflit sémantique. Selon ce score, le système choisit entre trois issues : exécuter l'instruction, demander une clarification ou la rejeter. TRUST-NAV réunit des tâches de navigation standard et des scénarios d'instructions volontairement piégées. Les résultats rapportés indiquent que les planificateurs LLM classiques performent bien sur les tâches valides, alors que le cadre proposé améliore nettement la détection d'ambiguïté et le rejet des conflits sémantiques. Le résumé ne fournit ni chiffres, ni modèles testés, ni robot réel : il s'agit d'un travail académique évalué sur benchmark, sans déploiement ni produit. L'intérêt tient au déplacement de la métrique. Jusqu'ici, la plupart des travaux sur les planificateurs LLM et les modèles vision-langage-action (VLA) optimisent la génération de plans et se jugent sur le taux de réussite des tâches. Les auteurs soutiennent qu'un robot fiable se mesure aussi à sa capacité à reconnaître qu'il ne doit pas agir. Pour un intégrateur ou un responsable d'exploitation, c'est un critère de sécurité concret : un AMR ou un humanoïde qui exécute avec assurance une consigne ambiguë ou impossible est un risque opérationnel, pas seulement une erreur de performance. L'approche est aussi modulaire, puisque le filtrage précède la planification et pourrait en principe se greffer sur des planificateurs existants. Il faut toutefois rester prudent : l'absence de chiffres publiés, l'évaluation sur un benchmark créé par les mêmes auteurs et l'écart habituel entre simulation et terrain limitent la portée des conclusions, en particulier sur le coût en fausses alertes, c'est-à-dire les refus ou demandes de clarification inutiles qui ralentissent une exploitation. Ce travail s'inscrit dans la vague des LLM employés comme planificateurs de haut niveau en navigation et en manipulation, où les hallucinations et l'ancrage dans l'environnement restent des points faibles reconnus. Les approches concurrentes reposent sur l'estimation d'incertitude, la prédiction conforme pour déclencher des demandes d'aide, ou des couches de vérification et de garde-fous, tandis que les grands modèles fondation robotiques cherchent surtout à augmenter le taux de réussite. La suite dépendra de la disponibilité de TRUST-NAV pour la communauté, de la reproduction des résultats par des tiers et d'un test sur robot physique, étape que la version 1 du préprint ne mentionne pas.

Recherche❖Paper

1 source

38

920arXiv cs.RO 

DRAM : mémoire associative récurrente à règle delta pour les politiques de manipulation robotique

Des chercheurs proposent DRAM (Delta-rule Recurrent Associative Memory), un module de mémoire enfichable destiné aux politiques de manipulation robotique pré-entraînées. Décrit dans un preprint arXiv (2609.32453, version 2), il s'attache à un large éventail de politiques existantes et leur confère une mémoire longue durée sans modifier leur architecture ni réentraîner le backbone. Seuls le module de mémoire et l'action expert, la tête qui produit les actions, subissent un post-entraînement propre à la tâche. Le module maintient une mémoire associative de taille fixe, fondée sur une attention linéaire à règle delta avec porte (gated delta-rule). Sa mise à jour est modifiée pour intégrer en parallèle tous les tokens de chaque image. Un mécanisme de lecture indépendant de l'architecture injecte ensuite le contexte historique dans la prédiction d'action, quelle que soit la politique hôte. Les auteurs annoncent que DRAM améliore de façon constante des politiques gelées par rapport aux références à contexte court et à d'autres conceptions de mémoire compacte. Le résumé ne donne aucun chiffre, ni taux de réussite, ni nombre de tâches, ni liste des politiques testées. L'enjeu est pratique. La manipulation dépend de l'historique : savoir quelles étapes d'une tâche sont faites, où un objet a été rangé ou si une tentative a échoué. Or la plupart des politiques pré-entraînées, notamment les VLA (vision-language-action), ne voient que l'observation courante ou une courte fenêtre temporelle. Les deux remèdes actuels ont un coût. Empiler plusieurs images dans le backbone fait grimper le coût d'inférence, un problème pour le contrôle temps réel sur du matériel embarqué. S'appuyer sur des caractéristiques sémantiques prédéfinies limite la généralité et peut imposer de réentraîner le backbone. Une mémoire de taille fixe garde un coût d'inférence constant quelle que soit la durée de la tâche. Le fait que le backbone reste gelé compte aussi pour les intégrateurs : on pourrait ajouter de la mémoire à un modèle de fondation déjà validé sans relancer un entraînement lourd. Il s'agit toutefois d'une preuve de concept académique. Rien n'indique à ce stade une validation sur robot réel, des tâches longues en conditions industrielles ou des mesures de latence. Cette approche s'inscrit dans le courant qui importe en robotique les modèles récurrents efficaces issus du langage : attention linéaire, règle delta, mémoires d'état de taille fixe, alternatives aux Transformers à contexte croissant. Elle répond à une limite reconnue des VLA généralistes actuels, souvent sans état ou à mémoire très courte. Les auteurs la comparent à d'autres mémoires compactes, mais le résumé ne nomme pas les concurrents. La suite logique serait des évaluations sur plusieurs familles de politiques, avec des tâches réelles à longue échéance et un chiffrage du surcoût de calcul, seuls éléments qui permettront de juger si la mémoire post-hoc tient ses promesses hors du laboratoire.

Recherche❖Paper

1 source

38

921arXiv cs.RO 

WayFinder : modèle vision-langage-action hiérarchique pour la génération de points de passage sans apprentissage préalable et le contrôle cinématique bas niveau

Des chercheurs proposent WayFinder, un cadre hiérarchique de type Vision-Langage-Action (VLA) destiné à la navigation autonome. Il évite le fine-tuning, coûteux et propre à chaque robot et à chaque tâche. L'architecture sépare deux niveaux. Un modèle de langage multimodal (MLLM) tourne hors du robot, en zero-shot. Il reçoit le contexte linguistique et des cartes d'état, puis génère des waypoints stratégiques. En parallèle et de façon asynchrone, une politique légère embarquée assure le contrôle cinématique en temps réel, à haute fréquence, à partir du retour continu des capteurs. Les tests ont eu lieu uniquement en simulation, dans Microsoft AirSim, sur quatre environnements de complexité variable et avec trois tailles de MLLM, pour arbitrer entre efficacité de prédiction et coût de calcul. Le MLLM n'est interrogé que lors des échecs de navigation. Les auteurs annoncent un taux de réussite supérieur aux politiques bas niveau de référence, avec un gain pouvant atteindre 27,45 %. Ce travail s'attaque à un point de friction connu des VLA : la généralisation impressionnante des modèles se heurte, sur le terrain, à une exécution peu fiable et à des coûts d'adaptation par plateforme. Découpler le raisonnement lent, délégué à un grand modèle distant, du contrôle rapide embarqué est une approche pragmatique pour un intégrateur. Elle évite de réentraîner un modèle pour chaque morphologie et limite les appels d'inférence coûteux, puisque le MLLM n'intervient qu'en cas de blocage. Il faut toutefois relativiser. Le « jusqu'à 27,45 % » est un maximum, dépendant de la configuration retenue. Le papier ne donne ici aucun résultat sur matériel réel, et l'écart entre simulation et déploiement reste entier. La dépendance à un modèle hors bord pose aussi la question de la latence et de la connectivité en environnement industriel. Enfin, la comparaison porte sur des politiques bas niveau de référence, pas sur d'autres VLA hiérarchiques. Le contexte est celui d'une littérature qui multiplie les architectures à deux niveaux, un module de raisonnement lent au-dessus d'un contrôleur rapide, illustrées côté humanoïdes par des systèmes comme Helix ou GR00T. WayFinder applique cette logique à la navigation, en s'appuyant sur AirSim, simulateur classique pour drones et véhicules. Il s'agit d'une prépublication arXiv (v1) et non d'un produit livré, sans partenaire industriel ni pilote annoncé. Les prochaines étapes utiles seraient une validation sur robot physique, une mesure de la latence de bout en bout et des comparaisons directes avec les autres approches hiérarchiques.

Recherche❖Paper

1 source

38

922arXiv cs.RO 

GlassFormer : apprentissage de la segmentation du verre en temps réel par fusion radar-profondeur

Des chercheurs présentent sur arXiv (2609.36844) GlassFormer, un réseau de segmentation de surfaces transparentes qui fusionne un radar à ondes millimétriques avec un capteur RGB-D. Le réseau est un transformeur léger, et le radar y est injecté par attention inter-modale sous la forme d'un a priori spatial. Les auteurs l'évaluent sur deux jeux de test : un split mixte couvrant tous les types de scènes, où GlassFormer atteint 0,88 mIoU, et un split dédié aux conditions de faible luminosité, conçu pour mettre en difficulté les méthodes purement visuelles, où il atteint 0,59 mIoU. Ils affirment que l'inférence tourne en temps réel sur des plateformes à ressources limitées. L'article ne donne ni la carte embarquée testée, ni la fréquence d'images, ni la taille des jeux de données dans son résumé. Il s'agit d'un travail de recherche, sans produit ni déploiement associé. Le vitrage est un cas d'échec connu de la perception robotique. La caméra RGB voit l'arrière-plan derrière la vitre, et les capteurs de profondeur (LiDAR, temps de vol, RGB-D) renvoient des mesures invalides ou celles du fond. Un robot mobile peut alors prendre une cloison vitrée, une porte ou un miroir pour de l'espace libre. C'est un risque de collision, et aussi un risque de sécurité pour les AMR et les humanoïdes qui évoluent dans les bureaux, hôpitaux, halls, commerces et entrepôts vitrés. L'idée centrale est d'exploiter l'incohérence entre modalités : le radar réfléchit fortement sur le verre, alors que la vision et la profondeur échouent au même endroit. Le résultat sur le split faible luminosité est le plus instructif. Les indices visuels appris par les approches RGB (reflets, contours, contexte sémantique) se dégradent dans le noir, en cas d'éblouissement ou face à un verre sans texture. Les 0,59 mIoU montrent que le radar aide beaucoup, mais qu'un problème reste ouvert : le score est nettement inférieur à celui du split mixte. Les gains face aux bases visuelles restent à vérifier, car le résumé ne les chiffre pas. Ils sont évalués sur les splits des auteurs, sans preuve de généralisation à d'autres capteurs ou bâtiments. Jusqu'ici, la segmentation du verre reposait surtout sur des réseaux RGB ou RGB-D, qui apprennent des indices visuels et fonctionnent bien sous un éclairage et un angle favorables. Le radar millimétrique est déjà présent sur beaucoup de plateformes mobiles pour sa robustesse à la lumière, à la poussière et à la fumée, mais il reste peu utilisé pour la cartographie sémantique fine. Pour les intégrateurs, cela ouvre la voie à des capteurs peu coûteux ajoutés aux piles de perception existantes, au lieu de LiDAR plus chers. Les prochaines étapes probables sont des tests sur robot réel, des comparaisons avec des méthodes multimodales concurrentes, la publication du jeu de données et du code, et une intégration à la navigation. Rien de tel n'est annoncé à ce stade.

Recherche❖Paper

1 source

38

923arXiv cs.RO 

Modélisation unifiée vision-toucher-action à partir de démonstrations humaines pour la manipulation dextérique

Des chercheurs proposent UVTA, un cadre qui exploite des démonstrations humaines enregistrées avec retour tactile pour améliorer les politiques de manipulation dextre des robots. L'équipe a d'abord construit un système de capture de mouvement tactile, qui enregistre de façon synchrone les images, les signaux tactiles et les mouvements de la main. Avec cet outil, elle a constitué le jeu de données UVTA, qui couvre cinq tâches riches en contacts. Il comprend 1 000 démonstrations humaines et 150 démonstrations robot par tâche. Le modèle associé, un Unified Visual-Tactile-Action Model, projette l'humain et le robot dans des représentations tactiles et d'action alignées. Il prédit conjointement les trajectoires futures d'action et de toucher. Les démonstrations humaines supervisent ainsi l'apprentissage de représentations sensibles au contact, et seules les actions du robot sont exécutées au déploiement. Lors d'évaluations sur robot réel, sur les cinq tâches, la méthode atteint 70 % de réussite moyenne. La meilleure base de comparaison visuo-tactile plafonne à 29 %, et une ablation d'architecture à 42 %. L'enjeu tient au goulot d'étranglement des données tactiles. La téléopération de mains dextres ne renvoie à l'opérateur qu'un retour tactile limité, ce qui rend les démonstrations robot riches en toucher difficiles à collecter à grande échelle. Les auteurs contournent le problème avec l'hypothèse que la main change mais que la physique de l'interaction reste la même. Les données humaines deviennent alors une source de supervision plus abondante et plus variée. Les performances progressent avec le nombre de démonstrations humaines et ne saturent pas à 1 000 par tâche. Cela suggère qu'une montée en volume pourrait encore améliorer les résultats, sans que le papier le démontre au-delà. Pour les intégrateurs et les équipes qui développent des politiques de préhension fine, l'idée est de déplacer l'effort de collecte du robot vers l'humain, moins coûteux. Elle vise les tâches où la vision seule échoue, comme l'insertion, la manipulation en occlusion ou le contrôle de force. Il s'agit d'un travail académique, pas d'un produit, et il faut lire les chiffres avec prudence. Le score de 70 % porte sur seulement cinq tâches, avec 150 démonstrations robot par tâche, dans un cadre de laboratoire. Le résumé ne précise ni la main utilisée, ni les capteurs tactiles, ni le nombre d'essais, ni la nature exacte des tâches. L'écart avec les bases de comparaison (29 % et 42 %) est net, mais il dépend de choix de baselines que seul le texte complet permet d'apprécier. Le papier s'inscrit dans un courant de recherche qui cherche à apprendre la manipulation à partir de vidéos et de gants de capture humains, pour dépasser la téléopération. Il ajoute ici la modalité tactile, encore peu présente dans les grands modèles vision-langage-action (VLA). La version 2 de l'article sur arXiv et une page projet (uni-vta.github.io) sont disponibles. Aucun déploiement industriel ni calendrier n'est annoncé.

Recherche❖Paper

1 source

38

924arXiv cs.RO 

Retargeting de mouvement du haut du corps, de l'humain au robot, préservant la géométrie à partir d'une vidéo monoculaire

Des chercheurs proposent un cadre de retargeting de mouvement qui convertit une simple vidéo RVB monoculaire en mouvements coordonnés du haut du corps pour un robot dual-bras à main dextre. Le système repose sur une reconstruction unifiée corps-mains : les estimations image par image du corps, les observations à l'échelle de la vidéo et les détails des mains contraignent ensemble un unique état du Momentum Human Rig (MHR), un modèle corporel différentiable. Les artefacts transitoires sur les mains sont corrigés directement dans l'espace des paramètres. Le mouvement est ensuite décrit par des grandeurs géométriques (directions des segments du bras, configuration du coude, orientation relative des paumes, relations bilatérales des poignets), puis exécuté par une cinématique inverse en plusieurs étapes et une adaptation propre à la main du robot. Au sein d'un système plus large, Across-VAM gère la génération vidéo et Across-WAM la mise en correspondance humain-robot. L'évaluation porte sur 16 vidéos (1 769 images source), dont 10 séquences de langue des signes et 6 de saisie. L'erreur moyenne de reprojection des mains passe de 22,36 à 7,21 pixels par rapport à SAM 3D Body. Les 16 trajectoires ont été rejouées en simulation cinématique, et deux mouvements représentatifs (signes, saisie) ont été démontrés sur un robot réel. Pour l'industrie, l'intérêt tient à la source de données. La vidéo monoculaire est la matière première la moins chère pour l'apprentissage par démonstration, bien moins coûteuse que la téléopération ou les gants de capture. Mais le transfert vers un robot bute sur un problème concret : corps et mains sont reconstruits à des échelles différentes, les cinématiques divergent et les mouvements distaux fins se perdent. Une réduction de l'erreur de reprojection de plus des deux tiers sur les mains est significative pour la dextérité, là où les pipelines existants dégradent le plus. Des réserves s'imposent toutefois. L'échantillon est très réduit (16 vidéos), le succès en simulation ne mesure que la faisabilité cinématique, sans dynamique ni contact, et la validation physique se limite à deux démonstrations qualitatives, sans taux de réussite chiffré. Le gain est mesuré contre un seul point de comparaison, et le cas de la langue des signes, bien que parlant, reste éloigné de la manipulation industrielle. Ce travail s'inscrit dans la course à la donnée pour les modèles de politique robotique. Les acteurs comme Figure, Tesla (Optimus) ou Physical Intelligence cherchent à exploiter des vidéos humaines à grande échelle pour nourrir leurs VLA, et la qualité du retargeting devient un goulot d'étranglement. La séparation entre génération vidéo (Across-VAM) et mapping humain-robot (Across-WAM) suggère une architecture modulaire pensée pour relier des modèles génératifs à l'exécution. Les prochaines étapes à surveiller sont une évaluation sur davantage de séquences, des taux de succès en manipulation réelle avec contacts, et une intégration avec des politiques apprises. Le papier est un preprint sur arXiv, non évalué par les pairs, et aucun calendrier de déploiement n'est annoncé.

Recherche❖Paper

1 source

38

925arXiv cs.RO 

LexiconVLA : apprentissage de codebooks d'actions atomiques réutilisables pour des tâches inédites

Des chercheurs proposent LexiconVLA, une méthode qui construit un « lexique » d'actions atomiques réutilisables pour aider les modèles vision-langage-action (VLA) à généraliser à des tâches jamais vues. Le travail, publié sur arXiv, s'appuie sur un jeu de données maison, AtomAction, qui compte 57 803 segments issus de 69 tâches. Deux codebooks sont appris : l'un, global, capture la structure d'interaction partagée entre tâches (saisir, pousser, insérer), l'autre, de détail, conserve les variations fines d'exécution. Un module d'alignement visuel-action couple la reconstruction de trajectoire à partir des changements d'état visuels et la prédiction du résultat visuel à partir des codes d'action. Un planificateur et un adaptateur sensible à la scène traduisent un nouvel objectif en sous-tâches conditionnées par ces codes, exécutées par une politique unique. Aucun expert spécialisé par compétence ni mise à jour de paramètres au déploiement n'est nécessaire. Sur 26 tâches du benchmark RLBench et cinq architectures de politique, la performance est globalement maintenue sur les 18 tâches vues, et progresse sur les 8 tâches exclues de l'entraînement de la politique. Avec BridgeVLA, le taux de succès sur tâches inédites passe de 16,67 % à 34,17 % (+17,50 points), pour un succès global de 71,08 %, le plus élevé parmi les méthodes ayant publié des résultats. L'intérêt tient d'abord au diagnostic : les auteurs montrent qu'un VLA peut réussir une tâche sans exécuter de manière cohérente les actions atomiques qui la composent d'un contexte à l'autre. Autrement dit, un taux de succès élevé sur des tâches connues masque une compétence fragmentée, difficile à recomposer face à un objectif nouveau. Pour un intégrateur, c'est un rappel que la généralisation zéro-shot des VLA reste faible : même avec l'amélioration annoncée, deux tâches inédites sur trois échouent encore. L'approche a néanmoins un atout pratique, celle d'ajouter une couche de réutilisation sans réentraîner la politique ni multiplier les experts, ce qui limite le coût de mise à jour en production. Il faut toutefois relativiser. Les résultats proviennent d'un benchmark simulé, RLBench, sur un échantillon restreint de 8 tâches tenues à l'écart, et la comparaison « meilleur parmi les méthodes rapportant des résultats » exclut celles qui ne publient pas leurs chiffres. Les expériences sur robot réel sont décrites comme démontrant l'exécution pas à pas et la reprise sur échec, sans métriques chiffrées dans le résumé. Le travail s'inscrit dans la course à la composabilité des VLA, aux côtés des approches de type Pi-0, GR00T ou Helix, qui misent plutôt sur l'échelle des données et la couverture. Il s'agit d'une publication de recherche, sans produit ni déploiement annoncé. La suite dépendra de la validation sur davantage de tâches réelles et de la disponibilité du jeu de données et du code.

Recherche❖Paper

1 source

38

926arXiv cs.RO 

Optimisation directe du modèle du monde par l'expérience : apprendre le monde au-delà de l'imitation des actions

Des chercheurs proposent DEWO (Direct Experience World-Model Optimization), une méthode d'apprentissage post-déploiement pour les World-Action Models (WAM), ces politiques robotiques qui génèrent des actions tout en prédisant l'évolution visuelle des interactions physiques. Le principe consiste à ne plus seulement imiter les actions, mais à raffiner aussi les représentations du monde à partir de l'expérience visuelle du robot. DEWO repère les points de bascule d'une interaction, apprend des futurs réussis comme des futurs échoués pour alimenter un guidage sans classifieur (classifier-free guidance), et ajoute une tête de valeur qui estime l'avancement de la tâche à partir des représentations vidéo. Ce guidage ne s'active en inférence que lorsque la progression stagne. Sur cinq tâches du benchmark DexJoCo, la méthode améliore le taux de succès moyen pour les trois formulations de WAM testées. Sur quatre tâches réelles avec les mains Wuji et Sharpa, une évaluation en grille 3 x 3 montre que deux cycles d'apprentissage en déploiement font passer le succès de 51,0 % à 71,7 % dans les cellules comptant au moins un succès initial, soit un gain de 20,7 points. L'intérêt tient au diagnostic. Les boucles d'amélioration actuelles, souvent fondées sur l'imitation de démonstrations ou de trajectoires réussies, corrigent le comportement sans rendre les prédictions du modèle plus justes. Or en manipulation dextre, de petites erreurs d'exécution s'accumulent dans un espace d'actions de grande dimension et écartent le robot de la distribution d'entraînement du modèle, ce qui dégrade aussi ses prédictions. Les ablations indiquent que la supervision visuelle des suites réussies et échouées améliore à la fois la prédiction et le contrôle, au-delà de la seule supervision par les actions. Pour les intégrateurs, le message est que les données d'échec, généralement jetées, deviennent utiles. Il faut toutefois nuancer : le gain réel de 20,7 points est mesuré uniquement dans les cellules avec au moins un succès initial, donc sur un sous-ensemble favorable, et les résultats viennent d'un preprint sans validation par les pairs ni détail sur les volumes de données ou le temps de cycle. Ce travail s'inscrit dans la montée des modèles du monde appliqués à la robotique, où la prédiction vidéo est couplée à la politique d'action, en complément des VLA (vision-langage-action) classiques. Le déploiement continu reste l'un des verrous du secteur : les politiques progressent surtout par rejeu de démonstrations ou par apprentissage par renforcement, coûteux sur du matériel réel. Le choix des mains Wuji et Sharpa, deux plateformes dextres à nombreux degrés de liberté, cible précisément le segment où les écarts entre démonstration et réalité sont les plus marqués. L'article ne cite ni pilote industriel ni calendrier de commercialisation, et il s'agit d'une preuve de concept de recherche. La suite logique serait de tester la méthode sur davantage de tâches et de plateformes, avec des cycles de déploiement plus nombreux et des mesures de robustesse à plus long terme.

Recherche❖Paper

1 source

38

927arXiv cs.RO 

FORM : manipulation robotique par identification directe des lois de comportement des matériaux

Des chercheurs présentent FORM (From Observed Response to Material laws), une méthode qui identifie les propriétés mécaniques d'un matériau déformable à partir d'une seule interaction robotique, puis réutilise le modèle obtenu pour planifier de nouvelles manipulations. Le principe consiste à appliquer un bilan de quantité de mouvement en forme faible. Le mouvement observé du matériau et les forces de contact mesurées deviennent ainsi des équations linéaires en fonction des paramètres inconnus. Ces équations sont assemblées avec la même discrétisation MPM (material point method) que le simulateur direct, si bien que l'identification se réduit à des moindres carrés linéaires. Le résultat s'utilise directement en prédiction, sans réajustement ni conversion. Sur quatre classes de matériaux, le temps d'identification passe d'environ 10 à 25 minutes pour les méthodes itératives de référence à 2 à 5 secondes. La précision reste comparable sur de nouveaux mouvements, conditions initiales et géométries. Les tests couvrent la simulation et du matériel réel, sur quatre tâches : insertion d'une tige élastique, putting de golf avec un club élastique, façonnage élastoplastique et versement d'un volume cible. L'erreur d'estimation est de 3,4 % sur les propriétés élastiques et de 2 % sur les propriétés élastoplastiques. Le façonnage de pâte atteint 72,4 à 77,8 % d'IoU, et l'erreur moyenne de versement est de 3,8 mL pour des cibles de 60 à 160 mL. L'intérêt est d'abord pratique. Face à un matériau inconnu, un robot doit aujourd'hui soit s'appuyer sur des modèles appris qui généralisent mal, soit faire tourner une optimisation itérative trop lente pour une boucle de production. Passer de plusieurs minutes à quelques secondes rend l'identification compatible avec un cycle de travail réel, par exemple pour l'agroalimentaire, le dosage de fluides ou la manipulation de pâtes et de mousses. Le fait que le modèle soit réutilisé sur d'autres géométries suggère aussi qu'une identification physique explicite peut compléter, voire concurrencer, les approches purement apprises comme les VLA (vision-language-action), qui demandent de grandes quantités de démonstrations. Il faut toutefois relativiser. Les tâches sont des démonstrations de laboratoire, avec quatre classes de matériaux et des géométries contrôlées. Rien n'indique une robustesse face à des matériaux hétérogènes, à des propriétés qui varient dans le temps ou à du bruit de capteurs industriel. Ce travail s'inscrit dans la lignée des simulateurs différentiables et de l'identification de paramètres par optimisation, qui offrent de la précision au prix d'un calcul lourd. Il s'oppose aussi aux approches de manipulation déformable par apprentissage end-to-end. Il s'agit d'une prépublication arXiv (v1), sans relecture par les pairs ni acteur industriel ou déploiement annoncé, et aucun acteur français ou européen n'est cité. La suite logique serait de tester des matériaux plus variés, des interactions plus complexes et une intégration avec des politiques apprises.

Recherche❖Paper

1 source

38

928arXiv cs.RO 

Les actions urgentes d'abord : un débruitage sensible à l'urgence pour le contrôle VLA en temps réel

Des chercheurs proposent Urgency-Aware Denoising (UAD), un cadre appliqué à l'inférence qui vise la latence des politiques Vision-Language-Action (VLA) à diffusion ou à flow matching. Ces modèles produisent des « chunks » d'actions par débruitage itératif, et chaque étape de débruitage ajoute du délai avant que le robot puisse bouger. UAD part d'un constat simple. Les actions d'un chunk sont générées ensemble mais exécutées l'une après l'autre, donc les premières sont plus urgentes que les dernières. Le système libère ces actions urgentes après moins d'étapes de débruitage. Il poursuit en arrière-plan le raffinement des actions de fin de chunk, pendant que le robot exécute les premières. Deux mécanismes corrigent les effets secondaires. Trajectory Reconciliation reconstruit un état interne cohérent, sans évaluation supplémentaire du modèle. Ghost Action Correction utilise des « actions fantômes », des prolongements non exécutés, pour compenser les erreurs des actions libérées trop tôt. Selon les auteurs, testés sur plusieurs architectures VLA, des benchmarks de simulation et des tâches de manipulation réelles, UAD atteint jusqu'à 1,89x d'accélération sur la latence moyenne de disponibilité des actions. Le taux de succès reste comparable à l'inférence classique avec un budget de débruitage optimal. L'intérêt tient au point de blocage de ces politiques : la latence d'inférence limite le contrôle temps réel. Beaucoup de méthodes d'accélération traitent le chunk comme un bloc indivisible. Ici, on exploite la structure temporelle du contrôle à horizon glissant. Cela peut réduire le délai de réaction sans changer les poids du modèle. Les résultats appellent toutefois de la prudence. Le chiffre de 1,89x est un maximum. Il porte sur la disponibilité moyenne des actions, pas sur le temps de cycle d'une tâche complète. Le résumé ne précise ni les modèles, ni le matériel, ni les tâches réelles, ni la variance entre essais. « Comparable » reste à quantifier. Ce travail s'inscrit dans la course aux VLA à diffusion et à flow matching, de la famille Pi-0 aux politiques de diffusion, qui pousse à réduire le coût du débruitage. Les alternatives connues passent par moins d'étapes, la distillation, la mise en cache ou l'inférence asynchrone. Les auteurs affirment un meilleur compromis succès-latence que les références de pointe, sans que le résumé les nomme. C'est un preprint arXiv, non évalué par les pairs, sans acteur industriel identifié. Les prochaines étapes à surveiller sont la publication du code, la réplication indépendante et des essais sur robot embarqué.

Recherche❖Paper

1 source

38

929arXiv cs.RO 

Au-delà de l'état comme action : exploiter l'écart commande-état pour l'apprentissage par imitation en robotique

Une équipe de recherche publie, dans la version 2 de l'article arXiv 2609.33145, une méthode baptisée Command-State Discrepancy Weighting (CSDW) pour l'apprentissage par imitation en robotique. Elle porte sur la construction des cibles d'action. Une pratique établie consiste à les déduire du mouvement mesuré du robot (« state-as-action ») plutôt que de la commande envoyée. Les auteurs montrent que, lorsque l'interaction est contrainte, par exemple en contact avec un objet ou une surface, l'écart entre commande et état mesuré contient une information que le mouvement seul ne restitue pas. Trois tâches sur robot réel ont servi aux tests. Les analyses par tâche et par phase révèlent des écarts de supervision plus grands sous contrainte, et conserver sélectivement la commande s'avère localement utile. CSDW pondère la supervision de la commande de façon continue. Il tient compte des temps de réponse du robot et combine la progression ultérieure, la demande persistante non satisfaite et les variations de cette demande. Le résumé ne donne aucun chiffre de gain. L'intérêt est pratique. La méthode n'exige ni annotation des phases de tâche, ni modification de l'architecture de la politique, ni changement à l'inférence, ce qui la rend greffable sur des pipelines existants, y compris de type VLA (vision-language-action). Elle s'attaque à un angle mort des tâches riches en contact, comme l'insertion, l'essuyage ou le serrage, où l'effort demandé ne se voit pas dans la trajectoire. Les résultats restent nuancés. CSDW fait mieux qu'une supervision uniforme de la commande sur les tâches contraintes, mais les méthodes se valent sur la tâche la moins contrainte. Le gain se limite donc à la manipulation en contact, sans être universel. Le résumé ne précise ni les robots, ni les taux de réussite, ni l'ampleur des améliorations, ce qui empêche d'évaluer la portée réelle avant lecture des expériences. Ce travail relève de la recherche académique. Il n'y a ni produit, ni déploiement, ni calendrier de pilote. Il s'inscrit dans un débat plus large sur la meilleure représentation de l'action pour les politiques apprises, entre commandes de téléopération, positions mesurées et efforts. Ce débat concerne les acteurs qui misent sur des modèles généralistes entraînés sur des démonstrations, ainsi que les équipes européennes actives en manipulation. Aucun acteur français ou européen n'est cité ici. La page projet, seen-e.github.io/CSDW, devrait permettre de vérifier les vidéos et les protocoles. Les prochaines étapes probables sont des validations sur davantage de plateformes et de tâches, et une confrontation avec les grands modèles de fondation.

Recherche❖Paper

1 source

37

930arXiv cs.RO 

Un parmi l'infini : transformer les futurs d'un modèle du monde préentraîné en actions de robot

Des chercheurs proposent RoboActualizer, une architecture qui transforme un modèle de monde vidéo préentraîné en politique robotique exécutable sans ré-entraîner son lourd backbone. Le principe, baptisé « actualisation », consiste à geler l'encodeur du modèle de monde et à n'entraîner par-dessus qu'un module léger, chargé de sélectionner, parmi les futurs plausibles qu'encode le modèle, celui qui correspond à la tâche demandée, puis d'en extraire les actions. L'actualiseur repose sur deux experts DiT (diffusion transformers) légers qui prédisent conjointement les latents futurs et les actions par flow matching. Il compte à partir de 60 millions de paramètres, s'entraîne sur un seul GPU avec 32 Go de mémoire au pic, et affiche une latence de 39 ms, compatible avec le contrôle temps réel. Les auteurs revendiquent jusqu'à 100 fois moins de paramètres entraînables que les modèles monde-action (WAM) et les VLA existants. Les résultats portent sur les benchmarks de simulation LIBERO, LIBERO-Plus et RoboTwin 2.0, ainsi que sur cinq tâches réelles menées sur deux plateformes. L'abstract ne chiffre pas les taux de réussite et ne nomme ni les plateformes ni les modèles comparés. L'enjeu est d'abord économique. Les approches actuelles adaptent le backbone entier d'un modèle de monde avec de grands jeux de données robotiques et de gros budgets de calcul, ce qui réserve ce type de recherche aux laboratoires les mieux dotés. Si l'hypothèse des auteurs tient, à savoir que le coût principal a déjà été payé lors du préentraînement vidéo, un intégrateur ou une équipe universitaire pourrait spécialiser une politique sur une seule carte graphique, sans infrastructure de cluster. Ce serait un argument sérieux pour les VLA à backbone gelé et pour la réutilisation de modèles de monde comme socle commun. Il faut toutefois rester prudent : l'évaluation réelle se limite à cinq tâches, LIBERO est un benchmark proche de la saturation, et l'expression « gréât performance » ne dit rien de l'écart avec les meilleurs modèles entièrement affinés. La robustesse hors distribution et la généralisation à des tâches longues restent à démontrer. Ce travail s'inscrit dans la convergence entre modèles de monde vidéo et politiques robotiques, où des approches WAM et des VLA comme Pi-0 ou GR00T ont montré que le préentraînement sur vidéo transfère des connaissances physiques utiles. Ces méthodes ont cependant tendance à croître en taille, ce qui pose des problèmes de latence et de coût de déploiement. RoboActualizer prend le contre-pied en visant l'efficacité, un critère central pour le contrôle embarqué. Il s'agit ici d'un préprint (arXiv, version 1) non évalué par les pairs, sans produit ni déploiement industriel annoncés. Les prochaines étapes à surveiller sont la publication du code et des poids, des comparaisons directes avec des VLA de référence à budget de calcul égal, et des tests sur des plateformes et des tâches plus variées.

Recherche❖Paper

1 source

37

931arXiv cs.RO 

RoboHarn-Evo : évolution de connaissances physiques hiérarchiques pour une manipulation robotique qui s'auto-améliore

Des chercheurs publient sur arXiv RoboHarn-Evo, un « harnais » à double boucle qui fait évoluer une base de connaissances physiques hiérarchiques (HPK, Hierarchical Physical Knowledge) à partir de l'expérience d'interaction, sans jamais mettre à jour les poids du modèle de base. La HPK comporte deux niveaux. La connaissance de tâche indique quelle sous-tâche exécuter et quand elle est achevée. La connaissance d'action décrit des stratégies géométriques relatives à l'objet et leurs effets physiques. À l'exécution, l'agent récupère l'entrée pertinente au niveau de décision concerné, puis l'adapte à la scène courante et à l'objectif. D'un épisode à l'autre, le retour physique sert à réviser les entrées anciennes, à ajuster leur domaine d'applicabilité et à réorganiser la base pour les récupérations suivantes. Sur le benchmark RMBench, le gain moyen de succès atteint 24,2 points selon les modèles d'agent. Avec 80 déroulés d'interaction, le succès sur tâches hors entraînement passe de 48,3 % à 75,0 % pour GPT-5.5 et de 70,0 % à 88,3 % pour GPT-6. Le système corrige plus de 83 % des erreurs de connaissance historiques tout en conservant 95,8 % des connaissances valides. En transfert zéro-shot de RMBench vers RoboDojo, il gagne 35,0 et 25,0 points selon les configurations. L'intérêt tient à la place de l'amélioration. Les modèles vision-langage pilotent bien la planification longue durée, mais la réussite dépend de l'effet réel des interactions locales : saisie, insertion, alignement. Ici, le progrès vient d'une mémoire externe, lisible et révisable, et non d'un réentraînement ou d'un fine-tuning. Pour un intégrateur, cela suggère une piste d'adaptation sur site moins coûteuse, avec des connaissances auditables, corrigeables et potentiellement transférables d'une cellule à l'autre. Le taux de conservation de 95,8 % répond au risque classique des mémoires d'agents, qui accumulent des règles erronées ou obsolètes. Deux réserves s'imposent toutefois. Les résultats portent sur des benchmarks, très probablement simulés, avec des échantillons de test réduits : les pas de 1,7 point suggèrent une soixantaine de tâches ou d'épisodes hors entraînement, donc des marges d'incertitude notables. Rien n'est dit non plus des temps de cycle, du coût d'inférence ni de la robustesse sur du matériel réel. Le transfert zéro-shot reste par ailleurs un test entre deux environnements de simulation, pas une preuve de généralisation au monde physique. Ce travail s'inscrit dans la tendance des agents « auto-améliorants » par mémoire et bibliothèques de compétences, transposée à la manipulation. Il se place face aux approches qui passent par l'apprentissage des poids, comme les modèles VLA (vision-langage-action) de type Pi-0, GR00T ou Helix, qui exigent des données de téléopération et du calcul d'entraînement. Il s'appuie sur des modèles de fondation généralistes pour la planification et laisse l'expérience physique enrichir la connaissance externe. La suite logique serait une validation sur robots réels, avec bruit de perception et contacts non modélisés, puis une comparaison directe avec des VLA affinés à budget d'interaction équivalent. Aucun pilote industriel ni calendrier n'est annoncé à ce stade.

Recherche❖Paper

1 source

37

932arXiv cs.RO 

La génération vidéo contrefactuelle permet le passage à l'échelle de la loco-manipulation humanoïde

Des chercheurs publient sur arXiv (2609.38172) PRISM, un cadre « real-to-sim-to-real » qui vise à apprendre à un humanoïde des tâches de loco-manipulation, comme porter des objets variés, à partir de quelques vidéos réelles seulement. Le procédé démarre d'une poignée de vidéos d'exemple, à partir desquelles un modèle de génération vidéo-à-vidéo (V2V) produit des centaines de vidéos « contrefactuelles » d'interactions humain-objet. Un pipeline de reconstruction ancré sur les contacts en extrait ensuite les mouvements de la personne et de l'objet, puis les retarget en trajectoires physiquement plausibles pour le robot, malgré l'imperfection des vidéos synthétiques. Une seule politique est entraînée sur l'ensemble. Elle est déployée sur un robot réel sans aucun réglage fin en conditions réelles, avec pour seule entrée des observations de profondeur embarquées. Les auteurs affirment qu'elle saisit, transporte et dépose boîtes, barils, bacs et balles, y compris des instances jamais vues, de tailles et de configurations initiales différentes. Le résumé ne donne ni modèle d'humanoïde, ni taux de réussite, ni nombre d'objets testés, ni temps de cycle. L'intérêt tient au goulot que ce travail cible. L'imitation visuelle est séduisante pour former des robots généralistes, mais il est difficile de réunir des vidéos qui montrent le corps entier sans occlusion et les contacts avec l'objet. Si l'approche tient à plus grande échelle, la diversité des données cesserait de dépendre de la captation humaine et passerait par la génération, ce qui réduirait le coût d'un jeu d'entraînement pour des tâches de manutention comme le déplacement de bacs ou de cartons. Le résultat sans réglage fin réel va dans le sens d'un transfert sim-to-real de plus en plus fiable pour la locomanipulation. Il faut toutefois rester prudent : il s'agit d'un preprint sans validation externe, la démonstration porte sur quatre catégories d'objets, et l'absence de chiffres publiés dans le résumé empêche d'évaluer la robustesse, la cadence ou l'écart avec une démonstration soigneusement choisie. On ne parle ni de produit ni de déploiement industriel. Ces travaux s'inscrivent dans une course où les acteurs cherchent à contourner la rareté des données de téléopération. Des approches concurrentes s'appuient sur la capture de mouvement humain, sur de grandes politiques vision-langage-action (VLA) telles que Pi-0, GR00T ou Helix, ou sur la simulation massive avec randomisation de domaine. PRISM ajoute la génération vidéo comme multiplicateur de données. Les prochaines étapes à surveiller sont la publication du code et des métriques détaillées, des tests sur des tâches à contacts plus complexes et des objets déformables, et une comparaison directe avec des données de téléopération. Aucun pilote ni calendrier commercial n'est annoncé.

Recherche❖Paper

1 source

37

933arXiv cs.RO 

Tir dans l'espace des compétences pour l'amélioration autonome des politiques robotiques

Une équipe de chercheurs publie sur arXiv (v1, septembre 2026) une méthode baptisée « skill-space shooting », conçue pour permettre à un robot déployé de corriger seul les échecs de sa politique de contrôle, sans que l'humain ait à démontrer chaque correction. Le principe repose sur un modèle de fondation, qui guide l'exploration de corrections à travers des compétences courtes et réutilisables (les « skills »). Ces comportements récurrents d'une tâche à l'autre, comme saisir, pousser ou repositionner un objet, sont choisis par le modèle à partir de la scène observée. Les essais réussis sont ensuite convertis en supervision corrective pour réentraîner la politique. Les auteurs affirment que des expériences en conditions réelles montrent une amélioration répétée de politiques agissant de manière autonome, et que les skills peuvent être partagés entre tâches pour réduire l'effort d'enseignement sur de nouvelles tâches. Le résumé ne donne ni taux de réussite, ni nombre d'essais, ni plateforme robotique, ni gain chiffré. Ces éléments devront être vérifiés dans le papier complet et sur la page de résultats vidéo associée. L'enjeu est un goulot d'étranglement bien connu du déploiement de robots : l'amélioration après mise en service dépend encore largement de téléopérateurs qui produisent des démonstrations correctives. Les systèmes dits agentiques, où un modèle de fondation compose des comportements appris pour finir une tâche, contournent l'humain, mais ne rendent pas la politique elle-même meilleure. Elle échouera de nouveau au même endroit. Le travail cherche à combler cet écart en transformant les succès obtenus par composition de skills en données d'apprentissage. Si le résultat tient à l'échelle, il réduirait le coût marginal de chaque correction, un poste critique pour les intégrateurs qui exploitent des flottes de robots. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par des pairs, et les vidéos publiées par les auteurs sont généralement sélectionnées. La généralisation entre tâches reste à démontrer sur des cas plus variés que ceux d'un laboratoire. Ce travail s'inscrit dans la course aux politiques vision-langage-action (VLA), comme Pi-0 ou GR00T, qui sont pré-entraînées sur de grands volumes de démonstrations, puis affinées, souvent avec de la téléopération humaine. Il rejoint aussi les recherches sur l'apprentissage par renforcement et l'auto-amélioration en conditions réelles, qui butent sur le coût des essais physiques et sur la conception des récompenses. L'usage de skills comme espace de recherche restreint l'exploration et la rend plus sûre et plus efficace que des actions brutes. La suite dépendra de la publication du code, des comparaisons avec les approches d'amélioration existantes et d'éventuels tests sur des robots industriels. Aucun pilote commercial n'est annoncé à ce stade.

Recherche❖Paper

1 source

37

934arXiv cs.RO 

Distillation de fonctions de barrière de contrôle privilégiées en filtres de sécurité RGB seul pour la navigation visuelle dynamique

Des chercheurs proposent une méthode pour doter les politiques de navigation visuelle « RGB seul » d'une couche de sécurité embarquée, sans reconstruction 3D ni rendu en ligne. Le travail, publié sur arXiv (2609.36520) avec une page projet, repose sur une distillation enseignant-élève. L'enseignant est une Control Barrier Function (CBF), un filtre mathématique qui corrige une commande jugée dangereuse pour maintenir le robot dans un ensemble sûr. Il exploite des états « privilégiés » (position du robot et des obstacles réels) dans un environnement dynamique real-to-sim en Gaussian Splatting. L'élève, un filtre de sécurité, reçoit un court historique d'images RGB, la vitesse du robot et l'action nominale de la politique de navigation, et renvoie directement une action sûre. Au déploiement, seuls l'image et la vitesse sont nécessaires. Aucun chiffre de latence, de taux de collision ou de plateforme matérielle n'apparaît dans le résumé. Pour réduire l'écart d'information entre enseignant et élève, l'enseignant ne construit ses contraintes qu'à partir des obstacles visibles dans l'historique d'images de l'élève. Il intègre aussi une incertitude sur la vitesse des obstacles, pour tolérer des mouvements variés. Enfin, une augmentation d'actions expose l'élève à des commandes nominales sûres et dangereuses, afin qu'il apprenne mieux la frontière de sécurité. Les auteurs affirment surpasser les CBF visuelles de référence et améliorer la sécurité de politiques de navigation RGB sous obstacles mobiles, mais les gains chiffrés et les baselines exactes ne sont pas précisés dans le texte disponible. L'enjeu est pratique pour les intégrateurs : les politiques de navigation de bout en bout entraînées en imitation ou par apprentissage par renforcement restent fragiles face à des piétons ou à d'autres véhicules, et les approches CBF visuelles existantes exigent du rendu en temps réel ou une reconstruction de scène, coûteux pour un calcul embarqué. Déplacer ce coût vers l'entraînement rend un filtre de sécurité plausible sur des robots mobiles à capteurs limités. Il faut toutefois rester prudent : le résultat est académique, les évaluations décrites relèvent probablement en partie de la simulation, et une distillation ne fournit pas les garanties formelles d'une CBF exacte. La question de la certification reste donc ouverte pour un usage industriel. Ce travail s'inscrit dans deux tendances : la montée des modèles de navigation RGB de bout en bout, plus légers en capteurs que le LiDAR, et l'usage du Gaussian Splatting comme pont entre données réelles et simulation pour l'entraînement de politiques robotiques. Les filtres de sécurité par CBF, souvent comparés aux approches de type shielding, servent déjà de couche de protection au-dessus de contrôleurs appris. La suite logique serait une validation sur robot réel, des mesures de latence embarquée et des tests dans des scènes plus denses. Aucun partenaire industriel, pilote ou calendrier n'est annoncé.

Recherche❖Paper

1 source

37

935arXiv cs.RO 

Champs de risque sémantique guidés par un modèle fondation et sensibles à la topologie pour la manipulation

Des chercheurs proposent un champ de risque sémantique 3D pour la planification de mouvement en manipulation, publié sur arXiv (2609.36640v1). Le système attribue à chaque paire objet manipulé / objet de la scène six poids de risque directionnels, ainsi qu'une échelle de décroissance spatiale propre à la paire, tous produits par un modèle de fondation. Ces a priori sont fusionnés avec la géométrie 3D voxelisée de la scène par un « shielding » sensible à la topologie (un obstacle protège l'objet sensible) et par une décroissance spatiale géodésique, c'est-à-dire mesurée le long des chemins réellement praticables. Un backend parallélisé sur GPU regroupe les calculs de distance et de risque par objet pour construire un champ 3D dense, utilisable comme terme de coût modulaire par n'importe quel planificateur en aval. L'évaluation porte sur trois scénarios domestiques en simulation, sur le comportement du shielding face à des barrières complètes ou partielles, et sur la comparaison avec une base de référence à a priori sémantiques calculés pixel par pixel. Les auteurs évaluent aussi le coût de calcul et la fiabilité du pipeline. Le résumé ne donne aucun chiffre précis (temps de calcul, taux de réduction d'exposition), et il n'indique ni le modèle de fondation utilisé ni de test sur robot réel. L'enjeu est de dépasser l'évitement de collision, qui traite tous les contacts et toutes les proximités de façon équivalente. Dans un foyer, passer un couteau au-dessus d'un ordinateur portable ou d'une assiette n'a pas le même risque que le passer près d'un mur. Les modèles de fondation peuvent fournir ce jugement contextuel, mais leurs sorties restent difficiles à intégrer dans un planificateur qui exige des garanties géométriques strictes. Ce travail répond à cette tension en séparant les deux niveaux. Les contraintes dures restent géométriques, et le risque sémantique entre comme un coût doux, ce qui préserve la modularité. Pour les intégrateurs, c'est une piste vers des manipulateurs de service plus acceptables en environnement non structuré. Il faut toutefois rester prudent : les résultats sont uniquement simulés, et la mesure principale, une « exposition sémantique » plus faible que celle de trajectoires sans risque sémantique, dépend de la définition choisie par les auteurs. Rien ne prouve encore que les poids produits par le modèle soient fiables ou reproductibles hors simulation. Ce travail s'inscrit dans la vague des approches qui associent modèles vision-langage et planification, comme les champs de valeur 3D de type VoxPoser ou les contraintes spécifiées par langage naturel. La plupart projettent la sémantique en 2D ou l'ignorent dans la topologie de la scène, ce que la base de comparaison pixel par pixel illustre ici. Les prochaines étapes probables sont une validation sur bras réel, un test sur des scènes encombrées et dynamiques, et une intégration avec des politiques VLA (vision-langage-action) de type Pi-0 ou GR00T. Aucun calendrier de déploiement ni partenaire industriel n'est annoncé, et il s'agit d'un préprint non évalué par des pairs.

Recherche❖Paper

1 source

37

936arXiv cs.RO 

Encore : découverte à base d'agents de stratégies de manipulation à partir de quelques démonstrations

Des chercheurs présentent ENCORE, un système où un agent de programmation apprend des stratégies de manipulation robotique à partir de quelques démonstrations, non pas comme données d'entraînement mais comme éléments à lire et analyser. Un « builder » déterministe transforme chaque démonstration en un dossier regroupant des images clés multi-vues, les événements du gripper, des bandes d'images et la trajectoire complète. L'agent étudie ce dossier, écrit un programme de politique de contrôle s'appuyant sur une API fixe de perception et d'action, l'affine sur quelques essais de développement, puis le fige avant une évaluation scellée qui ne révèle jamais le signal de succès. Sur LIBERO-PRO, le premier programme produit par l'agent réussit déjà la moitié des tâches perturbées lorsqu'il dispose de démonstrations, contre une seule tâche sans elles. Une fois figés, les programmes atteignent 96,3 % de réussite, contre 89,3 % pour le meilleur système agentique antérieur utilisant le même modèle de langage. Sur RoboDojo, dont les consignes ne précisent pas le but, aucun programme ne réussit sans démonstrations. Le système fonctionne aussi sur un robot bimanuel réel, qui apprend le passage de cube d'une main à l'autre et le retournement de tasse à partir de cinq démonstrations chacune. L'intérêt tient à ce que ce travail déplace le problème. Les agents de code savent écrire et déboguer des programmes, mais une consigne en une phrase ne dit rien de la prise, de l'ordre des contacts ou de l'état final attendu, et l'agent en est réduit à l'essai-erreur. Les résultats sur RoboDojo montrent que ces informations ne se devinent pas : sans démonstration, le taux de réussite est nul. L'approche produit des politiques sous forme de code, donc lisibles et modifiables, ce qui attire les intégrateurs qui redoutent l'opacité des VLA. Le protocole d'évaluation scellé répond aussi à une critique fréquente sur les benchmarks agentiques, où le signal de succès peut fuiter vers l'agent. Il faut toutefois rester prudent : LIBERO-PRO est un banc de test simulé, l'écart de 7 points porte sur un seul modèle de langage, et la validation réelle se limite à deux tâches simples sur un seul robot. Ce travail s'inscrit dans deux courants. D'un côté, les modèles VLA comme Pi-0 ou GR00T apprennent des politiques de bout en bout à partir de grands volumes de données. De l'autre, les systèmes agentiques qui génèrent du code de contrôle à partir de modèles de langage, dont ENCORE dépasse le meilleur représentant testé. La question qui reste ouverte est celle du passage à l'échelle : des tâches longues, des objets déformables, des scènes non structurées. L'article, publié sur arXiv (2609.37359), ne mentionne ni déploiement industriel ni calendrier de pilote.

Recherche❖Paper

1 source

37

937arXiv cs.RO 

Wrench-ACT : améliorer les politiques robotiques pour les tâches riches en contacts grâce au contrôle direct des torseurs d'effort

Des chercheurs proposent Wrench-ACT, une politique d'apprentissage par imitation qui prédit des « wrenches » (torseurs effort/couple, soit force et moment) comme unique sortie d'action, transmises directement à un contrôleur de force pur. L'architecture de base est ACT (Action Chunking with Transformers). Les modèles sont entraînés tâche par tâche sur des démonstrations bilatérales de wrenches, puis évalués sur cinq tâches de manipulation riche en contacts. Selon les auteurs, la politique égale ou dépasse les références fondées sur la position sur les cinq tâches, avec des gains variables selon le degré de régulation délibérée de la force que chaque tâche exige. Des ablations croisées indiquent que l'interface de collecte bilatérale et l'espace d'action en wrenches contribuent chacun de façon indépendante à la performance. Plus de 1000 démonstrations en wrenches seront publiées sur un site compagnon à la parution. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs. Le résumé ne donne ni taux de réussite chiffrés, ni robot utilisé, ni description précise des tâches. L'enjeu est de sortir du paradigme dominant, où les politiques apprises (ACT, Diffusion Policy, et la plupart des VLA) prédisent des positions ou des poses cibles. Même quand la force est mesurée, elle sert souvent d'observation seule, ou bien elle est prédite puis exécutée par un contrôleur hybride force/position. Ici, la politique pilote directement l'interaction physique. Le résultat le plus utile pour un intégrateur porte sur les données. La qualité de la démonstration dépend de la téléopération à retour d'effort, qui capte la régulation volontaire de la force par l'opérateur. Une téléopération purement cinématique ne la capte pas. Cela pèse sur les cas d'usage industriels comme l'assemblage, l'insertion, le ponçage ou le polissage, où la position seule est fragile. Cela suggère aussi que le goulot d'étranglement se déplace vers l'instrumentation de la collecte, avec des maîtres à retour de force plus coûteux et plus complexes que les manettes ou les exosquelettes courants. Un bémol s'impose : les gains restent modestes sur les tâches qui demandent peu de contrôle de force, et on ne sait pas si l'approche se généralise au-delà de modèles mono-tâche. Ce travail s'inscrit dans le prolongement d'ACT, popularisé par les plateformes ALOHA, et des efforts pour ajouter le toucher et la force aux politiques visuo-motrices. Il se place face aux approches hybrides et aux VLA généralistes, qui restent surtout centrés sur la position. La diffusion du jeu de données pourra servir de référence commune si sa qualité se confirme. Les prochaines étapes à surveiller sont les tests multi-tâches, l'intégration dans des modèles de fondation et des essais sur des lignes industrielles réelles.

Recherche❖Paper

1 source

37

938arXiv cs.RO 

KPI : un noyau pilotable par instructions pour l'interaction physique des robots humanoïdes

Des chercheurs proposent KPI, un « noyau promptable » d'interaction physique qui s'insère entre la source de trajectoire et un tracker de corps entier non modifié sur robot humanoïde (preprint arXiv 2609.36151v1). Le principe : la source de trajectoire, qu'il s'agisse d'un humain en téléopération ou d'une politique de bout en bout, n'envoie plus seulement une référence de mouvement. Elle y joint un « contrat » qui précise, pour chaque direction, s'il faut suivre la référence, se laisser fléchir (comply) ou maintenir une plage d'effort. À partir de l'erreur de suivi et d'une estimation du torseur d'efforts (wrench), le noyau ajuste en continu la raideur, l'amortissement, la référence et le feedforward des bras, à la cadence du contact. Les auteurs l'illustrent avec un cadre agentique : à partir d'une seule instruction, un agent vision-langage écrit à la fois la trajectoire et le contrat, sans code spécifique à la tâche. Les démonstrations portent sur la manœuvre d'un treuil, l'ouverture d'une porte et le transport d'une boîte, complétées par des essais scriptés d'interaction avec des surfaces. Dans la démonstration la plus marquante, l'humanoïde actionne une manivelle pour hisser un second robot entièrement au-dessus du sol. Le résumé ne donne ni modèle de robot, ni taux de réussite, ni nombre d'essais. L'enjeu est un maillon souvent négligé de la pile logicielle des humanoïdes. Les trackers de corps entier généralistes suivent bien des trajectoires, mais une trajectoire dit peu de la force à produire : au contact, c'est le contrôleur qui décide du comportement réel. Jusqu'ici, deux approches dominent. Les politiques mono-tâche optimisent trajectoire et contrôleur ensemble en simulation, ce qui donne de bons résultats sur des interactions difficiles mais ne se généralise pas. Les architectures généralistes supposent un contrôleur prédéfini ou réglé à la main. KPI vise à séparer ces deux niveaux, ce qui permettrait de réutiliser un tracker existant pour des tâches riches en contact. Pour un intégrateur, c'est un levier potentiel sur les tâches de manipulation où la raideur et la gestion de l'effort décident du succès, comme les portes, les charges ou les outils. Il faut toutefois rester prudent : il s'agit d'un preprint, sans métriques chiffrées dans le résumé, et des démonstrations choisies par les auteurs ne prouvent ni la robustesse ni la répétabilité. La délégation à un agent VLM de la rédaction du contrat reste à valider hors des scénarios présentés. Ce travail s'inscrit dans la course aux modèles généralistes de corps entier et aux politiques vision-langage-action (VLA), où l'effort est traité en parent pauvre face à la perception et au suivi de mouvement. Il rejoint l'idée de commande en impédance et en admittance, ancienne en robotique, qu'il adapte à une interface pilotable par le langage. Le résumé ne cite ni plateforme, ni concurrent, ni calendrier de suite. Les prochaines étapes à surveiller sont la publication du code, des résultats quantitatifs sur plusieurs humanoïdes, et une éventuelle intégration dans les piles des acteurs industriels.

Recherche❖Paper

1 source

37

939arXiv cs.RO 

HACo : apprendre la compliance haptique active pour une manipulation dextérique sensible aux forces

Des chercheurs présentent HACo (Haptic Active Compliance), une politique de manipulation dextre qui apprend à réguler les forces de contact directement à partir de retours haptiques. Le système combine deux sources de signal habituellement traitées séparément : les réponses tactiles locales des bouts de doigts et les couples articulaires, qui renseignent sur la transmission des charges à travers toute la main articulée, y compris pour les contacts hors de la zone couverte par les capteurs tactiles. Côté données, une téléopération à conformité régulée convertit les commandes de l'opérateur en actions compliantes exécutables par le contrôleur, qui conservent l'intention de mouvement tout en limitant les efforts. HACo apprend ces actions directement, en utilisant l'écart entre commande et état comme supervision auxiliaire de l'intention compliante. Un module de « Compliance Grounding » s'appuie sur une attention croisée haptique à portes (gated cross-attention) pour ancrer la génération d'actions dans l'état haptique courant, sans modélisation explicite du contact en ligne. Le banc d'essai réel couvre la friction multi-contact, l'interaction tangentielle, le contact fragile sur surface courbe, le couple de rotation et les objets déformables. Sur 20 essais par tâche, HACo atteint 83 % de réussite moyenne, contre 35 % pour la meilleure base de comparaison évaluée. L'écart est net, mais il porte sur un protocole de 20 essais par tâche, soit une marge d'incertitude non négligeable sur chaque score individuel. Le résultat reste significatif pour l'industrie : les politiques visuo-motrices actuelles, y compris les VLA, échouent souvent dès que la tâche exige de doser l'effort plutôt que de simplement atteindre une pose. Les cibles d'action habituelles posent deux problèmes. Soit elles encodent des charges excessives, soit elles omettent le mouvement contraint par l'objet. HACo suggère que la conformité peut être apprise de bout en bout plutôt que déléguée à un contrôleur d'impédance réglé à la main. Pour les intégrateurs travaillant sur l'assemblage, la manipulation d'objets fragiles ou déformables, c'est un axe de recherche à suivre. Le papier ne précise toutefois pas ici la main utilisée, le coût des capteurs, ni la généralisation à des objets ou des scènes non vus, et il ne s'agit pas d'un produit. Ce travail s'inscrit dans la montée de la manipulation dextre guidée par le toucher, après une période dominée par la vision et le langage, où les jeux de données de téléopération ne contiennent que des positions cibles. Il s'agit d'une prépublication arXiv (v1) : elle n'a pas été évaluée par des pairs, et aucun déploiement industriel ni calendrier de transfert n'est annoncé. Les acteurs de l'humanoïde, dont Figure, Tesla ou Sanctuary, ont besoin de mains dotées de retour tactile, mais publient peu de détails sur la régulation de force. La suite logique sera la comparaison avec d'autres politiques tactiles sur des plateformes différentes, et la vérification que le gain de 83 % contre 35 % se maintient hors du benchmark des auteurs.

Recherche❖Paper

1 source

37

940arXiv cs.RO 

Partage de cartes sémantiques et planification de couverture adaptée aux capacités pour la coordination de robots dans la 6G native IA

Des chercheurs ont déposé sur arXiv (référence 2609.37666, première version) un cadre de planification de couverture pour des équipes hétérogènes de robots aériens et terrestres engagées dans des opérations de recherche et sauvetage. Le système fonctionne en périphérie (edge). Les observations aériennes sont converties en cartes sémantiques compactes sous forme de grille, dont est déduite une traversabilité propre à chaque robot. La zone est ensuite découpée sous contrainte d'accessibilité, et chaque robot ne reçoit que les régions compatibles avec son profil de capacités. Les robots n'échangent plus la carte complète à intervalles réguliers. Ils s'envoient des corrections sémantiques, qui alimentent le raisonnement de traversabilité et le replanning. Dans le cas à forte fréquence de mise à jour, la charge applicative est divisée par environ 82. Sur des scénarios de benchmark appariés, la méthode atteint 91,5 % de couverture sans aucune allocation infaisable. La référence LS-MCPP atteint 78,8 % de couverture, avec 21,5 % d'allocations infaisables. L'enjeu touche un point faible connu des systèmes multi-robots. Beaucoup de planificateurs de couverture traitent le terrain comme une carte géométrique commune et peuvent confier à une plateforme une zone qu'elle ne sait pas franchir. Le taux de 21,5 % de la référence chiffre cet écart. La réduction de payload intéresse quiconque exploite des liaisons dégradées ou saturées, typiques des zones sinistrées. Il faut toutefois lire ces chiffres avec prudence. Le facteur 82 correspond à un cas « high-update » choisi, mesuré au niveau applicatif et relatif à un partage périodique de carte complète. Le résumé ne mentionne ni essais sur robots réels, ni latence, ni pertes de paquets. Rien n'indique donc encore que le gain tienne en conditions de terrain. Le travail s'inscrit dans la vision des réseaux 6G « AI-native » et de la communication orientée objectif, qui consiste à transmettre ce qui sert la décision plutôt que les données brutes. Les auteurs parlent d'un mécanisme applicatif « motivé par » cette vision, pas d'une implémentation sur un réseau 6G. On est donc au stade de la recherche académique, sans produit, sans pilote annoncé et sans calendrier. Le résumé ne cite aucun industriel, ni acteur français ou européen. Le seul point de comparaison est LS-MCPP, une méthode de planification de couverture multi-robot. Les prochaines étapes logiques seraient une validation sur matériel hétérogène et un test sur une liaison radio réelle, avec ses pertes et ses délais.

Recherche❖Paper

1 source

37

941arXiv cs.RO 

Certificats de sécurité géométriques robustes face aux adversaires pour robots non holonomes et obstacles en manœuvre

Des chercheurs proposent, dans une prépublication arXiv (2609.37126v1), un certificat de sécurité géométrique conçu pour la navigation de robots non holonomes face à des obstacles capables de manoeuvrer activement dans des limites bornées. Le travail introduit les AR-DPCBF (Adversarially Robust Dynamic Parabolic Control Barrier Functions). Le principe est de tenir compte du pire effet possible des manoeuvres admissibles de l'obstacle directement dans la géométrie de l'ensemble sûr, par une contraction en forme close des paramètres du certificat. Les auteurs démontrent des conditions suffisantes d'invariance avant de l'ensemble contracté, sous une dynamique de type bicyclette cinématique à entrées bornées. Quand la capacité de l'obstacle est inconnue, un estimateur à fenêtre glissante fournit une borne supérieure à haute probabilité, et la garantie est conservée avec la probabilité de couverture correspondante. Des variantes « souple » et « tamponnée » restaurent la faisabilité dans les environnements denses. Les simulations, menées en variant capacités, densités d'obstacles et écarts de capacité, montrent une baisse substantielle des violations de barrière et des collisions. Aucun chiffre précis n'est donné dans le résumé, et il s'agit de résultats de simulation uniquement, sans essai sur robot réel. L'intérêt est double. Les méthodes de fonctions barrières de contrôle (CBF) robustes traitent d'ordinaire les actions de l'obstacle comme une perturbation générique, donc trop conservatrice ou mal calibrée. Les approches par jeux différentiels, plus fidèles, restent trop coûteuses en calcul pour de la navigation en ligne. Ici, la propriété structurelle des certificats en ligne de vue (LoS) fait que les actions du robot et de l'obstacle entrent par un même gain géométrique dépendant de l'état. Ce gain s'annule dans la comparaison du pire cas, et le jeu se réduit à comparer la capacité de manoeuvre de l'obstacle à la plus faible des autorités longitudinale et de direction du robot. Pour un intégrateur, cela ouvre la voie à des garanties formelles légères pour des AMR ou véhicules à direction de type voiture évoluant parmi des chariots, humains ou autres robots. Le résultat contredit aussi l'idée qu'une robustification ponctuelle de la dérivée de la barrière suffirait : selon les simulations, c'est la géométrie du certificat qu'il faut contracter. Ce travail s'inscrit dans la lignée des CBF, devenues un outil standard pour filtrer les commandes d'un planificateur ou d'une politique apprise, y compris les VLA. Les limites sont claires : modèle cinématique simplifié, obstacles à capacité bornée et estimée statistiquement, et absence de validation matérielle. Les suites logiques seraient des essais sur plateformes réelles et une extension à des dynamiques plus riches. Le texte ne cite aucun acteur industriel ni européen.

Recherche❖Paper

1 source

37

942arXiv cs.RO 

RawVLA : un processeur d'images neuronal incarné pour la manipulation robotique

Une équipe de chercheurs publie sur arXiv RawVLA, un processeur d'image neuronal (neural ISP) conçu pour les politiques vision-langage-action (VLA) de manipulation robotique. Le point de départ est un angle mort du secteur : les VLA reçoivent presque toujours des images RGB produites par l'ISP fixe de la caméra, un module matériel qui convertit les données brutes du capteur (RAW) en image exploitable. Ce pipeline d'imagerie reste donc hors de la boucle d'apprentissage et d'évaluation. Les auteurs ont mesuré son influence sur cinq dimensions : le gain, le bruit du capteur, la réponse chromatique, la réponse tonale et la profondeur de bit. Le traitement RAW vers RGB modifie sensiblement les actions prédites et le taux de réussite des manipulations, et chaque dimension pèse d'un poids très différent. Sur cette base, ils proposent RawVLA, un ISP neuronal en flux continu qui rend les observations RAW pour des politiques VLA gelées, sans réentraînement. Sa capacité est concentrée sur les facteurs d'imagerie utiles au comportement incarné. Ils publient aussi RawVLA-Bench, un benchmark de manipulation en domaine RAW qui traite le traitement d'image comme une variable d'évaluation explicite, en conditions d'acquisition propres et dégradées. Selon les auteurs, RawVLA maintient les performances en conditions standard et améliore nettement la robustesse quand l'imagerie se dégrade. Le résumé ne donne aucun chiffre : ni gain, ni taux de réussite, ni latence, ni modèle de VLA testé. Ces points sont à vérifier dans l'article complet. Le résultat compte pour les intégrateurs, car une partie de l'écart entre démonstration et réalité vient peut-être de la caméra elle-même. Un VLA entraîné sur des images bien exposées peut se dégrader en entrepôt sombre, sous éclairage variable ou avec un capteur bruité, sans que ni le modèle ni la simulation soient en cause. Le fait que l'ISP soit une variable d'évaluation à part entière suggère que les benchmarks actuels, presque tous en RGB propre, surestiment la robustesse réelle. L'approche est aussi pragmatique : un module d'adaptation placé devant une politique gelée évite de réentraîner un modèle de fondation. Ce travail s'inscrit dans le mouvement des modèles VLA généralistes comme Pi-0, GR00T ou Helix, qui ont concentré l'effort sur l'architecture et les données, en laissant la chaîne d'acquisition aux réglages constructeur. Les recherches sur la robustesse visuelle se limitaient jusqu'ici surtout à des perturbations appliquées en RGB. RawVLA déplace le problème en amont, vers le capteur. Il reste une publication de recherche v1, non évaluée par les pairs, dont le code, le benchmark et la validation sur robot réel restent à confirmer. Les suites logiques sont une adoption de RawVLA-Bench par d'autres équipes, des tests sur plusieurs familles de VLA et une intégration au plus près des caméras embarquées.

Recherche❖Paper

1 source

37

943arXiv cs.RO 

DORA : algorithme de relais de données orienté divergence pour équipes de robots partiellement connectées

Des équipes de drones (UAV) déployées pour des missions de recherche et de surveillance opèrent souvent en réseaux partiellement connectés, où chaque robot doit arbitrer entre explorer la zone et relayer l'information à ses coéquipiers. Un article publié sur arXiv (2609.36395, première version) formalise ce cas sous le nom de HMAC (heterogeneous mission-aware coverage). Le problème couple une couverture complète de la zone par plusieurs robots avec la découverte de cibles pertinentes pour la mission (MRT), contrainte par les capacités de détection de chaque appareil et par des communications intermittentes. Les auteurs proposent DORA (Divergence-Oriented Data-Relay Algorithm), qui déclenche les échanges selon la valeur de l'information pour l'équipe, et non selon la seule découverte. Chaque robot mesure la divergence entre son état d'information et son estimation de ce que savent ses coéquipiers, en combinant pertinence pour la mission, nouveauté, incertitude du capteur et âge de l'information. L'algorithme est évalué en simulation dans quatre environnements, avec des densités d'objets et des structures spatiales différentes, puis validé sur une plateforme UAV physique. Il réduit le délai de résolution des MRT jusqu'à 74,8 % par rapport aux méthodes classiques de planification temporelle des communications. L'enjeu porte sur l'hétérogénéité sémantique des flottes. Une observation sans intérêt pour le robot qui la fait peut être décisive pour un coéquipier doté d'un autre capteur ou d'un autre détecteur. Un protocole qui relaie à intervalles fixes gaspille alors une bande passante rare, ou retarde l'information critique. Pour les intégrateurs qui préparent des flottes mixtes d'inspection, de sécurité ou de secours, notamment dans des zones sans couverture réseau fiable, l'idée d'orchestrer la communication par la valeur de l'information plutôt que par un calendrier est directement transposable. Il faut toutefois relativiser le chiffre de 74,8 %. C'est un maximum obtenu contre des références temporelles, sans indication dans le résumé sur la valeur moyenne ni sur la variabilité selon les environnements. La validation physique reste elle aussi présentée sans détail sur l'échelle, le nombre d'appareils ou les conditions. On est donc face à un résultat de recherche, pas à un produit livré ni à un déploiement réel. Le travail s'inscrit dans la lignée des recherches sur la coordination multi-robots sous connectivité limitée, où l'on gère classiquement le compromis entre exploration et maintien du lien, ou la synchronisation périodique des cartes. La nouveauté revendiquée tient à la prise en compte de la pertinence sémantique et de l'âge de l'information dans une équipe hétérogène. Aucun calendrier d'application ni partenaire industriel n'est annoncé. Les suites logiques seraient des essais sur des flottes plus grandes, avec des pertes de liaison plus réalistes, et une comparaison avec d'autres approches fondées sur la valeur de l'information, avant tout transfert vers des solutions commerciales de drones en essaim.

Recherche❖Paper

1 source

37

944arXiv cs.RO 

Conception et validation d'une main robotique dextérique à tendons antagonistes, à fonctionnement bidirectionnel

Une équipe de chercheurs publie sur arXiv (référence 2609.36241) la conception d'une main robotique dextre anthropomorphe à 17 degrés de liberté, capable de saisir aussi bien côté paume que côté dos. La main mesure 200 mm de long, pèse 220 g et est imprimée en 3D. Son principe repose sur un routage de tendons antagonistes bidirectionnel. La flexion et l'extension (sauf pour l'articulation couplée) ainsi que l'abduction et l'adduction sont pilotées activement, sans ressort de rappel passif. Tous les degrés de liberté peuvent donc franchir leur position neutre et fermer une prise sur l'une ou l'autre face. Les mesures rapportées sont une erreur de transmission moteur-articulation de 3,0 % en moyenne, une bande passante articulaire moyenne de 13,2 Hz, une force maximale au bout du doigt de 29 N et une répétabilité de positionnement jusqu'à 0,15 mm. La main obtient un score de Kapandji de 8 et réalise les 33 types de prises de la taxonomie GRASP. Elle a aussi été testée sur des tâches de préhension côté paume et côté dos. Le travail s'attaque à une limite peu discutée des mains dextres. La plupart reproduisent la morphologie humaine et en héritent un espace de préhension à sens unique. Pour saisir depuis la face opposée, le poignet ou le bras doit se réorienter, ce qui coûte du temps, de l'espace et de la cinématique dans des cellules encombrées ou des tâches de manipulation en poche ou derrière un obstacle. Les mains réversibles existantes contournent le problème avec des doigts non anthropomorphes, souples ou spécialisés. Elles perdent alors la compatibilité avec les données de démonstration humaines, qui alimentent l'apprentissage par imitation et les VLA (vision-langage-action). Ici, la réversibilité est obtenue sans sacrifier la morphologie humaine. La compacité et la masse de 220 g sont un atout pour un montage sur bras collaboratif ou sur humanoïde. Il faut toutefois rester prudent. Il s'agit d'un prototype de laboratoire, validé sur banc et sur quelques tâches. Le papier ne donne ni endurance, ni fiabilité sur cycles longs, ni coût. Or l'usure et la tension des tendons sont les points faibles habituels des mains à câbles. Un Kapandji de 8 sur 10 indique aussi une opposition du pouce encore incomplète. Le contexte est celui d'une course à la main dextre, portée par les humanoïdes. Tesla vise une main à 22 DOF pour Optimus, Figure et son modèle Helix misent sur la manipulation à cinq doigts, et Shadow Robot, Sharpa ou Inspire proposent des mains commerciales ou de recherche. Presque toutes partagent l'asymétrie paume-dos que ce travail cherche à lever. Aucun partenaire industriel, calendrier de commercialisation ou publication du code n'est annoncé. La prochaine étape sera de valider l'approche en boucle fermée avec des politiques apprises, puis d'en tester la durabilité en conditions réelles.

Recherche❖Paper

1 source

37

945arXiv cs.RO 

CogWAM : aligner la cognition sémantique et la modélisation du monde et de l'action via des interfaces événementielles

CogWAM, un modèle « monde-action » (world-action model) guidé par la cognition, est décrit dans un preprint arXiv (2609.37721v1). Son principe est de placer entre le raisonnement sur la tâche et l'apprentissage monde-action une interface sémantique explicite, appelée Semantic State. Cet état persistant mémorise les événements de la tâche déjà accomplis et la sous-tâche active. Il n'est mis à jour que lorsque les observations signalent une transition sémantique, si bien que le contexte de tâche survit à plusieurs séquences d'actions (action chunks). Deux familles de requêtes conditionnées par la progression, WORLD et ACTION, extraient l'information utile à la prédiction du futur et à la génération des commandes. À l'entraînement, le Semantic State fournit un contexte de progression commun aux deux branches. À l'inférence, la branche de prédiction est supprimée et les actions sont produites directement à partir des observations et de l'état maintenu. Sans pré-entraînement supplémentaire sur des actions de robot, le modèle atteint 15,56 de score et 11,70 % de taux de succès sur RoboDojo, et revendique l'état de l'art sur BiCoord. Les essais réels portent sur de la manipulation bimanuelle en boucle fermée, avec 16,4 régénérations du Semantic State en moins qu'une mise à jour à chaque pas de temps. Le texte ne précise ni la base de comparaison de ce chiffre, ni le nombre d'essais, ni les tâches réelles. L'intérêt tient à un problème connu des politiques robotiques récentes : additionner raisonnement sémantique et prédiction du monde futur ne garantit pas que les prédictions locales et les actions restent cohérentes avec l'avancement de la tâche. En rendant la progression explicite et en ne la recalculant que sur événements, CogWAM vise aussi le coût de calcul, puisque retirer la branche de prédiction à l'inférence allège le déploiement. Pour un intégrateur, la persistance du contexte sur des tâches longues à deux bras est le vrai sujet, plus que le score. Il faut cependant relativiser. Un taux de succès de 11,70 % sur RoboDojo reste très bas en valeur absolue, et ce type de benchmark simulé ne dit rien de la fiabilité en production. Aucun temps de cycle, aucune plateforme matérielle ni aucun taux de succès réel ne sont fournis. On reste au stade de la recherche académique, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la convergence entre modèles vision-langage-action (VLA), tels que Pi-0, GR00T ou Helix, et modèles du monde qui prédisent les observations futures. Le premier ensemble apporte la généralisation sémantique. Le second apporte une représentation de la dynamique physique. La difficulté est de les faire coopérer sur des horizons longs. CogWAM propose une réponse par une mémoire d'événements structurée, là où d'autres approches s'appuient sur des planificateurs hiérarchiques ou sur des contextes visuels longs. Le preprint ne mentionne aucun pilote, aucune diffusion de code ni aucun calendrier. Les prochaines étapes à surveiller sont une évaluation sur davantage de tâches réelles, des comparaisons directes avec les VLA de référence et une éventuelle publication des poids.

Recherche❖Paper

1 source

37

946arXiv cs.RO 

iTeach : enseignement interactif en conditions réelles pour l'adaptation de la perception des robots guidée par les échecs

iTeach est un système déployable qui permet à un opérateur présent près du robot, sans expertise ni station de travail, de corriger sur place les erreurs de perception d'un robot mobile. L'opérateur porte un casque de réalité mixte et voit les prédictions de segmentation du robot superposées à la scène réelle. Il corrige ensuite les erreurs sans les mains. Il peut réarranger les objets (mode « HumanPlay »), annoter au regard et à la voix, ou déclencher la propagation arrière de masques de SAM2. Chaque interaction dure environ 20 secondes et produit 150 à 300 images densément annotées. Le modèle est affiné à bord, comparé à la version précédente, puis redéployé si l'affinage l'améliore. La boucle demande seulement une caméra RGB-D, un GPU embarqué et un casque. Sur des scènes encombrées réelles, la segmentation passe de 26,1 à 80,7 après 45 interactions (13 000 images), sans oubli catastrophique. Le résumé ne précise pas la métrique utilisée. Le modèle progresse aussi sur trois benchmarks standard qu'il n'a jamais vus en entraînement. En pick-and-place sur SceneReplica, le système atteint 72 réussites sur 100, devant un pipeline à base de modèles qui exige des CAD. Une étude de 12 participants indique que les non-experts égalent les experts en précision d'annotation (environ 95 % d'IoU des boîtes), en vitesse et en charge cognitive (NASA-TLX de 21/100). Pour un intégrateur, l'intérêt tient à la fermeture de la boucle sur site, sans envoi de données ni réentraînement hors ligne par une équipe ML. Cela s'attaque directement à l'écart entre démonstration et réalité, car la perception échoue le plus souvent sur des objets et des environnements propres au client. Le gain face à un pipeline avec CAD suggère qu'une perception apprise et adaptée localement peut battre des approches qui demandent une préparation lourde des modèles d'objets. Le cadre est indépendant de l'architecture, ce qui limite le risque de dépendance à un modèle. Il s'agit d'une publication de recherche (arXiv 2410.09072, cinquième version) et non d'un produit livré. Aucun déploiement industriel n'est annoncé. Les résultats reposent sur des scènes et un protocole choisis par les auteurs, et la robustesse à long terme comme la charge en environnement de production restent à démontrer. Le travail s'inscrit dans l'apprentissage interactif et l'apprentissage par correction humaine, et il exploite la propagation vidéo de SAM2 pour réduire le coût d'annotation. Les suites logiques sont des tests sur des flottes de robots, des tâches plus variées et des comparaisons avec d'autres méthodes d'adaptation continue.

Recherche❖Paper

1 source

37

947arXiv cs.RO 

Robotique recompositionnelle : une modularité interdomaine, en ensemble ouvert et tout au long de la vie, au-delà de la morphologie

Des chercheurs proposent de déplacer l'objectif de la robotique modulaire : plutôt que de construire des robots dont la structure change, concevoir des robots dont les capacités fondamentales peuvent évoluer. Publié sur arXiv (2609.37734, première version), le papier définit la « robotique recompositionnelle », une adaptation sur un ensemble hétérogène de modules couvrant le matériel, le logiciel, le calcul et les comportements. Chaque composant y est abstrait par les interfaces qu'il requiert et qu'il fournit, ce qui permet de raisonner sur l'ensemble de manière holistique. Les auteurs introduisent deux mesures : l'« intégration span », qui désigne l'étendue des domaines reconfigurables (cinémato-dynamique, perception, calcul, comportements de coordination de haut niveau), et l'« intégration inertia », qui mesure la résistance à la reconfiguration. Le texte s'appuie sur deux systèmes déployés et sur des travaux de recherche en cours, sans chiffres de performance dans le résumé disponible. Il s'agit d'un cadre conceptuel et d'une liste de questions ouvertes, pas d'un produit ni d'une démonstration commerciale. L'argument vise une limite du champ. Les travaux récents sur les robots modulaires savent changer de morphologie en ligne, choisir la morphologie à adopter et propager ce choix jusqu'à la planification de mouvement et au contrôle. Selon les auteurs, l'inertie d'intégration y est donc faible côté structure, mais reste élevée dans les autres domaines. Un robot reconfigurable dans un seul domaine a une capacité de changement limitée par rapport à un robot reconfigurable sur plusieurs. Pour les intégrateurs et les responsables industriels, cela déplace la question : changer un préhenseur ou un bras suffit rarement si la perception, le logiciel de contrôle et la logique de mission doivent être réécrits à la main. Le papier suggère que la valeur pratique de la modularité dépend des interfaces standardisées entre couches, pas seulement de connecteurs mécaniques. Ce constat rejoint les difficultés bien connues du déploiement, où le coût d'intégration domine souvent celui du matériel. Il s'agit toutefois d'une thèse à valider : aucune preuve d'un gain mesurable n'apparaît dans le résumé. Ce travail prolonge deux décennies de recherche sur les robots modulaires auto-reconfigurables, qui ont surtout optimisé la forme et la locomotion. Il croise aussi des courants actuels, comme les modèles vision-langage-action (VLA) généralistes, qui déplacent la capacité vers le logiciel, et les architectures logicielles à composants du type ROS. Les auteurs ne désignent pas dans ce résumé d'entreprises concurrentes ni d'acteurs européens. La suite est celle d'un programme de recherche : formaliser les interfaces entre modules, définir des critères de comparaison via l'intégration span et l'intégration inertia, puis tester la recomposition en environnement ouvert et sur la durée de vie du robot, dimensions annoncées par le titre (inter-domaines, ensemble ouvert, apprentissage tout au long de la vie).

Recherche❖Paper

1 source

37

948arXiv cs.RO 

EgoHumanoid-V2 : transférer à un robot humanoïde des compétences coordonnées du corps entier en locomanipulation, à partir de l'humain

Des chercheurs publient EgoHumanoid-V2 (arXiv 2609.37181), un cadre de transfert de compétences d'un humain vers un robot humanoïde à partir de vidéos égocentriques, c'est-à-dire filmées depuis le point de vue de l'opérateur. Il vise la loco-manipulation coordonnée du corps entier, où la marche et l'usage des bras sont planifiés ensemble. Son cœur est un alignement d'actions « du grossier au fin ». Une première étape corrige la référence cinématique. Une seconde affine le résultat en tenant compte de la dynamique, ce qui améliore la précision de pose de l'effecteur final tout en préservant la coordination corps entier. Pour réduire l'écart visuel entre l'humain et le robot, l'équipe ajoute un rendu du bras robotique dans les images humaines, ainsi qu'une augmentation d'images à l'entraînement pour gagner en robustesse au changement de point de vue. Sur quatre tâches réelles, des politiques VLA (vision-langage-action) entraînées sur ces données humaines alignées réalisent un transfert « zéro-shot », sans aucune démonstration robot sur la tâche cible. Les scores sont annoncés comme comparables à ceux de politiques entraînées par téléopération, pour un coût de collecte plus faible. Le résumé ne donne ni le robot utilisé, ni le nombre de démonstrations, ni le coût chiffré. L'enjeu est d'abord économique. La téléopération reste le principal goulot d'étranglement des politiques humanoïdes : elle exige des robots, des opérateurs formés et du temps machine, et ses volumes plafonnent bien en dessous de ce que réclame un modèle généraliste. Filmer des humains est bien moins cher et couvre une diversité de scènes que aucun parc de robots ne peut reproduire. Si le résultat se confirme, il indique que la donnée humaine peut servir de supervision directe de compétences, et non plus seulement de préentraînement de la perception. Pour un intégrateur, cela ouvrirait la voie à des compétences apprises sur site sans mobiliser de robot. Il faut toutefois rester prudent : quatre tâches, une comparaison « comparable » sans écart chiffré dans le résumé, et un article en version préliminaire (v1) qui n'a pas passé de relecture par les pairs. Rien ne dit non plus que ces scores tiennent hors du laboratoire, sur des cadences industrielles. Ce travail prolonge une première génération de méthodes égocentriques qui misait surtout sur la généralisation de scènes, avec un contrôle découplé entre locomotion et manipulation, ce qui laissait de côté les compétences corps entier coordonnées. Il s'inscrit dans une course plus large à la donnée humaine : les grands acteurs des modèles fondation humanoïdes, comme Figure avec Helix, NVIDIA avec GR00T ou Physical Intelligence avec Pi-0, cherchent tous à réduire leur dépendance à la téléopération, par la simulation, la vidéo humaine ou les deux. Aucun déploiement ni calendrier commercial n'est annoncé ici, il s'agit d'une contribution de recherche. La suite logique serait un test sur davantage de tâches et de morphologies, avec des comparaisons chiffrées de coût et de performance face à la téléopération.

Recherche❖Paper

1 source

37

949arXiv cs.RO 

BCNav : des politiques de profondeur conditionnées par le cap pour la navigation vers une source sonore

Des chercheurs proposent BCNav, un cadre de navigation vers une source sonore qui sépare le module acoustique de la politique de navigation apprise. Un estimateur de direction d'arrivée (DOA, direction-of-arrival) fournit un simple angle de relèvement scalaire vers la source. La politique, elle, ne reçoit que deux entrées : des images de profondeur et cet angle. Elle est entraînée par imitation sur des démonstrations de plus court chemin, avec injection de bruit de relèvement calibré. Elle produit directement des commandes de vitesse continues, exécutables sur un robot terrestre. Le code est publié sur GitHub (york1to/bcnav). Les auteurs disent l'avoir validé en simulation et sur un robot physique, dans des environnements inconnus, sans réglage fin acoustique, sans cartographie préalable et sans collecte de données audio réelles. L'abstract ne donne ni taux de succès, ni nombre d'essais, ni comparaison chiffrée avec les méthodes existantes. L'intérêt est d'abord méthodologique. Les approches actuelles apprennent conjointement l'audio et la vision dans des simulateurs acoustiques, peu fidèles et coûteux en calcul. Il en résulte un écart de domaine qui freine le déploiement réel. Les simulateurs à grille imposent en plus des actions discrètes, source d'un écart cinématique sur un robot physique. BCNav déplace la difficulté vers deux entrées dont les écarts sim-to-real sont bien connus : la profondeur et un angle. Cela évite d'avoir à simuler correctement l'acoustique d'une pièce. La robustesse dépend alors de la qualité de l'estimation DOA en environnement réel, avec réverbération, bruit et occultations, et l'injection de bruit calibré sert précisément à la couvrir. Pour un intégrateur, la piste est intéressante pour des robots de surveillance, d'inspection ou d'intervention qui doivent réagir à une alarme ou à un appel hors de leur champ visuel. En l'absence de résultats chiffrés dans le résumé, elle reste à valider. Ce travail s'inscrit dans la lignée de la navigation audio-visuelle « SoundSpaces », qui a popularisé l'apprentissage conjoint dans des simulateurs acoustiques. Les auteurs en critiquent les deux limites : la fidélité acoustique et l'espace d'actions discret hérité des grilles. La séparation entre perception et politique rejoint une tendance plus large de la robotique apprise, qui préfère des interfaces compactes et bien caractérisées à des simulations de bout en bout. Cette version 1 sur arXiv n'annonce ni pilote ni calendrier. Les prochaines étapes probables sont des tests sur davantage de plateformes, avec plusieurs sources sonores, des sources mobiles ou de l'occultation, et des comparaisons directes avec les méthodes audio-visuelles conjointes. Le code ouvert permettra à d'autres équipes de reproduire ces résultats.

Recherche❖Paper

1 source

37

950arXiv cs.RO 

SAKI : assemblage de compétences et imitation cinématique à partir de vidéos humaines pour la manipulation mobile à long horizon

Des chercheurs, dont l'équipe derrière la page aus.bot, présentent SAKI (Skill Assembly and Kinematic Imitation), un framework qui relie trois briques: l'acquisition de compétences à partir de vidéos humaines, l'assemblage de ces compétences issues de démonstrations différentes, et l'exécution en boucle fermée sur l'ensemble du corps du robot. Il s'agit d'une publication de recherche (arXiv, version 1), sans produit ni déploiement commercial. Le système prépare des compétences réutilisables centrées sur l'objet, qui conservent les interactions critiques pour la tâche tout en laissant s'adapter les trajectoires de transfert. À partir d'un objectif et de dépendances de tâches fournies, SAKI sélectionne et ordonne les compétences, associe leurs rôles d'objets à la scène courante et transmet l'estimation de la scène et la configuration du robot d'une compétence à la suivante. Une imitation cinématique du corps entier génère des mouvements coordonnés de la base, du bras et de la pince. En exécution, des estimations d'objets persistantes maintiennent les références de la tâche malgré les changements de point de vue, et le retour visuel met à jour les trajectoires restantes. Les tests sur robot réel couvrent le rangement et l'essuyage, avec réutilisation des compétences d'une disposition à l'autre. Le résumé ne donne aucun taux de réussite chiffré, ni nombre d'essais, ni plateforme robotique précisée. L'enjeu est de sortir l'apprentissage par vidéos humaines du cadre de la table, où il est le plus démontré, pour l'appliquer à la manipulation mobile longue durée, là où les erreurs se cumulent entre étapes et où la base mobile déplace sans cesse le référentiel. Le résultat le plus instructif est l'ablation: à optimisation du corps entier et retour visuel constants, la préparation des références conditionnée par la tâche améliore nettement l'achèvement des tâches longues. Autrement dit, le goulot n'est pas seulement le contrôle bas niveau mais la qualité de la représentation des compétences apprises. Pour un intégrateur, c'est une piste vers des robots reprogrammés par démonstration humaine filmée plutôt que par téléopération coûteuse. Les limites restent claires: les dépendances de tâches sont fournies par l'opérateur et non déduites, les scénarios sont des démonstrations de laboratoire, et l'écart entre une vidéo de démonstration et une fiabilité industrielle reste entier. SAKI s'inscrit dans la course à la manipulation mobile généraliste, où les approches dominantes reposent sur des modèles vision-langage-action (VLA) entraînés sur de la téléopération, comme Pi-0 ou Helix, ou sur des pipelines robotiques modulaires. Ici, le choix est hybride: composition explicite de compétences et optimisation cinématique, plutôt qu'une politique de bout en bout. Cette voie prolonge les travaux sur l'imitation à partir de vidéos humaines, dont l'avantage est de contourner le goulot des données robotiques. Les prochaines étapes probables seraient l'inférence automatique des dépendances de tâches, des évaluations chiffrées sur davantage de scénarios et des essais hors laboratoire. Les vidéos de démonstration sont disponibles sur la page du projet, mais l'échantillon présenté n'est, par nature, pas représentatif des échecs.

Recherche❖Paper

1 source