Actualités robotique — page 89

7 523 articles au fil, du plus récent au plus ancien.

39

4401arXiv cs.RO 

EVA-Client : framework unifié de collecte, d'inférence et de déploiement pour politiques incarnées sur robots réels

Un nouveau framework open-source baptisé EVA-Client vient formaliser une brique jusqu'ici bricolée maison par chaque laboratoire de robotique manipulatrice : le pont entre un serveur d'inférence de politique et le robot physique. Publié sur arXiv début juillet 2026, l'outil unifie en un seul code base les trois étapes critiques de la boucle d'itération sur robot réel, déploiement, collecte de données et évaluation. Son architecture découple explicitement trois couches orthogonales, les backends robots, les stratégies d'inférence et les middlewares de transport, de sorte qu'ajouter un nouveau bras ou un nouvel algorithme ne touche qu'une seule couche du système. EVA-Client propose aussi trois modes d'exécution inspectables, Debug, Collect et Eval, allant de la simulation en boucle ouverte au contrôle temps réel continu. Surtout, chaque run d'évaluation enregistre automatiquement des rollouts complets au format prêt pour l'entraînement, avec logs exhaustifs et un visualiseur de comparaison côte à côte, transformant chaque test en donnée réutilisable plutôt qu'en simple observation perdue. Le framework consolide enfin les principales stratégies d'inférence temps réel du secteur, exécution synchrone et asynchrone, lissage temporel façon ACT, Real-Time Chunking, et une base asynchrone naïve servant de référence, derrière une seule interface de configuration. Pour les équipes qui entraînent des politiques d'imitation ou des modèles VLA (vision-language-action), ce type d'infrastructure comble un angle mort réel : la littérature regorge de nouvelles architectures de politiques, mais la mise en production sur robot réel reste souvent un patchwork non reproductible, ce qui complique les comparaisons équitables entre méthodes et ralentit le passage du prototype au déploiement en série. En traitant chaque évaluation comme une collecte de données, EVA-Client attaque directement le problème du volume de données réelles, goulot d'étranglement classique face aux modèles génératifs entraînés sur des corpus web massifs. Ce travail s'inscrit dans une vague plus large d'outillage d'infrastructure pour l'IA incarnée, à mesure que des modèles fondation comme Pi-0, GR00T N2 ou Helix gagnent en maturité et que le goulot se déplace de l'algorithme vers l'ingénierie de déploiement. Contrairement aux piles propriétaires fermées de certains acteurs commerciaux, une approche ouverte et modulaire pourrait faciliter les comparaisons inter-laboratoires et accélérer l'adoption par des équipes académiques ou industrielles ne disposant pas de stack maison.

Infrastructure❧Opinion

1 source

39

4402arXiv cs.RO 

MOSAIC : planification de manipulation centrée sur les compétences par simulation physique

Le fossé entre le nombre potentiellement infini de compétences robotiques disponibles et l'incapacité des robots à les enchaîner de façon fiable sur des tâches longues reste un problème central en robotique. Une équipe de chercheurs présente MOSAIC, une méthode de planification centrée sur les compétences qui s'appuie sur la simulation physique pour estimer, avant exécution, la probabilité de succès de chaque compétence dans un contexte donné. Plutôt que d'explorer pas à pas un espace de séquences quasi infini, comme le font les méthodes incrémentales classiques, ou de raisonner sur des représentations symboliques simplifiées mais fragiles et coûteuses à construire à la main, MOSAIC combine deux familles complémentaires de compétences: les Générateurs, qui identifient des « îlots de compétence », c'est-à-dire des zones où une action donnée réussit de façon démontrable, et les Connecteurs, qui relient ces trajectoires entre elles en résolvant des problèmes aux limites. L'équipe a testé l'approche sur des tâches de manipulation longues et complexes, en simulation comme sur un robot réel, en mobilisant un ensemble hétérogène d'outils: modèles de diffusion génératifs, algorithmes classiques de planification de mouvement et modèles spécialisés en manipulation. Le papier, une version révisée publiée sur arXiv, est accompagné d'un site de démonstrations (skill-mosaic.github.io). L'enjeu dépasse la seule performance algorithmique. Le planning long-horizon par composition de compétences est considéré depuis des années comme un verrou pour des robots véritablement généralistes, capables d'assembler des briques génériques pour résoudre des tâches nouvelles sans reprogrammation dédiée. En concentrant l'effort de recherche sur les régions où chaque compétence est réellement fiable, plutôt que de faire confiance à une couverture uniforme de l'espace des possibles, MOSAIC apporte une réponse concrète à la fragilité chronique des approches symboliques et à l'explosion combinatoire des méthodes purement incrémentales, un sujet sensible à l'heure où l'industrie mise massivement sur les modèles vision-langage-action pour la généralisation. Cette contribution s'inscrit dans la lignée des travaux de planification tâche-et-mouvement (TAMP), où la tension entre robustesse symbolique et flexibilité des méthodes apprises est documentée de longue date. L'essor récent des politiques de diffusion et des modèles génératifs comme briques de bas niveau change la donne: MOSAIC propose justement un cadre capable d'orchestrer ce type d'outils hétérogènes sans passer par une couche symbolique rigide. La publication d'une troisième version sur arXiv suggère un travail encore en cours de révision, avec des démonstrations concrètes disponibles pour les équipes de recherche souhaitant évaluer la méthode sur leurs propres bancs d'essai.

Recherche❖Paper

1 source

39

4403arXiv cs.RO 

DREAMSTEER : les modèles du monde latents peuvent orienter les politiques VLA au déploiement sans aucun ajustement

DREAMSTEER, présenté dans un article arXiv déposé début juillet 2026 (arXiv:2607.02865v1), est un nouveau framework destiné à piloter des politiques VLA (vision-language-action) pré-entraînées directement au moment du déploiement, sans aucun réentraînement ni modification des paramètres du modèle. Concrètement, le système échantillonne des séquences d'actions candidates générées à la fois par la politique VLA de base et par des primitives de mouvement prédéfinies, puis utilise un modèle du monde latent conditionné par l'action pour "imaginer" les conséquences de chaque trajectoire avant de les classer avec un modèle de valeur conditionné par le langage. Sur quatre bancs d'essai de manipulation en conditions réelles impliquant des objets jamais vus à l'entraînement, DREAMSTEER fait grimper le taux de réussite des tâches de 23,75% à 66,25%, et la précision de suivi des instructions de 38,75% à 56,25% par rapport à la politique VLA de base seule. Cette approche s'attaque à un problème central et bien documenté du déploiement robotique: les politiques VLA pré-entraînées généralisent bien en théorie mais s'effondrent souvent face au moindre décalage de distribution entre l'environnement d'entraînement et celui du terrain, un écart classique entre démonstration et réalité opérationnelle. La solution habituelle, le réentraînement sur des données spécifiques au site cible, suppose de disposer de démonstrations déjà collectées dans cet environnement, ce qui est coûteux et souvent impossible en déploiement réel. En évitant tout finetuning, DREAMSTEER ouvre la voie à des robots capables de s'adapter à de nouveaux objets ou environnements sans cycle de collecte de données ni réentraînement, un enjeu direct pour les intégrateurs industriels qui cherchent à réduire le temps et le coût de mise en service de flottes de manipulateurs. Le travail s'inscrit dans la lignée des politiques VLA génériques type OpenVLA, RT-2 ou Pi-0, dont la promesse de généralisation zero-shot peine souvent à tenir en pratique. En couplant modèle du monde et modèle de valeur pour simuler et évaluer des trajectoires avant exécution, DREAMSTEER relève d'une famille émergente de méthodes de contrôle par planification en espace latent, distincte du réentraînement pur. Les auteurs limitent pour l'instant leur validation à quatre bancs d'essai de manipulation; la généralisation à des tâches plus complexes, à la locomotion ou à des plateformes humanoïdes reste une étape à venir pour confirmer la portée de l'approche au-delà du laboratoire.

Recherche⚡Actu

1 source

39

4404arXiv cs.RO 

CoRE-VLA : vers une modélisation vision-langage-action évolutive et robuste par routage conditionnel d'experts

Des chercheurs présentent CoRE-VLA, une nouvelle architecture de modèle vision-langage-action (VLA) conçue pour résoudre un problème concret de déploiement robotique: la gestion de capteurs hétérogènes et potentiellement défaillants. Publié sur arXiv le 3 juillet 2026, le papier propose de traiter la génération d'actions comme un calcul épars conditionné par le contexte, plutôt que par un calcul dense partagé comme dans les VLA classiques. Concrètement, la disponibilité des capteurs active des experts spécialisés par modalité (le papier se concentre sur la profondeur, ou depth, comme capteur auxiliaire représentatif), tandis que l'intention de la tâche route les représentations vers des experts pertinents pour chaque sous-objectif. Les auteurs testent CoRE-VLA sur les benchmarks LIBERO et RoboCasa GR1 Tabletop, ainsi que sur des manipulations réelles à deux bras, et rapportent des performances supérieures à un modèle dense équivalent et à un VLA pré-entraîné de référence, y compris en généralisation zero-shot sur des scénarios non vus à l'entraînement. L'enjeu pratique est réel pour les intégrateurs: la plupart des VLA actuels couplent rigidement la génération d'action à un jeu de capteurs fixe, ce qui les rend fragiles dès qu'un capteur auxiliaire tombe en panne ou qu'un embodiment robotique en est simplement dépourvu par conception. CoRE-VLA promet une dégradation gracieuse sans réentraînement complet, un point clé pour des flottes hétérogènes déployées en usine ou en entrepôt où tous les robots n'ont pas la même instrumentation. C'est un signal de plus que la recherche VLA s'oriente vers la robustesse opérationnelle plutôt que la seule performance en benchmark contrôlé, un décalage régulièrement pointé du doigt entre démonstrations académiques et réalité industrielle. Ce travail s'inscrit dans la lignée des architectures VLA généralistes type Pi-0 ou GR00T N2, mais adresse un angle mort spécifique: l'hétérogénéité capteurs plutôt que la seule diversité des tâches. Il s'agit ici d'une contribution de recherche publiée sur arXiv, sans partenaire industriel ni déploiement annoncé; les prochaines étapes attendues seraient une validation sur davantage d'embodiments réels et une comparaison directe avec les VLA propriétaires déployés en production.

Recherche⚡Actu

1 source

39

4405arXiv cs.RO 

DynaWM : un modèle du monde guidé par un VLA de base pour la manipulation d'objets en mouvement

DynaWM, un nouveau modèle du monde ("world foundation model") piloté par des architectures vision-langage-action (VLA), vient d'être présenté dans un preprint publié sur arXiv début juillet 2026. Le système cible un point faible connu des modèles VLA actuels : la manipulation d'objets en mouvement. Techniquement, DynaWM combine trois briques, un encodeur d'actions basé sur Mamba-3 qui traite les séquences d'actions produites par le modèle VLA de base, un encodeur visuel V-JEPA 2.1 qui exploite l'historique d'observations multi-vues, et un encodeur d'état proprioceptif du bras robotique, le tout conditionnant un transformeur à diffusion par flow-matching qui régénère des trajectoires d'action adaptées au mouvement de l'objet. Les auteurs ont aussi construit deux jeux de données : le benchmark DynaGrasp-32, qui couvre six catégories de tâches (variation de vitesse, de trajectoire, manipulation multi-objets), et DynaGrasp-1600, soit 32 scénarios, 1 600 démonstrations et environ 1,53 million d'images. Sur des checkpoints VLA finement réglés, DynaWM améliore les taux de réussite de 7,19 à 45,31 points de pourcentage selon le modèle de base (SmolVLA, X-VLA, Pi-0, Pi-0.5) ; sur des checkpoints seulement grossièrement réglés, les gains grimpent à 26 voire 44 points. L'enjeu dépasse la simple performance chiffrée : la plupart des modèles du monde existants sont fine-tunés directement dans l'architecture VLA, ce qui dégrade souvent les capacités du modèle pré-entraîné. En gardant le VLA de base intact et en ajoutant un module de guidage séparé, DynaWM évite ce compromis, un argument qui parle directement aux équipes de recherche en robotique confrontées à la fragilité des VLA lors du fine-tuning. Pour les intégrateurs, cela touche un cas d'usage concret : le tri ou la préhension d'objets sur convoyeur, en environnement non statique, un scénario encore largement absent des démonstrations spectaculaires de préhension immobile. Le travail s'inscrit dans la lignée des modèles VLA généralistes comme Pi-0, Pi-0.5, SmolVLA ou X-VLA, utilisés ici comme bases de comparaison, ainsi que des travaux sur les modèles du monde en robotique et sur l'encodeur visuel auto-supervisé V-JEPA de Meta. À ce stade, il s'agit d'un résultat de recherche académique évalué sur benchmark simulé et jeu de données maison, sans déploiement industriel annoncé ; la suite logique serait une validation sur bras robotiques réels et une comparaison avec d'autres approches de manipulation dynamique comme GR00T N2 ou Helix.

Recherche⚡Actu

1 source

39

4406arXiv cs.RO 

PRISM : génération de données robotiques personnalisées par synthèse d'images de scènes et de mouvements

Il n'y a pas de nom d'entreprise, de labo ou de deploiement commercial cité dans cet abstract (c'est un papier de recherche arXiv), donc l'article reste focalisé sur la méthode et ses résultats mesurés, sans inventer de contexte industriel absent du texte source. Des chercheurs présentent PRISM, un pipeline qui génère des jeux de données robotiques personnalisés à partir d'une seule image et d'une instruction en langage naturel, sans téléopération humaine. Le système construit des scènes dites "digital cousins" : des environnements synthétiques alignés sémantiquement et géométriquement avec l'environnement cible de l'utilisateur, mais suffisamment variés au niveau des instances (objets, agencements) pour éviter le surapprentissage. PRISM synthétise ensuite des démonstrations exécutables directement utilisables pour entraîner une politique robotique. Sur les benchmarks LIBERO et LIBERO-Plus, les politiques entraînées sur les données générées par PRISM surpassent celles entraînées sur des jeux de données de référence, et atteignent jusqu'à 100 % de taux de réussite sur trois tâches de manipulation réelles, avec une meilleure robustesse lorsque l'environnement de test diffère de celui vu à l'entraînement. L'enjeu ici est la collecte de données, principal goulot d'étranglement pour déployer des modèles vision-langage-action (VLA) au-delà des laboratoires. La téléopération produit des données bien alignées avec la tâche mais coûte cher et ne passe pas à l'échelle ; la simulation pure passe à l'échelle mais peine à ressembler à l'environnement réel de l'utilisateur final. PRISM tente de concilier les deux, ce qui intéresse directement les intégrateurs et décideurs B2B confrontés au coût de personnalisation d'un robot pour un site spécifique (usine, entrepôt, domicile) : si la génération de données synthétiques personnalisées tient ses promesses hors laboratoire, elle réduit un frein économique majeur à l'adoption des politiques génératives en robotique. Ce travail s'inscrit dans la vague plus large des modèles fondation VLA (dans la lignée de Pi-0, GR00T N2 ou Helix) qui cherchent à généraliser au-delà des tâches et environnements d'entraînement, un problème encore mal résolu malgré les démonstrations impressionnantes de ces modèles. Il fait aussi écho à la tendance du "sim-to-real" et à l'usage de scènes synthétiques proches mais non identiques à la réalité pour diversifier les données d'entraînement sans reproduire du réel coûteux. Les auteurs positionnent PRISM face à deux approches concurrentes existantes, la téléopération manuelle et la simulation générique, en montrant un gain de performance sur des benchmarks standards ainsi que sur des tâches de manipulation réelles. L'abstract ne précise pas de calendrier de déploiement ou de partenariat industriel : à ce stade, il s'agit d'un résultat de recherche à valider sur un périmètre de tâches plus large.

Recherche⚡Actu

1 source

39

4407arXiv cs.RO 

TACO : modèle du monde tactile en auto-correcteur pour le post-entraînement à grande échelle des VLA

Des chercheurs ont présente TACO (TActile world model as a self-COrrector), un cadre de post-entrainement pour les modèles Vision-Language-Action (VLA) dédié aux taches de manipulation robotique a fort contact physique, décrit dans un article publie sur arXiv (2607.02840v1). Le système repose sur une boucle en trois étapes baptisée Recognize-Imagine-Label : un modèle unifie de progression et d'action détecte les états proches de l'échec a partir d'estimations de progression, un modèle génératif visuo-tactile imagine des segments de correction locale, puis ce même modèle de progression-action étiquette ces segments avec des actions correctives exécutables. Applique a des taches réelles de manipulation a fort contact, TACO améliore le taux de réussite de 44 points de pourcentage par rapport a la politique de base, et de 32 points par rapport a une version dépourvue de son mécanisme d'adaptation tactile a isolation de connaissances, qui protégé les priors visuo-linguistiques pré-entraines pendant l'apprentissage. Ce travail cible un angle mort connu des modèles VLA actuels : la vision seule peine a détecter les micro-perturbations de contact (glissement, mauvais alignement, prise partielle) qui, dans une tache d'assemblage ou de préhension fine, peuvent transformer une erreur locale en échec irrécupérable. Jusqu'ici, corriger ce type de défaillance nécessitait soit une supervision humaine couteuse a grande échelle, soit des modèles du monde uniquement visuels susceptibles de générer des trajectoires imaginées plausibles a l'oeil mais physiquement incohérentes au niveau du contact. En montrant qu'un modèle du monde tactile peut produire des corrections exploitables sans superviseur humain et sans dégrader les capacités de base du modèle, TACO apporte un élément de réponse concret a une limite régulièrement pointée par les intégrateurs industriels : des démonstrations VLA impressionnantes en environnement contrôle qui ne se traduisent pas toujours en fiabilité sur des taches de préhension fine en usine ou en logistique. L'approche s'inscrit dans la lignée des travaux récents sur les modèles du monde pour améliorer les politiques robotiques par simulation de rollouts, dans la même veine que ce qui alimente des familles de modèles VLA comme Pi-0, GR00T N2 ou Helix, mais en ajoutant une modalité tactile la ou ces travaux se limitaient jusque-la a la vision. L'article ne précise ni affiliation institutionnelle ni déploiement industriel : il s'agit a ce stade d'une contribution de recherche publiée en preprint, sans intégration annoncée chez un fabricant de bras robotique ou d'humanoïde. La suite logique, si ces résultats se confirment, serait une adoption par des laboratoires travaillant sur la manipulation fine (objets déformables, assemblage électronique, tri logistique), la ou le cout de supervision humaine pour corriger les échecs de contact reste aujourd'hui le principal frein au déploiement a grande échelle des politiques VLA.

Recherche⚡Actu

1 source

38

4408arXiv cs.RO 

Réassignation de castes dans des essaims hétérogènes : protocole à confiance asymétrique et contresignature auditée

Une équipe de recherche propose un protocole de gouvernance pour la réaffectation de rôles ("caste reassignment") au sein d'essaims de robots hétérogènes, décrit dans un article publié sur arXiv début juillet. Le principe : quand un robot change de capacité opérationnelle sous l'effet de la batterie, de la charge utile ou d'une priorité de mission, ce changement peut soit réduire ses privilèges (admis automatiquement), soit les élever (ce qui nécessite alors une contre-signature d'un opérateur humain, dans la limite d'un budget défini par axe). Chaque transition génère une chaîne de causalité signée, inscrite dans un journal d'audit structuré en Merkle et vérifiable hors ligne. Les chercheurs ont testé une implémentation de référence avec de vraies signatures Ed25519 sur des essaims allant jusqu'à 100 robots : les reclassements vers le bas s'exécutent en quelques millisecondes à basse dizaine de millisecondes, et le protocole bloque par construction quatre types d'attaques (usurpation de caste, escalade par relaxations répétées, usurpation d'identité d'opérateur, falsification de la chaîne de causalité). Un journal d'audit distribué, répliqué sur autant de nœuds que de membres de l'essaim avec ordre total par quorum, a aussi été validé en conditions réelles sur 100 processus distincts reliés par TCP, résistant à un nœud byzantin sans qu'aucune fourche ne se produise dans le journal. L'enjeu dépasse l'exercice académique : à mesure que les essaims de robots (logistique, inspection, défense civile) entrent dans des contextes réglementés, la question de savoir qui autorise un robot à gagner en autonomie ou en capacité devient un point de conformité, pas seulement d'ingénierie. Ce travail formalise une frontière claire entre décisions locales automatisées et décisions nécessitant une supervision humaine traçable, un sujet que les intégrateurs et responsables de flottes devront de plus en plus documenter face aux régulateurs. Le protocole généralise une approche déjà proposée pour la gouvernance d'un agent unique (mutation de persona) au niveau d'un essaim entier, en s'appuyant sur des briques classiques des systèmes distribués tolérants aux pannes byzantines. Les auteurs annoncent avoir isolé, via une base partiellement gouvernée, quel mécanisme de contrôle arrête quelle attaque précisément, ouvrant la voie à des audits de sécurité plus ciblés sur ce type d'architecture.

Recherche❖Paper

1 source

38

4409arXiv cs.RO 

ResTacVLA : manipulation riche en contacts grâce à une représentation tactile résiduelle

Les modèles Vision-Language-Action (VLA), qui pilotent la nouvelle génération de bras robotiques et d'humanoïdes, souffrent d'un défaut connu quand on y ajoute du tactile : le signal visuel, beaucoup plus riche en données, écrase systématiquement les informations de contact, un phénomène que les chercheurs appellent "l'effondrement de modalité". Une équipe propose ResTacVLA, une architecture publiée le 3 juillet 2026 sur arXiv (2607.03387), qui s'inspire du codage prédictif, un mécanisme neuronal par lequel le cerveau ignore ce qui est prévisible pour se concentrer sur l'inattendu. Au lieu d'injecter les données tactiles brutes dans le modèle, ResTacVLA calcule une "représentation tactile résiduelle" : l'écart entre ce que la vision laissait prévoir et ce que le capteur de contact ressent réellement. Ce résidu est ensuite compressé via un goulot d'étranglement à quantification vectorielle (VQ) en "primitives de contact latentes", puis injecté de façon adaptative dans le modèle, avec un gain renforcé précisément lorsque la vision devient incertaine ou obstruée. L'enjeu dépasse la prouesse technique. Pour les intégrateurs qui visent des tâches à fort contact physique, insertion de précision, assemblage, manipulation d'objets déformables ou glissants, le tactile est le signal qui distingue une démonstration en laboratoire d'un geste fiable en production. Or la plupart des VLA actuels traitent le tactile comme un flux secondaire noyé par la caméra. En démontrant qu'un filtrage inspiré de la neuroscience permet de rendre ce signal rare mais décisif exploitable sans le diluer, les auteurs répondent directement à l'un des angles morts récurrents des architectures multimodales pour la robotique manipulatrice, où l'ajout de capteurs supplémentaires improve rarement les performances sans repenser la fusion des modalités. Le travail reste à ce stade un article de recherche, sans affiliation industrielle citée dans le résumé ni déploiement annoncé : il s'agit d'un préprint arXiv, testé sur un ensemble de tâches de manipulation en contact selon les auteurs, avec une page de projet dédiée mais pas encore de publication en conférence confirmée. Il s'inscrit dans une dynamique plus large de recherche sur l'intégration tactile en apprentissage robotique, un axe que plusieurs laboratoires explorent en parallèle pour combler l'écart entre robots qui voient et robots qui, littéralement, sentent ce qu'ils touchent.

Recherche❖Paper

1 source

38

4410arXiv cs.RO 

Caméras fixes ou libres : un modèle vision-langage-action sans calibration, robuste aux changements de vue

Des chercheurs du DAMO Academy d'Alibaba ont publié le 7 juillet 2026 un article arXiv (2607.05396) présentant CamVLA (Camera-Centric Vision-Language-Action), un nouveau modèle robotique qui résout un problème pratique jusqu'ici mal traité: le repositionnement des caméras lors du déploiement réel. Contrairement aux politiques VLA robustes aux changements de point de vue existantes, qui nécessitent de fournir explicitement les paramètres extrinsèques de la caméra pour fonctionner, CamVLA n'a besoin que d'une seule image RGB monoculaire, sans profondeur ni calibration préalable. Le modèle prédit deux éléments séparément: une action de l'effecteur terminal exprimée dans le référentiel local de la caméra, et une matrice main-œil à 6 degrés de liberté reliant la caméra à la base du robot. Une transformation géométrique déterministe combine ensuite ces deux prédictions pour produire l'action finale dans le référentiel du robot. Les évaluations, menées à la fois en simulation et sur données robotiques réelles, montrent une amélioration constante des taux de réussite sur des points de vue inédits. Ce travail cible un angle mort classique du déploiement industriel des VLA: en usine ou en entrepôt, les caméras sont fréquemment déplacées, remontées ou changées selon les contraintes du poste de travail, ce qui casse les politiques entraînées sur une configuration de vue fixe. Obliger un recalibrage manuel à chaque changement de caméra freine l'adoption par les intégrateurs, qui cherchent des systèmes tolérants aux aléas de terrain plutôt que des démonstrations en laboratoire. En rendant le modèle calibration-free et dépendant uniquement d'une caméra RGB simple, l'approche réduit aussi le coût matériel du déploiement, sans capteur de profondeur dédié. Le sujet s'inscrit dans la compétition actuelle autour des modèles VLA génériques, aux côtés d'approches comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, où la robustesse au changement de viewpoint reste un verrou identifié mais rarement résolu sans hypothèses fortes sur la caméra. L'équipe a mis en ligne une page projet dédiée; les prochaines étapes attendues concernent l'extension à davantage de plateformes robotiques et de scénarios de déploiement réel au-delà des essais publiés.

IA physique⚡Actu

1 source

38

4411arXiv cs.RO 

MorphQuad : un quadrirotor transformable pour une manœuvrabilité, manipulation et résilience surhumaines

Des chercheurs présentent MorphQuad, un quadricoptère morphable capable d'un vol omnidirectionnel et d'une manipulation avec une force proche de celle d'une main humaine, selon un article publié le 2 juillet 2026 sur arXiv (2607.02764v1). Contrairement aux drones classiques limités par leur structure rigide, MorphQuad articule indépendamment chacun de ses quatre rotors via des cardans à deux axes, ce qui permet de vectoriser la poussée maximale dans n'importe quelle direction tout en conservant une stabilité globale sur toutes les orientations. Grâce à un système de contrôle allouant l'énergie de façon optimale, entièrement embarqué et autonome, l'appareil a démontré des rotations multi-tours en translation ou en vol stationnaire pour l'inspection de tuyauteries et le suivi de cibles, l'ouverture de vannes, le perchage, ainsi que la poussée et la pression d'objets avec une force comparable à celle d'un humain, tout en résistant à des perturbations de vent venant de n'importe quelle direction, y compris concentrées sur un seul rotor. Cette avancée s'attaque directement à une limite structurelle connue des drones à usage industriel: la plupart des quadricoptères actuels ne peuvent ni vectoriser leur poussée dans toutes les directions, ni garantir une stabilité de contrôle sur l'ensemble des orientations possibles, ce qui restreint leur usage aux tâches de survol et de captation d'images plutôt qu'à la manipulation physique de force. Pour les intégrateurs de maintenance d'infrastructures, l'inspection par contact et la réponse d'urgence, un aéronef capable d'appliquer des forces de contact précises tout en résistant aux effets de sol et au vent ouvre la voie à des interventions aujourd'hui réservées aux opérateurs humains ou aux robots au sol, dans des zones difficiles d'accès comme les pipelines, les structures en hauteur ou les sites accidentés. Le papier illustre ainsi un solveur potentiel du fossé classique entre démonstration en laboratoire et robustesse en conditions réelles, un point sur lequel de nombreuses annonces robotiques restent généralement vagues. Le projet part d'un constat des auteurs: aucun véhicule aérien existant ne combine simultanément vectorisation de poussée maximale, stabilité globale et conception compacte dérivée des plateformes quadrotor standards, faute de co-conception matérielle et logicielle adaptée. MorphQuad répond à cette lacune par une approche hybride associant cardans motorisés et algorithme d'allocation de poussée empêchant les interférences de flux d'air entre rotors et le blocage de cardan. L'article ne mentionne pas de partenaire industriel ni de calendrier de commercialisation, ce qui situe la publication au stade de la recherche académique plutôt que du produit prêt à déployer; les prochaines étapes attendues porteraient vraisemblablement sur des essais en conditions réelles hors laboratoire et une possible collaboration avec des acteurs de l'inspection industrielle ou de la robotique aérienne, un secteur où les laboratoires américains dominent actuellement la publication mais où des acteurs européens en drones industriels pourraient s'inspirer de cette architecture.

Recherche❖Paper

1 source

38

4412arXiv cs.RO 

3D Cal : une bibliothèque logicielle open source pour la reconstruction de profondeur sur capteurs tactiles basés sur la vision

Des chercheurs publient 3D Cal, une bibliothèque open source qui transforme une imprimante 3D bas coût en dispositif de sondage automatisé pour calibrer les capteurs tactiles à base de vision. Le système génère de grands volumes de données d'entraînement labellisées puis entraîne des réseaux convolutifs personnalisés pour produire des reconstructions de profondeur à partir des images captées par ces capteurs. Les auteurs testent leur méthode sur deux capteurs commerciaux largement utilisés en robotique, DIGIT et GelSight Mini, et établissent des lignes directrices empiriques sur le volume de données nécessaire pour une calibration de qualité. Les résultats obtenus atteignent une erreur moyenne de reconstruction de 156 micromètres pour DIGIT et 205 micromètres pour GelSight Mini sur des objets non vus pendant l'entraînement, des performances jugées comparables à l'état de l'art. Pour l'industrie de la manipulation robotique, cette avancée s'attaque à un goulot d'étranglement rarement mis en avant mais bien réel: la calibration des capteurs tactiles reste aujourd'hui artisanale, chronophage et peu reproductible d'un laboratoire à l'autre, ce qui freine leur adoption en dehors de la recherche académique. En automatisant ce processus avec un matériel accessible, 3D Cal réduit la barrière à l'entrée pour les équipes qui veulent intégrer du retour tactile fin dans leurs systèmes de préhension, un enjeu central pour la manipulation dextre, l'inspection de pièces fragiles ou les tâches d'assemblage fin où la seule vision globale ne suffit pas. C'est aussi un signal que la standardisation des outils de calibration progresse, condition nécessaire avant tout déploiement tactile à l'échelle industrielle. Le sondage tactile par vision, popularisé par des capteurs comme GelSight puis DIGIT (ce dernier co-développé par Meta et poussé comme standard bas coût et open source), souffre depuis ses débuts d'un manque d'outils de calibration partagés et reproductibles. 3D Cal s'inscrit dans cette lignée de travaux visant à démocratiser le tactile en robotique, aux côtés d'efforts comme les capteurs GelSight Mini ou les librairies de traitement associées. Publié en open source, l'outil devrait accélérer les travaux de recherche sur la perception tactile et faciliter son intégration dans des plateformes robotiques réelles, sans toutefois constituer encore un produit prêt à l'emploi pour l'industrie.

Recherche❖Paper

1 source

38

4413arXiv cs.RO 

Recherche paresseuse basée sur les conflits pour une planification rapide multi-manipulateurs

Une équipe de chercheurs propose un nouvel algorithme baptisé Conflict-Based Lazy Search (CBLS), conçu pour planifier en temps réel les mouvements simultanés de plusieurs bras manipulateurs robotiques dans un espace de travail encombré. L'algorithme s'appuie sur Conflict-Based Search (CBS), une méthode de pathfinding multiagent qui a déjà démontré des gains de vitesse d'un ordre de grandeur par rapport aux approches précédentes. CBS fonctionne en résolvant une série de problèmes de recherche de chemin pour un seul agent à la fois, ce qui signifie que sa performance globale dépend directement de l'efficacité de cet algorithme de base. Les auteurs y ajoutent deux innovations: un graphe précalculé à évaluation paresseuse et sparsité contrôlée pour un manipulateur unique, et un nouvel algorithme de recherche appelé Lazy Edge-based A (LEA), qui réduit le nombre d'évaluations d'arêtes, considéré comme le principal goulot d'étranglement computationnel dans la planification de bras robotiques. Cette avancée cible un problème très concret pour l'industrie: dans une cellule robotique où plusieurs bras manipulateurs opèrent côte à côte, chaque calcul de trajectoire doit vérifier les collisions potentielles entre pièces mobiles, ce qui devient rapidement coûteux en temps de calcul à mesure que le nombre de bras augmente. En réduisant drastiquement ces évaluations grâce à la recherche paresseuse, CBLS ouvre la voie à une planification plus rapide et davantage exploitable en temps réel, un enjeu direct pour les intégrateurs qui déploient des cellules multi-bras dans des usines ou des entrepôts, où la vitesse de replanification conditionne le débit de production. Le travail s'inscrit dans la lignée du MAPF (multiagent pathfinding), un champ de recherche né notamment des besoins de coordination en entrepôt et en logistique autonome, que les auteurs transposent ici aux manipulateurs industriels. Les chercheurs comparent directement CBLS à l'algorithme CBS original ainsi qu'à RRT-Connect, une méthode de planification par échantillonnage largement utilisée en robotique, et affirment obtenir des performances supérieures sur des problèmes de planification multi-manipulateurs. L'article, encore au stade de prépublication arXiv, ne précise pas de tests sur du matériel réel ni de partenariat industriel, ce qui en fait pour l'instant une contribution algorithmique plutôt qu'une solution déployée en production.

Recherche❖Paper

1 source

38

4414arXiv cs.RO 

Un robot autonome, conscient des normes sociales, franchit des portes et livre une charge utile en urgence

Les chercheurs à l'origine de ce papier arXiv (2607.05315v1) ont testé un système d'assistance robotique à l'évacuation d'urgence sur le Toyota Human Support Robot (HSR), une plateforme mobile équipée d'un bras manipulateur. Le robot doit remplir deux missions simultanées lors d'une évacuation : ouvrir les portes sur le chemin des personnes évacuées en repérant et actionnant les boutons d'accès conformes aux normes ADA, et récupérer du matériel de secours pour le livrer aux intervenants d'urgence. L'équipe a bâti l'architecture de décision autour d'un arbre de comportement (behavior tree), une structure capable de sélectionner des tâches de haut niveau selon des déclencheurs environnementaux et de s'étendre à de nouvelles situations. Le système a été évalué sur 105 essais, répartis entre cinq scénarios matériels réels et trois scénarios en simulation, avec un taux de réussite de 97 sur 105, soit environ 92%. Ce résultat compte parce qu'il s'attaque à un problème rarement traité dans la littérature robotique : la prise de décision sociale en contexte d'urgence, où le robot doit arbitrer en temps réel entre céder le passage à une personne, franchir une porte qu'un humain tient déjà ouverte, ou aller chercher un équipement avant de traverser. C'est un cas concret où la robotique d'assistance dépasse la simple exécution de tâches pour intégrer une conscience de l'environnement humain, un enjeu clé pour les intégrateurs qui envisagent des déploiements en environnements partagés avec des personnes, secteur hospitalier, logistique de secours ou sites industriels évacuables. Le choix de l'arbre de comportement plutôt qu'un contrôleur monolithique ou un modèle end-to-end répond à un besoin d'extensibilité et de traçabilité des décisions, un critère souvent recherché dans les systèmes destinés à des usages critiques. Les auteurs ont publié le code et des démonstrations vidéo sur GitHub (AndrewSnowdy/hsrmmcontrol), ouvrant la voie à des reproductions et extensions vers d'autres tâches de réponse d'urgence.

Recherche❖Paper

1 source

38

4415arXiv cs.RO 

Fils invisibles : les principes de la marionnette et leurs liens cachés avec le comportement des robots

Des chercheurs en interaction homme-robot proposent une nouvelle source d'inspiration pour concevoir le comportement non verbal des robots : la marionnette. Publié le 3 juillet sur arXiv, ce travail part d'un constat simple : depuis des années, la conception des gestes et postures des robots sociaux s'appuie largement sur les Principes d'Animation de Disney, popularisés par Thomas et Johnston dans les années 1980 pour donner vie aux personnages de dessin animé. Les auteurs ont mené des entretiens avec des marionnettistes professionnels et analysé des ouvrages de référence sur cet art pour en extraire un ensemble de principes de conception directement transposables à la robotique, couvrant la morphologie du corps, la dynamique du mouvement et les modalités d'interaction avec un public ou un partenaire humain. L'intérêt pour les concepteurs de robots est concret : contrairement à l'animation, qui s'affranchit des lois physiques et se limite souvent à des règles de mécanique de bas niveau (timing, exagération, anticipation), la marionnette a toujours composé avec des contraintes matérielles réelles proches de celles d'un robot physique, comme le poids, l'inertie ou les degrés de liberté limités d'une structure articulée. Elle a aussi, depuis des siècles, développé des savoir-faire sur l'interaction incarnée avec un public, un terrain que l'animation ne couvre pas puisqu'un dessin animé ne partage jamais l'espace physique avec son spectateur. Pour les équipes qui conçoivent des robots sociaux ou collaboratifs, ce corpus offre donc des pistes de conception à plus haut niveau que les principes d'animation, potentiellement plus directement actionnables pour des systèmes contraints par le monde réel. Ce travail s'inscrit dans un courant de recherche en robotique sociale qui puise depuis longtemps dans les arts du spectacle : théâtre, danse et animation ont déjà été mobilisés pour informer le design comportemental des robots. La marionnette restait jusqu'ici un angle mort de cette littérature, malgré une histoire longue de plusieurs siècles d'exploration de la forme, du mouvement et de l'interaction de personnages incarnés. Les auteurs positionnent leurs principes comme complémentaires, et non substituables, à ces apports antérieurs, ouvrant la voie à des travaux futurs testant leur application concrète sur des plateformes robotiques.

Recherche❖Paper

1 source

38

4416arXiv cs.RO 

Manipulation robotique multi-incarnations via un espace d'action unifié pour la main

Des chercheurs proposent l'Unified Hand Action Space (UHAS), une représentation d'action unifiée pour piloter des mains robotiques dexteres de morphologies différentes à partir d'un seul espace de commande. Le principe consiste à représenter les mouvements de la main comme des déformations géométriques d'une sphère canonique, puis à utiliser un algorithme baptisé Cascade Inverse Kinematics (CIK) pour convertir cette représentation abstraite en configurations articulaires propres à chaque main. Les auteurs entraînent des politiques de manipulation par apprentissage par renforcement directement dans cet espace, sur une tâche de réorientation de cube en main. Le système est évalué en simulation et en conditions réelles sur quatre mains robotiques aux architectures distinctes: l'Allegro Hand (Wonik Robotics), la LEAP Hand (design open source), la Shadow Hand (Shadow Robot) et le modèle de main humaine MANO. Les résultats montrent un transfert zero-shot vers des mains non vues à l'entraînement et un réajustement rapide lors du passage d'une morphologie à l'autre. Le papier est publié en preprint sur arXiv, sans relecture par les pairs, et les chiffres de succès du "déploiement réel" ne sont pas détaillés dans le résumé, ce qui appelle à la prudence sur l'ampleur réelle des résultats. L'enjeu dépassé ici est celui du cross-embodiment, un des principaux verrous de l'apprentissage robotique: une politique de manipulation entraînée pour une main à quatre doigts ne se transfère généralement pas à une main à cinq doigts ou à un nombre d'articulations différent, obligeant à tout réentraîner à chaque nouveau design de préhenseur. Si l'approche tient ses promesses au-delà du cas d'usage testé, cela réduirait le coût de portage des politiques de manipulation dexterese entre fabricants de mains robotiques, un sujet clé pour les intégrateurs qui évaluent aujourd'hui des modèles VLA génériques cens

Recherche❖Paper

1 source

38

4417arXiv cs.RO 

Athena-WBC : experts de politique alignés sur les capacités pour le contrôle corporel complet des humanoïdes en longue traîne

Les chercheurs à l'origine du système Athena-WBC s'attaquent à un problème persistant du contrôle corps-entier des robots humanoïdes : même les meilleurs contrôleurs de suivi de mouvement à grande échelle échouent sur un sous-ensemble récalcitrant de mouvements, en particulier les transitions à haute dynamique et les gestes critiques pour l'équilibre, et ce même quand ces clips sont réentraînés de façon ciblée. L'équipe montre que la cause n'est pas seulement un manque d'exposition à ces mouvements rares, mais un décalage entre les exigences du mouvement et la capacité effective que produit la recette d'entraînement par défaut. Leur réponse est un pipeline compact de type enseignant-élève combinant des "experts" alignés sur la capacité requise : des experts dynamiques, entraînés avec un objectif de suivi allégé des pénalités conservatrices et temporelles tout en conservant les contraintes physiques de faisabilité, et des experts d'équilibre, formés via un curriculum de gravité progressif pour améliorer la survie en début d'apprentissage. Ces enseignants privilégiés sont ensuite routés par mouvement pour une distillation DAgger, puis compressés en un contrôleur unique utilisant des observations déployables, affiné par apprentissage par renforcement. Sur un humanoïde grandeur nature, la méthode améliore la récupération des mouvements rares de l'ensemble d'entraînement et le suivi sur des mouvements non vus, par rapport à une base solide utilisant la recette SONIC, avec seulement un petit nombre d'experts. Ce travail cible directement l'un des goulots d'étranglement les plus sensibles de la robotique humanoïde actuelle : le fameux "long tail" des mouvements difficiles, qui sépare les démonstrations en vidéo soigneusement sélectionnées des déploiements réellement robustes en usine ou en environnement non contrôlé. Pour les intégrateurs et décideurs industriels, la promesse n'est pas un nouveau matériel mais une méthode d'entraînement plus efficace en données et en nombre d'experts, ce qui réduit le coût d'ingénierie nécessaire pour couvrir les cas extrêmes de chute, de rattrapage d'équilibre ou de transition rapide entre postures, souvent le vrai facteur limitant avant la mise en production de humanoïdes. Le papier s'inscrit dans la lignée des architectures enseignant-élève par distillation DAgger désormais standard pour le contrôle de mouvement humanoïde, et se positionne explicitement contre la recette SONIC, une référence récente du domaine, en cherchant à la dépasser sur les cas rares sans multiplier le nombre d'experts spécialisés. Publié sur arXiv le 7 juillet 2026, le travail ouvre la voie à des comparaisons futures avec d'autres pipelines de contrôle corps-entier utilisés par les acteurs commerciaux du secteur, sans toutefois préciser à ce stade de calendrier de transfert vers un produit industriel.

Recherche❖Paper

1 source

37

4418arXiv cs.RO 

Coordination des tâches et exécution de trajectoires par démonstrations few-shot pour systèmes multi-robots

Des chercheurs proposent DDACE (Demonstration-Driven Action Coordination and Execution), un cadre d'apprentissage capable de coordonner plusieurs robots a partir d'un très petit nombre de démonstrations seulement, selon un article publie sur arXiv (version révisée, v2). Le problème cible est connu dans la robotique multi-agents : apprendre a la fois quand chaque robot doit agir (dépendances temporelles entre taches) et comment il doit se déplacer (trajectoire spatiale) devient instable des que les données sont rares, car les deux aspects sont habituellement appris ensemble par des modèles bout-en-bout. DDACE sépare explicitement ces deux problèmes. Les démonstrations sont d'abord traitées par clustering spectral pour en extraire la structure de coordination et construire des graphes d'interaction entre robots. Un Temporal Graph Network se charge ensuite de prédire les dépendances d'actions et leur séquencement, pendant que des modèles de processus gaussiens génèrent les trajectoires géométriques, paramétrées par la progression de la tache et capables de s'adapter a de nouvelles configurations de départ et d'arrivée. Les auteurs rapportent des tests en simulation ainsi que des expériences sur robots réels, avec une meilleure stabilité et une meilleure cohérence des trajectoires que des approches d'imitation bout-en-bout classiques en régime de données limitées. L'enjeu dépasse l'exercice académique : la coordination multi-robots a partir de peu d'exemples est un frein concret au déploiement de cellules industrielles collaboratives ou de flottes d'AMR, ou collecter des milliers de démonstrations par scenario reste couteux. En introduisant un biais structurel plutôt qu'un apprentissage purement bout-en-bout, DDACE questionne l'hypothèse dominante selon laquelle les architectures end-to-end massives suffisent a généraliser en data-scarce régime, une piste distincte de la tendance actuelle centrée sur les gros modèles VLA mono-robot type Pi-0 ou GR00T N2. Le papier s'inscrit dans une littérature qui cherche des alternatives modulaires a l'imitation pure, combinant clustering, graphes temporels et processus gaussiens plutôt qu'un unique réseau de bout en bout. Il s'agit a ce stade d'une publication de recherche avec validations simulées et réelles limitées, sans indication de partenaire industriel ni de calendrier de transfert vers un produit ; le matériel complémentaire est disponible sur le site du projet associe.

Recherche❖Paper

1 source

37

4419arXiv cs.RO 

Cortex : un cadre d'agent incarné à alignement bidirectionnel pour la manipulation à long horizon

Cortex, présenté dans un article arXiv publié début juillet 2026 (arXiv:2607.05377), est un nouveau framework d'agent incarné destiné aux tâches de manipulation robotique à long horizon. Le problème qu'il cible: les modèles Vision-Language-Action (VLA) actuels, de par leur nature markovienne, ne s'appuient que sur l'observation courante et peinent sur les séquences longues, tandis que les approches hiérarchiques à double système existantes souffrent d'un décalage entre la sémantique du planning haut niveau et la cinématique d'exécution bas niveau. Cortex introduit une interface de planification qui traduit les plans du VLM haut niveau en sous-tâches exécutables pour le VLA bas niveau, en standardisant les manipulations en 32 primitives de compétences canoniques. Les chercheurs ont ainsi pu annoter automatiquement plus de 4 000 heures de vidéos open-source et générer 30 heures de données de simulation, avec une stratégie d'échantillonnage équilibré par événements pour affiner l'entraînement sur les transitions ambiguës entre sous-tâches. Sur le plan des résultats, Cortex dépasse les baselines monolithiques de 3,1% sur le benchmark Libero-long et de 4,1% sur RoboTwin, en évaluation à la fois open-loop (VLM) et closed-loop (système complet). Plus notable pour l'industrie: le VLM généraliste de Cortex permet de réaliser en zero-shot des tâches réelles inédites à long horizon, comme des expériences de chimie en plusieurs étapes, simplement en le couplant à un VLA fine-tuné, une capacité que le fine-tuning d'un VLA seul n'atteint pas. Cela suggère qu'une architecture correctement pontée entre planification et exécution peut combler l'écart simulation-réel mieux qu'un unique modèle monolithique, un argument qui intéresse directement les intégrateurs cherchant à généraliser au-delà des tâches d'entraînement. Ce travail s'inscrit dans la lignée des architectures duales explorées par des modèles comme Pi-0, GR00T N2 ou Helix, qui tentent chacun de résoudre la même tension entre raisonnement sémantique et contrôle moteur. Cortex reste à ce stade une contribution de recherche évaluée sur benchmarks académiques et non un système déployé en production, mais son approche par primitives standardisées et annotation automatique à grande échelle pourrait influencer la prochaine génération de frameworks d'agents robotiques génécralistes.

Recherche⚡Actu

1 source

37

4420arXiv cs.RO 

P³ : vers des agents incarnés polyvalents

Des chercheurs ont publié la seconde version d'un article arXiv (2508.07033v2) présentant P³, un framework unifié pour agents incarnés (embodied agents) polyvalents. Le code et les données sont disponibles sur GitHub (fz-zsl/P3). Le framework s'attaque à trois limitations identifiées dans les approches existantes: la perception dynamique de l'environnement, l'usage flexible d'outils, et la planification multi-tâches complexe. Contrairement aux méthodes précédentes qui dépendent uniquement du retour d'agents-outils pour détecter les changements d'environnement et le statut des tâches, ce qui limite l'adaptabilité en temps réel et provoque une accumulation d'erreurs, P³ permet à l'agent de percevoir activement les informations pertinentes directement depuis l'environnement. Il autorise aussi l'utilisation d'outils sans nécessiter de retour systématique, et priorise dynamiquement les tâches urgentes en ajustant leur ordre d'exécution selon leurs dépendances. Les auteurs rapportent des expérimentations en conditions réelles, sans toutefois préciser dans le résumé les métriques chiffrées, le nombre de tâches testées ou les plateformes robotiques utilisées, ce qui invite à la prudence sur la portée exacte des gains démontrés. Cette contribution touche un point sensible du secteur des agents incarnés: l'écart persistant entre les benchmarks académiques et le déploiement pratique. La plupart des architectures actuelles pour robots ou agents autonomes traitent la perception, l'usage d'outils et la planification comme des modules largement indépendants, ce qui les rend fragiles dès que l'environnement change ou que plusieurs tâches concurrentes doivent être arbitrées en temps réel. En proposant un mécanisme de planification dynamique capable de réordonner les priorités selon les dépendances, P³ répond à un problème très concret pour les intégrateurs qui cherchent à déployer des agents capables de gérer plusieurs objectifs simultanément sans supervision humaine constante, un prérequis pour toute application industrielle ou domestique à grande échelle. Le travail s'inscrit dans la lignée des recherches sur les architectures agentiques pour l'IA incarnée, qui combinent perception, raisonnement et action physique ou logicielle, un domaine où rivalisent notamment les approches fondées sur de grands modèles multimodaux couplés à des outils externes. La publication d'une seconde version de l'article, après un premier dépôt, suggère une itération liée à des retours de relecture, signe habituel d'une maturation vers une publication en conférence. La mise à disposition du code sur GitHub permettra à la communauté de reproduire et d'étendre les résultats, étape nécessaire avant toute adoption au-delà du cadre académique.

Recherche❖Paper

1 source

37

4421arXiv cs.RO 

U-Joint CAAMS : évaluation expérimentale d'un manipulateur à continuum à joint universel pour la manipulation aérienne

Des chercheurs présentent un nouveau bras manipulateur continu pour drones multirotors, conçu autour d'articulations universelles renforcées par ressorts plutôt que du classique squelette en Nitinol (NiTi) utilisé jusqu'ici sur ce type de systèmes. Le problème visé est concret : lorsqu'un drone porte une charge utile et manipule un objet, le souffle des hélices et le poids déforment le bras hors de son plan de mouvement, ce qui dégrade la précision de positionnement de l'effecteur terminal. La structure proposée repose sur un squelette tubulaire équipé d'un conduit intégré permettant le routage interne de câbles et l'acheminement de fluides. Les essais en laboratoire, réalisés en air calme puis sous souffle d'hélice maximal et avec des charges variables, montrent une réduction d'erreur moyenne de 2,5 à 4 fois en lacet, de 2 à 45 fois sur l'axe y, et jusqu'à 5 fois en roulis par rapport au bras à squelette NiTi de référence. Cette amélioration s'attaque directement à un verrou pratique de la manipulation aérienne : les bras continus, appréciés pour leur compliance et leur légèreté, restent jusqu'ici trop instables sous perturbation réelle pour des usages industriels fiables, en particulier quand le drone porte une charge en vol stationnaire. Une meilleure résistance à la déformation hors-plan rapproche ces plateformes d'applications de terrain concrètes, comme l'inspection, l'échantillonnage environnemental ou l'agriculture de précision, là où les manipulateurs rigides classiques sont trop lourds ou trop peu compliants pour des tâches de contact délicat. Les manipulateurs continus montés sur drones existent depuis plusieurs années comme alternative légère aux bras rigides, mais leur backbone en alliage à mémoire de forme souffre historiquement de torsion et de flexion incontrôlées sous charge et sous souffle d'hélice, un point faible que cette étude cherche explicitement à corriger. Au-delà des essais en banc, l'équipe a testé la stabilité en vol sous perturbations couplées à différentes vitesses d'actionnement et charges, puis démontré le système sur trois tâches concrètes : prélèvement d'échantillons d'eau, pulvérisation ciblée et transport d'objets, illustrant un potentiel d'usage direct pour l'agriculture et la surveillance environnementale par drone.

Recherche❖Paper

1 source

37

4422arXiv cs.RO 

HUGS : synthèse unifiée de préhension dextérique guidée par des priors humains, à travers modes et échelles

Le laboratoire à l'origine de ce travail de recherche présente HUGS (Human-prior-guided Unified Dexterous Grasp Synthesis), une méthode qui unifie la synthèse de prises dextres robotiques à travers différentes échelles d'objets et différents modes de contact, de la pince à deux doigts à la prise bimanuelle. Plutôt que de recopier directement des démonstrations humaines, le système apprend un a priori conditionné par l'objet à partir d'un jeu de données compact de 1,8K prises collectées sur 304 objets réels, couvrant une large gamme de tailles et de modes de contact. Cet a priori guide ensuite une optimisation qui privilégie la fermeture de force (force-closure), en proposant de façon adaptative les modes de contact et les initialisations de poignet les plus pertinents. Résultat concret : les chercheurs ont synthétisé 3,2 millions de prises robotiques réparties sur 157 000 scènes, avec des objets dont la demi-diagonale varie de 2 à 30 centimètres, allant d'une vis à un grand carton. Cette approche s'attaque à un problème récurrent en robotique dextre : les méthodes existantes s'appuient sur des contacts attendus et des heuristiques d'initialisation conçues manuellement, ce qui limite soit le taux de réussite, soit la diversité des prises générées. En démontrant que des modèles entraînés sur ce jeu de données synthétique choisissent de façon autonome le mode de contact adapté à chaque objet dans le monde réel, HUGS apporte un élément de preuve supplémentaire que l'apprentissage à partir de données synthétiques à grande échelle peut réduire l'écart entre simulation et réalité, un point de friction classique pour les intégrateurs qui cherchent à déployer des mains robotiques polyvalentes en entrepôt ou en usine. Ce travail s'inscrit dans une tendance plus large de la recherche en manipulation robotique, où la génération de données synthétiques massives sert à contourner la rareté des démonstrations humaines réelles, coûteuses à collecter à cette échelle. En s'appuyant sur des préférences de préhension humaines plutôt que sur un simple retargeting geste par geste, les auteurs se positionnent face aux approches purement heuristiques ou purement basées sur l'imitation. Les prochaines étapes attendues concernent le passage à l'échelle sur des mains robotiques physiques variées et l'intégration de ces prises synthétiques dans des pipelines d'apprentissage bout-en-bout pour la manipulation générale.

Recherche❖Paper

1 source

37

4423arXiv cs.RO 

Démonstrations structurées du simple au complexe pour l'apprentissage vision-langage-action

Les chercheurs proposent une nouvelle méthode de collecte de démonstrations pour l'entraînement de modèles Vision-Language-Action (VLA), publiée sur arXiv le 4 juillet 2026 (arXiv:2607.04591v1). Plutôt que de se concentrer sur l'architecture des modèles ou la taille des jeux de données, comme le fait la majorité des travaux récents, l'équipe s'attaque à un maillon jusqu'ici négligé de l'apprentissage par imitation : la manière dont les démonstrations elles-mêmes sont organisées. Leur approche, testée sur une plateforme robotique à double bras, repose sur trois principes: décomposer les tâches de manipulation complexes en sous-compétences apprises progressivement, standardiser l'environnement d'interaction pour limiter la variabilité inutile, et ordonner les démonstrations par complexité croissante plutôt que de les collecter en bloc. Deux tâches servent de banc d'essai: le tri et la préhension de blocs, et le pliage de serviettes. Les auteurs rapportent une amélioration du taux de réussite et une meilleure stabilité d'entraînement par rapport à la méthode de référence, qui consiste à enregistrer directement des trajectoires complètes de bout en bout, sans toutefois détailler de métriques chiffrées précises dans le résumé. Pour l'industrie robotique, ce travail pointe un angle mort du secteur VLA: la course actuelle privilégie l'échelle des modèles et des jeux de données, sur le modèle de Pi-0, GR00T N2 ou Helix, mais néglige souvent la qualité et la structure des données d'apprentissage. Si l'organisation curriculaire des démonstrations s'avère aussi déterminante que le suggèrent ces résultats, cela remettrait en question l'hypothèse dominante selon laquelle il suffit d'accumuler des heures de téléopération pour obtenir des politiques robustes et généralisables sur des tâches longues et séquentielles. Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage par curriculum, déjà éprouvé en apprentissage par renforcement, mais peu exploré pour l'imitation robotique à l'ère des VLA. Alors que les grands acteurs du secteur, qu'il s'agisse de Figure, Tesla avec Optimus ou Physical Intelligence, communiquent surtout sur les capacités finales de leurs robots humanoïdes, cette étude reste à un stade de recherche académique, sans annonce de déploiement industriel. Ses auteurs présentent ces résultats comme une preuve de concept ouvrant la voie à une collecte de données plus efficace et plus scalable pour la manipulation robotique à long horizon.

Recherche❖Paper

1 source

37

4424arXiv cs.RO 

KAM-WM : cartes d'affordance cinématique à partir de modèles du monde latents pour la manipulation robotique

Des chercheurs présentent KAM-WM, une méthode qui extrait des indices visuels d'interaction directement d'un modèle de monde vidéo latent déjà entraîné, sans avoir besoin de le réentraîner ni de simuler de rollouts complets. Le système interroge une seule fois un modèle de génération image-vers-vidéo par flow matching et interprète sa vélocité latente en une étape comme une carte d'affordance cinématique (KAM), qui indique à la fois où le robot doit agir et selon quelle direction de mouvement initier le geste. Un module Perceiver léger compresse cette carte en tokens qui viennent conditionner une politique de diffusion, combinée aux images RGB et aux données de proprioception. Sur les benchmarks LIBERO et RoboTwin2.0, la méthode atteint 90,6% de réussite moyenne sur LIBERO, et respectivement 65,7% et 22,4% sur les configurations Easy et Hard de RoboTwin2.0. L'intérêt principal tient à la distinction entre position et direction du geste. Les approches classiques d'affordance, basées sur des masques de segmentation statiques, indiquent uniquement où interagir mais pas comment amorcer le mouvement. Les comparaisons contrôlées menées par les auteurs montrent qu'une partie significative des gains provient justement de cette information directionnelle, et non de la seule localisation spatiale. Pour l'apprentissage par imitation à partir de peu de démonstrations, cela ouvre une piste pour réduire le nombre d'exemples nécessaires sans coût de calcul supplémentaire au moment de l'exécution, puisqu'aucun rollout du modèle de monde n'est requis en test. Ce travail s'inscrit dans la lignée des recherches sur les priors visuels pour la manipulation robotique, où les politiques conditionnées par affordance cherchent à combler l'écart entre perception et action sans dépendre d'architectures VLA massives comme Pi-0 ou GR00T N2. Contrairement à ces modèles génériques entraînés de bout en bout, KAM-WM mise sur la réutilisation d'un modèle de monde figé, une direction distincte des approches propriétaires des grands acteurs humanoïdes. Les auteurs restent prudents: les résultats se limitent pour l'instant aux environnements simulés LIBERO et RoboTwin2.0, une validation en conditions réelles restant l'étape suivante logique.

Recherche❖Paper

1 source

37

4425arXiv cs.RO 

Latents de mouvement sensibles à la géométrie pour des politiques de manipulation robustes

Ils entraînent GeoMoLa (Geometry-Aware Motion Latents) en prédisant l'évolution de nuages de points plutôt qu'en reconstruisant des images, pour capturer les transformations géométriques 3D sous-jacentes aux gestes de manipulation. Contrairement aux approches existantes qui nécessitent une reconstruction multi-vues, GeoMoLa atteint des performances état de l'art avec une seule caméra RGB-D en entrée. Les auteurs valident la méthode sur plusieurs bancs d'essai de manipulation robotique standards, ainsi que sur des expériences en conditions réelles, où le système parvient à manipuler des objets dans des environnements encombrés avec un nombre minimal de démonstrations. Leurs études d'ablation confirment que c'est la prédiction géométrique, et non la richesse visuelle, qui pilote la performance du modèle. Ce résultat pèse sur un débat central de la robotique manipulative actuelle: faut-il apprendre le mouvement à partir de motifs visuels (pixels, textures, apparence) ou à partir de la géométrie sous-jacente de la scène (formes, profondeur, déplacement des points dans l'espace)? En montrant que des latents entraînés sur la géométrie 4D (espace + temps) généralisent à des scènes visuellement inédites tout en produisant des transformations physiquement cohérentes, l'étude apporte un argument empirique en faveur d'une abstraction du mouvement indépendante de l'apparence. Pour les équipes qui développent des politiques de manipulation type VLA (vision-language-action) destinées à des bras robotiques ou des humanoïdes, cela suggère une voie pour réduire la dépendance à des configurations multi-caméras coûteuses, tout en gagnant en robustesse face au bruit visuel et au clutter, un problème récurrent des déploiements industriels réels. Cette recherche s'inscrit dans la lignée des travaux sur les représentations latentes discrètes pour le contrôle robotique, où plusieurs équipes académiques cherchent depuis quelques années à dépasser les limites des politiques purement pixel-to-action, jugées fragiles hors distribution. L'approche par nuages de points 4D rejoint des efforts plus larges en robotique combinant perception 3D (depth, LiDAR, RGB-D) et apprentissage de politiques, un axe également exploré par des laboratoires travaillant sur les modèles VLA généralistes comme Pi-0 ou GR00T N2. Le papier, publié sur arXiv début juillet 2026, ne précise pas de partenariat industriel ni de déploiement commercial: il s'agit à ce stade d'une contribution de recherche fondamentale, dont la prochaine étape naturelle serait une validation à plus grande échelle sur des plateformes robotiques commerciales.

Recherche❖Paper

1 source

37

4426arXiv cs.RO 

Exp2VLA : permettre la navigation de drones par modèle vision-langage-action à partir de démonstrations d'experts

Des chercheurs proposent Exp2VLA, un pipeline de distillation d'expertise pour la navigation de drones pilotée par le langage, décrit dans une prépublication arXiv (2607.03146v1). Le principe consiste à capturer des comportements experts, qu'ils proviennent de l'apprentissage par renforcement, de la téléopération ou d'autres contrôleurs classiques, puis à convertir ces trajectoires en données d'entraînement pour affiner des modèles vision-langage-action (VLA) de taille compacte. L'objectif est de transférer des stratégies de contrôle existantes vers un modèle unifié capable de comprendre des commandes en langage naturel. Les auteurs ont testé leur approche dans des environnements simulés, à la fois en configuration sim-to-sim et en boucle simulation-in-the-loop, sur des scènes comportant plusieurs objets. Les modèles affinés parviennent à traiter des commandes sémantiques variées et à généraliser à des compositions de cibles jamais vues pendant l'entraînement. Aucun vol réel n'est mentionné à ce stade : les résultats reposent exclusivement sur la simulation. L'enjeu dépasse le simple exercice académique. Les modèles VLA se sont largement développés autour des bras manipulateurs et des humanoïdes, mais leur adaptation aux drones bute sur deux obstacles concrets : le coût de calcul embarqué, souvent incompatible avec les contraintes de poids et d'autonomie d'un UAV, et le manque de robustesse de nombreuses solutions dès que l'environnement se complexifie. En automatisant la conversion de contrôleurs spécialisés en un modèle unique piloté par le langage, Exp2VLA réduit la charge d'intégration manuelle que doivent habituellement assumer les équipes qui déploient de nouveaux comportements robotiques. Pour les intégrateurs et décideurs industriels travaillant sur des flottes de drones autonomes, ce type d'approche illustre une piste pour rendre les systèmes plus flexibles sans repartir d'une architecture de contrôle entièrement nouvelle à chaque nouvelle tâche. Le travail s'inscrit dans la lignée des grands modèles VLA généralistes déjà déployés sur d'autres classes de robots, à l'image de Pi-0 ou GR00T N2 pour les bras et humanoïdes. Son originalité est de cibler spécifiquement les contraintes propres aux UAV plutôt que d'adapter directement des architectures pensées pour des robots au sol. Restant à ce stade un résultat de recherche validé en simulation, la suite logique attendue serait une validation sur drone réel, condition nécessaire avant toute perspective de déploiement opérationnel.

Recherche⚡Actu

1 source

37

4427arXiv cs.RO 

Attention spatiale : adapter les horizons d'exécution des politiques de diffusion via la sensibilité à l'observation

Les chercheurs à l'origine de ce papier arXiv (2607.04739v1) s'attaquent à un problème central des politiques robotiques par imitation basées sur des modèles génératifs : l'échantillonnage de blocs d'actions ("action chunks") via diffusion. Ces méthodes, aujourd'hui largement utilisées pour l'apprentissage par démonstration, exécutent généralement chaque bloc d'actions pendant un horizon fixe, ce qui oblige à choisir entre réactivité et coût de calcul. Les auteurs proposent une métrique baptisée "Spatial Attention", définie comme la norme carrée attendue du gradient de la log-vraisemblance de l'action par rapport à l'observation. Elle mesure la sensibilité de la distribution d'actions de la politique aux variations de l'observation. Leur résultat théorique montre que, à budget d'échantillonnage fixe, l'horizon d'exécution qui minimise la perte de vraisemblance cumulée causée par des perturbations diminue quand la Spatial Attention augmente. En prévoyant les valeurs futures de cette métrique en parallèle du bloc d'actions, le système ajuste dynamiquement l'horizon : plus court dans les phases sensibles, plus long dans les phases stables. Des tests en simulation et sur robot réel, sur tâches standards et perturbées, montrent une amélioration significative des taux de succès par rapport aux méthodes à horizon fixe, à horizon moyen d'exécution comparable. Pour l'industrie robotique, ce travail cible un compromis très concret rencontré par les architectures VLA et de type Diffusion Policy (ACT, Pi-0, RT-2 et consorts) : plus un bloc d'actions est long, moins le système coûte cher en inférence, mais plus il devient vulnérable aux imprévus entre deux replanifications. Une adaptation automatique de cet horizon, sans capteur supplémentaire ni coût de calcul additionnel notable, pourrait rendre les politiques de diffusion plus robustes en environnement réel, un enjeu clé pour tout déploiement en usine ou en logistique où les perturbations sont fréquentes. Ce papier s'inscrit dans la lignée des travaux sur les Diffusion Policies et l'apprentissage par imitation à base de modèles génératifs, un courant de recherche en forte expansion depuis l'introduction de l'action chunking comme alternative aux politiques réactives image-par-image. L'abstract ne précise ni l'institution ni la plateforme robotique utilisée pour les essais réels, et reste pour l'instant au stade de contribution méthodologique validée expérimentalement, sans annonce de déploiement industriel.

Recherche❖Paper

1 source

37

4428arXiv cs.RO 

ROBOCYCLE : manipulation et coordination robotiques autonomes à deux bras pour le recyclage

Des chercheurs présentent ROBOCYCLE, une plateforme robotique autonome à deux bras conçue pour le tri des déchets recyclables, calibrée pour répondre aux normes de recyclage de la métropole de Tokyo. Le système combine une perception RGB-D multi-vues, une segmentation d'instances basée sur le transformeur RF-DETR, et une planification de prise à 6 degrés de liberté (DoF) via le SDK Anygrasp. En traitant des nuages de points segmentés, la plateforme génère des poses de préhension robustes pour des objets irréguliers, déformables ou encombrés (bouteilles en PET froissées, emballages transparents, déchets mélangés). Les résultats annoncés font état d'un taux de réussite de préhension de 90,3% et d'un taux de réussite global des tâches de 84,3%, incluant des opérations coordonnées complexes comme le dévissage de bouchons de bouteilles PET avant tri. Le tri des déchets reste l'un des angles morts de la robotique industrielle : les objets transparents, déformables ou empilés de façon chaotique mettent en échec la plupart des systèmes de vision et de préhension actuels, ce qui oblige encore de nombreux centres de tri à s'appuyer sur du personnel humain malgré des pénuries de main-d'œuvre croissantes dans ce secteur. Un taux de réussite de tâche proche de 85% sur ce type de matériaux, si confirmé en conditions réelles et pas seulement en environnement contrôlé de laboratoire, marquerait une avancée notable par rapport aux pilotes existants, généralement limités à des flux de déchets homogènes ou pré-triés. Pour les opérateurs de centres de tri, les intégrateurs de systèmes et les décideurs municipaux, ROBOCYCLE montre comment l'association de modèles de segmentation récents et de SDK de préhension commerciaux comme Anygrasp permet de construire rapidement des démonstrateurs crédibles, sans développer une pile de perception et de manipulation entièrement propriétaire. ROBOCYCLE s'inscrit dans une vague de recherche académique visant à automatiser le tri sélectif face à la hausse des volumes de déchets urbains, un problème documenté de longue date au Japon, où les normes de recyclage, notamment à Tokyo, comptent parmi les plus strictes au monde. Le projet assemble des briques technologiques existantes plutôt que de proposer un nouveau modèle de bout en bout : RF-DETR pour la segmentation d'instances et Anygrasp pour la planification de prise, deux outils déjà exploités dans d'autres travaux de manipulation robotique en entrepôt. Publié comme article de recherche sur arXiv, ROBOCYCLE reste à ce stade un prototype académique dont les résultats n'ont pas encore été validés par un déploiement commercial ou industriel ; les auteurs ne précisent aucun calendrier de transfert vers un site de tri réel ni d'accord avec un opérateur de gestion des déchets.

Recherche❖Paper

1 source

37

4429arXiv cs.RO 

CoorGrasp : contrôle de contact coordonné pour une préhension dextérique adaptative sous incertitude

Une équipe de recherche propose CoorGrasp, un contrôleur prédictif piloté par le toucher (tactile-driven model predictive controller) conçu pour améliorer l'exécution de prises dextres complexes lorsque la forme ou la position exacte d'un objet reste incertaine. Le problème ciblé est concret : en boucle ouverte, une main robotique dextre a tendance à établir des contacts mal coordonnés entre ses doigts, ce qui provoque des mouvements indésirables de l'objet en main, voire des échecs de prise complets. La méthode repose sur trois apports techniques précis : une séparation des phases sensible à la coordination (approche puis serrage), une coordination bras-main destinée à compenser les erreurs de position, et une coordination adaptative des forces pour augmenter les forces de contact de façon équilibrée entre les points d'appui. Un modèle analytique relie les forces de contact aux mouvements articulaires du robot pour piloter cette commande prédictive. L'équipe a validé l'approche via 15 000 prises simulées portant sur 478 objets différents, testées sur trois mains robotiques distinctes, complétées par des essais réels sur 8 objets physiques. L'enjeu dépasse la seule prouesse algorithmique. Une grande partie de la recherche récente en manipulation dextre s'est concentrée sur la génération de poses de prise (où poser les doigts), en traitant l'exécution comme une étape secondaire. Or c'est précisément cette exécution qui échoue en conditions réelles, quand les capteurs de vision se trompent sur la géométrie ou la position exacte d'un objet. En démontrant un gain mesurable de taux de réussite et une réduction des mouvements parasites de l'objet, ce travail s'attaque directement à l'écart classique entre démonstration en laboratoire et robustesse en environnement non contrôlé, un frein connu à l'adoption industrielle des mains robotiques multi-doigts pour la logistique ou l'assemblage fin. Le point notable de généralité de CoorGrasp est qu'il ne dépend pas d'un type de prise ou d'une configuration de contact particulière : il s'intègre à n'importe quelle méthode existante de génération de poses de prise, ce qui en fait potentiellement une brique complémentaire plutôt qu'un système fermé. Publié sur arXiv début juillet 2026, ce travail s'inscrit dans un effort de recherche plus large visant à combler l'écart entre planification de prise et contrôle tactile en temps réel, un axe suivi de près par les laboratoires travaillant sur les mains dextres pour l'humanoïde et la manipulation fine.

Recherche❖Paper

1 source

37

4430arXiv cs.RO 

Ancrage des affordances par tokens avec de grands modèles vision-langage

Le papier arXiv 2607.03595, publié cette semaine, présente TokAG, une méthode "zero-shot" de localisation d'affordances dans les images, c'est-à-dire l'identification des zones précises qui permettent une action donnée sur un objet (attraper une poignée, s'asseoir sur une chaise, etc.). Contrairement aux approches précédentes qui s'appuyaient sur un apprentissage faiblement supervisé à partir d'étiquettes d'action sur des images à la première personne extérieure (exocentriques), TokAG n'utilise aucune annotation externe. La méthode exploite les cartes d'attention associées aux différents tokens générés par un grand modèle vision-langage (LVLM) : les auteurs montrent que ces cartes varient fortement selon le token choisi, certains pointant vers l'arrière-plan plutôt que vers l'objet ciblé. Un mécanisme de sélection spatiale identifie automatiquement le token dont l'attention se concentre le mieux sur l'objet pertinent, et cette carte est ensuite convertie en carte de chaleur d'affordance. Sur les benchmarks de référence, TokAG améliore le score NSS de 10,7% sur le split "invisible" d'AGD20K et de 29,7% sur HICO-IIF par rapport aux meilleures méthodes faiblement supervisées existantes. L'enjeu dépasse la seule métrique académique : la localisation d'affordances est une brique centrale pour la perception incarnée et l'intelligence physique, notamment en robotique de manipulation, où un système doit repérer où et comment saisir un objet sans supervision spécifique à chaque action. Le problème que ciblent les auteurs est concret : les méthodes précédentes confondaient des actions sémantiquement proches car elles s'appuyaient sur de courtes étiquettes textuelles pauvres en détails, et échouaient sur des images ambiguës où plusieurs actions cohabitent. Montrer qu'un LVLM déjà entraîné encode implicitement assez de signal spatial pour s'en passer va dans le sens d'une tendance plus large : réutiliser les modèles vision-langage-action existants plutôt que ré-entraîner des détecteurs dédiés à chaque tâche. Le travail s'inscrit dans la lignée des recherches sur l'extraction de signaux spatiaux depuis des modèles figés, sans fine-tuning supplémentaire. Les auteurs annoncent la publication future du code et des modèles, ce qui reste à vérifier puisque rien n'est encore disponible au moment de la parution du preprint ; les gains restent donc validés uniquement sur benchmarks internes (AGD20K, HICO-IIF), pas encore testés en conditions réelles de manipulation robotique.

Recherche❖Paper

1 source

37

4431arXiv cs.RO 

Glance-Say : collaboration homme-robot multimodale et reconnaissance d'intention via un regard soutenu

Des chercheurs proposent Glance-Say, un cadre d'interaction multimodale associant regard et parole pour la manipulation robotique assistive destinee aux personnes a mobilité réduite. Le système repose sur un algorithme dit de "regard collant" (sticky-glance) qui stabilise la sélection de cible en cumulant conjointement la distance géométrique et l'évidence directionnelle du regard, un mécanisme conçu pour compenser les micro-saccades oculaires et l'ambiguïté sémantique dans des environnements comportant plusieurs objets. Dans ce paradigme, le regard désigne l'objet vise pendant que la commande vocale précise l'action a exécuter, le tout couple a un schéma de contrôle partage en continu qui maintient le bras robotique en état de haute réactivité tout en intégrant un retour humain-dans-la-boucle. Les expériences rapportées affichent un taux de suivi de 0,92 pour des cibles mobiles, une précision de sélection de 0,97 pour des cibles statiques, ainsi qu'une réduction du temps nécessaire pour accomplir les taches, par rapport aux paradigmes d'interaction de référence. Pour l'assistance robotique aux personnes en situation de handicap moteur, ce travail s'attaque a un verrou concret: les interfaces regard-plus-voix existantes échouent souvent des que plusieurs objets similaires sont présents ou que l'utilisateur bouge la tête, forçant des ré-sélections fastidieuses. Une méthode qui stabilise l'intention en temps réel sans capteur exotique, en s'appuyant sur des signaux de regard et de parole standards, rapproche ce type d'interface d'un usage quotidien réaliste plutôt que d'une démonstration de laboratoire en conditions idéales. Pour les intégrateurs travaillant sur des bras assistifs ou des fauteuils robotises, cela ouvre la voie a des contrôles plus naturels, sans dispositifs de pointage dédiés ni entrainement lourd de l'utilisateur. Ce travail s'inscrit dans la lignée des recherches en interaction cerveau-machine et interfaces oculaires pour l'assistance, un champ historiquement freine par le bruit du regard et l'ambiguïté des commandes vocales isolées. Publie sur arXiv en tant que version révisée, l'article ne mentionne pas de partenariat industriel ni de déploiement au-delà du banc d'essai expérimental; les prochaines étapes attendues concernent une validation sur davantage d'utilisateurs et de scenarios de manipulation réels, ainsi qu'une comparaison plus large face aux systèmes commerciaux d'assistance existants.

Recherche❖Paper

1 source

37

4432arXiv cs.RO 

Ask-to-Clarify : résoudre l'ambiguïté des instructions par un dialogue multi-tours

Des chercheurs proposent Ask-to-Clarify, un cadre qui permet à un robot équipé d'un modèle vision-langage-action (VLA) de poser des questions avant d'agir plutôt que d'exécuter aveuglément une consigne ambiguë. Le système marie un planificateur cognitif basé sur un modèle vision-langage, chargé de mener le dialogue de clarification, à un exécuteur moteur fondé sur la diffusion, chargé du contrôle bas niveau. Les deux modules communiquent via un adaptateur d'alignement sémantico-visuel, une interface qui traduit l'intention exprimée en langage naturel en flux de perception visuelle exploitable par le contrôleur. Pour l'entraîner, les auteurs ont dû résoudre un oubli catastrophique observé lors de leurs premiers essais : le réglage fin sur les tâches de manipulation effaçait entièrement la capacité de dialogue du modèle. Leur parade est une stratégie d'entraînement en deux étapes qui isole la logique conversationnelle de l'apprentissage moteur. Le système a été testé sur 11 tâches de manipulation réelles, où il devance nettement les méthodes existantes. L'enjeu dépasse le confort d'usage. La quasi-totalité des VLA actuels, qu'il s'agisse de familles comme Pi-0 ou GR00T N2, fonctionnent selon un paradigme rigide d'écoute puis d'exécution : ils postulent que l'instruction est claire et agissent sans vérifier, ce qui échoue dès qu'un environnement réel présente plusieurs objets similaires ou une consigne sous-spécifiée d'un utilisateur non expert. C'est précisément l'écart entre démonstrations scénarisées et déploiement réel que pointe régulièrement le secteur. En documentant un oubli catastrophique aussi net entre dialogue et contrôle moteur, ce travail met aussi en garde les équipes qui cherchent à empiler perception, raisonnement et action dans un modèle généraliste unique : ce n'est pas gratuit, cela demande des architectures et des entraînements spécifiquement pensés pour éviter que les compétences s'écrasent entre elles. Historiquement, la clarification d'instructions robotiques passait par des planificateurs externes de type LLM (dans la lignée de SayCan) posés au-dessus d'un contrôleur bas niveau séparé, une architecture en deux blocs disjoints. Ask-to-Clarify s'en distingue en intégrant dialogue et contrôle moteur dans un seul système entraîné de bout en bout, sans primitives d'action codées à la main ni planificateur externe. Les auteurs, dont les travaux sont publiés sur arXiv, envisagent d'étendre l'approche à des instructions et environnements plus variés, au-delà de la simple levée d'ambiguïté.

IA physique⚡Actu

1 source

37

4433arXiv cs.RO 

ADP : a priori dynamiques adverses pour une locomotion humanoïde ancrée physiquement

Des chercheurs publient sur arXiv (arXiv:2607.03454) une nouvelle méthode d'apprentissage baptisée Adversarial Dynamics Priors (ADP), destinée a rendre la marche des robots humanoïdes plus résistante aux chocs et poussées extérieures. Les approches actuelles de type AMP (Adversarial Motion Priors) imposent un style de démarche naturel en imitant des caractéristiques cinématiques du mouvement, mais elles ne regulent pas directement les grandeurs dynamiques sous jacentes: trajectoire du centre de masse, moment centroidal, forces de contact et états de contact au sol. ADP change la cible de l'apprentissage adversarial en remplaçant ces indices de style par des trajectoires générées via optimisation de trajectoire, utilisées comme jeu de référence. Un discriminateur est ensuite entraine a juger si les séquences temporelles produites par la politique de contrôle du robot restent cohérentes avec cette distribution de référence, sans suivi explicite de mouvement imprime a l'avance. Compare a AMP, la référence la plus solide testée, ADP améliore de 16,7% le seuil de réussite a 80% face a une impulsion (J80, une mesure de la force de choc absorbable sans chute), tout en réduisant de 47,9% le temps de récupération moyen et de 35,4% l'erreur de suivi de vitesse après perturbation. Pour l'industrie robotique, ce travail cible un angle mort fréquent des démonstrations commerciales: la résilience a des perturbations réelles et non scriptées, plutôt que la seule fluidité du mouvement en conditions de laboratoire. Les contrôleurs entraines par imitation de style de mouvement produisent souvent des démarches visuellement convaincantes en vidéo mais fragiles des qu'un choc imprévu survient, un écart classique entre démonstration et déploiement réel évoque régulièrement dans le secteur des humanoïdes. En régulant directement la dynamique plutôt que l'apparence du mouvement, ADP fournit une piste concrète pour combler cet écart, un enjeu direct pour les intégrateurs qui envisagent des humanoïdes en environnements industriels non contrôles. Ce travail s'inscrit dans la lignée des méthodes d'apprentissage par imitation adversariale de mouvement (AMP), largement adoptées depuis plusieurs années pour entrainer des politiques de contrôle de robots bipèdes et quadrupèdes en simulation avant transfert au réel. Il ne s'accompagne pas, a ce stade, d'annonce de déploiement sur une plateforme commerciale identifiée: il s'agit d'une contribution de recherche méthodologique, évaluée en simulation, dont la généralisation a du matériel physique reste a démontrer dans de futurs travaux.

Recherche❖Paper

1 source

37

4434arXiv cs.RO 

CABTO : ancrage contextuel d'arbres de comportement pour la manipulation robotique

Des chercheurs présentent CABTO (Context-Aware Behavior Tree grOunding), un framework qui automatise la construction de systèmes d'arbres de comportement (Behavior Trees, BT) pour le contrôle de robots manipulateurs. Les auteurs formalisent d'abord le problème du "BT Grounding" : produire automatiquement, a la fois, les modèles d'action de haut niveau et les politiques de contrôle bas niveau qui rendent un arbre de comportement exécutable, une étape qui exigeait jusqu'ici un travail d'expert manuel conséquent. CABTO s'appuie sur des grands modèles pré-entraines (LLMs) pour explorer heuristiquement l'espace des modèles d'action et des politiques de contrôle possibles, guide par un retour contextuel issu des planificateurs de BT et des observations de l'environnement. Les chercheurs ont évalué leur méthode sur sept ensembles de taches repartis sur trois scenarios distincts de manipulation robotique, et rapportent des résultats montrant l'efficacité et la rapidité de l'approche pour générer des systèmes de BT complets et cohérents. Ce travail cible un goulot d'étranglement concret dans le déploiement des arbres de comportement en robotique : jusqu'ici, faire le lien entre une architecture BT théoriquement valide et son exécution réelle sur un robot demandait un réglage manuel des modèles d'action et des politiques bas niveau, un frein a l'automatisation complète du pipeline de conception de contrôleurs. En automatisant cette étape de "grounding" via des LLMs, CABTO réduit la dépendance a l'expertise humaine pour construire des contrôleurs modulaires et réactifs, un enjeu direct pour les intégrateurs et laboratoires qui cherchent a déployer plus vite des comportements robotiques fiables sans réécrire manuellement chaque politique de bas niveau. Le papier s'inscrit dans le champ émergent du "BT planning", qui fournit des garanties théoriques pour générer automatiquement des arbres de comportement fiables, mais suppose généralement qu'un système BT déjà "ground" (modèles et politiques définis) est disponible en amont. CABTO se positionne comme la première approche a s'attaquer explicitement a cette hypothèse manquante, en s'inscrivant dans la vague plus large des méthodes combinant LLMs et planification symbolique en robotique. La version arXiv consultée est une republication (v2) de l'article.

Recherche❖Paper

1 source

37

4435arXiv cs.RO 

Worldscape-MoE : un modèle du monde à mélange d'experts unifié pour un contrôle d'action hétérogène et évolutif

Une équipe de recherche publie sur arXiv (7 juillet 2026) Worldscape-MoE, un modèle du monde basé sur des Diffusion Transformers combinés à une architecture Mixture-of-Experts (MoE), conçu pour unifier le contrôle d'actions hétérogènes dans les simulateurs génératifs vidéo. Jusqu'ici, les modèles du monde utilisés pour l'IA incarnée traitaient séparément chaque type de commande, trajectoires de caméra, actions robotiques, signaux de jointures de main, avec des interfaces isolées les unes des autres. Worldscape-MoE introduit à la place une injection de contrôle sensible à la modalité, des experts partagés et des experts spécifiques à chaque type de commande, ainsi qu'une stratégie d'entraînement MoE progressive permettant d'ajouter de nouvelles modalités d'action sans tout réentraîner. Les tests couvrent trois domaines, locomotion, manipulation robotique et contrôle égocentrique de la main, avec des résultats évalués sur le benchmark WorldArena. L'apport principal tient dans un résultat contre-intuitif pour le secteur: faire apprendre au même modèle des signaux de contrôle très différents (déplacement d'un robot, geste d'une main, trajectoire de caméra) améliore les performances sur chaque tâche individuelle, plutôt que de les dégrader par interférence. Cela infirme l'hypothèse répandue selon laquelle mélanger les types de supervision dilue la qualité du contrôle. Pour les équipes qui développent des simulateurs destinés à entraîner des politiques robotiques ou des agents VLA (vision-language-action), ce résultat plaide pour des architectures mutualisées plutôt que des modèles du monde spécialisés par tâche, un enjeu direct de coût et de scalabilité pour l'industrie. Le travail s'inscrit dans la montée en puissance des modèles du monde comme infrastructure de base pour l'IA incarnée, à mesure que la fragmentation des interfaces de contrôle devient un frein au passage à l'échelle. Worldscape-MoE se positionne comme une alternative structurelle aux générateurs vidéo contrôlables existants, avec une architecture pensée pour absorber, au fil du temps, nouvelles modalités et nouveaux jeux de données sans repartir de zéro, un axe que les auteurs annoncent vouloir poursuivre avec l'ajout d'experts et de données supplémentaires.

IA physique⚡Actu

1 source

37

4436arXiv cs.RO 

CAC-VLA : un conditionnement d'action contrôlé par le contexte pour les modèles vision-langage-action

Des chercheurs proposent CAC-VLA (Context-Gated Action Conditioning), une nouvelle architecture pour les modèles vision-langage-action (VLA), la famille de systèmes qui pilote de plus en plus de bras et robots humanoïdes generalistes. Le problème identifié: dans les VLA classiques, les représentations visuelles et langagières ne sont pas pensées pour guider directement le contrôle moteur, ce qui laisse à «l'expert action» (le module qui génère la trajectoire) la charge de combler cet écart. Des méthodes récentes tentent de corriger cela avec des modules de raisonnement d'action séparés, mais elles nécessitent des architectures dédiées supplémentaires. CAC-VLA prend une autre voie: il entraîne le modèle vision-langage lui-même à prédire des actions latentes, des représentations compactes encodées à partir de segments d'action futurs, du grossier au fin, puis utilise une «porte de contexte» pour doser en temps réel l'influence de ce signal sur l'expert d'action. Sur les bancs d'essai LIBERO et LIBERO-Plus, la méthode atteint respectivement 98,3% et 89,5% de taux de réussite moyen. Pour l'industrie robotique, l'enjeu dépasse le simple gain de quelques points de benchmark. Le goulot d'étranglement entre compréhension multimodale et motricité précise est l'un des obstacles centraux à la généralisation des VLA au-delà de tâches scriptées, un sujet suivi de près par les équipes qui travaillent sur des systèmes comme π0, GR00T N2 ou Helix. Une interface qui intègre le raisonnement d'action directement dans le VLM, sans framework de génération séparé, simplifierait l'entraînement et le déploiement de ces piles logicielles chez les intégrateurs, réduisant la complexité d'ingénierie souvent invoquée comme frein à la mise en production. Ces résultats restent toutefois obtenus en simulation, sur des suites de tâches standardisées et non sur du matériel réel en usine ou en entrepôt, une nuance importante alors que le secteur multiplie les annonces de percées en manipulation générale. LIBERO et sa variante LIBERO-Plus servent de référence commune pour comparer les approches d'action-conditioning, et la prochaine étape logique pour valider l'intérêt de CAC-VLA sera sa transposition sur des robots physiques et des tâches de manipulation en conditions réelles.

IA physique⚡Actu

1 source

37

4437arXiv cs.RO 

Deform360 : un vaste jeu de données visuotactile multi-vues pour les modèles du monde déformables

Une équipe de recherche publie Deform360, un jeu de données visuotactile de très grande échelle dédié à la modélisation du monde pour les objets déformables, disponible sur arXiv (2607.05390) et sur le site du projet deform360.lhy.xyz. Le dataset couvre 198 objets du quotidien et 1 980 séquences d'interaction, totalisant plus de 215 heures d'observations. La capture repose sur 41 caméras en vue périphérique combinées à des pinces bimanuelles équipées de capteurs tactiles, afin d'enregistrer à la fois le mouvement global des objets et les déformations locales induites par le contact. Les chercheurs ont développé un pipeline de suivi 3D visuotactile sans marqueurs pour extraire une géométrie et un mouvement denses, puis ont évalué plusieurs modèles du monde de référence, comparant les approches vidéo en 2D aux modèles de particules en 3D. Une démonstration préliminaire de planification robotique sur des objets déformables valide l'applicabilité pratique du jeu de données. Cette publication comble un vide méthodologique important pour la robotique de manipulation : la modélisation des objets déformables (tissus, aliments, câbles) reste l'un des angles morts des systèmes actuels, faute de données réelles diversifiées et à grande échelle pour comparer objectivement les paradigmes concurrents. En confrontant directement les modèles 2D pixel et 3D géométrique sur un même benchmark, l'étude apporte des éléments concrets sur l'arbitrage entre a priori structurels et scalabilité, une question centrale pour les intégrateurs qui cherchent des architectures de perception-action robustes face à des matières non rigides, un défi encore largement non résolu comparé à la manipulation d'objets rigides. Les modèles du monde se sont imposés ces dernières années comme brique clé pour la planification robotique, portés par des architectures vidéo génératives d'un côté et des représentations particulaires ou géométriques de l'autre, à l'image des travaux sur les modèles VLA à grande échelle. Jusqu'ici, l'essentiel des jeux de données disponibles restait limité en taille ou en diversité d'objets, freinant les comparaisons rigoureuses entre approches. Deform360 se positionne comme un benchmark de référence pour la communauté et ouvre la voie à des travaux futurs sur la généralisation des modèles du monde centrés objets déformables, un domaine encore émergent où l'écart entre démonstrations en laboratoire et déploiement industriel reste à combler.

Recherche❖Paper

1 source

37

4438arXiv cs.RO 

ACE : contrôle à base d'agents pour la manipulation incarnée via raisonnement de flux de travail zéro-shot

Une équipe de recherche publie sur arXiv (arXiv:2607.04162v1) ACE, pour Agentic Control for Embodied Manipulation, un cadre de raisonnement en zero-shot destiné à la manipulation d'objets sur table à partir d'instructions en langage naturel. Plutôt que de faire correspondre directement le langage à des actions motrices bas niveau, comme le font la plupart des politiques VLA de bout en bout, ACE orchestre un raisonnement de type workflow agentique couplé à deux compétences robotiques réutilisables : une interface de repérage visuel et une primitive générique de saisie-dépose. Le sous-objectif actif est traduit en un masque visuel qui désigne à la fois l'objet cible et sa destination, masque qui est suivi dans le temps, exposé à la vérification humaine, puis transmis à une politique d'exécution indépendante de la tâche. Le système fonctionne en boucle fermée grâce à une mémoire multi-échelle temporelle qui vérifie après chaque action si le sous-objectif a réussi, avant de décider de poursuivre, réessayer, corriger ou replanifier. Sur des tâches longues et logiquement complexes, comme la formation d'équations avec des cubes numérotés ou la récupération d'objets sous contrainte, ACE atteint 50% de réussite pour la formation d'équations et 70% pour la récupération sous contrainte, quand les approches de bout en bout classiques échouent largement sur ces mêmes tâches. Ce résultat cible un point de friction précis du secteur : la capacité d'un système à généraliser à des scènes et contraintes sémantiques inédites sans réentraînement spécifique à la tâche, ce qui reste l'un des principaux écarts entre les démonstrations en laboratoire et un déploiement robuste en environnement réel. En montrant qu'un raisonnement explicite par étapes, combiné à un contrôle médié par masque, surpasse des politiques end-to-end sur des tâches à horizon long, ACE apporte un argument concret pour les intégrateurs et équipes de R&D qui cherchent des architectures de manipulation capables de gérer l'échec d'exécution et la correction humaine en cours de tâche, plutôt que de miser uniquement sur l'échelle des données d'entraînement. ACE s'inscrit dans la lignée des travaux récents sur les architectures agentiques pour la robotique, qui cherchent à combiner les capacités de raisonnement des grands modèles de langage avec des compétences robotiques modulaires et vérifiables, en alternative aux politiques VLA monolithiques comme Pi-0 ou GR00T. Les auteurs positionnent explicitement leur approche contre des baselines de bout en bout sur les mêmes bancs d'essai, mais l'évaluation reste limitée à des scénarios de manipulation tabletop en conditions contrôlées, sans indication de déploiement industriel ni de partenariat annoncé à ce stade.

Recherche❖Paper

1 source

37

4439arXiv cs.RO 

Contrôle prédictif basé sur le nombre de Strouhal pour une locomotion efficace par battement de nageoires multiples

Des chercheurs ont développé un système de contrôle prédictif (Model Predictive Control) sensible au nombre de Strouhal pour piloter un véhicule sous-marin autonome propulsé par quatre nageoires souples battantes. Le nombre de Strouhal, un paramètre adimensionnel qui régit l'efficacité de la propulsion ondulatoire chez les poissons et autres nageurs biologiques, sert ici de guide explicite dans la fonction objectif du contrôleur. Le modèle hydrodynamique quasi-stationnaire intègre une pénalité pour tout écart par rapport à la fenêtre optimale de Strouhal (0,25 à 0,35), et le problème d'optimisation non convexe qui en résulte est résolu via une méthode en deux étapes, combinant échantillonnage et descente de gradient, tournant embarquée à 25 Hz. Lors d'essais en bassin et sur le terrain, le contrôleur a maintenu chaque nageoire dans ce corridor optimal tout en suivant précisément les forces commandées, avec une réduction moyenne de la puissance mécanique de 8,8% à 32% sur la plage de croisière de 0,1 à 0,3 m/s. Le système permet aussi d'atteindre 0,4 m/s, une vitesse inaccessible pour un contrôleur de référence basé sur un modèle inverse classique. Ce résultat est significatif pour la robotique sous-marine et plus largement pour les systèmes à locomotion oscillante: il démontre qu'incorporer un principe physique de premier ordre, validé empiriquement dans le règne animal, directement dans l'objectif d'un contrôleur MPC permet des gains d'endurance tangibles sans sacrifier l'agilité. Pour les concepteurs d'AUV et de robots bio-inspirés, cela ouvre une voie générique vers une locomotion économe en énergie, un enjeu critique pour l'autonomie des missions sous-marines longue durée où chaque watt compte. Le travail s'inscrit dans la lignée des recherches en hydrodynamique bio-inspirée qui cherchent depuis des décennies à traduire les régularités observées chez les poissons en règles de contrôle exploitables. Les approches précédentes reposaient souvent sur des modèles inverses conventionnels, plus simples mais incapables d'exploiter pleinement la physique des écoulements aux vitesses élevées. En couplant explicitement la contrainte de Strouhal à un cadre de contrôle prédictif temps réel, cette approche ouvre la voie à des robots multi-nageoires de nouvelle génération, avec des perspectives d'extension à des configurations de nageoires plus complexes ou à d'autres modes de propulsion oscillante.

Recherche❖Paper

1 source

37

4440arXiv cs.RO 

ObjRetarget : un cadre de retransfert de mouvement sensible aux objets, avec contraintes anthropomorphiques du bras et modélisation polyédrique de la main

Une équipe de recherche présente ObjRetarget, un nouveau framework de retargeting de mouvement humain vers robot destiné à l'apprentissage de la manipulation dextre à partir de vidéos humaines, décrit dans un article publié sur arXiv (2607.03828v1). Le problème visé est classique en intelligence incarnée : transférer fidèlement l'intention humaine observée dans une vidéo vers des actions robotiques exécutables, tout en conservant un contact main-objet stable pendant la manipulation. La méthode combine deux briques. Pour le bras, des trajectoires de référence extraites des vidéos humaines servent de point de départ, affinées par des contraintes anthropomorphiques et une optimisation tenant compte de la redondance cinématique, afin de produire des mouvements naturels et précis. Pour la main, ObjRetarget modélise les contacts multi-doigts via des clusters polyédriques (polytopes) et préserve la structure de contact grâce à des invariants géométriques, ce qui améliore la stabilité du geste. Les tests sur robots réels montrent une amélioration des taux de réussite de manipulation et de la stabilité de contact sur plusieurs tâches dextres, avec une bonne généralisation à de nouvelles démonstrations, poses d'objets et configurations de tâche. Ce travail s'inscrit dans un enjeu central pour l'industrie robotique actuelle : faire fonctionner l'apprentissage par imitation à partir de vidéos humaines à grande échelle, un des piliers annoncés des modèles VLA (vision-language-action) comme GR00T N2, Pi-0 ou Helix. Le point faible historique de ces approches est justement le retargeting, l'étape où l'intention humaine capturée en vidéo doit être traduite en gestes robotiques exploitables sans perdre la qualité du contact physique. En modélisant explicitement le contact plutôt qu'en s'en remettant au reinforcement learning, souvent gourmand en données et peu généralisable, ObjRetarget répond à une limite concrète freinant le passage de la démonstration vidéo à une manipulation dextre fiable en conditions réelles, un enjeu direct pour les intégrateurs travaillant sur des mains robotiques multi-doigts. Le papier se positionne en creux face aux méthodes existantes de retargeting, jugées insuffisantes faute de modélisation de contact explicite. Il s'agit ici d'une contribution de recherche publiée sur arXiv, validée expérimentalement sur robots réels mais sans déploiement industriel ni partenaire commercial annoncé à ce stade, les suites logiques étant une intégration possible dans des pipelines d'apprentissage de politiques robotiques plus larges.

Recherche❖Paper

1 source

37

4441arXiv cs.RO 

Un système robotique de perception-manipulation pour la découpe alimentaire

Une équipe de recherche publie sur arXiv (juillet 2026) un système de perception et manipulation robotique dédié à la découpe alimentaire, l'une des tâches les plus délicates pour les robots de cuisine. Le système combine deux modules : un premier de sélection du couteau, qui s'appuie sur les données de force capturées lors d'une coupe d'essai fixe pour identifier automatiquement l'outil adapté à l'aliment présenté, et un second de découpe adaptative piloté par apprentissage par renforcement (RL), qui ajuste en continu la trajectoire pour équilibrer vitesse de coupe et consommation d'énergie. Dans les expériences menées par les auteurs, le module de sélection de couteau atteint un taux de réussite de 100% sur des aliments jamais vus à l'entraînement, et les chercheurs comparent trois approches, une politique fixe préprogrammée, la politique RL, et des opérateurs humains, sur les mêmes tâches de découpe. L'enjeu dépasse la simple démonstration technique. La découpe alimentaire est réputée difficile à automatiser car les propriétés mécaniques des aliments, texture, dureté, élasticité, varient énormément d'un ingrédient à l'autre, ce qui oblige souvent à changer d'outil et de stratégie de coupe en cours de préparation. En obtenant des performances comparables à celles d'opérateurs humains, tout en automatisant le choix de l'outil via un simple test de force, cette approche adresse un goulot d'étranglement concret pour les robots de cuisine commerciaux, qu'il s'agisse de restauration automatisée, de traitement agroalimentaire ou de cuisine domestique assistée. Ce travail s'inscrit dans un courant de recherche plus large sur les robots de cuisine, un segment encore largement expérimental où la plupart des démonstrations restent limitées à des gestes simples ou répétitifs. Contrairement à une annonce produit, il s'agit ici d'un article de recherche, sans mention de partenaire industriel ni de calendrier de commercialisation. Les auteurs eux-mêmes cadrent leurs résultats comme une preuve de concept, ouvrant la voie à des tests sur une gamme plus large d'aliments et, potentiellement, à une intégration future dans des systèmes robotiques de cuisine plus complets.

Recherche❖Paper

1 source

37

4442arXiv cs.RO 

Mask2Real-WM : les masques de segmentation, un pont simulation-réel pour modèles du monde dextériques contrôlables

Des chercheurs présentent Mask2Real-WM, un modèle du monde conditionné par l'action conçu pour la manipulation dextrale, capable de prédire les conséquences futures d'une séquence de gestes sans avoir à les exécuter sur un robot réel. L'architecture se décompose en deux étages : un modèle de dynamique qui projette des masques de segmentation futurs à partir des masques passés et d'une séquence d'actions à 23 degrés de liberté (DoF), et un modèle de rendu qui convertit ces masques en images RGB photoréalistes via un backbone Stable Video Diffusion augmenté de ControlNet. Le choix de travailler dans l'espace des masques plutôt que directement en pixels réduit l'écart sim-to-real : le modèle de dynamique est préentraîné sur plus de 50 heures de données de simulation synthétique, puis affiné sur moins de 2,5 heures de démonstrations réelles seulement. Testé sur un benchmark de préhension et dépose dextrale, le système contrôle correctement chacun des 23 degrés de liberté de la main robotique. Ce résultat compte car la plupart des modèles du monde actuels, entraînés de bout en bout sur des pixels, reproduisent bien les trajectoires globales du bras ou de l'effecteur mais échouent à refléter les effets fins de chaque articulation individuellement, ce qui limite leur usage pour évaluer ou planifier des politiques de manipulation dextrale fine. En montrant que le conditionnement par masques combiné au préentraînement en simulation permet une contrôlabilité par-DoF complète, l'étude apporte une piste concrète pour réduire la dépendance aux données réelles, coûteuses à collecter sur des mains robotiques à haute dimensionnalité, l'un des goulots d'étranglement identifiés dans le déploiement des politiques VLA à grande échelle. Les modèles du monde conditionnés par l'action s'inscrivent dans une lignée de travaux visant à simuler les conséquences des actions robotiques sans interaction physique répétée, une alternative aux approches reposant sur la simulation physique classique ou l'apprentissage par renforcement en ligne. Le choix de la segmentation comme représentation intermédiaire distingue cette approche des modèles vidéo génératifs monolithiques employés par d'autres équipes travaillant sur la manipulation dextrale. Les auteurs limitent pour l'instant leurs tests à un seul benchmark de pick-and-place, laissant ouverte la question de la généralisation à d'autres tâches ou morphologies de main, une étape nécessaire avant tout usage en production sur des politiques VLA déployées.

Recherche❖Paper

1 source

37

4443arXiv cs.RO 

HiMe : mémoire incarnée hiérarchique pour le contrôle vision-langage-action à long terme

Un article publié le 7 juillet 2026 sur arXiv présente HiMe, un cadre de mémoire hiérarchique pour les modèles Vision-Language-Action (VLA), ces systèmes qui pilotent robots et bras manipulateurs en combinant vision, langage et commande motrice. Les auteurs identifient ce qu'ils appellent le paradoxe fréquence-compétence : les modèles de raisonnement les plus capables sont trop lents pour le contrôle temps réel, tandis que les modèles rapides manquent de capacité de raisonnement pour les tâches longues et non markoviennes, où l'action dépend de tout l'historique et pas seulement de l'observation immédiate. HiMe répond en découplant l'intelligence du robot en trois couches : un Executor haute fréquence pour l'exécution, un Sentry pour la mémoire de travail, et un Planner pour la stratégie long terme, le tout appuyé par une base de connaissances dynamique capable de s'ajouter, se mettre à jour et se supprimer elle même. Pour l'industrie robotique, cette architecture cible un point faible documenté des VLA actuels, à l'image de Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure : leur dépendance à l'observation instantanée, qui les fragilise sur des tâches longues ou nécessitant de se souvenir d'une consigne donnée bien plus tôt. Beaucoup de démonstrations spectaculaires de robots humanoïdes reposent sur des séquences courtes et scriptées ; HiMe s'attaque explicitement à l'écart entre ces démonstrations et des tâches réelles multi-étapes, un angle mort souvent pointé par les intégrateurs. Si la séparation entre réactivité et raisonnement tient à l'échelle, elle offrirait une piste concrète pour concilier les deux sans sacrifier l'un pour l'autre. Le travail s'inscrit dans la lignée des recherches sur la mémoire des agents robotiques, qui cherchent à dépasser les architectures VLA à plat où toute l'information transite par une seule fenêtre de contexte. Les auteurs rapportent de meilleurs taux de réussite que ces références plates sur des tâches à horizon long, ainsi qu'une capacité inédite à corriger ses propres connaissances internes selon les préférences exprimées par un humain. Publié sans affiliation industrielle mise en avant, ce travail reste à ce stade une contribution académique : reste à voir si des laboratoires ou fournisseurs de VLA commerciaux comme Physical Intelligence, Nvidia ou Figure s'en inspireront pour des robots déployés en usine ou en entrepôt.

Recherche⚡Actu

1 source

37

4444arXiv cs.RO 

Recherche autonome de phénomènes visuels épars par modélisation du contexte environnemental

Des chercheurs ont mis au point une méthode permettant à des véhicules sous-marins autonomes (AUV) de localiser efficacement des espèces de corail rares sur un récif, un problème classique en robotique d'exploration où la cible est trop dispersée pour guider directement la recherche. Plutôt que de s'appuyer uniquement sur les détections directes de l'espèce visée, souvent trop rares pour indiquer une direction utile, l'équipe propose d'exploiter le contexte environnemental visuel, c'est-à-dire les caractéristiques d'habitat qui coexistent statistiquement avec l'espèce recherchée. À partir d'une seule image annotée, le système utilise des embeddings DINOv2 au niveau du patch pour détecter en une seule fois, et en temps réel, à la fois la cible et son environnement typique. La méthode a été validée sur des images réelles capturées par un AUV sur deux sites de récifs à Saint-Jean, dans les îles Vierges américaines, avec une simulation offline du déplacement du robot. Résultat: jusqu'à 75% de la cible peut être échantillonnée en environ la moitié du temps requis par une couverture exhaustive du terrain, lorsque l'espèce est rare, avec de meilleures performances que les stratégies de recherche fondées sur la seule détection directe. Pour l'industrie robotique sous-marine et la surveillance environnementale, ce résultat répond à une contrainte très concrète: l'autonomie énergétique limitée des AUV rend la couverture exhaustive d'un récif souvent impossible. En démontrant qu'un signal de contexte, plus dense et plus lisse spatialement que les détections de cible elles-mêmes, permet à un planificateur adaptatif de mieux décider où explorer ensuite, l'étude apporte une alternative concrète aux approches de recherche par balayage systématique ou par détection pure, notamment utile pour la surveillance écologique à grande échelle où les cibles biologiques sont naturellement éparses. Ce travail s'inscrit dans la lignée des recherches sur l'exploration robotique guidée par apprentissage, où des modèles de vision fondationnels comme DINOv2 permettent désormais une détection "one-shot" sans réentraînement lourd, un atout pour des missions de terrain où les données annotées sont rares. Les auteurs positionnent leur approche face aux stratégies de couverture exhaustive et aux méthodes de recherche fondées uniquement sur la détection de cible, qu'ils surpassent dans leurs tests. Les prochaines étapes annoncées concernent le déploiement en conditions réelles, au-delà de la simulation offline utilisée dans cette étude.

Recherche❖Paper

1 source

37

4445arXiv cs.RO 

Occulter l'espace des solutions : attaques adverses indépendantes du planificateur contre la manipulation tolérante

Une équipe de recherche en robotique publie sur arXiv (référence 2607.03758v1, soumission du 3 juillet 2026) un nouveau cadre d'attaque adversariale visant les systèmes de planification de mouvement en manipulation robotique. Baptisé approche "planner-agnostic" et "tolerance-aware", le système ne cible plus une pose exacte à atteindre, comme le faisaient les méthodes précédentes, mais évalue la faisabilité d'une tâche sur une région d'objectif entière, ce qui reflète mieux la réalité des tâches industrielles où une marge de tolérance existe toujours. La méthode fonctionne en deux temps : hors ligne, elle cartographie les capacités cinématiques intrinsèques du bras robotique sous forme de carte de densité d'occupation, révélant où les trajectoires faisables sont les plus denses ou les plus fragiles ; en ligne, elle formule le placement d'obstacles adversariaux comme un problème d'optimisation de couverture maximale sous contrainte de budget, plaçant stratégiquement des obstacles géométriques pour obstruer l'espace des solutions. Des expériences en simulation et en conditions réelles montrent que la méthode provoque de façon fiable des échecs de planification, tout en étant plus efficace en calcul que les approches concurrentes qui nécessitent un accès direct au planificateur (dites "planner-in-the-loop"). Pour l'industrie de la manipulation robotique, ce travail change la donne sur l'évaluation de robustesse : il devient possible de tester la résilience d'un bras robotique face à des perturbations sans connaître ni interroger l'algorithme de planification utilisé, ce qui est précieux pour les intégrateurs qui déploient des systèmes tiers en boîte noire. Cela ouvre la voie à des audits de sécurité et de robustesse standardisés, indépendants du fournisseur de logiciel de planification, un enjeu clé à mesure que les cellules robotiques industrielles se complexifient. Ce travail s'inscrit dans la continuité des recherches sur les attaques adversariales appliquées à la robotique, un domaine jusqu'ici limité par la dépendance à des objectifs de pose exacte et à un accès "oracle" au système visé. En s'affranchissant de ces contraintes, les auteurs positionnent leur méthode comme une alternative généraliste aux baselines existantes, ouvrant la porte à des outils de certification de robustesse applicables plus largement, au-delà d'un planificateur ou d'un fournisseur spécifique.

Recherche❖Paper

1 source

37

4446arXiv cs.RO 

Contrôle de formation haute précision pour systèmes multi-robots hétérogènes via apprentissage par renforcement profond hiérarchique et hybride, informé par la physique

Des chercheurs proposent un nouveau cadre de contrôle pour la formation de flottes de robots hétérogènes, baptisé HHy-PIDRL (hierarchical hybrid physics-informed deep reinforcement learning), publié sur arXiv début juillet 2026. L'architecture repose sur deux couches. La couche supérieure gère la navigation autonome d'un robot leader à direction Ackermann via un algorithme Soft Actor-Critic (SAC), une méthode de deep reinforcement learning reconnue pour sa stabilité d'entraînement. La couche inférieure combine trois briques pour les robots suiveurs omnidirectionnels : un contrôleur physique feed-forward haute-fidélité, un correcteur proportionnel-dérivé (PD) classique, et un contrôleur résiduel adaptatif par apprentissage par renforcement, l'ensemble formant une politique hybride baptisée HM-DRL. Une fonction de récompense hiérarchique spécifique a été conçue pour guider l'apprentissage des suiveurs vers une politique de contrôle stable et affinée. Selon les auteurs, les taux de réussite atteignent 100% aussi bien pour la navigation du leader que pour le maintien de formation des suiveurs, des résultats validés par des expériences d'ablation. Ce travail s'attaque à un problème concret pour l'industrie robotique multi-agents : les méthodes de contrôle classiques exigent des modèles physiques précis et tiennent mal face aux incertitudes de modélisation et aux perturbations externes, tandis que les approches de reinforcement learning bout-en-bout souffrent traditionnellement d'une faible efficacité d'échantillonnage et de convergences instables. En hybridant modèle physique et apprentissage résiduel, l'équipe cherche à concilier la robustesse théorique du contrôle classique avec l'adaptabilité du RL, un enjeu direct pour les opérateurs de flottes de robots mobiles autonomes (AMR) en entrepôt ou en logistique, où l'hétérogénéité des plateformes (Ackermann versus omnidirectionnel) complique la coordination de formation. Cette publication s'inscrit dans une lignée de recherches visant à combiner physics-informed learning et RL pour dépasser les limites respectives des approches purement analytiques ou purement data-driven, une tendance déjà explorée pour la locomotion de robots humanoïdes et le contrôle de bras manipulateurs. Les auteurs annoncent des expériences d'ablation pour isoler la contribution de chaque module, mais les résultats à 100% de réussite, obtenus en simulation selon toute vraisemblance, restent à confirmer en conditions réelles avant tout déploiement industriel.

Recherche❖Paper

1 source

37

4447arXiv cs.RO 

Politique visuomotrice haute fidélité en une étape, via correction récursive, cohérence fréquentielle et flux contrastif

Un article de recherche publié sur arXiv (2607.03865v1) propose une nouvelle méthode pour accélérer drastiquement le contrôle visuomoteur des robots par réseaux génératifs. Les modèles de diffusion et de flow matching, qui modélisent des distributions d'actions multimodales, souffrent d'une latence d'inférence élevée car ils nécessitent typiquement une dizaine d'étapes de calcul (10-step sampling) pour produire une action robotique. Les chercheurs introduisent trois mécanismes complémentaires réunis dans un même cadre : Recursive Consistent Action Flow (RCAF), qui corrige par récursion les erreurs de troncature spatiale ; Dual-Timestep Frequency Consistency (DTFC), qui préserve les détails haute fréquence du mouvement via une cohérence spectrale adaptative ; et Contrastive Flow Matching (CFM), qui sépare les trajectoires d'action enchevêtrées grâce à un objectif répulsif à marge. Testée sur les benchmarks RoboTwin, RoboTwin 2.0, Adroit et DexArt ainsi que sur des plateformes robotiques réelles, l'approche atteint des performances comparables voire supérieures à des politiques génératives à 10 étapes, tout en ne nécessitant qu'un seul passage direct (1 NFE, number of function evaluations). Cette avancée s'attaque à un goulot d'étranglement bien connu du secteur : les politiques de type diffusion ou flow matching produisent des gestes précis et multimodaux, mais leur lenteur d'inférence les rend difficiles à déployer pour du contrôle temps réel sur robot physique. Les méthodes d'accélération en une étape existantes compressaient jusqu'ici tout le processus en une seule grande mise à jour, au prix d'une dérive spatiale, d'une distorsion des fréquences et d'un lissage des modes d'action qui dégradait la précision du geste. Réduire l'inférence à un facteur proche de dix sans sacrifier la qualité rapproche les politiques génératives type VLA d'un usage industriel réel, pour l'intégration robotique ou la manipulation fine. Ce travail s'inscrit dans la lignée des politiques de diffusion pour la robotique popularisées depuis 2023, et des architectures flow matching comme Pi-0, qui ont démontré la puissance des modèles génératifs pour l'action mais peinaient sur la latence. La validation sur plusieurs benchmarks académiques et sur robots réels laisse présager une adoption plus large de ces techniques de compression à mesure que les laboratoires cherchent à rendre les VLA exploitables en production.

Recherche❖Paper

1 source

37

4448arXiv cs.RO 

Optimisation par ancrage pour la reconnaissance thermique surconfiante : audit OOD et récupération du robot kidnappé

Une équipe de recherche publie sur arXiv (arXiv:2607.04745) une méthode baptisée Trajectory-Anchor Optimization (TAO), destinée à corriger une faille connue des systèmes de reconnaissance de lieux visuels thermiques (TIR-VPR) reposant sur des modèles de fondation. Ces frontends offrent une excellente précision de récupération en conditions connues, mais basculent en mode "sur-confiant" dès qu'ils sortent de leur distribution d'entraînement (OOD) ou explorent une zone non cartographiée: ils produisent alors des correspondances de boucle plausibles mais fausses, sans que le score de similarité ne chute pour autant. Le suivi multi-hypothèses classique (MHT) permet en théorie de limiter ce risque en maintenant plusieurs trajectoires candidates en parallèle, mais son coût combinatoire explose et devient incompatible avec les contraintes temps réel de la robotique embarquée. TAO contourne ce problème en transformant la vérification temporelle multi-vues en un alignement de Procrustes SE(2) traité par lots: grâce à une vectorisation tensorielle et à une décomposition SVD unique appliquée en batch, l'algorithme garantit un temps d'exécution borné en O(KN) par image, avec K=100 hypothèses et une fenêtre glissante N=20. Cette approche répond à un vrai angle mort de la robotique autonome: un robot naviguant uniquement en imagerie thermique (environnement enfumé, obscurité totale, tunnel) qui accumule une dérive silencieuse tout en restant "confiant" dans ses estimations peut provoquer une défaillance catastrophique du SLAM, le fameux "kidnapped robot problem". Les résultats montrent une limite nette selon l'échelle: en dessous de 5 mètres, les hallucinations conservent une géométrie localement cohérente qui trompe l'alignement rigide, un problème que la seule géométrie ne peut mathématiquement pas résoudre. Au delà, les 100 hypothèses divergentes se dispersent sur la carte globale, brisant la contrainte de co-visibilité et faisant grimper brutalement le résidu d'optimisation, ce qui permet à TAO d'isoler fiablement les ruptures topologiques catastrophiques à une échelle macroscopique de 10 mètres. Le travail s'inscrit dans la lignée des méthodes de VPR fondées sur des modèles de fondation, plébiscitées pour leur capacité de récupération mais critiquées pour leur absence de signal de confiance fiable hors distribution. En reformulant le MHT en un problème d'algèbre linéaire batché plutôt qu'en recherche arborescente, TAO se positionne comme une couche de sécurité complémentaire aux pipelines existants plutôt qu'un remplacement des embeddings de reconnaissance eux-mêmes. Les auteurs évaluent leur méthode sous un protocole "zero-leakage" strict; une validation sur du matériel robotique réel et des jeux de données de terrain reste l'étape suivante logique avant toute intégration dans des piles SLAM opérationnelles.

Recherche❖Paper

1 source

37

4449arXiv cs.RO 

CN-CBF : fonction de barrière de contrôle neuronale composite pour la navigation robotique en environnements dynamiques

Des chercheurs proposent une nouvelle méthode de conception de fonctions de barrière de contrôle neuronales, baptisée CN-CBF (Composite Neural Control Barrier Function), pour sécuriser la navigation de robots autonomes dans des environnements dynamiques et incertains. L'approche combine plusieurs CBF neuronales individuelles en une seule fonction composite : chacune est entraînée hors ligne à partir de données générées par le cadre de calculabilité Hamilton-Jacobi, afin d'approximer l'ensemble de sécurité optimal face à un obstacle mobile unique. Une architecture neuronale résiduelle garantit que l'ensemble de sécurité estimé ne recoupe jamais l'ensemble d'échec correspondant. La méthode a été testée en simulation sur un robot terrestre et un quadricoptère, puis validée par des expériences matérielles sur les deux plateformes. Comparée aux meilleures méthodes de référence existantes, elle améliore le taux de réussite de la navigation jusqu'à 18%, tout en conservant des longueurs de trajectoire et des temps de déplacement comparables, voire inférieurs. Ce résultat s'attaque à un problème central pour l'industrie robotique : les filtres de sécurité basés sur les CBF sont simples à déployer mais notoirement difficiles à concevoir manuellement, en particulier quand l'environnement change en temps réel. En automatisant et en fiabilisant cette conception via l'apprentissage, CN-CBF pourrait faciliter le déploiement de robots autonomes, mobiles ou volants, dans des environnements partagés avec des obstacles mobiles, humains compris, sans sacrifier l'efficacité des trajectoires. Le passage du simulateur au matériel réel, sur deux morphologies distinctes, robot au sol et drone, est un signal encourageant pour les intégrateurs et les équipes de R&D qui cherchent des garanties de sécurité formelles plutôt que des heuristiques ad hoc, un enjeu clé pour la certification et l'adoption en environnements industriels ou logistiques. Les fonctions de barrière de contrôle sont un outil classique de la théorie du contrôle pour garantir la sécurité formelle des systèmes dynamiques, mais leur conception manuelle devient vite intraitable dès que la dimension ou la complexité de l'environnement augmente. Les approches existantes, qu'elles soient purement basées sur des modèles ou purement apprises, souffrent chacune de limites que les auteurs cherchent explicitement à corriger en combinant apprentissage neuronal et cadre théorique Hamilton-Jacobi. Publié sur arXiv en version révisée, ce travail s'inscrit dans une littérature croissante sur les CBF neuronales pour la robotique mobile et aérienne. Les auteurs mentionnent des évaluations étendues en simulation face à plusieurs méthodes concurrentes ; une extension naturelle consisterait à traiter des scénarios multi-obstacles ou multi-robots, au-delà du cas de l'obstacle mobile unique étudié ici.

Recherche❖Paper

1 source

36

4450arXiv cs.RO 

RoboVista : évaluation des modèles vision-langage pour diverses applications robotiques

Les chercheurs à l'origine de ce travail publient RQA (Robot Question Answering), un cadre d'évaluation modulaire, et RoboVista, un benchmark associé conçu pour tester les modèles vision-langage (VLM) sur des tâches robotiques réelles. RoboVista rassemble 474 instances de questions-réponses visuelles annotées manuellement par des experts, couvrant 39 types de tâches distincts répartis sur l'agriculture, l'industrie, la robotique domestique, la chirurgie assistée, la conduite autonome et divers jeux de données robotiques ouverts. Les données proviennent de systèmes robotiques réels, d'articles de recherche et d'annotations expertes, plutôt que des habituels jeux de données téléopérés de bout en bout. Les expérimentations menées par l'équipe montrent que les VLM de pointe actuels présentent des écarts de performance substantiels sur ces tâches, et des essais complémentaires sur robots physiques révèlent une corrélation forte entre les scores obtenus sur RoboVista et la réussite effective des tâches en conditions réelles. Pour les intégrateurs et décideurs qui évaluent l'usage de VLM comme brique de raisonnement pour des robots polyvalents, ce travail apporte un signal utile: les benchmarks classiques, souvent bâtis sur de la téléopération bout en bout, masquent des lacunes de raisonnement modulaire (perception, planification, décision) que RoboVista rend visibles composant par composant. Le fait que la corrélation avec la performance en conditions réelles soit confirmée par des essais physiques renforce la crédibilité de l'outil comme prédicteur, et non simple exercice académique déconnecté du terrain. Cela vient tempérer l'enthousiasme actuel autour des architectures VLA (vision-language-action) génériques: disposer d'un modèle capable de décrire une scène ne garantit pas qu'il raisonne correctement sur les contraintes physiques et séquentielles propres à chaque secteur, de l'agriculture à la chirurgie. Ce travail s'inscrit dans une lignée de critiques adressées aux benchmarks robotiques existants, jugés trop dépendants de démonstrations téléopérées qui capturent mal la structure de décision sous-jacente aux comportements robotiques. En proposant une décomposition modulaire via le format question-réponse, RQA se positionne comme une alternative complémentaire aux suites d'évaluation end-to-end dominantes dans le secteur, à mesure que les VLM et les architectures VLA gagnent du terrain comme fondation du raisonnement robotique généraliste. La publication ne précise pas de calendrier de mise à disposition publique du benchmark ni d'intégration dans des pipelines industriels existants, mais elle ouvre la voie à des évaluations plus fines des futurs modèles vision-langage déployés sur des flottes robotiques réelles, au-delà des seules démonstrations vidéo.

Recherche❖Paper

1 source