Dossier Manipulation robotique — page 11

Estimation de la pose 6-DOF d'un objet à partir d'un seul contact tactile

Une équipe de recherche publie sur arXiv (réf. 2606.28899) YOTO, pour "You Only Touch Once", un système d'estimation de pose 6-DoF fondé exclusivement sur le toucher. Contrairement aux approches visuelles classiques, YOTO reconstruit la position et l'orientation complète d'un objet à partir d'une seule paire de contacts tactiles simultanés, sans nécessiter d'historique de manipulation. Chaque contact est modélisé comme un nuage de points 3D local, puis localisé sur la surface de l'objet par un réseau coarse-to-fine. Les deux contacts localisés, combinés aux poses calibrées des capteurs, alimentent un solveur SVD en forme fermée, conscient des normales de surface, qui restitue la pose 6-DoF en une seule passe. Le réseau est préentraîné sur des patches tactiles virtuels générés depuis le modèle 3D de l'objet, puis affiné avec un petit nombre de contacts réels, réduisant significativement les besoins en données terrain. Les expériences portent sur quatre objets aux géométries variées avec des capteurs GelSight, et incluent une évaluation comparative entre reconstructions issues de scans mobiles grand public et modèles CAO de référence. Ce travail s'attaque à un angle mort bien documenté de la manipulation robotique : les méthodes visuelles de pose estimation échouent systématiquement en cas d'occlusion, d'éclairage défavorable, ou face à des surfaces réfléchissantes et transparentes, conditions courantes en environnement industriel réel. L'approche à contact unique sans historique constitue un avantage pratique majeur, car elle élimine les séquences d'exploration multi-contacts et s'intègre dans des boucles de manipulation courtes. YOTO surpasse les baselines visuelles et géométriques testées dans les scénarios où la perception visuelle est dégradée. La compatibilité avec des scans mobiles plutôt que des modèles CAO précis abaisse la barrière d'intégration pour des objets non catalogués, un point non négligeable pour les intégrateurs industriels. L'estimation de pose par capteurs tactiles de type GelSight est un axe de recherche actif depuis les travaux pionniers du MIT et de l'entreprise éponyme GelSight Inc. Les méthodes antérieures nécessitaient généralement plusieurs contacts successifs ou un historique de manipulation pour converger ; YOTO rompt avec cette contrainte. Sur le plan compétitif, les pipelines visuels basés sur des modèles de fondation (MegaPose, FoundPose, benchmarks BOP) restent dominants en conditions nominales, mais leur robustesse aux surfaces dégradées est limitée, c'est précisément là que le toucher devient complémentaire. Le code, les modèles entraînés et le jeu de données GelSight seront publiés à l'acceptation de l'article. À ce stade, il s'agit d'un preprint arXiv sans déploiement annoncé ni partenaire industriel identifié.

AERMANI-VLM : prompting structuré et raisonnement pour la manipulation aérienne avec des modèles vision-langage

AERMANI-VLM est un cadre logiciel publié sur arXiv (arXiv:2511.01472v2) conçu pour piloter des manipulateurs aériens (drones équipés de bras robotiques) à partir de commandes en langage naturel, sans réentraînement spécifique à la tâche. Le système décompose le problème en deux couches : un modèle de vision-langage (VLM) pré-entraîné génère un raisonnement pas-à-pas en réponse à des instructions textuelles enrichies de contraintes de sécurité, puis sélectionne parmi une bibliothèque prédéfinie de primitives de vol pour exécuter physiquement l'action. Les auteurs revendiquent une première mondiale dans l'adaptation de VLMs généralistes à la manipulation aérienne sans fine-tuning. Le cadre a été validé en simulation et sur matériel réel sur des tâches pick-and-place multi-étapes, avec généralisation à des objets, commandes et environnements non vus à l'entraînement. Aucun taux de succès chiffré n'est communiqué dans la publication. L'enjeu central qu'AERMANI-VLM cherche à résoudre est le problème des hallucinations dans les systèmes de contrôle robotique basés sur des VLM. Un drone en vol ne tolère pas des commandes incohérentes ou dynamiquement infaisables : une sortie erronée du modèle peut provoquer une chute. En séparant explicitement le raisonnement symbolique du contrôle physique, et en contraignant les sorties à une bibliothèque de primitives flight-safe, les chercheurs contournent ce risque sans modifier les poids du modèle fondation. C'est une alternative architecturale aux approches de fine-tuning type Pi-0 (Physical Intelligence) ou GR00T N2 de NVIDIA, plus légère à déployer mais dont l'extensibilité dépend entièrement de la qualité et de l'exhaustivité de la bibliothèque de compétences. La généralisation annoncée reste à confirmer au-delà du pick-and-place, l'une des tâches les plus simples en manipulation robotique. La manipulation aérienne reste un domaine de recherche confidentiel, distinct des humanoïdes terrestres ou des bras industriels à grande série, mais porteur d'applications en inspection d'infrastructures, logistique en hauteur et défense. AERMANI-VLM s'inscrit dans la tendance des architectures dites "skill library + LLM planner", popularisées par SayCan (Google DeepMind, 2022) et déclinées depuis dans de nombreux contextes robotiques. L'avantage du zero-shot sans collecte de données de démonstration est réel, mais l'approche suppose une bibliothèque de primitives couvrant l'ensemble des comportements attendus, une contrainte de conception souvent sous-estimée en conditions réelles. Les prochaines étapes attendues pour ce type de système incluent des validations en extérieur, des tâches de manipulation plus complexes et la publication de métriques quantitatives sur des benchmarks standardisés.

Exploration de poses-clés : étiquetage automatique de trajectoires et transfert de politique entre robots

Des chercheurs ont publié sur arXiv en juin 2026 une méthode d'étiquetage automatique de trajectoires pour la manipulation robotique, baptisée Keypose Exploration. Le pipeline combine des modèles vision-langage (VLM) pour la détection sémantique d'événements avec une analyse classique de trajectoire pour l'alignement temporel précis, en limitant l'inférence VLM à une seule démonstration par tâche parmi des répétitions. Les données labellisées entraînent une Diffusion Policy (DP) guidée par keyposes, des points de passage critiques qui décomposent des tâches longues en sous-étapes apprenables. Le transfert inter-embodiment est également exploré : des keyposes candidates sont filtrées via une carte d'accessibilité cinématique (reachability map) pour n'orienter la politique que vers des configurations atteignables par le robot cible. Les résultats préliminaires portent sur deux tâches du benchmark robomimic en simulation (assemblage et insertion multimodale). L'annotation manuelle des données de démonstration reste un goulot d'étranglement majeur pour le déploiement de politiques de manipulation à l'échelle industrielle. Réduire l'inférence VLM à un seul exemple par tâche est une contribution pragmatique pour industrialiser l'apprentissage par imitation sans exploser les coûts de labellisation. Sur le transfert inter-embodiment, les conclusions restent prudentes : le conditionnement par keyposes filtrés cinématiquement "peut bénéficier" au transfert zéro-shot sur l'insertion multimodale, mais seulement "lorsque des candidats faisables sont disponibles", une restriction importante que les auteurs reconnaissent explicitement. Il s'agit d'une étude de faisabilité préliminaire en simulation, sans validation sur robots physiques. Ce travail s'inscrit dans l'écosystème de la Diffusion Policy (Chi et al., Columbia/MIT, 2023), devenue socle expérimental standard pour la manipulation généraliste. Le transfert inter-embodiment est un défi structurant du secteur où Physical Intelligence (π0), Google DeepMind (RT-2) et NVIDIA (GR00T N2) investissent massivement pour réduire le coût de re-spécialisation d'une politique entre robots distincts. Le benchmark robomimic (Mandlekar et al., Stanford/NVIDIA) est un standard de simulation, mais le gap sim-to-real reste non adressé dans cet article, et la suite logique serait une validation sur des robots physiques avec mesure de taux de réussite en conditions réelles.

AISPO : estimation de profondeur fiable pour la manipulation d'objets non lambertiens via a priori de forme invariant affine

Une équipe de chercheurs a publié sur arXiv (identifiant 2606.25503) un système de complétion de profondeur baptisé AISPO, destiné à améliorer la fiabilité de la perception 3D lors de la manipulation robotique d'objets à surfaces non-lambertiennes, c'est-à-dire transparents (verres, flacons, plastiques) ou fortement spéculaires (pièces métalliques polies). Ces matériaux posent un problème structurel aux capteurs RGB-D : les mesures de profondeur y sont systématiquement corrompues ou absentes, car ces surfaces ne diffusent pas la lumière infrarouge de façon prévisible. AISPO combine une fusion multi-échelle de caractéristiques RGB-D avec un prior de forme affine-invariant, qui impose une cohérence géométrique locale et corrige les défaillances de profondeur avant qu'elles ne se propagent au planificateur de mouvement et ne génèrent des poses de préhension invalides. L'intérêt industriel est direct : les objets non-lambertiens sont omniprésents en logistique pharmaceutique, en agroalimentaire et en assemblage électronique. La plupart des méthodes de complétion de profondeur existantes sont optimisées pour la précision moyenne sur des benchmarks standardisés, sans garantir la plausibilité physique des cartes de profondeur produites, ce qui suffit pour la reconstruction 3D mais pas pour générer des trajectoires de grasping exécutables. AISPO se distingue en priorisant l'intégrité structurelle des prédictions plutôt que la métrique globale. Les expériences de préhension réelle montrent une amélioration des taux de succès sur objets transparents, bien que l'article ne quantifie pas précisément cet écart, un manque de rigueur notable pour un travail qui se positionne sur la fiabilité. AISPO s'inscrit dans un champ de recherche actif autour de la perception d'objets difficiles à mesurer, aux côtés de travaux comme ClearGrasp (Google Research, 2019) et des jeux de données TransCG et DREDS. La contribution clé est le prior de forme affine-invariant, qui permet une généralisation à des objets et scènes non vus à l'entraînement, un enjeu central du sim-to-real gap. Aucune entreprise industrielle ni laboratoire européen n'est associé à ce travail, qui reste un préprint arXiv sans évaluation par les pairs. Les prochaines étapes naturelles seraient une intégration dans des pipelines de manipulation existants comme OpenVLA ou Pi-0 de Physical Intelligence, et une comparaison quantitative plus rigoureuse sur des benchmarks comme GraspNet-1B.

GRAFT : transfert d'affordances à base de graphes par correspondance de parties

Des chercheurs ont publié sur arXiv (identifiant 2606.25241) GRAFT, un cadre de transfert d'affordance par correspondance de parties pour la manipulation robotique d'objets inconnus. Le principe : à partir d'un seul exemple par objet stocké dans un buffer de démonstrations, GRAFT permet à un robot de manipuler des instances qu'il n'a jamais vues, sans réentraînement. Chaque objet est représenté sous forme de graphe structuré par parties fonctionnelles, avec deux niveaux de descripteurs : des descripteurs au niveau des parties pour retrouver l'instance la plus proche fonctionnellement et géométriquement dans le buffer, puis des descripteurs au niveau des sommets pour localiser les points de contact précis à propager sur le nouvel objet. Ce que GRAFT apporte de concret, c'est la prise en compte explicite de la géométrie, là où les approches précédentes de transfert d'affordance s'appuyaient uniquement sur la similarité sémantique. Retrouver qu'une cafetière et une théière appartiennent à la même catégorie ne suffit pas si leurs anses diffèrent morphologiquement : le point de préhension optimal change, et un robot guidé uniquement par sémantique rate la saisie. En combinant alignement fonctionnel et correspondance géométrique fine des parties, GRAFT vise à réduire les échecs sur les variantes d'un même objet. Pour des intégrateurs en cellule flexible ou des équipes de bin-picking, cela signifie théoriquement moins de démonstrations à collecter pour couvrir la diversité d'un flux de pièces réel. La généralisation à de nouveaux objets avec peu d'exemples est un frein majeur en manipulation depuis des années : les méthodes d'imitation classiques requièrent typiquement des dizaines à des centaines de démonstrations par objet. Des approches récentes comme AnyGrasp, GraspNet ou les méthodes par affordance visuelle fondées sur CLIP (F3RM, CLIP-Fields) cherchent à réduire ce coût via des fondations vision-langage. GRAFT prend le pari inverse, en misant sur la correspondance structurelle de parties plutôt que sur le langage. Il s'agit d'une pré-publication arXiv sans institution mentionnée dans l'abstract et sans résultats quantitatifs accessibles sans lire le papier complet : les benchmarks de référence (YCB, OCID, RLBench) et les comparaisons avec les baselines restent à consulter dans le corps du travail avant toute conclusion sur les performances réelles.

De la correction locale à la généralisation : améliorer les politiques neuro-symboliques avec MEMO

Des chercheurs de Virginia Tech ont publié MEMO (Memory Enhanced Manipulation), un système visant à lever le verrou fondamental des politiques neuro-symboliques en manipulation robotique. Ces architectures utilisent des modèles de vision et de langage (VLM) pour décomposer des tâches complexes en sous-tâches sémantiques, exécutées via des "skills" : primitives de mouvement, fonctions codées ou fragments de trajectoire. La contrainte est structurelle : si la bibliothèque de skills ne couvre pas la situation courante, la politique échoue quelle que soit la qualité du raisonnement de haut niveau. MEMO contourne cette limite en exploitant les corrections en langage naturel des opérateurs humains ("non, va plus haut") : le système collecte, regroupe et reformule ces retours à travers plusieurs utilisateurs et tâches pour synthétiser des templates de skills généralisables, stockés dans un skillbook à récupération augmentée (RAG) consulté à l'exécution pour générer de nouveaux skills à la volée. L'intérêt opérationnel est concret : MEMO déplace le coût d'amélioration depuis les ingénieurs (codage manuel de nouveaux skills) vers les opérateurs terrain, dont les retours naturels deviennent données structurées réutilisables. Les expériences rapportées dans la publication démontrent une généralisation à des tâches inédites là où les baselines existantes échouent, ce qui valide l'hypothèse centrale : l'abstraction des corrections locales produit une guidance plus robuste que le simple rappel du texte exact. Avantage pratique pour les équipes de déploiement : le système n'exige pas de réentraînement du modèle de base, ce qui réduit significativement le coût d'adaptation. Ce travail s'inscrit dans la compétition entre approches neuro-symboliques et approches VLA end-to-end (Vision-Language-Action) comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui apprennent des politiques denses sans décomposition symbolique explicite. Les architectures symboliques conservent des avantages en interprétabilité et modularité, mais pâtissaient précisément de cette rigidité du skill-set post-déploiement ; MEMO tente de combler cet écart sans sacrifier la lisibilité du raisonnement. La publication arXiv (2603.04560) ne mentionne aucun partenaire industriel ni calendrier de commercialisation, positionnant clairement ce travail à un stade TRL expérimental, avec la démonstration consultable sur le site du laboratoire Collab de Virginia Tech.

Apprentissage par auto-imitation temporelle

Un preprint arXiv déposé fin juin 2026 (référence 2606.19752) présente TSIL (Temporal Self-Imitation Learning), un cadre d'apprentissage par renforcement pour les politiques de manipulation robotique sur longues séquences d'actions. Le principe : identifier, au fil de l'entraînement, les trajectoires réussies les plus rapides, puis les convertir en supervision réutilisable pour les itérations suivantes via des cibles temporelles adaptatives conditionnées par la configuration ("configuration-conditioned adaptive temporal targets") et une réimitation pondérée par l'efficacité relative de chaque comportement. La méthode a été évaluée sur 15 tâches de manipulation longue séquence distinctes ; aucun déploiement sur robot physique n'est annoncé dans le papier. L'apport adresse un défaut bien documenté des approches par récompense dense (reward shaping) : un agent peut satisfaire le signal de récompense tout en produisant des comportements lents ou redondants, puisque rien ne pénalise explicitement l'inefficacité temporelle, et les rares séquences vraiment rapides tendent à être oubliées au fil de l'entraînement. TSIL propose de traiter le temps d'exécution lui-même comme signal d'auto-supervision scalable, complémentaire aux récompenses manuelles. Sur les 15 tâches testées, la méthode améliore simultanément l'efficacité d'apprentissage global, l'efficacité de complétion de tâche, la réintégration des comportements rapides et la robustesse aux instabilités d'entraînement. Pour les équipes cherchant à réduire l'ingénierie de récompense sur des tâches industrielles complexes, le signal est pertinent, mais il s'agit d'un résultat de recherche en simulation, non d'un produit validé terrain. TSIL s'inscrit dans la lignée de SAIL (Self-Imitation Learning, Oh et al. 2018) et de HER (Hindsight Experience Replay), deux méthodes exploitant les expériences passées pour guider l'apprentissage par renforcement, en y ajoutant une dimension temporelle explicite absente des approches précédentes. La manipulation longue séquence reste un verrou majeur pour les bras industriels et les humanoïdes ; des acteurs comme Physical Intelligence (Pi-0), Figure AI ou les équipes RL de Boston Dynamics travaillent sur des problématiques similaires. Ce preprint, non encore évalué par des pairs, ne mentionne ni partenaire industriel ni horizon de transfert sur robot réel. La prochaine étape logique sera de tester la robustesse de l'approche hors simulation, là où le sim-to-real gap remet généralement en cause les gains obtenus en environnement contrôlé.

VANDERER : exploration sans carte par politique de diffusion guidée par la curiosité visuelle et l'anticipation

Des chercheurs ont publié sur arXiv (arXiv:2606.14879, juin 2026) un framework d'exploration baptisé VANDERER, conçu pour permettre à des agents mobiles de naviguer dans des environnements inconnus sans construire de carte d'occupation traditionnelle. Le système repose sur un module de curiosité visuelle (Visual Curiosity Module, VCM) qui pilote une politique de diffusion pré-entraînée en s'appuyant exclusivement sur des images monoculaires, sans LiDAR ni caméra de profondeur. Concrètement, le VCM intègre un modèle du monde de navigation qui prédit les conséquences des actions candidates, leur attribue un coût de curiosité, puis oriente le processus de diffusion vers les actions qui maximisent la superficie explorée. Évalué sur des environnements simulés variés, VANDERER explore en moyenne 13,4 % de superficie supplémentaire par rapport à NoMaD, une baseline reconnue dans le domaine de la navigation sans carte. L'intérêt du travail tient à la contrainte matérielle assumée : une seule caméra monoculaire, omniprésente sur les plateformes robotiques à bas coût, là où LiDAR et caméras stéréo restent onéreux ou volumineux. Pour les intégrateurs et les équipes de robotique mobile, VANDERER ouvre la voie à une exploration autonome efficace sur des robots à budget capteur limité, drones, robots de surveillance périmétrique ou AGV en extérieur, sans reconstruction 3D préalable de l'environnement. Les résultats établissent aussi une corrélation directe entre curiosité visuelle (texture, nouveauté apparente de l'image) et curiosité géométrique (zones non cartographiées), ce qui valide l'hypothèse que le signal caméra seul peut servir de proxy fiable à la couverture spatiale réelle dans des contextes extérieurs. C'est un résultat non trivial qui renforce la crédibilité des politiques de diffusion comme couche de planification active, au-delà du simple suivi de waypoints. VANDERER s'inscrit dans un courant de recherche sur la navigation sans carte qui a gagné en traction avec des travaux comme NoMaD et les politiques de navigation de type VLA (Vision-Language-Action). L'approche diffusion policy, popularisée dans la manipulation robotique et reprise dans des projets comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, est ici détournée vers l'exploration spatiale pure. Le papier reste au stade de preprint arXiv et toutes les évaluations sont conduites en simulation : le gap sim-to-real n'est pas adressé, ce qui constitue une limite explicite avant tout déploiement terrain. Les étapes suivantes naturelles seraient des validations sur robots réels en extérieur et l'extension à des scénarios multi-bâtiments ou en environnements intérieurs encombrés.

R2RDreamer : augmentation de données 3D pour des politiques de manipulation 2D spatialement généralisées

Des chercheurs présentent R2RDreamer, un cadre d'augmentation de données pour entraîner des politiques de manipulation robotique à faible coût de collecte, publié en préprint sur arXiv (2606.17040) en juin 2026. Le problème ciblé est la généralisation spatiale : une politique apprise par imitation sur quelques démonstrations réelles échoue souvent dès que l'objet est légèrement déplacé, la caméra repositionée, ou le bras robotique reconfiguré. R2RDreamer part d'un nombre limité de démonstrations réelles et en génère artificiellement des variantes cohérentes. Son pipeline fonctionne en deux étapes : d'abord, un module 3D léger édite les nuages de points incomplets de la scène et les trajectoires de l'effecteur terminal dans un référentiel commun ; ensuite, ces scènes modifiées sont projetées en vidéos de contrôle masquées (avec raisonnement occlusion-aware), puis complétées en séquences RGB temporellement cohérentes par un modèle image-vers-vidéo à contrôle dense. Les expériences valident la méthode sur des tâches de manipulation avec déplacement spatial, en combinaison avec des politiques de type diffusion 2D et des politiques vision-langage-action (VLA). Ce travail s'attaque à un verrou concret du déploiement industriel : le coût prohibitif de la collecte de démonstrations multi-pose, multi-viewpoint en environnement réel. Les approches concurrentes basées sur la simulation (MuJoCo, Isaac Gym) exigent une modélisation précise des objets et restent exposées au sim-to-real gap. Les méthodes real-to-real existantes contournent ce gap mais requièrent une reconstruction 3D complète et produisent des observations adaptées aux politiques sur nuages de points, inadaptées aux pipelines RGB classiques. R2RDreamer déplace la complétion visuelle dans l'espace vidéo 2D, ce qui le rend compatible avec les architectures VLA dominantes comme pi0 ou OpenVLA, sans nécessiter une reconstruction de scène exhaustive. C'est une avancée méthodologique qui pourrait réduire les besoins en données téléopérées d'un facteur significatif, même si les expériences rapportées ne quantifient pas encore de ratio précis. R2RDreamer s'inscrit dans une famille de travaux real-to-real (RoboAgent, GenAug, SceneAug) cherchant à s'affranchir de la simulation. La nouveauté réside dans l'hybridation : garder la rigueur géométrique de l'édition 3D pour les trajectoires, mais déléguer la cohérence visuelle à un modèle vidéo génératif, évitant ainsi les artefacts de rendu 3D. Côté compétiteurs, des approches comme AugmentationX ou les méthodes de diffusion in-painting (Paint-it, RoboGen) font le même pari mais sans édition jointe trajectoire-observation. Aucun partenaire industriel ni calendrier de transfert ne sont mentionnés dans ce preprint : il s'agit d'une contribution de recherche fondamentale, et l'étape suivante probable sera une évaluation sur des plateformes matérielles standardisées (Franka, UR5, ou une humanoïde) avec des benchmarks publics type RoboMimic ou LIBERO.

iPack : rangement intuitif dans des bacs grâce aux grands modèles de langage

Une équipe de chercheurs a publié sur arXiv (papier 2503.08445v2, mars 2025) un travail intitulé iPack, dont le coeur est un système baptisé LLM-Pack, conçu pour automatiser la séquence d'emballage de produits alimentaires. Le principe repose sur la combinaison d'un modèle de langage (LLM) et d'un modèle de vision (VLM) : l'IA identifie visuellement les articles présents dans un panier, puis génère un ordre d'emballage qui reproduit la logique humaine intuitive, en plaçant les produits lourds en premier et les fragiles au-dessus. Le système fonctionne sans entraînement dédié sur de nouveaux articles, son architecture modulaire permettant de substituer les modèles fondamentaux sous-jacents sans modifier le reste du pipeline. Le code source sera rendu public à la publication définitive. Ce travail comble un angle mort notable de la robotique logistique. Le problème du "bin picking" (saisir un objet dans un bac) est intensément étudié depuis des années, mais l'ordre d'emballage séquentiel des courses, pour éviter d'écraser une baguette ou un produit fragile, est resté quasi inexploré. L'approche zero-shot est le point différenciant : elle offre une généralisation immédiate à la variété extrême des SKU en grande distribution, là où les systèmes classiques exigent des catalogues annotés et des cycles de réentraînement. Si les performances se confirment hors conditions de laboratoire, cela représente une brique concrète pour des systèmes de caisse automatisée avec emballage intégré, avec un intérêt direct pour les intégrateurs retail et les enseignes pilotant des projets d'automatisation. La grande distribution automatise en ordre dispersé : les supermarchés sans caissier comme Amazon Fresh ou Auchan Go existent, mais le geste d'emballage reste systématiquement manuel. LLM-Pack se positionne comme la brique manquante entre la détection d'articles et la manipulation robotique. Les concurrents commerciaux directs, tels que Focal Systems ou Mashgin côté vision de caisse, n'ont pas publié d'approche comparable sur le séquençage d'emballage. Il reste cependant à souligner que ce travail est un preprint sans validation industrielle ni déploiement annoncé : les évaluations présentées sont réalisées en environnement contrôlé, et la robustesse sur la variabilité réelle d'un point de vente, avec des milliers de références différentes, reste entièrement à démontrer.

Apprentissage de la manipulation d'objets depuis zéro par interaction contrastive

Une équipe de chercheurs propose sur arXiv (réf. 2606.11525, juin 2025) une méthode baptisée Interaction-weighted Resampling (IWR) pour améliorer l'apprentissage par renforcement contrastif (CRL) appliqué à la manipulation robotique. Le CRL apprend des représentations structurées des dynamiques pour résoudre des tâches conditionnées par objectif, mais peinait à gérer les contacts et les saisies. L'article formalise ce problème en modélisant la dynamique de manipulation comme un processus de Markov lisse par morceaux : les changements de mode induits par les contacts créent des structures d'accessibilité non linéaires que les fonctions d'énergie CRL standard ne représentent pas correctement. L'IWR rééchantillonne de manière pondérée autour des trois phases clés (avant, pendant et après le contact) pour que la représentation apprise préserve ces frontières de mode. En simulation, la méthode améliore de 19,8 % en moyenne les performances par rapport aux méthodes CRL existantes sur plusieurs environnements (contrôle 2D dynamique, manipulation, hockey sur table). En transfert sim-to-real, un agent de hockey sur table conditionné par objectif voit son taux de réussite passer de 25 % à 60 %. Ce résultat est notable pour les équipes qui misent sur le RL pur pour la manipulation, un domaine dominé depuis 2023 par l'imitation learning et les politiques de diffusion comme ACT, Diffusion Policy ou pi-0. Le principal obstacle, la discontinuité dynamique liée aux contacts, était jusqu'ici contourné par des démonstrations humaines ou des curricula manuels ; IWR propose une approche mathématiquement fondée pour l'attaquer sans supervision. La progression de 25 % à 60 % en conditions réelles reste cependant modeste, et le domaine de test (hockey sur table planaire, tâche répétitive et bien contrainte) est éloigné de la dextérité multidimensionnelle requise en milieu industriel. Aucune comparaison directe avec des architectures VLA ou diffusion policy sur des benchmarks communs n'est fournie dans le preprint. Le CRL pour la manipulation avait été porté par des travaux issus de Berkeley et de Google DeepMind (GCRL, QuaSAR), sans jamais franchir le verrou du contact-rich. Ce preprint arXiv de juin 2025, non encore soumis à peer-review, s'inscrit dans un effort académique plus large face à la montée en puissance des VLA comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. Aucun partenaire industriel ni calendrier de déploiement n'est mentionné ; le projet reste à un stade de recherche fondamentale. Le code et les démonstrations vidéo sont disponibles sur la page projet IWR-arxiv.github.io.

GraspFoM : vers une préhension robotique guidée par la reconstruction et les modèles fondation 3D

Une équipe de chercheurs a publié le 10 juin 2026 sur arXiv (référence 2606.08440) GraspFoM, un framework unifié de saisie robotique qui exploite des fondations 3D pré-entraînées, plus précisément SAM3D, pour construire une représentation latente 3D partagée entre deux tâches simultanées : la reconstruction géométrique de l'objet et la prédiction de poses de préhension. L'architecture centrale repose sur un diffuseur de raisonnement de pose tronqué à initialisation par ancres, qui génère des poses continues et multimodales sans dépendre de candidats discrets préétablis, une distinction technique importante par rapport aux pipelines classiques. GraspFoM produit en sortie à la fois des poses de saisie et des reconstructions 3D haute fidélité au format maillage polygonal et 3D Gaussian Splatting (3DGS). Les auteurs rapportent des résultats de pointe sur les benchmarks de reconstruction et de saisie, avec un surcoût en paramètres entraînables qualifié de "limité" mais sans chiffre précis publié. Ce travail adresse un verrou réel dans la manipulation robotique : la saisie sous observation partielle, c'est-à-dire quand la caméra ne voit qu'une fraction de l'objet. Les approches existantes utilisent la géométrie 3D comme étape intermédiaire jetable, sans la capitaliser comme prior réutilisable. GraspFoM rompt avec cette logique en faisant co-évoluer reconstruction et grasping dans un espace latent commun : la reconstruction ancre la géométrie, la supervision de saisie affine ce latent vers les zones de prise pertinentes. Le scorer reconstruction-aware et le residual latent updater formalisent cette rétroaction mutuelle. Pour les intégrateurs en manipulation industrielle ou logistique, cela suggère une meilleure robustesse sur des objets partiellement occultés, sans multiplication des modules ou des paramètres, ce qui est un argument d'efficacité réelle si les expériences réelles confirment les benchmarks. Les fondations 3D comme SAM3D s'inscrivent dans une vague de transferts de connaissances entre vision 2D et représentations 3D, parallèle à l'essor des VLA (Vision-Language-Action models) pour la manipulation généraliste. GraspFoM se positionne différemment des approches purement end-to-end comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA : il mise sur la reconstruction explicite plutôt que sur l'imitation à grande échelle. Les concurrents académiques proches incluent GraspNeRF, Contact-GraspNet et des travaux récents combinant diffusion et géométrie 3D. À ce stade, GraspFoM reste un preprint non validé en conditions réelles, les expériences rapportées étant réalisées sur simulateur ou bancs de test contrôlés. Aucun partenaire industriel ni déploiement pilote n'est mentionné, et aucune timeline de commercialisation n'est communiquée.

Cadre hiérarchique unifiant modèles du monde centrés objets et Diffusion Policy pour tâches robotiques multi-étapes

Des chercheurs ont publié le 9 juin 2026 sur arXiv (référence 2606.08775) un framework baptisé WorldDP, conçu pour résoudre le problème de la manipulation robotique multi-étapes. L'architecture est hiérarchique : un modèle du monde de haut niveau sert de fonction de transition au sein d'un cadre MPC (Model Predictive Control) et optimise des sous-objectifs intermédiaires à l'exécution, tandis qu'une Diffusion Policy de bas niveau se charge d'atteindre concrètement chacun de ces sous-objectifs. Pour structurer la planification, les auteurs introduisent des représentations object-centric qui découplent les entités de l'environnement, permettant au planificateur de raisonner séquentiellement sur chaque objet indépendamment. Évalué sur plusieurs benchmarks de manipulation robotique standards, WorldDP surpasse les baselines existantes selon les auteurs, résultat à prendre comme une affirmation de preprint, sans replication externe à ce stade. Ce travail s'attaque à un verrou reconnu du domaine : les modèles du monde visuels, aussi performants soient-ils sur des tâches isolées comme le reaching ou le grasping, échouent structurellement dès que la tâche exige plusieurs étapes causalement enchaînées. Pour un intégrateur ou un COO industriel, cela touche directement à l'exploitabilité réelle des robots manipulateurs en ligne de production, où les séquences pick-and-place complexes sont la norme. Le couplage entre la planification physiquement ancrée d'un world model et l'exécution fluide d'une Diffusion Policy représente une piste sérieuse pour réduire le sim-to-real gap sur des tâches longue horizon, sans nécessiter de démonstrations humaines exhaustives pour chaque variante de tâche. La Diffusion Policy, popularisée par Chi et al. en 2023, est devenue l'une des architectures de référence pour l'imitation learning en robotique, mais elle reste principalement réactive et peu adaptée au raisonnement causal multi-étapes. Les approches VLA (Vision-Language-Action), portées par Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, intègrent du raisonnement de haut niveau mais via des LLM, avec une latence et un coût computationnel élevés. WorldDP explore une voie intermédiaire, purement visuelle et sans langage, plus proche en philosophie des travaux sur les modèles du monde latents (DreamerV3, RSSM). Il s'agit d'un preprint académique sans déploiement industriel annoncé ; les prochaines étapes naturelles seraient une validation sur hardware réel et des benchmarks comparatifs face aux pipelines VLA actuels.

AffordanceVLA : un modèle VLA qui améliore la génération d'actions grâce à la compréhension des affordances

Des chercheurs ont publié le 6 juin 2026 sur arXiv (réf. 2606.06155) un nouveau framework baptisé AffordanceVLA, conçu pour améliorer la manipulation robotique pilotée par des modèles vision-langage-action (VLA). Le coeur du système repose sur l'introduction de l'affordance comme représentation intermédiaire structurée entre la compréhension sémantique et la génération de commandes motrices. Concrètement, trois modules complémentaires décomposent la tâche : Which2Act identifie l'objet pertinent via une prédiction dans l'espace latent visuel pour filtrer les distracteurs ; Where2Act localise en 2D le point d'interaction via une carte d'affordance estimée ; How2Act raisonne en 3D sur la géométrie de la scène pour guider la politique de manipulation. Ces modules sont intégrés dans une architecture Mixture-of-Transformer (MoT) avec des experts spécialisés, entraînée selon un curriculum progressif en trois étapes. Pour pallier le manque de labels d'affordance denses dans les jeux de données robotiques existants, les auteurs ont développé un pipeline automatisé d'augmentation de données. Les résultats sont validés sur bancs de simulation et en conditions réelles, sans que les métriques quantitatives précises soient encore publiées à ce stade de preprint. Le problème que cible AffordanceVLA est bien documenté dans la communauté VLA : les modèles vision-langage préentraînés encodent une sémantique riche mais abstraite, structurellement incompatible avec les espaces de contrôle moteur continu. Combler ce fossé directement, sans représentation intermédiaire, produit des politiques fragiles face aux variations de scène. L'approche par affordance offre une solution élégante car elle reste géométriquement ancrée tout en restant conditionnée sémantiquement, ce qui facilite la généralisation sim-to-real. Pour les intégrateurs qui déploient des bras manipulateurs en environnement non structuré, ce type de robustesse perceptuelle est un critère clé souvent sacrifié dans les démos labo. Le paysage des VLA pour la manipulation est désormais très concurrentiel : Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, OpenVLA issu de Stanford et Berkeley, ou encore RT-2 de Google DeepMind incarnent différentes approches du même défi. AffordanceVLA se distingue en positionnant explicitement l'affordance comme pont structurel, une direction également explorée par des travaux comme RoboAfford ou UniPI. Ce preprint reste une contribution de recherche, pas un produit commercialisé ; aucun déploiement industriel ni partenariat n'est annoncé. Les prochaines étapes naturelles seront une évaluation sur benchmarks standardisés comme LIBERO ou RLBench, et une confrontation aux modèles de référence avec métriques comparatives publiées.

Affordance2Action : ancrage des affordances guidé par la tâche pour la manipulation en temps réel

Une équipe de chercheurs publie sur arXiv (identifiant 2606.04172) le framework Affordance2Action (A2A), centré sur un problème concret de la manipulation robotique : identifier en temps réel quelle partie précise d'un objet est fonctionnellement exploitable pour accomplir une tâche donnée, dans une scène encombrée et ambigüe. Le coeur du travail est A2A-Bench, un benchmark de manipulation couvrant à la fois les correspondances instruction-région unique et multi-région, c'est-à-dire les cas où un seul verbe d'action peut pointer vers une ou plusieurs zones fonctionnelles selon la disposition de la scène. Pour construire ce dataset à grande échelle, les auteurs ont développé A2A-AffordGen, un pipeline assisté par agents qui enchaîne filtrage par modèle de langage, segmentation interactive de parties, raffinement par masquage d'instance, génération d'instructions de raisonnement et vérification humaine. Le code et les datasets seront rendus publics. Ce travail expose une lacune structurelle des benchmarks existants en affordance : la plupart se concentrent sur la préhension d'objet isolé, s'appuient sur des scènes synthétiques, ou supposent une correspondance univoque entre instruction et région. A2A révèle des écarts significatifs dans trois catégories de baseline (segmentation générique, grounding fondé sur des VLMs et distillation d'affordance) sur des scènes réelles et multi-objets. Pour un intégrateur ou un responsable d'automatisation, ce résultat indique que les approches actuelles basées sur des VLMs généralistes (type CLIP ou LLaVA) sous-performent dès que la scène sort des cas standards. La capacité à localiser des régions fonctionnelles ambigües en temps réel reste un verrou non résolu pour le déploiement de bras manipulateurs en environnement non structuré. L'affordance grounding en robotique s'inscrit dans une longue tradition de recherche remontant aux travaux de Gibson sur les affordances écologiques, réinterprétés pour la manipulation depuis les années 2010. Les approches concurrentes incluent des méthodes de grounding fondées sur des modèles de vision-langage (CLIP, SAM couplé à LLM) et des politiques de type VLA (Vision-Language-Action), comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui nécessitent elles aussi une localisation précise des régions d'interaction. A2A se positionne comme un cadre d'évaluation et de supervision plutôt que comme une politique de contrôle complète. La prochaine étape logique serait une validation sur robots physiques à plus grande échelle : le papier démontre des résultats en manipulation conditionnée par les affordances, mais la portée reste expérimentale à ce stade de preprint.

Vers une navigation aérienne VLA précisément alignée sur l'intention via GRPO guidé par des experts

Une équipe de chercheurs publie aujourd'hui sur arXiv (réf. 2606.02313) un framework d'apprentissage par renforcement destiné à améliorer la navigation aérienne autonome de drones via des modèles Vision-Language-Action (VLA). Le coeur du dispositif, baptisé EG-GRPO (Expert-Guided Group Relative Policy Optimization), combine un entraînement par renforcement en ligne avec un petit ensemble de trajectoires expertes (few-shot). Résultat annoncé : un taux de succès multiplié par 2,13 par rapport à la baseline en fine-tuning supervisé classique (SFT), et une amélioration de 60,9 % sur l'alignement avec les instructions humaines complexes. Le pipeline hétérogène développé en parallèle simulation/inférence réduit le temps de collecte de rollouts de 43,5 %, point critique quand l'entraînement RL doit couvrir un espace de vol tridimensionnel continu. L'enjeu industriel est réel : les modèles VLA, qui mappent directement des instructions en langage naturel vers des actions motrices, peinent jusqu'ici sur les UAV. Contrairement à la manipulation robotique en espace contraint, la navigation aérienne implique un espace d'exploration quasi-infini où le SFT classique souffre de rareté des données et d'une supervision trop grossière pour des intentions fines ("survole le bâtiment, puis pivote à 90° avant la ligne rouge"). EG-GRPO adresse ce problème en guidant l'exploration par quelques démonstrations expertes plutôt qu'en s'appuyant sur une exploration purement aléatoire. Cela représente une avancée potentielle pour les opérateurs de flottes de drones industriels, les intégrateurs en logistique, inspection d'infrastructures ou intervention en zones difficiles. La note de prudence s'impose cependant : les métriques sont issues de simulations, et le gap sim-to-real sur les UAV reste un problème non résolu dans la littérature. Ce travail s'inscrit dans un mouvement plus large d'application des VLA à la robotique physique. GRPO est la méthode d'optimisation popularisée par DeepSeek-R1 pour les LLM raisonneurs ; son adaptation à l'action physique aérienne suit le chemin tracé par des modèles comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, mais ceux-ci ciblent la manipulation en espace clos. Côté drones, les travaux de navigation autonome par langage naturel restent majoritairement académiques. Ce preprint n'annonce ni déploiement, ni partenaire industriel, ni timeline commerciale : c'est une contribution de recherche fondamentale, dont la valeur dépendra des résultats en conditions réelles.

Les avancées en prélèvement robotisé par caisse et à l'unité

Le 3 juin 2026 à midi (heure de New York), un webinaire gratuit réunit plusieurs acteurs de la logistique robotisée autour de la préhension automatisée de colis et d'unités individuelles (désignée dans l'industrie par "case and each picking"). La table ronde virtuelle rassemble Annie Bowlby, directrice produit et ingénierie chez RightHand Robotics, ancienne responsable produit chez Neurala et cheffe de produit chez Rockwell Automation ; Gina Chung, directrice stratégie chez Locus Robotics, qui revendique plus de 17 000 robots déployés sur plus de 360 sites dans le monde ; et Josh Cloer, directeur général de Nomagic pour l'Amérique du Nord, issu de Mujin et de Mobile Industrial Robots (MiR). Les sujets couverts incluent les avancées en manipulation robotique, le concept de "data flywheel" (boucle de rétroaction de données réelles pour affiner les modèles d'IA guidant la préhension), et la place future de la supervision humaine dans les opérations de fulfillment. L'automatisation du picking unitaire reste l'un des verrous les plus tenaces de la logistique entrepôt. Jusqu'à récemment, un opérateur humain surpassait les robots en vitesse et en précision pour manipuler des SKUs individuels ou des cartons de formats variés. Mais la pénurie de main-d'oeuvre, le coût croissant du travail, les blessures liées aux gestes répétitifs et la variabilité de productivité humaine ont accéléré l'adoption des solutions robotiques. Le webinaire aborde explicitement le défi des formes, matériaux et poids hétérogènes, principal obstacle à la généralisation de la préhension automatisée au-delà des environnements très normalisés. La notion de "data flywheel" est présentée comme le mécanisme clé permettant d'améliorer la robustesse en conditions réelles plutôt qu'en simulation contrôlée, sujet central du débat sim-to-real qui structure encore largement la recherche en manipulation robotique. L'émergence de ce segment reflète une consolidation progressive du marché. RightHand Robotics est positionné sur la préhension unitaire en entrepôt depuis plusieurs années, tandis que Locus Robotics, issu de la première vague d'AMR (robots mobiles autonomes), étend ses capacités vers la manipulation à valeur ajoutée. Nomagic, fondé en Europe et désormais en phase d'expansion nord-américaine, mise sur une approche dite de "physical AI" pour différencier ses solutions dans les opérations de fulfillment. Les concurrents directs dans cet espace incluent Covariant (intégré depuis par Amazon), Dexterity et, dans un registre plus industriel, Boston Dynamics. Il convient de noter que ce webinaire est un échange sectoriel et non un lancement produit ou une annonce de déploiement : aucune nouvelle solution ni chiffre de performance inédit ne sont présentés. La session sera disponible en rediffusion après la diffusion en direct du 3 juin.

Téléopération en temps réel d'un bras manipulateur en environnement dynamique via un cadre VR

Une équipe de chercheurs a publié sur arXiv (preprint 2605.30989, mai 2026) un framework de téléopération en réalité virtuelle pour piloter un bras manipulateur 7-DOF en temps réel dans des environnements dynamiques. Le système intègre un solveur de cinématique inverse (IK) accéléré sur GPU et un module d'optimisation de trajectoires directement dans l'interface VR, générant des commandes articulaires réalisables à chaque cycle de contrôle. Les expériences couvrent trois scénarios : environnement sans obstacle, avec obstacles statiques, et avec obstacles en mouvement. Dans les trois cas, le système maintient une trajectoire conforme aux intentions de l'opérateur tout en produisant des déviations sécurisées lorsqu'un obstacle interfère avec le chemin commandé. L'intérêt de cette approche réside dans l'adresse d'une lacune connue : la majorité des systèmes de téléopération VR existants ont été conçus comme outils de collecte de données pour l'apprentissage par imitation, sans traiter explicitement les risques de collision ni les erreurs d'opérateurs novices. Ce framework cible un déploiement opérationnel réel dans des environnements à accès difficile ou dangereux (zones irradiées, maintenance industrielle à distance). La capacité à gérer des obstacles mobiles en temps réel, sans interrompre la boucle de contrôle, représente un passage de la démonstration en labo vers une robustesse compatible avec le terrain. Cela dit, les conditions exactes des tests (vitesse des obstacles, latence réseau, durée des séquences) ne sont pas détaillées dans l'abstract, ce qui invite à la prudence sur la généralisation des résultats. La téléopération VR pour la manipulation robotique connaît un regain d'intérêt depuis 2022-2023, portée par des projets comme AnyTeleop, UMI (Universal Manipulation Interface) de Stanford, et les systèmes de collecte de données de Physical Intelligence (pi0). Ces travaux ont majoritairement servi à entraîner des politiques de manipulation, reléguant la sécurité opérationnelle au second plan. En Europe, des acteurs comme Enchanted Tools et des laboratoires comme le LIRMM travaillent sur des problématiques voisines d'interaction humain-robot sécurisée. Ce preprint se positionne comme une brique vers une téléopération déployable plutôt que comme un produit fini, et les prochaines étapes restent à définir : intégration avec des politiques VLA, tests en conditions réelles ou validation en environnement industriel certifié.

Politique de contrainte de surface pour l'apprentissage de compétences robotiques contraintes et dynamiquement réalisables

Des chercheurs ont déposé en mai 2026 sur arXiv (identifiant 2605.31321) un article présentant la Surface Constraint Policy (SCP), une méthode destinée à améliorer la fiabilité des robots dans des tâches de manipulation dextre impliquant des contraintes de surface complexes et de forme libre. L'approche encode la géométrie de surface à partir de démonstrations humaines via une fonction noyau gaussien pondérée en deux dimensions. Sur cette base, une politique de diffusion infère des intentions d'action à partir d'entrées multimodales (observations visuelles et retour d'état du robot), qui sont ensuite transformées en primitives de mouvement dynamique contraintes à la surface (DMPs, Dynamic Movement Primitives) via une méthode de mapping par similarité. Ce pipeline produit des trajectoires à la fois géométriquement admissibles et dynamiquement réalisables. Les auteurs font état de taux de succès et d'une stabilité de contact supérieurs aux méthodes comparées, sans que le résumé ne détaille les métriques précises ni les benchmarks utilisés. Ce travail pointe un angle mort persistant des approches actuelles d'apprentissage par imitation à base de diffusion : les politiques classiques génèrent des actions de manière stochastique, sans modéliser explicitement la géométrie de la surface de contact. En pratique, cela se traduit par des glissements, des décrochages ou des trajectoires physiquement inadmissibles, problèmes rédhibitoires pour des applications industrielles comme le polissage, l'assemblage surfacique ou le soudage. L'originalité de SCP tient à l'intégration des contraintes géométriques dès la génération d'action, couplée à des DMPs qui garantissent la faisabilité dynamique. Pour les intégrateurs et les équipes R&D, cette approche représente un pas concret vers la répétabilité requise en production, là où la stabilité du contact prime sur la généralisation toutes-tâches. Ce travail s'inscrit dans une vague de recherche intense autour des politiques de diffusion pour la manipulation robotique, initiée par Diffusion Policy (Chi et al., 2023, Columbia University) et accélérée par des acteurs comme Physical Intelligence avec pi0, Google DeepMind avec RT-2, ou encore ACT de Stanford. Les primitives de mouvement dynamique mobilisées ici sont un outil classique de la robotique depuis les travaux de Schaal dans les années 2000, mais leur couplage avec un pipeline de diffusion moderne pour gérer des contraintes surfaciques constitue l'apport original de la méthode. Les limitations pointées par les auteurs sont partagées par la plupart des architectures VLA actuelles, ce qui signale un axe de recherche pertinent pour quiconque vise le déploiement industriel. Les prochaines étapes naturelles incluraient une validation sur des surfaces déformables ou en mouvement, ainsi qu'un test de passage à l'échelle avec une plus grande diversité de tâches et de morphologies robotiques.

Sélection et planification simultanées des contacts pour la manipulation riche en contacts par optimisation en cascade

Des chercheurs ont publié sur arXiv (référence 2605.27972) un cadre d'optimisation en cascade baptisé SCSP, pour Simultaneous Contact Selection and Planning, dédié à la manipulation robotique en contact riche. Ce type de manipulation regroupe les tâches où le bras doit gérer plusieurs points de contact dynamiques : pivotement d'objet, manipulation en main, assemblage serré. Le système repose sur deux modules séquentiels : CSO (Contact Selection Optimization), qui détermine automatiquement les localisations de contact optimales sur l'objet cible, et CPO (Contact Planning Optimization), qui génère ensuite les trajectoires de manipulation correspondantes en temps réel pour des bras redondants à sept degrés de liberté ou plus. Les auteurs valident l'approche en simulation et sur robot physique, sur des tâches décrites comme complexes, sans que l'abstract ne fournisse de métriques de temps de cycle ou de taux de succès chiffrés. Le verrou que SCSP prétend lever est structurant pour la manipulation autonome : la quasi-totalité des méthodes contact-implicit existantes suppose que la séquence de points de contact est définie à l'avance par l'opérateur. Le robot optimise la trajectoire, pas l'endroit où il entre en contact. CSO contourne les deux obstacles qui rendaient la sélection active difficile, à savoir la complémentarité dans la dynamique de contact et les gradients parcimonieux, en substituant un modèle de contact approché et différentiable au modèle physique discontinu, couplé à une optimisation discrète-continue. CPO exploite ensuite ces localisations comme prior pour planifier en temps réel. Si le comportement se généralise hors simulation, le framework permettrait d'aborder des tâches de manipulation substantiellement plus complexes sans paramétrage manuel des modes de contact, ce qui est aujourd'hui l'un des goulots d'étranglement principaux en intégration industrielle. Le champ de la manipulation en contact riche est partagé entre deux grandes familles : l'optimisation classique (contact-implicit trajectory optimization, MPC) et l'apprentissage (VLA, diffusion policies), portées notamment par Physical Intelligence avec Pi-0, Covariant et Figure AI. SCSP s'inscrit dans la ligne optimisation, plus interprétable et potentiellement plus robuste hors distribution que les approches end-to-end. L'identité institutionnelle des auteurs n'apparaît pas dans l'abstract arXiv, ce qui complique l'évaluation de la maturité et du soutien financier derrière le travail. Les démonstrations vidéo disponibles sur le site projet constitueront le vrai test de crédibilité avant tout positionnement industriel.

Sur les capacités de généralisation, les choix de conception et les limites de l'apprentissage par imitation de points clés

Une équipe de chercheurs publie en mai 2026 sur arXiv (arXiv:2605.26649) une évaluation systématique du Keypoint Imitation Learning (KIL), méthode d'apprentissage par imitation pour la manipulation robotique. Le principe : plutôt que d'alimenter directement un modèle avec des images RGB brutes, on extrait d'abord des points-clés visuels via des modèles fondationnels (de type DINOv2 ou SAM), utilisés comme représentation intermédiaire compacte. Sur plus de 2 000 exécutions réelles couvrant cinq tâches de manipulation distinctes, le KIL atteint un taux de succès global de 75 %, contre 47 % pour la baseline RGB pure, et légèrement au-dessus de S2-diffusion (73 %), méthode concurrente fondée sur la diffusion. L'étude teste également la généralisation à des objets et configurations de scène inédits, et étend la méthode aux tâches impliquant plusieurs instances d'un même objet. Ce résultat consolide le KIL comme approche data-efficiente : moins de démonstrations humaines sont nécessaires pour atteindre une performance correcte, ce qui est un levier critique pour tout intégrateur cherchant à réduire le coût d'annotation en manipulation industrielle. Cependant, les auteurs tempèrent eux-mêmes l'enthousiasme : le KIL ne surpasse pas systématiquement les représentations alternatives sur l'ensemble des métriques, et hérite des limitations des modèles fondationnels utilisés pour l'extraction des points-clés, notamment la sensibilité aux occultations et aux ambiguïtés multi-instances. Les 75 % annoncés couvrent cinq tâches sans détail des conditions exactes de chaque scénario, et les vidéos disponibles sur le site compagnon restent des démonstrations sélectionnées, pas une validation en production. L'apprentissage par imitation à base de RGB souffre depuis plusieurs années d'une faible généralisation hors distribution, ce qui a stimulé des travaux sur les représentations intermédiaires : keypoints, poses 6D, champs de distance implicites. Côté positionnement concurrentiel, les approches par diffusion (Diffusion Policy, S2-diffusion) et les VLA (Vision-Language-Action, dont OpenVLA ou pi-0 de Physical Intelligence) dominent actuellement la recherche en manipulation dextère. Le KIL se positionne comme alternative plus légère et plus interprétable, sans prétendre détrôner ces approches sur les tâches complexes. Les auteurs indiquent comme suites l'extension à des scènes plus encombrées et la robustification de l'extraction de keypoints face aux imperfections des modèles fondationnels.

PoseRefer : paramètres locaux de chemin pour la résolution de références sémantiques

Une équipe de recherche publiée sur arXiv (2605.24622, mai 2026) propose PoseRefer, une architecture d'ancrage sémantique destinée à résoudre des références déictiques en robotique, du type "pose la tasse sur celle-là". Le système fusionne trois canaux d'information : la gestuelle corporelle (pose 3D), le langage naturel, et la géométrie de la scène encodée dans un graphe de scène 3D. Pour l'évaluation, les auteurs s'appuient sur MM-Conv, un corpus capturant des gestes co-verbaux naturels lors d'interactions dyadiques en réalité virtuelle, avec motion capture corps entier et annotations de scène 3D. L'architecture retenue est un late-fusion découplé : les branches pose et texte ne partagent aucun paramètre appris. La fusion avec des embeddings de catégorie MiniLM figés dépasse la branche pose seule et la meilleure configuration texte seule sur tous les types de référence, atteignant 31,9 % en top-1. Ce résultat a une implication méthodologique directe pour les équipes qui développent des systèmes de grounding sémantique, notamment pour les VLA (Vision-Language-Action models) déployés en manipulation robotique. La valeur de 31,9 % peut sembler modeste, mais l'apport principal n'est pas le chiffre absolu : c'est le diagnostic architectural. Les auteurs montrent qu'un "scalar gate" appris change de politique selon que la branche texte a accès ou non aux catégories d'objets. Sans découplage strict des branches, il devient impossible de distinguer un gain de fusion réel d'un artefact lié à la représentation des catégories. Autrement dit, de nombreuses évaluations de systèmes multimodaux publiées jusqu'ici pourraient surestimer la contribution réelle de la gestuelle. Les benchmarks 3D existants présentent des biais connus : descriptions rédigées après coup, gestes modélisés hors contexte, pointage mis en scène pour la caméra. MM-Conv tente de combler cet écart en capturant des interactions spontanées. Dans le paysage concurrentiel du grounding multimodal, les approches à fusion jointe (paramètres partagés entre modalités) dominent encore les classements publics, mais PoseRefer suggère que ces gains peuvent être trompeurs. Aucun déploiement industriel ni partenariat n'est annoncé à ce stade : il s'agit d'un papier de recherche fondamentale, dont l'impact dépendra de l'adoption de MM-Conv comme protocole d'évaluation standard par la communauté HRI et robotique manipulation.

Afford-VLA : planification visuelle alignée sur les actions via l'affordance internalisée

Une équipe de chercheurs publie Afford-VLA (arXiv:2605.24203, mai 2026), un cadre unifié pour améliorer le raisonnement spatial des modèles vision-langage-action (VLA) appliqués à la manipulation robotique. Le problème ciblé est précis : les VLA actuels peinent à déterminer où interagir dans des scènes visuelles complexes, une lacune qui limite leur généralisation sur des tâches de manipulation réelle. Afford-VLA internalise l'affordance conditionnée par la tâche comme interface de planification visuelle explicite au sein du modèle lui-même : des tokens apprenables interrogent les régions d'interaction pertinentes, des masques d'affordance sont décodés depuis les représentations multimodales, puis convertis en embeddings compacts qui conditionnent directement la prédiction d'action. Le système est évalué sur LIBERO, LIBERO-Plus et SimplerEnv, trois bancs de test simulés standards en manipulation, ainsi que sur des expériences en conditions réelles. Les auteurs revendiquent des performances état-de-l'art sur ces benchmarks, sans toutefois détailler les métriques précises dans l'abstract. L'intérêt architectural réside dans le couplage serré entre perception et action : contrairement aux approches existantes qui génèrent des signaux visuels intermédiaires de manière externe ou recourent à des représentations symboliques faiblement reliées au contrôle moteur, Afford-VLA génère et consomme l'affordance au sein du même pipeline. Ce choix évite le découplage habituel entre planification visuelle et prédiction d'action, un problème récurrent dans les VLA de première génération. Pour un intégrateur ou un COO industriel, le message pratique est que la localisation explicite et locale du point d'interaction, plutôt qu'un raisonnement global sur la scène, pourrait réduire le sim-to-real gap sur des tâches de pick-and-place ou d'assemblage en environnement non structuré. Le domaine VLA est aujourd'hui très actif : Physical Intelligence (Pi-0), NVIDIA (GR00T N2), Figure AI (Helix) et de nombreux laboratoires académiques ont chacun leur approche de la planification visuelle pour la manipulation généraliste. Ce preprint s'inscrit dans une vague de travaux cherchant à combler la faiblesse spatiale des VLA après les premières générations de modèles de type RT-2 ou OpenVLA. Aucun déploiement industriel n'est annoncé et aucun partenaire opérationnel n'est mentionné : il s'agit d'un papier de recherche préliminaire non encore évalué par les pairs, dont les résultats reels devront être confirmés dans des conditions de production.

Diffusion à somme de coûts avec guidage dynamique pour la planification de mouvement

Une équipe de recherche publie en mai 2026 (arXiv:2605.24690) une nouvelle méthode de planification de trajectoires pour la manipulation robotique, basée sur les modèles de diffusion. L'approche, baptisée "Sum of Costs Diffusion with Dynamic Guidance", guide le processus de débruitage du modèle de diffusion par le gradient du coût total de collision, c'est-à-dire la somme des coûts de collision sur l'ensemble de la trajectoire candidate. Autre contribution clé : une heuristique dynamique pour sélectionner l'étape de départ à partir de laquelle ce guidage par gradient est activé. Sur le benchmark Mπnets, un jeu de données de référence pour la planification en environnements encombrés, la méthode obtient les meilleures performances parmi l'ensemble des approches comparées. La généralisation reste le verrou principal de la planification de mouvement en manipulation robotique. Les planificateurs classiques (familles RRT, OMPL) peinent à s'adapter à de nouveaux environnements sans replanification coûteuse, tandis que les approches deep learning souffrent d'une généralisation limitée hors distribution. Le guidage par gradient de coût de collision, appliqué dynamiquement au cours du débruitage, offre une alternative : le modèle ajuste la trajectoire en continu selon la géométrie réelle de la scène, sans retraining. La sélection dynamique du step de départ du guidage adresse un problème connu des modèles de diffusion guidés, le compromis entre force du guidage et diversité des échantillons. Les résultats sur la diversité des configurations de test de Mπnets soutiennent l'hypothèse que cette formulation est plus robuste que les stratégies de guidage par coût ponctuel utilisées dans les travaux antérieurs. Cela dit, l'article est une prépublication non encore révisée par les pairs, et les métriques gagneraient à être validées sur des benchmarks physiques réels. L'intérêt pour les modèles de diffusion en planification robotique s'est accéléré depuis 2023 avec des travaux comme Diffusion Policy (Chi et al.) ou SE(3)-DiffusionFields. Les approches concurrentes directement comparées incluent MPinets et CuRobo (NVIDIA), deux méthodes learning-based de référence sur Mπnets. La méthode proposée s'inscrit dans un courant qui cherche à marier la flexibilité générative des modèles de diffusion avec des contraintes de sécurité physique (évitement de collision) sans passer par un planificateur externe. La prochaine étape logique sera une validation sur hardware réel et des environnements dynamiques, conditions nécessaires pour que ce type d'approche intéresse les intégrateurs industriels.

Symétries ici et là, combinées partout : compositions inter-espaces en robotique

Des chercheurs ont soumis fin mai 2026 sur arXiv (arXiv:2605.22639) un framework baptisé "cross-space symmetry compositions", conçu pour apprendre des politiques robotiques exploitant simultanément plusieurs symétries géométriques. L'approche a été validée sur un robot à deux bras (dual-arm), en simulation et sur hardware réel, sur des tâches de manipulation. Le principe : plutôt que de traiter isolément les symétries de l'espace de configuration (angles articulaires) et celles de l'espace de tâche (position et orientation de l'effecteur), le framework les compose dans un espace de représentation unifié. Les auteurs s'appuient sur la structure différentielle-géométrique de la cinématique directe (forward kinematics map) pour "descendre" des symétries de l'espace de configuration vers l'espace de tâche, ou les "remonter" en sens inverse. L'enjeu pour les équipes R&D en manipulation robotique est direct : les réseaux de neurones équivariants, qui respectent par construction les symétries du problème, requièrent moins de données d'entraînement et généralisent mieux à des configurations non vues. Jusqu'ici, la plupart des approches exploitaient une seule symétrie à la fois (par exemple la SO(2)-équivariance dans le plan horizontal pour la manipulation en table-top), laissant des gains de généralisation inexploités. Les résultats expérimentaux confirment une amélioration sur les tâches de manipulation testées, bien que les marges précises et les volumes de données requis ne soient pas détaillés dans le résumé public. Les équipes travaillant en imitation learning ou sur des architectures VLA (Vision-Language-Action) sont directement concernées par cette piste. Ce travail s'inscrit dans un courant actif autour des réseaux équivariants en robotique, adossé aux formalismes de groupes de symétrie en deep learning (SO(2), SE(3), E(n)). La contribution spécifique réside dans la composition inter-espaces plutôt que dans l'équivariance dans un seul espace. Il s'agit à ce stade d'une publication académique sans code public annoncé, et les expériences portent sur un seul système dual-arm dont la plateforme hardware n'est pas précisée. Les suites naturelles seraient une extension aux robots humanoïdes ou aux plateformes commerciales (bras UR, Franka), ainsi que la mise à disposition du code pour permettre la reproductibilité et une adoption plus large dans la communauté de la robotique apprenante.

Contrôle robuste aux distributions via l'inférence de Stein pour la manipulation au contact

Une équipe de chercheurs publie sur arXiv (référence 2605.19029) une méthode de contrôle robuste pour la manipulation robotique en contact riche, domaine couvrant la saisie, l'assemblage et l'insertion précise d'objets. Le travail formalise le problème comme une optimisation de contrôle robuste aux distributions (distributionally robust control), résolue via l'inférence variationnelle de Stein, une technique probabiliste déterministe issue du machine learning bayésien. Les contrôleurs qui en résultent modélisent explicitement l'incertitude paramétrique liée aux contacts, sans nécessiter les volumes massifs de données d'entraînement qu'exigent les approches data-driven modernes. Les résultats expérimentaux rapportés indiquent une robustesse améliorée jusqu'à un facteur 3 par rapport aux méthodes classiques à base de modèles, sur une gamme de tâches avec incertitude paramétrique large. Ce chiffre est à nuancer : il provient des propres benchmarks des auteurs, sans validation indépendante. La manipulation en contact riche reste l'un des goulots d'étranglement critiques pour le déploiement de robots industriels polyvalents. Les approches VLA (Vision-Language-Action models), comme pi-0 de Physical Intelligence, offrent une flexibilité remarquable mais se dégradent fortement lorsque les données d'entraînement sont rares, ce qui limite leur adoption dans des environnements industriels où les jeux de données sont difficiles à constituer. Les contrôleurs classiques à base de modèles, à l'inverse, sont computationnellement efficaces mais peinent à représenter l'incertitude task-sensitive, c'est-à-dire celle qui impacte réellement la performance sur une tâche précise. L'approche proposée tente de combler ce fossé en injectant une modélisation probabiliste flexible dans le cadre déterministe des contrôleurs classiques, un compromis potentiellement attractif pour les intégrateurs industriels cherchant fiabilité sans pipeline de données massif. Ce travail s'inscrit dans une tendance académique cherchant à réconcilier le model-based engineering (Boston Dynamics, ABB) et les learned policies (Physical Intelligence avec pi-0, Google DeepMind avec ses architectures GR00T-style). L'inférence variationnelle de Stein, popularisée par Liu et Wang en 2016, est ici adaptée au contrôle optimal, ce qui représente une contribution méthodologique notable. Le résumé disponible ne mentionne ni déploiements réels ni partenaires industriels, signalant clairement un stade de recherche fondamentale, probablement conduite en simulation ou sur bancs d'essai de laboratoire. Une validation sur des plateformes hardware standardisées comme les bras Franka Emika ou UR10, dont les propriétés de contact sont bien documentées, constituerait la prochaine étape logique avant toute perspective d'industrialisation.

Vertus du chaos ordonné : planification par actions de renversement pour la réorganisation de piles sur table

Publiée sur arXiv (2605.17815) en mai 2026, une étude propose d'enrichir les planificateurs de manipulation robotique avec des actions non-préhensiles dites "agrégantes", en particulier le basculement d'objets (topple). Au lieu de déplacer un à un les éléments d'une pile sur un plan de travail, le robot peut renverser tout ou partie de la pile d'un seul mouvement avant de saisir les objets dans l'ordre souhaité. Les chercheurs formalisent cet espace de planification hybride pick-and-place + topple via un gadget graphique directionnel original, réduisant le calcul du plan à une variante du problème des galets en mouvement (pebble motion problem) : chaque objet est traité comme un galet se déplaçant sur un graphe selon des contraintes de non-collision. Les benchmarks conduits en simulation physique sur NVIDIA IsaacSim montrent une réduction significative du temps d'exécution par rapport à une stratégie purement pick-and-place. L'enjeu industriel est concret pour la manipulation en entrepôt, le kitting ou le tri de bacs. Réorganiser une pile de n pièces nécessite classiquement O(n) opérations de saisie-dépose ; une action topple peut en remplacer plusieurs, réduisant le temps de cycle et la sollicitation mécanique des actionneurs. L'article pointe ainsi un angle mort fréquent en robotique de production : les planificateurs de tâches restent majoritairement construits autour de la saisie, alors que les actions non-préhensiles offrent des gains de débit substantiels dès lors qu'elles sont correctement abstraites. Limite notable : les gains sont mesurés en simulation seulement, et le passage sim-to-real pour des actions dynamiques comme le topple reste une question ouverte. Les auteurs s'inscrivent dans la continuité des recherches sur la manipulation non-préhensile, actives depuis les années 1990 mais rarement intégrées au niveau de la planification symbolique de tâches. La formalisation est volontairement généraliste : une action de type "scoop" (raclage) peut être modélisée par la même abstraction graphique, ouvrant la voie à un cadre unifié pour plusieurs familles d'actions agrégantes. Face aux approches concurrentes basées sur l'apprentissage par renforcement ou les planificateurs géométriques, cette méthode symbolique-graphique offre lisibilité et garanties de complétude sur les instances modélisées. Aucun déploiement n'est annoncé ; les auteurs qualifient eux-mêmes leurs résultats de "preliminary indication", laissant la validation en environnement physique réel pour de futurs travaux.

Reconstruction simulation-réel pour environnements très encombrés via raisonnement physique inter-objets

Une équipe de recherche présente un pipeline Real-to-Sim capable de reconstruire des scènes 3D physiquement cohérentes à partir d'une seule image RGB-D, c'est-à-dire une capture combinant couleur et profondeur. L'approche, décrite dans un preprint arXiv (2602.12633, version 2), cible spécifiquement les environnements très encombrés où la manipulation robotique exige une compréhension précise des contacts entre objets. Le coeur du système repose sur un pipeline d'optimisation différentiable qui modélise les dépendances spatiales via un graphe de contact : chaque relation physique entre objets adjacents est représentée explicitement, puis les poses et propriétés physiques de chaque objet sont affinées conjointement par simulation de corps rigides différentiable. Les évaluations couvrent des scènes simulées et des environnements réels. Ce travail s'attaque à un problème concret qui bloque les déploiements de manipulation robotique en contexte industriel désorganisé : les pipelines de perception standard produisent régulièrement des états invalides, objets en lévitation ou interpénétrations géométriques, qui rendent la simulation en aval peu fiable et donc inutilisable pour planifier des saisies ou des déplacements. En forçant la cohérence physique dès la reconstruction, le pipeline permet d'obtenir des scènes simulées qui reproduisent fidèlement la dynamique de contact du monde réel. Pour les intégrateurs et les équipes de recherche en manipulation, c'est une brique clé pour réduire le fossé sim-to-real sans recourir à des setups multicaméras coûteux ou à des annotations manuelles. La reconstruction Real-to-Sim est un chantier actif dans la communauté robotique depuis l'essor des pipelines sim-to-real pour l'apprentissage par renforcement et l'imitation. Des approches concurrentes s'appuient sur des reconstructions NeRF ou des méthodes basées Gaussian Splatting pour obtenir la fidélité géométrique, mais elles n'intègrent pas nécessairement de contraintes physiques explicites. Ce pipeline différentiable se distingue en traitant le raisonnement inter-objets comme une contrainte d'optimisation, pas comme une post-correction. Les prochaines étapes naturelles incluent l'intégration dans des pipelines de planification de manipulation contact-rich et le test sur des scènes industrielles réelles, où le désordre et les occlusions partielles sont la norme plutôt que l'exception.

Filtrage hybride variationnel stable pour la récupération de modes de contact et de lois creuses

Une équipe de recherche a publié sur arXiv (référence 2605.16398) VHYDRO, un filtre variationnel hybride conçu pour apprendre la dynamique de contact des robots manipulateurs. Le problème ciblé est précis : dans les systèmes à contact riche, une seule observation peut correspondre à plusieurs régimes latents distincts (mouvement libre, impact, stick-slip). Un filtre amortized classique qui n'affecte aucune probabilité à une transition de contact faisable perd définitivement la branche que le robot suit réellement, sans possibilité de récupération. VHYDRO empêche cette perte de branche en mélangeant la loi de proposition apprise avec une loi de transition physiquement faisable avant l'échantillonnage et la pondération d'importance, garantissant ainsi que chaque transition conservée par le support du modèle reste couverte. Le système infère conjointement un état latent continu et un mode de contact discret, puis ajuste une loi port-Hamiltonienne sparse à chaque régime récupéré. Les résultats empiriques portent sur des démonstrations ManiSkill et sur quatre familles de tâches Sawyer/BridgeData, où VHYDRO surpasse les baselines post-hoc et sans mode sur trois métriques : ARI, change-point F1 et pureté de segment. L'enjeu pour l'industrie robotique est direct : la manipulation à contact riche, préhension, assemblage, insertion de pièces, reste l'un des points durs non résolus pour le déploiement des bras industriels apprenants. La capacité à segmenter temporellement les régimes de contact en segments cohérents est un prérequis pour toute politique de contrôle hybride robuste. Ce que prouve VHYDRO, c'est qu'un filtre défensif au sens du support peut stabiliser la reconstruction du mode discret et, de là, permettre une identification physique sparse des termes actifs dans chaque régime, là où les baselines purement prédictives échouent. Sous occlusion sévère, condition fréquente en atelier, le filtre classique s'effondre tandis que VHYDRO reste utilisable, ce qui est un argument concret pour les intégrateurs travaillant sur des cellules robotisées peu camérisées. La formalisation port-Hamiltonienne, héritée de la mécanique classique des systèmes conservatifs avec contraintes, est ici appliquée à un contexte d'apprentissage hybride, ce qui constitue une contribution méthodologique distincte des approches neurales purement prédictives. ManiSkill et BridgeData sont des benchmarks de référence pour la manipulation robotique apprise, largement utilisés par les laboratoires de la côte Ouest américaine. Le papier est une prépublication arXiv, sans affiliation institutionnelle ni déploiement annoncé. Les concurrents directs sont les méthodes de segmentation de mode post-hoc et les filtres mode-free à apprentissage end-to-end. Les suites naturelles seraient une validation sur robots réels à contact non structuré et une intégration dans des pipelines de contrôle en boucle fermée.

Estimation de pose des parties d'objets avec une stratégie d'apprentissage sans annotation de symétrie

Des chercheurs ont déposé le 19 mai 2026 sur arXiv (référence 2605.17033) un nouveau cadre d'apprentissage baptisé SAFAG (Symmetry Annotation-Free framework for Generalizable and Actionable Parts), destiné à améliorer l'estimation de pose des parties fonctionnelles d'objets pour la manipulation robotique. Le problème central adressé est celui de la perception cross-catégorie : un robot doit être capable d'identifier et d'utiliser les parties actionnables d'objets inconnus (poignées de tiroirs, vannes, leviers) sans annotations de symétrie produites manuellement. SAFAG propose une architecture à deux étapes de type candidat-vers-final pour la régression de quaternions (représentation mathématique de l'orientation 3D en espace), couplée à un mécanisme d'apprentissage auto-supervisé qui traite la symétrie des objets comme un problème de distribution de probabilité, supprimant ainsi la dépendance aux annotations manuelles. L'enjeu industriel est concret : l'une des frictions majeures dans le déploiement de bras robotiques polyvalents en atelier ou en logistique est précisément la capacité à actionner des objets variés sans reprogrammation par référence. La symétrie géométrique des pièces (bouton rond, valve cylindrique) génère des ambiguïtés de pose qui font échouer les pipelines de perception classiques, contraignant les intégrateurs à constituer des datasets annotés par catégorie d'objet, une démarche coûteuse et non scalable. En automatisant la gestion de la symétrie via l'apprentissage auto-supervisé, SAFAG pourrait réduire significativement ce coût d'intégration pour des tâches pick-and-place sur objets non structurés, domaine où le sim-to-real reste un défi ouvert. Le concept de GAParts (Generalizable and Actionable Parts) sur lequel s'appuie SAFAG a émergé ces dernières années dans la communauté de l'embodied AI, notamment autour de travaux sur la segmentation sémantique des parties d'objets articulés. Le paysage concurrent inclut AnyGrasp, FoundationPose de NVIDIA et UniGraspTransfer, qui visent tous à généraliser la préhension sans supervision dense. SAFAG se distingue par son traitement explicite de la symétrie sans annotation. Il s'agit néanmoins d'un preprint arXiv sans code publié ni évaluation externe disponible à ce stade : les performances revendiquées restent à reproduire de façon indépendante avant toute considération d'intégration industrielle.

FocalPolicy : découpage fréquentiel et flow matching ancré localement pour une politique visuomotrice cohérente

Une équipe de chercheurs a déposé en mai 2026 sur arXiv (référence 2605.15944) FocalPolicy, une nouvelle architecture de politique visuomotrice pour la manipulation robotique apprise par démonstration. Le problème ciblé est celui des discontinuités inter-chunks : les politiques actuelles découpent les séquences d'action en segments successifs (chunks), et les raccords entre ces segments génèrent des saccades qui perturbent l'apprentissage de tâches longues. FocalPolicy propose deux contributions principales : le Frequency-Optimized Chunking, qui régularise la structure des actions dans le domaine fréquentiel sur plusieurs chunks futurs, et le Locally Anchored flow matching, qui améliore la propagation du signal lors de l'entraînement par consistency flow matching. Un objectif composite dit de "foresight" supervise simultanément l'alignement temporel des actions proximales et la cohérence fréquentielle à plus long horizon. Les auteurs déclarent surpasser les approches existantes sur des benchmarks de manipulation, sans détailler les marges d'amélioration dans l'abstract. Pour les équipes travaillant sur la manipulation dextère, cette contribution s'attaque à un problème concret : les politiques issues de Diffusion Policy ou de Pi-0 (Physical Intelligence) produisent des trajectoires localement précises mais saccadées sur des horizons longs, comme l'assemblage multi-étapes ou la manipulation d'objets souples. La contrainte fréquentielle proposée impose une régularité globale sans augmenter la fenêtre de contexte ni le coût d'inférence, avantage réel pour les systèmes embarqués. La généralisation annoncée à d'autres architectures de base ouvre la porte à une intégration dans des pipelines existants, à condition que les gains tiennent sur hardware réel : les expériences publiées restent sur bancs standardisés, sans déploiement industriel déclaré. Le problème de cohérence inter-chunks a émergé avec ACT (Action Chunking with Transformers, Zhao et al. 2023), architecture phare des robots bimanuel ALOHA, avant que Diffusion Policy (Chi et al. 2023) et Physical Intelligence, avec Pi-0 puis Pi-0.5, n'adoptent les modèles génératifs pour distribuer des actions complexes. FocalPolicy s'inscrit dans cette lignée comme une amélioration structurelle ciblée, sans proposer de changement de paradigme. Le code et des démos sont annoncés sur focalpolicy.github.io, mais aucune timeline de mise à disposition ni partenariat industriel ne figure dans le preprint.

Politique de diffusion pour le contrôle coordonné d'une base mobile non-holonome et de deux bras lors du franchissement de portes

Un groupe de chercheurs a publié sur arXiv (preprint 2605.15352) une politique de contrôle fondée sur la diffusion, capable de faire ouvrir et franchir une porte à loquet auto-fermant par un robot mobile équipé de deux bras. La tâche ciblée, une porte lourde nécessitant une traction, est décomposée en plusieurs phases enchaînées sans intervention manuelle : rotation de la poignée, traction progressive, maintien de l'ouverture, transfert d'appui entre les deux membres, déplacement de la base, puis passage complet. Le robot repose sur une base non-holonome (incapable de se déplacer latéralement sans rotation préalable), ce qui contraint fortement la coordination simultanée entre châssis et manipulateurs. Les auteurs ne communiquent ni le nom du robot utilisé ni de taux de succès chiffré dans l'abstract, ce qui limite l'évaluation indépendante des performances annoncées. L'intérêt technique réside dans l'abandon des automates à états finis classiques, où chaque transition (tirer une fois la poignée tournée, passer une fois l'ouverture suffisante) est programmée manuellement et échoue dès que les conditions réelles dévient du scénario prévu. L'approche par imitation learning, via une diffusion policy (modèle génératif entraîné à reproduire des démonstrations humaines en capturant une distribution de trajectoires plutôt qu'une unique solution), produit une politique unique de bout en bout qui gère l'intégralité de la séquence longue sans découpage explicite. Les auteurs signalent également une robustesse aux perturbations extérieures, comme des poussées appliquées au robot en cours de tâche, résultat difficile à atteindre avec des méthodes classiques. Pour les intégrateurs industriels, les variables clés à valider restent le sim-to-real et la généralisation à la diversité physique des portes réelles. La diffusion policy s'est imposée comme paradigme dominant en manipulation robotique depuis les travaux de Chi et al. (Columbia, 2023) et irrigue aujourd'hui des laboratoires académiques et des start-ups comme Physical Intelligence (Pi-0), 1X Technologies ou Covariant. Ce preprint s'inscrit dans un effort plus large vers la manipulation mobile bimanuelle, segment encore peu couvert commercialement : Boston Dynamics (Spot + bras ARM), Hello Robot (Stretch) ou Kinova opèrent principalement en manipulation unimanuelle ou sur base fixe. Aucune collaboration industrielle ni timeline de déploiement n'est mentionnée, ce qui situe ce travail résolument côté recherche fondamentale, malgré des résultats préliminaires prometteurs sur les longues séquences gestuelles.

Graphes de scène 3D fonctionnels, hiérarchiques et holistiques, à vocabulaire ouvert pour espaces intérieurs

Des chercheurs ont publié en mai 2026 sur arXiv (référence 2605.15753) une méthode pour construire des graphes de scènes 3D fonctionnels et hiérarchiques dans des espaces intérieurs, à vocabulaire ouvert. Ces graphes représentent l'environnement sous forme de noeuds objets, d'éléments interactifs et d'arêtes de relations fonctionnelles, permettant à un robot de comprendre non seulement ce qui est présent dans une pièce, mais comment les objets peuvent interagir entre eux. La contribution principale est l'extension des benchmarks existants en y intégrant des objets denses posés sur des surfaces planes (tabletop), ainsi que des relations fonctionnelles multi-niveaux explicites. Le pipeline proposé repose sur un ancrage visuel 2D (visual grounding) couplé à une optimisation de graphes 3D, combinant accumulation d'évidence, régularisation par entropie et lissage temporel pour résoudre l'association entre instances et déterminer les connexions fonctionnelles de chaque noeud. Une étape finale de structuration hiérarchique globale permet de récupérer la structure en niveaux du graphe complet. L'intérêt de cette approche pour la manipulation robotique est concret. Les travaux antérieurs sur les graphes de scènes se concentraient sur les meubles de grande taille, laissant de côté la granularité fine nécessaire pour les tâches impliquant des objets de bureau ou de cuisine. Introduire des objets petits, denses et visuellement similaires (tasses, stylos, boîtes) crée trois défis techniques distincts: confusion entre instances lors de la fusion inter-images, incertitude d'attribution sous des points de vue dynamiques, et absence d'ancrage visuel dans le raisonnement relationnel. Le pipeline open-vocabulary présenté aborde ces trois points sans catégories prédéfinies, ce qui représente un avantage pratique pour des déploiements en environnements variés. Les expériences reportées montrent une inférence fiable sur des scènes réelles exigeantes, bien que le résumé soumis ne détaille pas de métriques quantitatives précises, ce qui rend difficile toute comparaison directe avec l'état de l'art. Les graphes de scènes sémantiques pour la robotique sont étudiés depuis une dizaine d'années, mais leur adoption pratique a été freinée par des benchmarks limités aux grandes structures, peu représentatifs des scénarios de manipulation réelle. Ce travail s'inscrit dans une tendance plus large vers la perception embodied à vocabulaire ouvert, en concurrence directe avec les approches basées sur les champs de radiance neuronaux (NeRF, 3DGS) ou la segmentation 3D ouverte comme OpenMask3D et ConceptFusion. Ce type de représentation est fondamental pour les systèmes de planification de tâches et les robots de service opérant en environnement non structuré. Aucune timeline de déploiement industriel n'est mentionnée: il s'agit d'un preprint de recherche académique, pas d'un produit commercialisé ni d'un partenariat industriel annoncé.

Intégration de contraintes environnementales dans la préhension de matériaux flexibles type papier avec une pince souple

Une équipe de chercheurs a publié sur arXiv (référence 2605.11714) une étude systématique consacrée à la préhension robotique de matériaux flexibles de type papier, feuilles, documents, cartons fins, à l'aide d'un préhenseur souple universel. L'approche centrale consiste à exploiter les contraintes environnementales du poste de travail (surfaces planes, arêtes de table, bords d'obstacle) comme appuis passifs pour faciliter la saisie, plutôt que de compter uniquement sur les capacités intrinsèques du gripper. Les chercheurs ont défini un ensemble de primitives de manipulation, formalisé leurs modèles mécaniques et cinématiques, puis mis en place un banc d'évaluation mesurant force de préhension et taux de succès sur différents matériaux et conditions opérationnelles. Les résultats caractérisent les espaces de travail spécifiques et les conditions de validité de chaque stratégie, avec pour cible déclarée les robots de service à domicile devant manipuler des objets plats et flexibles. L'article ne fournit pas de chiffres absolus de taux de succès dans le résumé disponible, ce qui limite l'évaluation externe des performances revendiquées. Le verrou technique adressé est réel : les matériaux de type papier se distinguent des textiles par une sensibilité élevée aux contraintes de compression, et de faibles variations de grammage ou d'humidité peuvent faire échouer une prise. Les approches classiques par aspiration (ventouse) ou par pincement rigide échouent sur des géométries planes et déformables. L'exploitation des contraintes environnementales, approche connue sous le nom d'extrinsic dexterity en manipulation robotique, permet de compenser les limitations d'un gripper à degrés de liberté réduits, ce qui est directement pertinent pour les intégrateurs cherchant des solutions à faible coût mécanique. Si les résultats se confirment sur un spectre matériaux large, cela ouvre une voie pour automatiser des tâches de manutention documentaire ou d'emballage léger sans recourir à des effecteurs complexes. Le domaine de la manipulation d'objets déformables (Deformable Object Manipulation, DOM) est en pleine expansion, porté par des groupes comme le Stanford IRIS Lab, le MIT CSAIL ou le DLR, qui travaillent principalement sur les textiles. Les matériaux plans de type papier restent comparativement sous-étudiés malgré leur omniprésence en logistique et en bureautique. Les préhenseurs souples universels, notamment ceux à actionnement pneumatique ou par câbles, sont au coeur des développements de plusieurs startups (Soft Robotics, acquise par Applied Robotics, ou Festo Bionic) et des bras collaboratifs grand public. La prochaine étape naturelle serait une validation sur robot mobile de service en environnement non structuré, condition nécessaire pour passer de la démonstration académique à un déploiement industriel ou domestique crédible.

X-Imitator : apprentissage par imitation spatial via interaction bidirectionnelle action-pose

Des chercheurs ont déposé le 13 mai 2026 sur arXiv (2605.12162) X-Imitator, un cadre d'apprentissage par imitation pour la manipulation robotique fondé sur un couplage bidirectionnel entre perception spatiale et génération d'actions. L'architecture duale fonctionne par conditionnement mutuel : les prédictions de pose courante sont conditionnées sur les actions passées, et les actions générées tiennent compte des estimations de pose réactualisées en retour. Évalué sur 24 tâches simulées et 3 tâches en environnement réel, X-Imitator surpasse selon les auteurs les politiques visuomotrices de base ("vanilla policies") ainsi que les méthodes exploitant un guidage de pose explicite mais unidirectionnel. Le code source sera rendu public. Le verrou adressé est bien identifié dans la littérature : les approches actuelles traitent perception et exécution comme deux modules découplés, ou reliés au mieux de façon unidirectionnelle. X-Imitator instaure une boucle de raffinement mutuel continu, que les auteurs rapprochent des modèles prospectifs internes ("forward models") du système moteur humain. En pratique, la politique corrige ses estimations de pose à la lumière de ses propres actions passées, mécanisme potentiellement utile dans les tâches à contacts multiples ou à déformation d'objet, où les erreurs de perception s'accumulent. L'architecture modulaire est conçue pour s'intégrer à diverses politiques visuomotrices existantes, ce qui lui confère une portée plus large qu'un système monolithique. À noter cependant : l'évaluation réelle se limite à 3 tâches, et le papier reste un preprint non encore relu par les pairs. X-Imitator s'inscrit dans le courant de l'apprentissage par imitation appliqué à la manipulation fine, discipline en forte expansion depuis Diffusion Policy (Chi et al., 2023) et ACT (Zhao et al., 2023). Face aux politiques hybrides perception-action portées par des groupes comme DeepMind, Stanford ou Physical Intelligence avec pi-zero, le système se positionne comme un module d'amélioration orthogonal plutôt qu'une architecture concurrente de remplacement. Aucun partenaire industriel ni calendrier de transfert applicatif n'est mentionné dans la publication : X-Imitator reste un résultat académique. La mise en open source annoncée du code permettra à la communauté de valider les performances sur des benchmarks partagés comme RLBench ou ManiSkill, étape nécessaire avant toute adoption à plus grande échelle.

SynapX lance SYNData : un système multimodal de collecte de données pour l'ère de l'IA incarnée

SynapX, une startup fondée en janvier 2026, a annoncé le lancement de SYNData, un système de collecte de données multimodale conçu pour l'apprentissage de la manipulation dextre en robotique incarnée. Le système repose sur trois modules matériels distincts : un casque Ego à quatre caméras pour la vision première personne, des bracelets EMG (électromyographie) pour capter les signaux bioélectriques musculaires, et un exosquelette-gant bionique pour enregistrer la pose de la main, l'état de contact sur toute la paume et la distribution des forces. L'architecture permet la collecte simultanée de ces modalités, y compris en conditions d'occlusion visuelle partielle. Trois semaines seulement après sa création et sa première participation en compétition, SynapX a terminé 2e au classement mondial et 1er en Chine dans la piste "Reasoning to Action" de l'AGIBOT World Challenge, organisé dans le cadre de l'ICRA 2026. L'enjeu central que SYNData prétend résoudre est le goulot d'étranglement de la donnée physique à l'échelle. Dans le développement des modèles vision-langage-action (VLA) pour la manipulation robotique, la collecte de données haute qualité demeure le facteur limitant, davantage que l'architecture des modèles ou la maturité du hardware. Le mécanisme propriétaire Bio2Robot transforme les signaux biologiques humains en données directement exploitables par des modèles de robot, avec l'objectif déclaré de ne pas perturber le comportement naturel de l'opérateur lors de la capture. Si cette promesse tient à l'échelle, cela représenterait un avantage opérationnel significatif pour les intégrateurs cherchant à industrialiser la démonstration humaine sans pipeline de labellisation coûteux. Le contexte concurrentiel est dense : des acteurs comme Physical Intelligence avec son modèle Pi-0, NVIDIA avec GR00T N2, ou encore Agibot et 1X Technologies investissent massivement dans des pipelines de données pour la manipulation généraliste. En Chine, l'écosystème est particulièrement actif, porté par des programmes de soutien public et une communauté robotique illustrée par l'AGIBOT World Challenge lui-même. SynapX se positionne en amont de la chaîne de valeur, comme fournisseur d'infrastructure de collecte plutôt que fabricant de robot. La robustesse du classement ICRA reste à confirmer en conditions de déploiement industriel réelles, le gap entre performance en compétition et application terrain demeurant un défi structurel du secteur.

💬 Le vrai goulot en robotique, c'est pas l'archi du modèle, c'est la donnée physique à l'échelle, et SynapX l'a compris avant beaucoup. Se positionner comme fournisseur d'infra de capture plutôt que fabricant de robot, c'est malin : tu fournis à tout l'écosystème sans te battre contre Physical Intelligence ou NVIDIA sur le hardware. Trois semaines d'existence, 2e mondial à l'ICRA, bon, reste à voir si les EMG et l'exo tiennent hors compétition.

Prédiction de la stabilité de préhension sans contact par capteurs ToF intégrés en main

Des chercheurs ont publié sur arXiv (arXiv:2605.05461, mai 2025) une méthode de prédiction de stabilité de préhension sans contact physique, reposant sur des capteurs ToF (time-of-flight) multi-zones intégrés dans les liaisons distales d'un préhenseur robotique. Contrairement aux approches existantes qui détectent l'échec de saisie uniquement après contact avec l'objet, ce système évalue la stabilité de la prise en amont de tout contact, à une fréquence de 15 Hz. Le jeu de données d'entraînement comprend plus de 2 500 saisies réelles effectuées sur 15 objets distincts. Le classificateur a ensuite été évalué sur 6 objets inédits, trois pour la validation et trois pour le test, avec des précisions respectives de 85,5 % et 86,0 %. Le gain pratique est direct : en découplant la prédiction de stabilité de la phase de contact, on réduit significativement le temps de cycle et, surtout, on évite des tentatives de saisie vouées à l'échec avant même qu'elles ne démarrent. Pour un intégrateur industriel ou un COO confronté à des lignes de picking à cadence élevée, cela se traduit par moins d'interruptions, moins de manipulations correctives, et une meilleure robustesse face aux variations de capteurs. La fréquence de 15 Hz est compatible avec des boucles de contrôle temps réel. Il faut toutefois rester mesuré : le corpus d'entraînement reste modeste (15 objets, 2 500 grasps), et les résultats sur objets "unseen" portent sur un échantillon de seulement trois pièces de test, ce qui rend la généralisation à des catalogues industriels réels encore incertaine. La prédiction de stabilité de saisie est un problème central en manipulation robotique depuis plusieurs décennies. Les approches tactiles, dominantes dans la littérature récente, offrent une richesse d'information mais imposent un contact préalable et nécessitent des capteurs coûteux et fragiles. Les capteurs ToF, eux, sont bon marché, robustes et déjà embarqués dans de nombreux systèmes. Ce travail s'inscrit dans un courant plus large visant à exploiter des modalités de capteurs proximaux, sans contact, pour la planification de mouvement, aux côtés de travaux sur les caméras de profondeur et les capteurs capacitifs. La prochaine étape naturelle sera de valider l'approche sur des objets déformables ou transparents, catégories notoirement problématiques pour les capteurs ToF, et de tester la robustesse en conditions d'éclairage variable.

Préhension optimisée dans les robots à pattes : une approche par apprentissage profond pour la loco-manipulation

Des chercheurs ont publié sur arXiv (référence 2508.17466v3) un framework de deep learning destiné à améliorer les capacités de préhension des robots quadrupèdes équipés d'un bras manipulateur, une configuration connue sous le nom de loco-manipulation. L'approche repose sur une méthodologie sim-to-real développée dans l'environnement de simulation Genesis, où des milliers d'interactions synthétiques ont été générées sur des objets courants pour produire des cartes annotées pixel par pixel de qualité de préhension. Ces données ont servi à entraîner un réseau de neurones convolutif inspiré de l'architecture U-Net, qui fusionne en entrée des flux multi-modaux issus de caméras embarquées : images RGB, cartes de profondeur, masques de segmentation et cartes de normales de surface. En sortie, le modèle produit une heatmap identifiant le point de préhension optimal. Le système complet a été validé sur un vrai robot quadrupède, qui a exécuté de façon autonome la séquence complète : navigation vers l'objet cible, perception, prédiction de la pose de préhension, puis saisie effective. Le principal intérêt de ce travail est de montrer qu'un pipeline sim-to-real bien conçu peut substituer la collecte de données physiques, historiquement le goulet d'étranglement du développement en manipulation robotique. Pour les intégrateurs et décideurs industriels, cela suggère qu'il devient possible de déployer des capacités de manipulation sur robots mobiles sans investissement massif en démonstrations réelles. Cela dit, l'abstract ne fournit aucun taux de succès quantifié, aucune comparaison avec une baseline, et aucun détail sur le nombre d'objets testés ou la robustesse aux variations d'éclairage et de pose : des lacunes habituelles dans les preprints mais qui freinent l'évaluation sérieuse de la transférabilité industrielle. Ce travail s'inscrit dans un champ académique très actif autour des robots quadrupèdes à bras, popularisé par des plateformes comme l'ANYmal de ANYbotics (Suisse) ou le Spot d'Boston Dynamics, tous deux cibles régulières de recherches en loco-manipulation. L'environnement Genesis, relativement récent, se positionne comme alternative à Isaac Sim (NVIDIA) et MuJoCo pour la génération de données synthétiques. L'architecture U-Net, initialement conçue pour la segmentation médicale, est ici réutilisée pour un problème de régression spatiale, une transposition qui gagne du terrain en robotique de manipulation. Ce papier, en version 3 de révision, reste un travail de recherche en laboratoire : aucun déploiement opérationnel ni partenariat industriel n'est mentionné.

Combler le fossé entre les corps : édition vidéo inter-embodiment disentangled

Une équipe de chercheurs a publié le 6 mai 2026 sur arXiv (réf. 2605.03637) un framework génératif pour convertir des vidéos de démonstration humaine en séquences d'exécution robotique plausibles, sans données appariées humain-robot. La méthode décompose la vidéo source en deux espaces latents orthogonaux: l'un encodant la tâche accomplie, l'autre la morphologie du corps en mouvement. Un double objectif contrastif impose cette séparation en minimisant l'information mutuelle entre les deux espaces pour garantir leur indépendance, tout en maximisant la cohérence intra-espace pour stabiliser les représentations. Un adaptateur à faible coût paramétrique injecte ces codes latents dans un modèle de diffusion vidéo figé, produisant des démonstrations robotiques morphologiquement précises et cohérentes dans le temps à partir d'une seule séquence humaine. L'enjeu est critique: les approches existantes génèrent des représentations enchevêtrées où l'information de tâche reste couplée à la cinématique humaine spécifique, ce qui bloque le transfert vers d'autres morphologies. En découplant explicitement ces deux dimensions, la méthode ouvre la voie à l'exploitation des vastes corpus de vidéos humaines disponibles sur internet pour entraîner des politiques de manipulation robotique, sans collecte de démonstrations robot coûteuse par télé-opération. Les expériences rapportent des vidéos générées temporellement consistantes et morphologiquement fidèles, bien que l'abstract ne fournisse pas de métriques quantitatives comparatives avec les baselines; les résultats visuels restent la principale validation. Pour un intégrateur ou un décideur industriel, la promesse est de réduire significativement le coût de labeling nécessaire à l'apprentissage de nouveaux comportements de manipulation. Cette publication s'inscrit dans une compétition intense autour des politiques de manipulation généralisables: Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA (UC Berkeley) cherchent tous à réduire la dépendance aux démonstrations robot propriétaires. L'approche par édition vidéo emprunte un chemin différent des VLA classiques: plutôt qu'apprendre une politique directement depuis des vidéos humaines, elle synthétise d'abord une démonstration robot plausible exploitable par les pipelines d'imitation learning standards. Il s'agit à ce stade d'un preprint préliminaire, sans déploiement industriel ni partenariat annoncé. Le cadre latent disentangled proposé pourrait néanmoins rapidement intéresser des acteurs comme 1X Technologies ou Apptronik, et côté européen, des équipes travaillant sur l'imitation learning comme certains labs INRIA ou des spin-offs de manipulation comme Enchanted Tools.

Filtre de sécurité en ligne pour la manipulation d'objets déformables avec des opérateurs neuronaux sans horizon fixe

Des chercheurs ont publié le 1er mai 2026 sur arXiv (arXiv:2605.01069) un filtre de sécurité en ligne pour la manipulation robotique d'objets déformables, fluides, textiles, matières souples. La méthode repose sur deux composants : un opérateur neuronal "horizon-agnostique" qui apprend la dynamique aux équations aux dérivées partielles (PDEs) de ces matériaux à partir de leurs conditions aux limites, et une fonction de barrière de contrôle (Control Barrier Function, CBF) qui certifie la satisfaction des contraintes via un programme quadratique léger. Le filtre intercepte en temps réel la politique nominale de contrôle et la corrige à la marge pour éviter toute violation de contrainte, sans retraining requis quelle que soit la durée du rollout. Évalué sur des tâches de manipulation de fluides dans l'environnement de simulation FluidLab, le filtre améliore le taux de trajectoires sûres de jusqu'à 22 points de pourcentage par rapport aux politiques non filtrées, tout en réduisant le nombre de pas nécessaires pour atteindre l'ensemble sûr. L'enjeu central est la distinction entre sécurité indirecte et garantie certifiée. Les approches d'apprentissage existantes traitent la sécurité via le reward shaping, sans aucune garantie formelle de satisfaction des contraintes au déploiement. Ici, la contrainte de sécurité devient affine dans le taux d'entrée aux frontières, ce qui la rend calculable en temps réel. Pour les intégrateurs déployant des robots en contexte chimique, pharmaceutique ou agroalimentaire, la différence est réglementairement et commercialement substantielle : une politique "apprise à éviter le danger" n'est pas équivalente à une contrainte certifiée formellement. La capacité à généraliser à des longueurs de rollout variables sans retraining réduit également le coût d'adaptation à de nouvelles tâches. La manipulation d'objets déformables reste un angle mort de la robotique industrielle : leur état est continu et haute-dimension, régi par des PDEs complexes. Les opérateurs neuronaux, comme FNO ou DeepONet, ont émergé ces dernières années comme approximateurs de solutions d'EDPs, mais leur intégration dans des boucles de contrôle sûres reste rare. Les CBFs, bien établies pour les systèmes dynamiques à dimension finie, s'appliquent ici pour la première fois à des systèmes à dimension infinie. Ce preprint n'a pas encore été soumis à peer-review et les résultats sont exclusivement en simulation, sans validation sur hardware réel. Les approches concurrentes comme le safe RL (Constrained Policy Optimization, WCSAC) ou le MPC contraint ne sont pas directement comparées, ce qui laisse ouverte la question de positionnement dans l'état de l'art.

Optimisation des arbres de trajectoires dans l'espace des croyances : de la commande prédictive à la planification de tâches et de mouvements

Des chercheurs proposent, dans un preprint arXiv soumis début mai 2026 (arXiv:2605.01860), de planifier des trajectoires arborescentes (trajectory-trees) dans l'espace des croyances (belief space) plutôt que les trajectoires séquentielles classiques. Quand un robot évolue en environnement partiellement observable, la trajectoire optimale dépend d'observations futures encore inconnues: les trajectory-trees branchent à chaque point où l'état de croyance est susceptible de diverger en scénarios distincts. Le papier présente deux contributions: un contrôleur prédictif partiellement observable (PO-MPC) à branchement unique, optimisé par un algorithme parallélisé baptisé D-AuLa (Distributed Augmented Lagrangian) conçu pour satisfaire les contraintes temps-réel du MPC; et un planificateur tâche-et-mouvement (PO-LGP) combinant arbres de décision symboliques et trajectory-trees cinématiques, en étendant le cadre Logic-Geometric-Programming (LGP) aux problèmes partiellement observables. Les validations expérimentales portent sur la conduite autonome pour le MPC et des scénarios de manipulation robotique pour le TAMP. L'enjeu industriel est direct: les environnements réels sont rarement entièrement observables. Un bras triant des pièces dont l'orientation n'est connue qu'après préhension, ou un AGV naviguant en zone d'incertitude sensorielle, nécessitent précisément ce type de planification contingente. Les trajectoires séquentielles obligent le robot à choisir un plan unique à l'avance, ce qui se traduit par des comportements sous-optimaux ou des replanifications coûteuses. L'approche PO-MPC réduit les coûts de contrôle en anticipant les branches d'observation possibles; PO-LGP génère des politiques d'exploration utilisables comme macro-actions dans un plan global. D-AuLa répond à l'objection classique contre la planification en espace de croyance: sa complexité computationnelle prohibitive pour le temps-réel, en exploitant la décomposabilité du problème pour paralléliser l'optimisation. Le cadre LGP étendu par ces travaux a été développé par le groupe de Marc Toussaint (TU Berlin), et constitue l'une des approches TAMP les plus rigoureuses pour la manipulation multi-étapes. La planification en POMDP (Partially Observable Markov Decision Processes) est un domaine actif depuis les années 1990, mais son couplage avec le contrôle continu et la planification symbolique reste un défi ouvert. Des approches concurrentes basées sur l'apprentissage par renforcement (notamment les méthodes VLA et politiques diffusion) ou sur des planificateurs sampling-based adressent des problèmes voisins avec des compromis différents en matière de généralisation et de garanties formelles. Les auteurs reconnaissent eux-mêmes que la méthode est validée sur des belief states de taille restreinte et exclusivement en simulation; la prochaine étape naturelle est une validation hardware sur robots réels avec perception embarquée et latences de capteurs.

Estimation de pose 6D temporellement cohérente des objets pour le contrôle robotique

Des chercheurs publient sur arXiv (2605.02708v1) une méthode d'estimation de pose 6D d'objets temporellement cohérente pour la commande de robots manipulateurs. L'approche repose sur un graphe de facteurs qui filtre et lisse en ligne les estimations produites par des estimateurs RGB monoculaires standard, sans recours à un capteur de profondeur. Le système combine trois composantes : un modèle de mouvement de l'objet, une estimation explicite de l'incertitude de mesure de pose, et un optimiseur en ligne intégrant les deux. Les auteurs rapportent une amélioration significative sur des benchmarks standardisés d'estimation de pose avec rejet des valeurs aberrantes, sans toutefois chiffrer précisément les gains. La validation expérimentale porte sur une tâche de suivi d'objet par une caméra embarquée sur un manipulateur à commande en couple (torque-controlled). L'estimation de pose 6D (trois degrés de translation, trois de rotation) est un prérequis pour toute manipulation robotique précise : saisie, assemblage, tri industriel. Les estimateurs RGB monoculaires récents atteignent des performances compétitives sur benchmarks, mais présentent des discontinuités temporelles, des sauts brusques d'une image à l'autre, incompatibles avec la stabilité d'une boucle de contrôle en temps réel. Ce travail s'attaque précisément à ce fossé entre performance sur benchmark et déploiement réel : non pas améliorer la précision frame par frame, mais garantir la cohérence temporelle nécessaire à un retour visuel stable. Pour un intégrateur de cellules robotisées, cela réduit la dépendance aux capteurs ToF ou RGBD, plus coûteux et plus sensibles aux conditions d'éclairage industriel. Les graphes de facteurs sont un outil classique du SLAM robotique (localisation et cartographie simultanées), utilisés depuis longtemps dans les estimateurs de navigation, mais leur application à l'estimation de pose d'objet reste moins répandue. Le champ concurrentiel inclut des approches par filtre de Kalman étendu, des méthodes de lissage sur SE(3), ainsi que des systèmes temps réel comme FoundationPose de NVIDIA ou HappyPose, solution open-source portée par des acteurs européens. L'article est pour l'heure un preprint sans validation industrielle publiée ni annonce de déploiement. Les étapes logiques suivantes incluent une comparaison directe avec les méthodes filtrées existantes sur des jeux de données de référence comme YCB-Video ou LINEMOD, et une extension aux scènes multi-objets.

OmniRobotHome : une plateforme multi-caméras pour l'interaction humain-robot en temps réel

Des chercheurs ont publié en avril 2026 sur arXiv (arXiv:2604.28197) les spécifications d'OmniRobotHome, une plateforme expérimentale résidentielle instrumentée avec 48 caméras RGB synchronisées au niveau matériel pour le suivi 3D temps réel, sans marqueurs, de plusieurs humains et objets simultanément. Le système est couplé à deux bras manipulateurs Franka, qui réagissent à l'état de la scène en temps réel dans un référentiel spatial partagé. La plateforme cible ce que les auteurs nomment la collaboration "multiadique" : plusieurs humains et robots qui partagent un même espace de travail domestique, agissent en parallèle sur des sous-tâches imbriquées avec des contraintes spatiales et temporelles serrées. Contrairement aux setups dyadiques classiques (un humain, un robot, une tâche), OmniRobotHome enregistre en continu pour constituer une mémoire comportementale long-horizon à partir des trajectoires accumulées. Le verrou technique que ce travail prétend lever est l'occlusion persistante : en environnement résidentiel réel, les interactions rapprochées entre humains, robots et objets génèrent des changements d'état rapides et des zones aveugles qui rendent le tracking 3D fiable en temps réel extrêmement difficile. Aucune plateforme existante ne combinait, selon les auteurs, la robustesse aux occlusions à l'échelle d'une pièce entière avec une actuation multi-robots coordonnée. Les deux problèmes ciblés, sécurité en environnement partagé et assistance robotique anticipatoire, montrent des gains mesurables grâce à la perception temps réel et à la mémoire comportementale accumulée, bien que les chiffres précis (taux de collision évités, latence, précision du suivi) ne soient pas détaillés dans l'abstract publié. Ce travail s'inscrit dans une tendance académique vers les plateformes de recherche domestique à grande échelle, aux côtés d'initiatives comme TidyBot (Stanford), HomeRobot (Meta/CMU) ou RoboCasa (UT Austin). L'utilisation de bras Franka, standard de facto en manipulation robotique, facilite la réplication dans d'autres laboratoires. En revanche, la nature preprint de la publication (pas encore soumise à évaluation par les pairs) et l'absence de métriques quantitatives publiées invitent à la prudence avant toute interprétation comme validation de terrain. La prochaine étape déterminante sera l'ouverture éventuelle du dataset ou du code : c'est ce qui distinguerait OmniRobotHome comme infrastructure de référence pour la communauté d'une contribution de laboratoire isolée.

Génération de mouvement réactif par fonctions de potentiel neuronal à phase variable

Des chercheurs présentent PNPF (Phase-varying Neural Potential Functions), un nouveau cadre d'apprentissage par démonstration (LfD) pour la génération de mouvements robotiques réactifs, publié sur arXiv (2504.26450v1) fin avril 2026. L'approche conditionne une fonction potentielle neuronale sur une variable de phase estimée directement depuis la progression d'état du robot, et non depuis une entrée temporelle en boucle ouverte. Le système génère des champs de vecteurs locaux assurant un contrôle stable et réactif, y compris pour des trajectoires avec intersections, des tâches périodiques, et des mouvements complets en 6D (position et orientation). Des validations en manipulation robotique en temps réel sous perturbations externes sont rapportées, avec des performances supérieures aux méthodes de référence sur les trajectoires à intersections. L'enjeu central est la robustesse face aux perturbations dans des tâches non triviales. Les systèmes dynamiques du premier ordre échouent dès que la trajectoire se croise, car un même état de position peut correspondre à deux directions de mouvement différentes, comme lors du tracé d'un "8". Les approches du second ordre intègrent la vitesse pour lever cette ambiguïté, mais deviennent fragiles aux perturbations près des intersections, et peuvent échouer lorsque des paires position-vitesse quasi-identiques correspondent à des mouvements futurs distincts. Les méthodes à phase temporelle en boucle ouverte, elles, ne permettent pas de récupérer après une perturbation. PNPF contourne ce triple compromis : la variable de phase, inférée depuis la progression observée de l'état, donne au robot un ancrage dans la tâche sans dépendre d'une horloge externe, ce qui est critique pour des environnements industriels réels où vibrations, interventions humaines et aléas de convoyeur perturbent régulièrement les trajectoires planifiées. Les méthodes LfD basées sur des systèmes dynamiques ont émergé comme alternative légère aux planificateurs de trajectoire classiques, apprenant des politiques stables depuis quelques démonstrations seulement (SEDS, DMP, ProDMP). PNPF s'inscrit dans cette lignée tout en ciblant le maillon faible commun à ces approches : la gestion des revisites d'état. Les concurrents directs incluent les Dynamical Movement Primitives (DMP), les réseaux neuronaux à fonctions potentielles sans phase, et les récentes approches de contrôle par imitation basées sur des transformeurs. La publication est arxiv uniquement, sans code ni démo publique annoncée à ce stade. Les suites logiques seraient une validation sur bras industriel standard (Franka, UR, KUKA) et une intégration dans des pipelines d'apprentissage par imitation pour la manipulation fine, notamment pour des tâches d'assemblage où les trajectoires réelles ne sont jamais parfaitement répétables.

Préentraînement multi-sensoriel auto-supervisé pour l'apprentissage par renforcement de robots en contact intense

Une équipe de chercheurs a publié MSDP (MultiSensory Dynamic Pretraining), un cadre d'apprentissage par représentation auto-supervisé conçu pour la manipulation robotique en contact étroit. Le système fusionne trois flux sensoriels, vision, force et proprioception, via un encodeur transformer entraîné par autoencoding masqué : l'encodeur doit reconstruire des observations multisensorielles complètes à partir d'un sous-ensemble partiel d'embeddings, forçant l'émergence d'une prédiction inter-modale et d'une fusion sensorielle robuste. Pour l'apprentissage de politiques en aval (downstream policy learning), MSDP introduit une architecture asymétrique originale : un mécanisme de cross-attention permet au critique d'extraire des caractéristiques dynamiques et tâche-spécifiques depuis les embeddings figés, tandis que l'acteur reçoit une représentation poolée stable pour guider ses actions. Sur robot réel, la méthode revendique des taux de succès élevés avec seulement 6 000 interactions en ligne, un chiffre à prendre avec précaution car le papier ne détaille pas précisément le type de robot, les seuils de succès retenus ni le panel de tâches évalué. Les expériences couvrent plusieurs scénarios de manipulation contact-riches, en simulation et sur plateforme physique. L'importance de MSDP tient d'abord à la difficulté structurelle qu'il adresse : l'apprentissage par renforcement multisensoriel est notoirement instable en présence de bruit et de perturbations dynamiques, deux conditions omniprésentes en environnement industriel. Si le chiffre de 6 000 interactions en ligne se confirme sur des tâches variées, il représenterait un signal fort sur l'efficacité des données, goulot d'étranglement critique pour tout déploiement en production. L'architecture asymétrique critique-acteur est un choix peu commun et potentiellement généralisable : elle découple la richesse représentationnelle nécessaire à l'évaluation des états de la stabilité requise pour l'exécution motrice, un compromis que la communauté robotique cherche à résoudre depuis plusieurs années. Pour un intégrateur ou un COO industriel, le préentraînement auto-supervisé sans étiquetage manuel réduit également le coût de déploiement sur de nouvelles tâches ou de nouveaux effecteurs. Le contexte académique de MSDP s'inscrit dans la dynamique de transfert des techniques de préentraînement auto-supervisé, popularisées en vision (MAE de Meta, 2021) et en NLP (BERT, GPT), vers la robotique multisensorielle. La manipulation en contact étroit reste l'un des défis les plus difficiles du domaine, car contrairement au pick-and-place, elle exige une gestion précise des forces de contact et une réponse rapide aux perturbations tactiles. Côté positionnement concurrentiel, des approches comme R3M (Meta) ou les modèles VLA récents (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA) explorent des fusions multimodales différentes, mais restent majoritairement centrés sur vision et langage, sans intégration native de la force au stade du préentraînement. Le papier est soumis en version 3 sur arXiv (2511.14427), ce qui témoigne de plusieurs cycles de révision. Les suites naturelles incluent la validation sur bras industriels standards (UR, Franka) et des tâches d'assemblage de précision, terrain où des acteurs européens comme Wandercraft ou les labos de robotique du CNRS pourraient s'appuyer sur ce cadre pour accélérer leurs travaux sur la manipulation dextre.

LLMPhy : un raisonnement physique à paramètres identifiables combinant grands modèles de langage et moteurs physiques

Des chercheurs du laboratoire MERL (Mitsubishi Electric Research Laboratories) ont publié LLMPhy, un framework d'optimisation en boîte noire couplant grands modèles de langage (LLM) et simulateurs physiques pour résoudre un problème rarement adressé : l'identification des paramètres physiques latents d'une scène, tels que la masse ou le coefficient de friction des objets. Le système décompose la construction d'un jumeau numérique en deux sous-problèmes distincts : l'estimation continue des paramètres physiques et l'estimation discrète de la disposition spatiale de la scène. À chaque itération, LLMPhy demande au LLM de générer des programmes encodant des estimations de paramètres, les exécute dans un moteur physique, puis utilise l'erreur de reconstruction résultante comme signal de rétroaction pour affiner ses prédictions. Les auteurs introduisent également trois nouveaux jeux de données conçus pour évaluer le raisonnement physique en contexte zéro-shot, comblant un vide dans les benchmarks existants qui ignorent systématiquement la question de l'identifiabilité des paramètres. La quasi-totalité des méthodes d'apprentissage pour le raisonnement physique contournent cette identification, se contentant de prédire des comportements sans modéliser les propriétés intrinsèques des objets. Or, pour des applications critiques comme l'évitement de collision ou la manipulation robotique, connaître la masse exacte ou le frottement d'un objet est souvent non négociable. Sur ses trois benchmarks, LLMPhy revendique des performances à l'état de l'art, avec une récupération des paramètres plus précise et une convergence plus fiable que les méthodes en boîte noire antérieures, selon les résultats rapportés par les auteurs eux-mêmes. L'approche articule deux niveaux de connaissance complémentaires : le savoir physique textuel encodé dans les LLM et les modèles du monde implémentés dans les moteurs de simulation modernes. LLMPhy s'inscrit dans un courant actif autour des world models et de la fermeture du fossé sim-to-real en robotique. MERL, filiale de recherche appliquée de Mitsubishi Electric, positionne ce travail face à des approches alternatives comme les world models neuronaux de type DreamerV3 ou UniSim, et aux modèles d'action-vision-langage (VLA) qui opèrent sans moteur physique explicite, gagnant en flexibilité au détriment de l'interprétabilité des paramètres. La version publiée (arXiv:2411.08027v3, troisième révision) ne mentionne pas d'intégration sur des systèmes robotiques physiques : les résultats restent confinés à la simulation, et aucune timeline de déploiement réel n'est annoncée.