RecherchearXiv cs.RO 11 septembre 2026

ObstaDiff : apprentissage généralisable de politiques de diffusion via des représentations conscientes des obstacles

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

ObstaDiff est une politique de diffusion pour la manipulation robotique conçue pour les scènes encombrées d'obstacles non structurés, point faible connu des approches d'imitation learning classiques, qui supposent généralement des arrière-plans dégagés. Le système s'appuie sur un encodeur visuel léger, dit obstacle-aware, qui décompose la scène en trois éléments, la cible, les obstacles et l'arrière-plan, avant de transmettre cette représentation structurée à une politique d'alignement générant la trajectoire de l'effecteur terminal jusqu'à une pose intermédiaire centrée sur la cible, en évitant les obstacles environnants. Testé sur robot réel en serre agricole, à raison de 61 essais par méthode comparée, soit 366 exécutions au total, ObstaDiff atteint un taux de réussite moyen de 75,41% et un taux de collision de 8,20%, des résultats supérieurs aux politiques d'imitation learning de référence évaluées dans les mêmes conditions. Le travail est publié en prépublication sur arXiv sous la référence 2609.10918v1.

Ce résultat s'attaque à l'un des écarts les plus documentés du secteur, celui qui sépare les démonstrations en laboratoire sur fond neutre du déploiement réel où les obstacles imprévisibles sont la norme. Pour les intégrateurs visant l'automatisation de tâches de manipulation en agriculture, en entrepôt ou en industrie légère, la capacité d'une politique à raisonner explicitement sur les obstacles, plutôt qu'à les ignorer, conditionne directement la fiabilité et la viabilité économique d'un déploiement. Un taux de collision de 8,20% reste loin de zéro et ne prouve pas une robustesse totale, mais la comparaison favorable aux baselines suggère qu'une représentation structurée cible-obstacle-arrière-plan est une piste concrète pour réduire l'écart entre démonstration et réalité, plutôt qu'une simple optimisation marginale des politiques de diffusion existantes.

ObstaDiff s'inscrit dans la lignée des politiques de diffusion appliquées à la manipulation robotique, une famille de méthodes étudiée pour générer des trajectoires continues à partir de démonstrations mais qui bute généralement sur la généralisation à des scènes visuellement différentes de l'entraînement. Il s'agit ici d'un travail de recherche en prépublication, non d'une annonce produit ni d'un déploiement commercial, évalué sur un nombre d'essais réels modeste mais transparent, sans partenaire industriel ni calendrier de commercialisation mentionné. Le choix d'une serre agricole comme terrain d'essai, où cultures et structures encombrent en permanence l'espace de travail, illustre un cas d'obstruction difficile à simuler ; la suite logique passe par l'extension à d'autres tâches et environnements, ainsi qu'une comparaison plus large face aux politiques vision-langage-action qui dominent aujourd'hui les débats sur la généralisation en robotique.

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Représentation visuelle 3D consciente de la dynamique pour l'apprentissage robotique à grande échelle

Un article arXiv (identifiant 2512.00074, quatrième révision, type "replace") présente AFRO, un framework d'apprentissage auto-supervisé de représentations visuelles 3D destiné à la robotique. Contrairement aux méthodes de pré-entraînement 3D classiques, performantes en reconnaissance et segmentation d'images mais souvent inefficaces pour la manipulation robotique, AFRO n'utilise ni supervision par action ni reconstruction géométrique explicite du monde observé. Le système traite la prédiction d'état comme un processus de diffusion génératif et apprend simultanément la dynamique directe et inverse dans un espace latent partagé, afin de capturer la structure causale des transitions état-action-état. Pour éviter les fuites d'information entre représentation visuelle et apprentissage de l'action, les auteurs introduisent une différenciation de caractéristiques (feature differencing) et une supervision de cohérence inverse. Combiné à une politique de type Diffusion Policy, AFRO est testé sur 16 tâches de manipulation en simulation et 4 tâches en conditions réelles, avec des gains substantiels de taux de réussite face aux approches de pré-entraînement existantes. Une page projet dédiée (kolakivy.github.io/AFRO) accompagne la publication. Ce travail cible un point de friction bien identifié dans la recherche en apprentissage robotique: les représentations visuelles pré-entraînées sur des tâches de vision classique ne capturent pas la dynamique physique nécessaire à la manipulation fine, et la reconstruction géométrique explicite, coûteuse en calcul, s'avère largement redondante pour cet usage. En démontrant qu'un pré-entraînement centré sur la dynamique état-action-état, sans supervision par action ni reconstruction, surpasse les approches existantes et passe mieux à l'échelle avec le volume de données et la complexité des tâches, AFRO apporte un argument concret dans le débat sur la conception des architectures de pré-entraînement pour les politiques robotiques, notamment celles reposant sur des modèles de diffusion. L'article s'inscrit dans la lignée des travaux sur les représentations 3D auto-supervisées pour la robotique, un axe de recherche actif face aux limites constatées des méthodes héritées de la vision par ordinateur classique. La publication d'une quatrième révision suggère un article retravaillé après retours de la communauté, sans qu'aucun calendrier de déploiement industriel ne soit mentionné: il s'agit à ce stade d'une contribution de recherche évaluée en simulation et sur un nombre restreint de tâches réelles, non d'un produit ou d'un pilote commercial.

RecherchePaper

1 source

2arXiv cs.RO

Modélisation de représentations volumétriques pour l'apprentissage de politiques de manipulation : VolumeDP

Une équipe de recherche présente VolumeDP, une nouvelle architecture pour l'apprentissage par imitation en robotique manipulatrice, décrite dans une version révisée d'un article arXiv (2603.17720v2). Le problème visé est concret : la plupart des méthodes actuelles font correspondre directement des observations d'images 2D à des sorties d'action 3D, un décalage géométrique qui nuit au raisonnement spatial et fragilise la robustesse des politiques apprises. VolumeDP corrige ce défaut en raisonnant explicitement en trois dimensions : les features issues des images sont d'abord projetées dans une représentation volumétrique via un mécanisme d'attention croisée, puis un module apprenable sélectionne les voxels pertinents pour la tâche et les convertit en un ensemble compact de tokens spatiaux, ce qui réduit fortement le calcul sans perdre la géométrie utile à l'action. Un décodeur multi-tokens exploite ensuite l'ensemble de ces tokens pour prédire les actions, évitant l'agrégation destructrice qui réduit plusieurs indices spatiaux à un seul descripteur. Résultat chiffré : 88,8% de taux de réussite moyen sur le benchmark de simulation LIBERO, soit 14,8 points de mieux que la meilleure méthode concurrente, avec des gains également marqués sur ManiSkill et LIBERO-Plus. Des essais en conditions réelles confirment la généralisation à de nouvelles dispositions spatiales, de nouveaux points de vue caméra et de nouveaux environnements. Pour les équipes qui développent des politiques de manipulation robotique, ce travail illustre une limite structurelle des architectures VLA qui traitent la 3D comme un simple sous-produit d'un flux d'images : sans représentation spatiale explicite, la robustesse aux changements de caméra ou de décor s'effondre, un problème récurrent dès qu'on sort du laboratoire. VolumeDP montre qu'ajouter un raisonnement volumétrique explicite, plutôt que de compter uniquement sur l'échelle des données ou du modèle, améliore sensiblement la généralisation, ce qui nuance l'idée reçue selon laquelle scaler les VLA suffirait à résoudre le problème spatial. Le travail s'inscrit dans la lignée des méthodes d'apprentissage par imitation ayant précédemment tenté d'intégrer une composante 3D, comme les approches de type Diffusion Policy en 3D, mais en visant une représentation volumétrique plus efficiente en calcul. Il s'agit à ce stade d'une contribution académique, publiée sur arXiv avec code et vidéos disponibles sur une page projet dédiée, et non d'un produit ou d'un système déployé commercialement. Les benchmarks utilisés (LIBERO, ManiSkill) restent des environnements de recherche standard, ce qui laissera aux prochaines étapes le soin de confirmer la tenue de ces résultats sur des tâches industrielles plus complexes.

RecherchePaper

1 source

3arXiv cs.RO

Évitement réactif d'obstacles sans apprentissage préalable pour les politiques génératives de robots

Des chercheurs proposent NUDGE (Nudge Update via Differentiable GEometry), une méthode d'évitement d'obstacles qui ne demande aucun réentraînement. Elle s'ajoute à toute politique robotique générative fondée sur la diffusion ou le flow matching, y compris les diffusion policies et les modèles vision-langage-action (VLA). À l'inférence, elle injecte dans la politique les gradients d'un champ de distance signée (SDF), une fonction qui donne la distance de chaque point à l'obstacle le plus proche, pour écarter la trajectoire générée des obstacles. Elle accepte les paramétrisations d'action usuelles (poses articulaires absolues ou relatives, poses de l'effecteur) grâce à un décodeur de trajectoire articulaire différentiable. Les auteurs affirment que la distribution de tâche de la politique est préservée et que le calcul tourne en temps réel. Il s'agit d'un preprint arXiv (version 2), et le résumé ne donne ni taux de succès, ni temps de calcul, ni liste de robots testés. Le point important est que l'évitement d'obstacles n'exige plus de redémonstrations ni de fine-tuning. Les politiques imitées sont bonnes sur la tâche mais mal armées face à un objet imprévu, surtout dans une cellule partagée avec des opérateurs. Si le procédé tient hors laboratoire, un intégrateur pourrait ajouter une couche de sécurité géométrique à une politique existante sans toucher à ses poids. Reste à vérifier la robustesse face aux obstacles dynamiques, la qualité du SDF fourni par la perception, et le compromis entre évitement et réussite de la tâche. Cette approche prolonge les techniques de guidage par gradient issues des modèles de diffusion, appliquées à un domaine où les VLA à flow matching, comme Pi-0, se multiplient sans garantie de collision. Elle concurrence les filtres de sécurité et les planificateurs de mouvement classiques, plus prévisibles mais moins intégrés à la politique. Aucune démonstration industrielle ni calendrier n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Uni-PNP : apprentissage unifié de politiques de préhension et de manipulation sans préhension pour atteindre des poses d'objets généralisables

Uni-PNP est une politique unifiée qui apprend conjointement la manipulation préhensile (avec saisie) et non préhensile (pousser, basculer, faire glisser) pour amener un objet dans une pose cible, quels que soient l'objet et le préhenseur. Les auteurs, dont le code et la page projet sont annoncés publiquement, procèdent en deux temps. Un encodeur de géométrie est d'abord pré-entraîné à prédire le mouvement d'un objet induit par un contact, à partir d'un jeu de données de dynamique de contact issu de simulations d'interactions entre objets et pinces variés. La politique est ensuite entraînée par apprentissage par renforcement en deux étapes, des objets saisissables vers des objets non saisissables, afin de favoriser la découverte d'interactions non préhensiles et leur combinaison avec la saisie. En simulation, le taux de succès atteint 76,39 % sur plusieurs centaines d'objets vus avec leurs pinces, et 57,91 % sur des objets inédits, soit 20,52 et 17,79 points de pourcentage de plus que la meilleure référence de pose-reaching testée. Les chercheurs décrivent aussi un transfert vers un scénario réel. L'intérêt tient à ce que la plupart des systèmes existants enchaînent des primitives distinctes (pousser, puis saisir) avec des objectifs intermédiaires prescrits, ce qui limite la coordination fine entre contact et prise. Ils restent en outre sensibles à la géométrie de l'objet et de la pince, et dépendent de supports précis dans l'environnement, un frein concret au déploiement en entrepôt ou en atelier où les pièces et les outils varient. Les comportements émergents rapportés vont dans le sens d'une manipulation plus robuste : repositionnement avec ou sans saisie, prise obtenue après avoir fait basculer l'objet, réorientation en s'appuyant sur la table pendant la saisie. Il faut toutefois relativiser : 57,91 % sur objets inédits reste loin d'une fiabilité industrielle, ces chiffres viennent de la simulation, et la validation réelle est présentée de façon qualitative. L'écart entre démonstration et production demeure donc entier. Ce travail s'inscrit dans la lignée des recherches sur la manipulation non préhensile et sur l'apprentissage par renforcement avec curriculum en simulation, qui traitaient jusqu'ici saisie et contact comme deux compétences à assembler. Il se positionne face aux approches séquentielles par primitives et aux politiques de pose-reaching généralistes. C'est une publication académique (arXiv, v1), sans produit, prix ni calendrier de déploiement. Les suites logiques seront des évaluations réelles plus étendues, avec davantage de pinces et de scènes, et l'intégration éventuelle de ces politiques dans des modèles vision-langage-action plus larges.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source