RecherchearXiv cs.RO 1 juillet 2026

3D HAMSTER : relier planification et contrôle dans les modèles VLA hiérarchiques grâce au guidage par trajectoire 3D

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Papier académique en robotique (VLA hiérarchique), pas de named companies commerciales ni d'acteur FR/EU à mettre en avant ici. Je rédige directement l'article.

Des chercheurs du laboratoire DAVIAN Robotics présentent 3D HAMSTER, un nouveau framework pour les modèles Vision-Langage-Action (VLA) hiérarchiques utilisés en manipulation robotique, détaillé dans un preprint arXiv (2606.31329v1). Ces architectures séparent la planification de haut niveau, confiée à un modèle vision-langage (VLM), du contrôle bas niveau exécuté par une politique dédiée. Les approches récentes font produire au VLM des trajectoires 2D de l'effecteur terminal pour guider cette politique, mais les politiques de pointe travaillent en réalité dans un espace métrique 3D à partir de nuages de points. Faute de profondeur, chaque point de la trajectoire 2D doit hériter de la profondeur de la surface visible sous lui dans la scène, ce qui déforme géométriquement le chemin prédit. 3D HAMSTER corrige ce défaut en dotant le VLM d'un encodeur de profondeur dédié et d'un objectif de reconstruction dense de la profondeur, afin qu'il prédise directement des séquences de points de passage en 3D, ensuite injectées dans une politique bas niveau opérant sur nuages de points.

Cette correction cible un goulot d'étranglement précis de la génération actuelle de VLA hiérarchiques: la conversion 2D vers 3D introduisait un bruit géométrique qui limitait la fiabilité des gestes de manipulation, en particulier lors de changements d'apparence de la scène ou de conditions inédites (langage, position spatiale, visuel). Sur les trois bancs d'essai testés (prédiction de trajectoire 3D, simulation, manipulation réelle), 3D HAMSTER dépasse à la fois des VLM propriétaires état de l'art et les méthodes concurrentes guidées en 2D, avec les écarts les plus marqués justement sur ces conditions de généralisation difficile. Ce résultat va dans le sens d'une hypothèse clé du secteur: une bonne partie de l'écart entre démonstrations en laboratoire et déploiement réel des robots manipulateurs tient moins à la politique de contrôle elle-même qu'à la qualité du signal de planification qui la guide.

Le travail s'inscrit dans la lignée des architectures VLA hiérarchiques qui ont émergé ces deux dernières années pour améliorer la généralisation des robots manipulateurs, en s'appuyant sur des politiques bas niveau désormais matures en perception 3D par nuages de points. En comparant directement sa méthode à des VLM propriétaires non nommés publiquement dans le résumé, l'équipe positionne 3D HAMSTER comme une alternative open, avec une page projet dédiée (davian-robotics.github.io/3D_HAMSTER) où code et données devraient être publiés pour permettre une reproduction indépendante des résultats.

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Attaques par redirection de trajectoire sur les modèles vision-langage-action (VLA)

Des chercheurs ont publié le 12 juin 2026 un article (arXiv:2606.12978) introduisant une nouvelle classe d'attaques adversariales sur les politiques robotiques de type VLA (Vision-Language-Action), ces architectures qui combinent un modèle de langage, une vision par caméra et un contrôleur moteur pour exécuter des tâches de manipulation à partir d'instructions textuelles. L'attaque baptisée "command-preserving trajectory redirection" (redirection de trajectoire préservant la commande) consiste à modifier subtilement le prompt d'entrée de façon à ce qu'il reste visuellement et sémantiquement proche de l'instruction légitime, mais provoque un résultat physique entièrement différent. Le modèle de menace est strict : l'attaquant ne modifie ni les poids du modèle, ni l'environnement, il choisit un seul prompt avant l'épisode, et ce prompt reste dans la norme syntaxique de la commande originale, sans mots-cibles ni langage correctif. Les auteurs proposent une méthode de recherche "on-policy" qui exploite des rollouts réels du robot pour identifier les perturbations textuelles dont le comportement en boucle fermée dévie vers une tâche cible. Les expériences sont conduites en simulation et sur robot physique, confirmant le transfert de l'attaque au monde réel. Ce résultat est significatif pour les intégrateurs et les décideurs industriels qui évaluent l'adoption des VLA en production, notamment dans les contextes de manipulation collaborative ou d'assemblage. La vulnérabilité exploite une propriété structurelle des VLA en boucle fermée : le même prompt est réappliqué à chaque étape de re-planification, et chaque action conditionnée modifie les observations futures sur lesquelles la politique agit. Un prompt malveillant peut donc cumuler ses effets sur toute une trajectoire, là où les attaques précédentes se limitaient à des perturbations action-par-action ou à la persistance d'actions basses. Cela contredit implicitement l'hypothèse que la robustesse visuelle d'un VLA suffit à garantir son intégrité comportementale, et soulève des questions concrètes sur la validation de sécurité avant déploiement. Les modèles VLA sont au coeur de plusieurs développements récents : pi0 de Physical Intelligence, OpenVLA, RT-2 de Google DeepMind, ou encore les politiques embarquées sur les humanoïdes Figure et 1X. La recherche en sécurité adversariale sur ces architectures était jusqu'ici dominée par des attaques sur les observations visuelles ou sur les actions individuelles ; ce travail ouvre formellement le champ des attaques au niveau de l'instruction textuelle à horizon long. Les auteurs n'annoncent pas de correctif ni de contre-mesure validée, ce qui laisse ouverte la question de la robustification des pipelines VLA. Les prochaines étapes attendues dans la communauté concerneront vraisemblablement la détection de prompts adversariaux à la volée et l'évaluation de ce vecteur d'attaque sur des modèles déployés commercialement. Le site projet est accessible à l'adresse indiquée dans le papier.

RechercheOpinion

1 source

2arXiv cs.RO

Modèle du monde visuo-tactile FeelWorld pour la prédiction et la planification hiérarchiques du contact

FeelWorld est un nouveau modèle du monde visuo-tactile hiérarchique présenté dans un article arXiv (2607.24267v1) qui prédit conjointement les futurs visuels latents et trois états tactiles : l'état de contact, un latent tactile 3D encodant les informations de force, et l'état de glissement. Ces trois signaux sont produits par un modèle de dynamique latente partagé, entraîné avec une supervision explicite et un mécanisme d'attention asymétrique à porte de contact, qui maintient un chemin de prédiction purement visuel avant tout contact puis active la prédiction conjointe visuo-tactile une fois le contact établi. L'entraînement s'appuie sur des rollouts autorégressifs et une injection de bruit contextuel pour limiter l'accumulation d'erreurs. Sur trois tâches de manipulation, saisie de puces électroniques, saisie de fruits et insertion de connecteurs USB, FeelWorld réduit le LPIPS à 10 pas de 0,084 à 0,058 et reste 61% inférieur au LPIPS d'un modèle purement visuel après un rollout autorégressif de 80 pas. Couplé à un planificateur CEM sensible au contact, il atteint un taux de réussite moyen de 81,7% en planification zero-shot. L'apport principal tient au constat que les modèles du monde utilisés en robotique se limitent en général à la dynamique visuelle, ce qui peut générer des futurs imaginés plausibles à l'œil mais physiquement incohérents dès qu'il y a contact réel avec l'objet. Pour des tâches d'assemblage précis, de préhension d'objets fragiles ou d'insertion, cette lacune pèse directement sur la fiabilité du planning robotique. En intégrant le retour tactile directement dans la boucle de prédiction plutôt qu'en aval, FeelWorld cible un des points faibles connus des architectures VLA et des pipelines de planification par imagination, où l'écart entre démonstration visuelle et physique réelle reste un obstacle à la mise à l'échelle. Le travail s'inscrit dans la lignée des modèles du monde issus du RL basé sur modèle et des architectures récentes de prédiction visuelle, jusqu'ici quasi exclusivement centrées sur l'image. La détection tactile constituait jusque-là un axe de recherche largement séparé. Il s'agit ici d'une contribution académique, sans déploiement industriel annoncé ni acteur commercial identifié ; les suites naturelles concernent des tests sur du matériel physique équipé de capteurs tactiles et une intégration dans des piles de planification robotique plus larges.

RecherchePaper

1 source

3arXiv cs.RO

Contrôle de trajectoire par vision pour robots mobiles via un cadre d'apprentissage hiérarchique

Une équipe de recherche propose un nouveau cadre hiérarchique pour piloter des robots mobiles lourds vers un objectif de navigation, en combinant localisation visuelle, apprentissage par renforcement et contrôle adaptatif robuste. Le système repose sur quatre couches : une estimation de pose par vision stéréo en temps réel (avec fermeture de boucle, fusion de cartes et relocalisation), un planificateur de mouvement entraîné par apprentissage par renforcement (RL) sous contraintes, un contrôle adaptatif robuste (RAC) au niveau des actionneurs, et une logique de supervision de sécurité avec retour automatique. Le planificateur RL génère des trajectoires lisses et réalisables grâce à une fonction de récompense conçue pour favoriser la progression vers l'objectif tout en respectant les limites mécaniques d'un robot lourd à direction par glissement (skid-steered). Au niveau des roues, un réseau de neurones entraîné par gradient conjugué à échelle variable (SCG) approxime la relation quasi-statique entre vitesse de roue et commande nominale, complétée par un contrôleur adaptatif à barrière logarithmique qui compense les erreurs de modélisation, le glissement et les écarts résiduels. Testé sur un robot de 6000 kg roulant sur asphalte et sol meuble, le système atteint une erreur quadratique moyenne de position finale d'environ 3 à 4 cm, avec un suivi précis des commandes générées par le RL et une récupération autonome réussie après injection de pannes simulées. Ce résultat s'inscrit dans une préoccupation centrale de la robotique mobile industrielle : rendre l'apprentissage par renforcement, réputé difficile à certifier pour un déploiement sûr à grande échelle à cause de sa phase d'exploration, compatible avec des engins lourds où une erreur de trajectoire ou une perte de contrôle peut avoir des conséquences physiques importantes. En couplant le RL à un contrôle adaptatif prouvé mathématiquement stable (convergence exponentielle vers un ensemble résiduel borné, sous incertitude bornée) et à une supervision de sécurité qui bascule automatiquement le robot en mode retour en cas d'anomalie, les auteurs cherchent à combler l'écart entre performance d'apprentissage et garanties de sécurité exigées pour les AMR (robots mobiles autonomes) lourds opérant en extérieur, sur terrain irrégulier. L'article, disponible sur arXiv (identifiant 2601.00610, version de remplacement), s'inscrit dans la lignée des travaux combinant localisation par vision stéréo et contrôle hiérarchique pour la navigation robotique, un domaine où la plupart des démonstrations RL restent cantonnées à la simulation ou à des plateformes légères. La validation sur un engin de 6000 kg, testé en conditions réelles sur deux types de terrain avec injection de pannes, positionne ce travail comme une contribution empirique rare dans le passage du RL du laboratoire vers des applications industrielles à fort enjeu de sécurité.

RecherchePaper

1 source

4arXiv cs.RO

3D-CovDiffusion : modèle de diffusion 3D pour la planification de trajectoires de couverture

Des chercheurs présentent 3D-CovDiffusion, un modèle de diffusion conditionné par la géométrie pour la planification de trajectoires de couverture en robotique industrielle, décrit dans une version révisée (v2) publiée sur arXiv (2510.03011). Contrairement aux approches qui assemblent après coup des segments de trajectoire non ordonnés via des heuristiques, la méthode reformule le problème comme une génération de séquence conditionnelle : elle synthétise directement, à partir d'un nuage de points 3D brut, des trajectoires continues et temporellement ordonnées, découpées en blocs simplement concaténés dans l'ordre. Une seule politique partagée traite des géométries variées sans architecture spécifique par catégorie d'objet. Sur des benchmarks étendus, les auteurs rapportent une distance de Chamfer point à point inférieure de 98,2 % par rapport aux meilleures méthodes d'apprentissage antérieures, un jerk (à-coup) réduit de 97,0 %, signe de trajectoires plus lisses, et une couverture de surface supérieure de 67,5 points de pourcentage en moyenne. La planification de trajectoires de couverture conditionne directement la qualité de finition et le temps de cycle en peinture, polissage et revêtement par pulvérisation industriels. Les méthodes existantes, géométriques ou fondées sur l'apprentissage par segments, nécessitent souvent un post-traitement pour reconstituer un ordre cohérent, ce qui introduit des artefacts et limite la généralisation entre formes d'objets. En montrant qu'une politique de diffusion unique peut générer directement des séquences ordonnées et se généraliser sans réglage par catégorie, ce travail renforce l'idée que les modèles de diffusion conditionnés peuvent remplacer des pipelines de planification fait main, argument déjà avancé pour la manipulation robotique mais encore peu exploré pour la couverture de surface. Les gains chiffrés restent toutefois issus de benchmarks internes aux auteurs, sans validation en environnement industriel réel mentionnée dans l'abstract. Ce travail prolonge les "diffusion policies" désormais courantes en apprentissage par imitation pour la manipulation, ici transposées à un problème historiquement traité par la planification classique (trajectoires en boustrophédon) ou par des méthodes d'apprentissage assemblant des segments locaux. Classée "replace" sur arXiv, la publication correspond à une mise à jour d'un article existant plutôt qu'à une annonce produit ; aucun industriel ni site de déploiement n'est cité, ce qui situe la contribution au stade académique plutôt qu'au transfert commercial. La suite logique attendue serait une validation sur cellule robotique réelle, comparée aux outils de programmation de trajectoire actuellement utilisés en production.

RecherchePaper

1 source