RecherchearXiv cs.RO 5 mai 2026

CoRAL : contrôle adaptatif basé sur LLM pour la manipulation robotique en contact riche

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs propose CoRAL (Contact-Rich Adaptive LLM-based control), un framework publié en preprint sur arXiv (2605.02600) en mai 2025, conçu pour résoudre l'une des limites persistantes des grands modèles de langage appliqués à la robotique : la manipulation en contact riche, c'est-à-dire les tâches nécessitant des interactions physiques précises et réactives. L'architecture repose sur un découplage strict entre raisonnement de haut niveau et exécution de bas niveau. Contrairement aux approches VLA (Vision-Language-Action) qui emploient le modèle comme contrôleur direct, CoRAL utilise le LLM comme concepteur de fonctions de coût pour un planificateur par échantillonnage (MPPI, Model Predictive Path Integral). Un VLM fournit des priors sémantiques sur les paramètres physiques de l'environnement - masse et friction - affinés en temps réel par identification de système en ligne, tandis qu'une mémoire par récupération permet de réutiliser des stratégies validées sur des tâches récurrentes. Sur des scénarios incluant le retournement d'objets contre des murs via des contacts extrinsèques, CoRAL affiche un taux de succès supérieur de plus de 50 % en moyenne aux baselines VLA testées, sur des tâches jamais vues en entraînement, aussi bien en simulation que sur hardware réel.

L'intérêt principal pour les intégrateurs réside dans la résilience au gap sim-to-real : en adaptant dynamiquement sa représentation des paramètres physiques lors des premières interactions, le système corrige en vol ses erreurs stratégiques sans nécessiter de re-entraînement. La séparation raisonnement/exécution garantit en outre une stabilité temps réel, le LLM étant par nature trop lent pour s'insérer dans une boucle de contrôle réactif. C'est un argument concret contre les VLA pures, qui peinent précisément sur les tâches à fort contact car leurs politiques apprises ne s'adaptent pas aux incertitudes physiques non vues. Le gain de 50 % mérite cependant d'être pondéré : les baselines exactes et le périmètre précis des tâches de test ne sont pas détaillés dans le résumé, et ce travail reste un preprint non relu par les pairs.

CoRAL s'inscrit dans un champ de recherche actif qui cherche à hybrider planification symbolique et modèles de fondation pour dépasser les limites des VLA comme Pi-0 (Physical Intelligence), RT-2 (Google DeepMind) ou OpenVLA. Ces modèles ont montré des capacités convaincantes sur des tâches de manipulation standards mais buttent sur les contacts complexes et les environnements non vus. Le planificateur MPPI est une méthode stochastique éprouvée en robotique, ce qui ancre CoRAL dans un socle technique solide plutôt que dans une approche purement émergente. Aucun déploiement industriel ni partenariat n'est annoncé à ce stade - la prochaine étape naturelle serait une validation sur un spectre plus large de tâches industrielles, comme l'assemblage ou la manipulation d'objets déformables, pour mesurer la généralisation réelle de l'approche.

Dans nos dossiers

Physical Intelligence — π0 OpenVLA / RT-X Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Représentation Alignée pour l'Ancrage Tactile en Manipulation Robotique à Contact Riche

Le capteur tactile reste le parent pauvre des politiques vision-langage-action (VLA) pour la manipulation robotique, alors que les phases de contact critiques (préhension, insertion, glissement) échappent souvent à la caméra. Une équipe de recherche propose dans un article publié sur arXiv (2607.14609) une méthode pour mieux exploiter le toucher: au lieu de prédire directement le signal tactile brut, souvent bruité, le système apprend à anticiper de futurs états tactiles à partir des représentations internes du modèle. Par une analyse en sonde linéaire (linear probe), les chercheurs montrent que ce sont les caractéristiques intermédiaires de l'expert en action, la partie du réseau qui traduit une décision en mouvement, qui prédisent le mieux l'état tactile futur, bien mieux que les couches de perception vision-langage ou que l'état d'action final. Sur cette base, ils introduisent le Latent Tactile Predictor (LTP), un module léger qui prédit des embeddings tactiles compacts à partir de cette couche intermédiaire plutôt que le signal tactile brut. Des expériences sur des tâches de manipulation réelles à fort contact confirment que cet alignement représentationnel surpasse les approches de prédiction tactile moins ciblées ou multi-interfaces. Cette contribution touche à un point sensible du secteur robotique: la plupart des politiques VLA actuelles (Pi-0, GR00T N2, Helix) reposent presque exclusivement sur la vision et le langage, avec un toucher traité comme un canal secondaire greffé après coup. Montrer qu'il existe un endroit précis, dans l'architecture, où la supervision tactile est réellement utile change la manière de concevoir ces modèles multimodaux: cela suggère que brancher un capteur tactile n'importe où dans le réseau, sans réflexion sur l'alignement des représentations, gaspille l'information. Pour les intégrateurs travaillant sur des tâches à contact fin, assemblage, insertion de connecteurs, manipulation d'objets déformables, c'est un signal que la robustesse ne viendra pas seulement de plus de données mais d'une meilleure architecture de fusion des modalités. Le travail s'inscrit dans la lignée des VLA tactiles apparus ces deux dernières années pour combler l'angle mort de la seule vision. L'article ne détaille pas de déploiement industriel ni de partenariat avec un fabricant de robots, il s'agit d'une contribution de recherche fondamentale destinée à orienter la conception des futures générations de politiques VLA plutôt qu'un produit prêt à l'emploi.

RechercheActu

1 source

2arXiv cs.RO

Dream-Tac : un modèle d'action monde tactile unifié pour la manipulation robotique riche en contacts

Des chercheurs ont publié le 9 juin 2026 sur arXiv (arXiv:2606.08737) Dream-Tac, un modèle d'action mondial unifié intégrant la modalité tactile pour la manipulation robotique en contact. L'architecture joint trois dimensions simultanément : la génération d'actions, la prédiction d'observations visuelles futures et la dynamique tactile. Deux contributions techniques structurent le système : une fusion visuotactile à déclenchement par contact ("contact-gated visuotactile fusion"), qui intègre sélectivement les signaux tactiles uniquement lors des phases d'interaction physique effective, et un biais d'attention conscient du contact ("contact-aware attention bias") régulant les échanges cross-modaux. Pour rendre le modèle déployable en temps réel, les auteurs introduisent une stratégie d'accélération à deux niveaux : reformulation du biais lors de l'entraînement pour préserver les chemins d'attention fusionnés, et accélération de la diffusion par cache à l'inférence. Résultat annoncé : entraînement 2,9 fois plus rapide, inférence 1,8 fois plus rapide. Sur six tâches de manipulation en contact riche, Dream-Tac améliore la précision des actions de 31,7 % en moyenne. Le code est publié sur GitHub. Le résultat le plus significatif n'est pas le chiffre brut des 31,7 %, mais ce qu'il révèle sur une limitation structurelle des modèles d'action mondiaux (world action models) actuels : ces architectures, qui héritent la capacité prédictive des world models pour guider la génération d'actions, s'appuient quasi exclusivement sur la vision. Or, la vision seule est insuffisante pour les tâches à fort contact (assemblage de pièces, vissage, insertion de connecteurs, manipulation d'objets souples) où les signaux critiques sont d'ordre haptique. Dream-Tac adresse directement ce "reality gap" tactile, en montrant que l'intégration conditionnelle de la modalité tactile dans le pipeline de diffusion améliore substantiellement la robustesse. Pour les intégrateurs industriels et les équipes robotique travaillant sur des cellules d'assemblage ou de finishing, c'est un signal clair que les VLA (Vision-Language-Action models) ne suffisent pas seuls pour les cas d'usage à contact. Le contexte est celui d'une compétition intense entre laboratoires sur la manipulation dextère. Physical Intelligence (pi0, pi0-FAST), Boston Dynamics, Figure AI et Agility Robotics investissent massivement dans des pipelines de manipulation généralisable, principalement visuels. Côté recherche académique, des travaux comme DexDiffuser ou UniDexGrasp ont posé les bases de la manipulation dextère par diffusion, mais sans intégration tactile unifiée. Dream-Tac s'inscrit dans une tendance émergente visant à enrichir ces pipelines avec des capteurs de contact (GelSight, Digit, BubbleGripper), encore peu intégrés dans les architectures de world models. Il s'agit ici d'un article de recherche arXiv, pas d'un produit ou d'un déploiement industriel : les six tâches de validation sont des benchmarks contrôlés en laboratoire, et la généralisation à des environnements réels non structurés reste à démontrer. Les prochaines étapes naturelles seraient une validation sur des plateformes hardware commerciales (UR, Franka, ou bras dextre humanoïde) et une extension à des gripper tactiles standardisés disponibles sur le marché.

RechercheOpinion

1 source

3arXiv cs.RO

FA-RDP : une politique de diffusion réactive adaptative en fréquence pour la manipulation à contact riche

FA-RDP, une politique de diffusion réactive à fréquence adaptative pour la manipulation robotique riche en contacts, a été présentée dans un article arXiv (2607.28596v1). Le problème identifié par les auteurs est le suivant: avant le contact entre un effecteur et un objet, plusieurs trajectoires sont valables et il faut préserver cette diversité de modes d'action; après le contact, les contraintes géométriques et les limites de force réduisent l'espace des solutions et exigent une réaction rapide au retour de force. Les politiques de diffusion classiques utilisent une fréquence d'inférence et un nombre d'étapes fixes tout au long de l'épisode, ce qui impose un compromis: un échantillonnage basse fréquence à plusieurs étapes préserve mieux la multimodalité pré-contact mais réagit lentement à la force, tandis qu'un échantillonnage haute fréquence améliore la réactivité mais tend à effondrer les modes distincts. FA-RDP répond à ce compromis via un Transformer visuel-force multi-fréquence partagé qui prédit des blocs d'action à basse et haute fréquence, couplé à un indicateur de multimodalité appris qui bascule dynamiquement entre échantillonnage multi-étapes basse fréquence avant contact et échantillonnage à une étape haute fréquence quand l'ambiguïté diminue. Les auteurs ajoutent une distillation de cohérence de variété (Manifold Consistency Distillation, MCD), qui reparamètre le réseau de diffusion pour prédire les actions directement sur la variété d'action du robot tout en conservant la supervision résiduelle de type DDPM. Pour l'industrie robotique, cette approche s'attaque à un goulot d'étranglement concret des politiques par diffusion en manipulation fine: le compromis entre diversité des trajectoires et vitesse de réaction en temps réel, un frein connu pour les tâches d'assemblage, d'insertion ou de manipulation avec contact physique. Si les résultats se confirment à plus grande échelle, cela renforcerait la viabilité des politiques de diffusion pour des applications industrielles où la précision au contact (force, couple) est critique, un axe suivi de près par les intégrateurs travaillant sur l'automatisation fine et la robotique collaborative. Les expériences ont porté sur trois tâches de manipulation riche en contacts, où FA-RDP obtient le taux de réussite le plus élevé tout en conservant des trajectoires pré-contact diversifiées, comparé aux approches à fréquence fixe. Le travail s'inscrit dans la lignée des politiques de diffusion pour le contrôle robotique (dans la continuité de Diffusion Policy et d'approches VLA comme Pi-0 ou GR00T), un champ de recherche actif où la question de la fréquence d'inférence et de la réactivité reste ouverte. Le code et des vidéos de démonstration sont disponibles sur fa-rdp.github.io, mais aucune information sur un déploiement matériel réel ou une intégration industrielle n'est mentionnée à ce stade: il s'agit d'un résultat de recherche en simulation/laboratoire, pas d'un produit commercialisé.

RecherchePaper

1 source

4arXiv cs.RO

Modèle de diffusion adaptatif pour la manipulation robotique efficace (VADF)

Une équipe de chercheurs a publié sur arXiv (référence 2604.15938) une proposition architecturale baptisée VADF (Vision-Adaptive Diffusion Policy Framework), visant à corriger deux défauts structurels des politiques de diffusion appliquées à la manipulation robotique. Le premier défaut est le déséquilibre de classe dû à l'échantillonnage uniforme lors de l'entraînement : le modèle traite indistinctement les exemples faciles et difficiles, ce qui ralentit la convergence. Le second est le taux d'échec à l'inférence par dépassement de délai, un problème opérationnel concret dès qu'on sort du laboratoire. VADF intègre deux composants : l'ALN (Adaptive Loss Network), un MLP léger qui prédit en temps réel la difficulté de chaque pas d'entraînement et applique un suréchantillonnage des régions à forte perte via du hard negative mining ; et l'HVTS (Hierarchical Vision Task Segmenter), qui décompose une instruction de haut niveau en sous-tâches visuellement guidées, en assignant des schedules de bruit courts aux actions simples et des schedules longs aux actions complexes, réduisant ainsi la charge computationnelle à l'inférence. L'architecture est conçue model-agnostic, c'est-à-dire intégrable à n'importe quelle implémentation existante de politique de diffusion. L'intérêt pour un intégrateur ou un responsable R&D est avant tout pratique : les politiques de diffusion souffrent de coûts d'entraînement élevés et d'une fiabilité insuffisante en déploiement réel, ce qui freine leur adoption industrielle. Si les gains annoncés par VADF se confirment sur des benchmarks indépendants, la réduction des étapes de convergence représenterait un levier significatif sur les coûts GPU, et la diminution des timeouts à l'inférence améliorerait directement la cadence opérationnelle. Il faut toutefois noter que ce travail est un preprint non évalué par des pairs, sans chiffres de performance comparatifs publiés dans l'article lui-même. Les politiques de diffusion ont émergé comme méthode de choix pour l'imitation comportementale en robotique depuis les travaux de Chi et al. en 2023 (Diffusion Policy, Columbia), avant d'être intégrées dans des architectures plus larges comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. La principale tension du domaine reste le sim-to-real gap et la robustesse à l'inférence en conditions réelles, terrain sur lequel VADF prétend apporter une contribution. Les prochaines étapes logiques seraient une validation sur des benchmarks standard (RLBench, LIBERO) et une comparaison directe avec ACT ou Diffusion Policy de référence.

RecherchePaper

1 source