RecherchearXiv cs.RO 27 octobre 2026

Jusqu'où GPT-6 Astra peut-il monter en manipulation riche en contacts ? PhysLadder : un benchmark hiérarchique et apparié simulation-réel pour l'interaction physique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv PhysLadder, un benchmark hiérarchique pour mesurer les capacités d'interaction physique en manipulation riche en contacts. Il regroupe 16 tâches domestiques réparties en trois niveaux cumulatifs: sélection de contact et alignement géométrique (L1), régulation de la force pendant un contact prolongé (L2), puis reconfiguration coordonnée des contacts combinée à la régulation de force (L3). Chaque tâche existe dans un environnement simulé et un environnement réel appariés physiquement et visuellement, avec des définitions et des critères de succès communs. Le modèle GPT-6 Astra a été évalué en zero-shot, à raison de trois essais par tâche et par environnement. En réel, le taux de succès passe de 80,0 % au niveau L1 à 47,6 % au niveau L2, puis 0,0 % au niveau L3. En simulation, il est de 66,7 %, 47,6 % et 0,0 %. Dix tâches sur seize affichent des scores identiques dans les deux environnements, et les six autres diffèrent d'un seul succès sur trois.

Le résultat tranche avec l'image d'une manipulation « résolue » par les grands modèles généralistes: dès que le contact doit être maintenu et modulé, la performance s'effondre, et elle s'annule dès que plusieurs contacts doivent être coordonnés. Les auteurs identifient des échecs récurrents en raisonnement spatial, choix du contact, régulation de force et coordination, qui empêchent les progrès locaux de s'accumuler jusqu'à la réussite de la tâche. Pour les intégrateurs, c'est un rappel que les démonstrations de prise et de dépose ne préjugent pas de la fiabilité sur des tâches d'assemblage ou de manipulation fine. L'autre apport est méthodologique: la bonne concordance simulation-réel, pour ce modèle, suggère que la simulation appariée peut servir de banc d'essai répétable et peu coûteux.

Il faut toutefois relativiser. L'échantillon est petit (trois essais par tâche), un seul modèle est testé, et les chiffres suggèrent des niveaux de tailles inégales, avec une dizaine de tâches sur L1 et L2 seulement. Le résumé ne précise ni la plateforme robotique ni la méthode de commande, et la concordance observée ne vaut pas pour d'autres modèles. Le benchmark s'inscrit dans le débat sur l'écart entre démonstration et déploiement, et sur la place des modèles généralistes face aux VLA spécialisés comme Pi-0, GR00T N2 ou Helix. Aucune comparaison avec ces systèmes n'est annoncée à ce stade.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage en une démonstration pour la manipulation robotique à contacts riches, par identification des interactions physiques

Un preprint publié sur arXiv (arXiv:2608.24741v1, août 2026) présente une méthode de Learning from Demonstration (LfD) qui modélise explicitement les interactions physiques entre un robot et son environnement, notamment la création et la rupture de contact pendant une manipulation. Un contrôleur hybride position-force suit la trajectoire démontrée par un humain jusqu'à ce que les conditions de transition liées au contact, identifiées durant cette démonstration, soient atteintes. La méthode a été validée sur un robot réel via quatre tâches riches en contacts, ouverture de portes et de serrures, prise et vissage de boulons, dégagement d'objets coincés et suivi de contour de surface, chacune apprise à partir d'une seule démonstration et sans connaissance préalable de la tâche. Cette approche tranche avec la tendance dominante de la manipulation robotique, où les modèles vision-langage-action (VLA) à grande échelle exigent des milliers de démonstrations pour généraliser. En rendant explicite la physique du contact plutôt que de la confier à un réseau de neurones opaque, les auteurs visent une interprétabilité rare dans la littérature du LfD, où l'on sait précisément pourquoi et quand le robot change de comportement. Pour des intégrateurs industriels confrontés à des tâches d'assemblage ou de maintenance à forte variabilité géométrique, comme le boulonnage ou le verrouillage, l'intérêt tient à une programmation par démonstration unique, robuste aux variations imprévues et généralisable quand ces variations sont connues à l'avance, ce qui contredit l'idée que seule l'échelle des données garantit une manipulation fiable. Le travail s'inscrit dans un courant du LfD qui, selon les auteurs, néglige généralement la modélisation explicite du contact physique, alors que celui-ci est central dans la plupart des tâches de manipulation réelles. Ils présentent leur contribution comme un moyen de combler cette lacune d'interprétabilité en apprentissage à partir de très peu d'exemples, en détaillant comment robustesse, généralisation et adaptabilité peuvent être implémentées explicitement plutôt que laissées à l'apprentissage statistique. Publié comme preprint non encore évalué par les pairs, sans indication d'institution ni de calendrier de valorisation industrielle, il se positionne comme une contribution méthodologique plutôt qu'un produit, dans un paysage de la manipulation robotique dominé par des modèles fondationnels de type VLA entraînés sur de vastes corpus de démonstrations.

RecherchePaper

1 source

2arXiv cs.RO

SARI : entraînement conjoint simulation-réel en deux phases pour la manipulation riche en contacts

Des chercheurs proposent SARI (Simulated Approach, Real Interaction), un cadre de co-entraînement simulation-réel « à phases séparées » destiné à adapter des modèles vision-langage-action (VLA) à des tâches de manipulation riches en contacts. Le principe : générer les trajectoires d'approche, en espace libre, dans un jumeau numérique photoréaliste, et ne collecter en conditions réelles que les phases de contact, sur un petit nombre de positions d'objets. Une seule politique est ensuite post-entraînée sur ces démonstrations segmentées par phase. Elle enchaîne approche simulée et interaction réelle grâce à un alignement de l'apparence visuelle et à une représentation d'action partagée, exprimée par rapport à la caméra. Elle n'utilise ni étiquettes de phase explicites ni commutateurs codés à la main. Testé sur cinq tâches de manipulation réelles, SARI réduit de 34,3 % le temps de collecte de données réelles et atteint 27,5 % de réussite sur des positions jamais vues, là où toutes les approches de référence sim-réel entraînées sur la tâche complète échouent totalement (0 %). Le travail est publié sur arXiv (2610.02804). Ces résultats comptent pour les équipes qui adaptent des VLA à des tâches d'assemblage ou d'insertion, où le coût des démonstrations téléopérées est le principal frein. L'intérêt tient à la répartition du travail : la diversité spatiale, gourmande en données mais tolérante aux écarts de simulation, est confiée à la synthèse. La physique du contact, sensible aux erreurs de modèle mais peu dépendante de la position de l'objet, reste réelle. Cela nuance l'idée d'un transfert sim-vers-réel de bout en bout et suggère qu'un découpage par phase est plus rentable. Il faut toutefois relativiser les chiffres. Un taux de 27,5 % sur positions inédites reste très loin d'un seuil industriel, et un gain de 34,3 % sur le temps de collecte est modeste. Les résultats portent sur cinq tâches, avec un échantillon et des conditions de laboratoire dont l'article ne détaille pas ici la variabilité. Le contraste avec les références à 0 % est parlant, mais il dépend du choix de ces références. L'article s'inscrit dans la série de travaux sur le co-entraînement sim-réel pour les politiques VLA, qui cherchent à réduire la dépendance aux démonstrations réelles, aujourd'hui l'un des principaux postes de coût du déploiement de modèles généralistes. Les approches concurrentes, qui mélangent simulation et réel sur la tâche entière, se heurtent à l'écart de réalité dès que le contact intervient, ce que SARI cherche à contourner. Il s'agit ici d'un résultat de recherche et non d'un produit ni d'un déploiement : aucun partenaire industriel, calendrier de pilote ni code disponible n'est mentionné dans le résumé. Les suites probables sont des validations sur davantage de tâches, de robots et de géométries d'objets, ainsi que des comparaisons avec les VLA généralistes actuels, afin de vérifier si le gain tient hors du cadre expérimental initial.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Où toucher, comment entrer en contact : un cadre hiérarchique RL-MPC pour une manipulation sim-vers-réel sensible à la géométrie

Une équipe de recherche propose une architecture hiérarchique combinant apprentissage par renforcement (RL) et commande prédictive (MPC) pour la manipulation dextre en contact riche, détaillée dans un article arXiv (2601.10930, quatrième révision). Le système sépare la décision en deux niveaux: une politique RL de haut niveau détermine "où toucher", c'est à dire un point de contact sur la surface de l'objet ainsi qu'une pose cible à atteindre après ce contact, un concept que les auteurs nomment "intention de contact". Un contrôleur MPC de bas niveau, dit à contact implicite, prend ensuite le relais pour optimiser en temps réel les modes de contact locaux et replanifier la trajectoire du robot à travers la dynamique de contact, non lissée par nature. Le framework a été testé sur des tâches de manipulation non préhensile: poussée généralisée sur des objets de formes variées, réorientation par pivotement ou basculement, et repositionnement assisté par l'environnement. Les résultats annoncés montrent un taux de réussite élevé, un transfert simulation vers réel sans réentraînement (zero shot), et surtout un besoin en données dix fois inférieur à celui des politiques de bout en bout classiques. Cette approche s'attaque directement à l'un des points faibles des politiques end to end actuelles, y compris les modèles vision langage action de type VLA: leur appétit en données et leur difficulté à transférer proprement de la simulation vers le réel. En réintroduisant une décomposition géométrique explicite plutôt que de tout confier à un réseau appris de bout en bout, les auteurs cherchent à concilier la généralisation apprise par renforcement avec la robustesse physique garantie par la commande prédictive. Pour les équipes travaillant sur la manipulation robotique, la promesse d'un facteur dix sur les données nécessaires est significative si elle se confirme au delà des tâches non préhensiles testées ici. Le travail s'inscrit dans un courant de recherche plus large sur la manipulation en contact riche, domaine où la difficulté vient précisément de devoir raisonner conjointement sur la géométrie globale des objets et sur une dynamique de contact non lisse, difficile à différentier et à planifier. Contrairement aux approches purement data driven qui dominent la littérature récente, ce travail mise sur une structure hybride inspirée de la robotique classique. L'article, republié dans sa quatrième version, ne précise pas de calendrier de déploiement matériel à plus grande échelle ni de partenariat industriel.

RecherchePaper

1 source

4arXiv cs.RO

HiTac-WAM : un modèle hiérarchique d'action du monde tactile pour la manipulation robotique à contacts riches

Un preprint publié sur arXiv le 21 août 2026 décrit HiTac-WAM, un modèle monde d'action tactile et hiérarchique pour la manipulation robotique en contact riche (arXiv:2608.19574v1). Le système décompose la prévision tactile en trois étages successifs, état de contact, champ de déformation 3D, puis risque de glissement, et classe les segments d'action candidats selon ces prévisions avant de déclencher une replanification si l'écart entre tactile prédit et observé persiste à l'exécution. À budget d'entraînement égal, cette hiérarchie réduit l'erreur de déplacement 3D de 17,6% et améliore la détection de glissement de 60,4% par rapport à des prédicteurs non hiérarchiques. Sur trois tâches robotiques réelles, préhension de puces électroniques, effacement de tableau, insertion de connecteur USB, cette sélection fait passer le taux de réussite moyen de 31,1% à 61,1%, et le système complet atteint 72,2%, avec un F1 de contact moyen de 0,921. Ces résultats indiquent qu'une modélisation structurée du signal tactile, plutôt que la représentation en image ou en flux latent utilisée par les approches existantes, améliore nettement la fiabilité de la manipulation en contact riche, un point de friction connu pour l'assemblage fin, l'insertion de connecteurs ou la manipulation d'objets fragiles. Le taux de réussite plus que doublé par rapport à une sélection sans hiérarchie tactile suggère que séparer contact, déformation et glissement capture mieux la physique du contact que les architectures bout en bout existantes, un argument utile pour les intégrateurs cherchant à dépasser la démonstration contrôlée. Pour les équipes travaillant sur des modèles monde ou des architectures vision-langage-action, ce travail illustre une piste pour fiabiliser l'action à partir du retour tactile sans nécessairement accroître le volume de données. Le travail s'inscrit dans la lignée des modèles monde d'action qui prédisent conjointement observations et actions, en corrigeant une limite des variantes tactiles existantes: l'absence de dépendances physiques structurées entre contact, déformation et glissement. Il s'agit à ce stade d'un preprint arXiv nouvellement soumis, validé sur trois tâches de manipulation en laboratoire et non d'un produit déployé ou d'un pilote industriel, sans calendrier de commercialisation annoncé, les gains restant à confirmer au-delà de ces trois tâches.

RecherchePaper

1 source