RecherchearXiv cs.RO6sem

PhyPush : une seule poussée suffit pour estimer les propriétés physiques sans capteurs grâce aux transformeurs guidés par la physique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

PhyPush, présenté dans un article arXiv (2605.18284) publié en mai 2026, est un framework basé sur un Transformer guidé par la physique, capable d'estimer la masse et le coefficient de friction d'un objet à partir d'une seule poussée. La particularité centrale : le système n'utilise que la vélocité cinématique de l'effecteur final, une donnée disponible nativement sur tout bras robotique standard, sans capteur de force/couple, sans réseau de capteurs tactiles, et sans système de capture de mouvement multi-caméras. Le modèle intègre directement les contraintes issues de la deuxième loi de Newton et du modèle de friction de Coulomb dans sa fonction de perte, ce qui renforce la cohérence physique des estimations. En simulation, PhyPush réduit l'erreur d'estimation de plus de 10 % par rapport à une baseline disposant pourtant d'un accès privilégié aux données de force complètes ; en conditions réelles, il surpasse une approche purement data-driven sur des objets et surfaces hors domaine d'entraînement.

L'impact pour l'intégration industrielle est direct. L'estimation précise de la masse et de la friction est un prérequis pour la manipulation adaptative fiable, notamment dans les lignes de tri, d'assemblage ou de logistique où les objets varient constamment. Les approches existantes exigeaient soit un instrumentation coûteuse (capteurs F/T à 2 000-10 000 €/unité), soit des environnements contrôlés incompatibles avec un déploiement à l'échelle. PhyPush déplace ce prérequis vers une inférence logicielle sur hardware standard, ce qui ouvre la voie à une perception physique embarquée sur des flottes de robots sans sur-coût matériel. La preuve que l'apprentissage guidé par la physique peut surpasser une baseline disposant de plus d'information sensorielle est également un signal fort : la structure inductive correcte compense le manque de capteurs, ce qui contredit l'hypothèse selon laquelle plus de données brutes implique nécessairement de meilleures estimations.

L'estimation interactive des propriétés physiques par poussée (push-based estimation) est un problème étudié depuis une décennie, mais les solutions robustes restaient dépendantes de setups lourds issus des labos de manipulation tactile (MIT, Stanford, CMU). L'émergence des Transformers appliqués à la dynamique robotique et l'intégration de prior physique dans les fonctions de perte sont des tendances récentes qui convergent ici. Côté concurrence, les travaux de perception tactile comme celles de GelSight ou des approches sim-to-real de Meta (DIGIT) adressent un problème similaire mais via du hardware dédié ; des équipes comme Physical Intelligence (Pi-0) ou Figure AI intègrent eux aussi des modules d'estimation d'état dans leurs pipelines VLA, mais sans publier les détails. PhyPush se positionne comme une brique bas coût et open science pour tout intégrateur souhaitant ajouter de l'adaptation physique à un bras existant. Les prochaines étapes logiques incluent la généralisation à des poussées multi-axes, l'intégration dans des boucles de contrôle en temps réel, et le test sur des plateformes humanoïdes où la variabilité des objets manipulés est maximale.

Dans nos dossiers

Figure Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

TactSpace : apprendre un espace latent partagé enrichi par la physique pour le transfert sim-vers-réel tactile

Une équipe de recherche a publié sur arXiv (identifiant 2606.18959) TactSpace, un cadre d'apprentissage de représentations multi-modales conçu pour résoudre l'un des verrous majeurs de la manipulation robotique : le transfert sim-to-real des capteurs tactiles. Le problème est structurel : les simulateurs actuels sont incapables de reproduire fidèlement la mécanique de déformation et de transduction des capteurs tactiles physiques, rendant inutilisables en conditions réelles les politiques entraînées en simulation. TactSpace contourne ce problème en alignant des modalités tactiles hétérogènes dans un espace latent partagé, sans jamais avoir besoin de simuler le signal brut du capteur. Des encodeurs spécifiques à chaque modalité projettent des observations aussi différentes que la profondeur de pénétration simulée et la capacitance mesurée sur un capteur réel dans un embedding commun. L'entraînement combine des objectifs de reconstruction croisée et d'alignement contrastif. Évalué sur trois tâches, identification de formes d'indenteur, prédiction de force et reconstruction géométrique, le système entraîné exclusivement en simulation transfère directement sur des mesures réelles sans fine-tuning : zéro-shot. Les gains mesurés atteignent 16,7 % de réduction d'erreur en prédiction de force et 45,8 % en reconstruction de forme par rapport aux baselines. Ces résultats adressent un goulot d'étranglement critique pour l'ensemble de la robotique de manipulation dextre. Le tactile est indispensable pour les tâches d'assemblage fin, de tri délicat ou de manipulation d'objets déformables, segments où les bras industriels classiques butent faute de retour de contact fiable. Jusqu'ici, la difficulté à simuler correctement les capteurs tactiles forçait soit à collecter massivement des données réelles, coûteuses et lentes, soit à se passer du tactile. TactSpace propose une troisième voie : accepter que simulation et réalité restent physiquement dissemblables, et apprendre malgré tout des représentations invariantes aux modalités mais riches en information de contact. La publication accompagne le code d'une implémentation Warp-based du simulateur tactile pénalité intégrée à Isaac Lab, la plateforme de simulation physique de NVIDIA, ce qui ouvre la génération de données tactiles scalable à la communauté. Le contexte de cette recherche s'inscrit dans une effervescence autour des capteurs tactiles à haute résolution, portée notamment par GelSight (MIT, aujourd'hui GelSight Inc.), DIGIT (Meta AI) et les capteurs capacitifs embarqués dans plusieurs plateformes humanoïdes. Isaac Lab, qui sert de base à ce travail, est devenu un standard de facto pour l'entraînement de politiques robotiques en simulation, utilisé par Figure, 1X et Agility entre autres. TactSpace reste à ce stade un preprint non évalué par les pairs, sans déploiement annoncé sur plateforme physique commerciale. Les prochaines étapes naturelles seraient une validation sur des tâches de manipulation réelles bout-en-bout et une intégration dans des pipelines Vision-Language-Action (VLA) où le retour tactile pourrait renforcer la robustesse en conditions industrielles.

RecherchePaper

1 source

2arXiv cs.RO

Fusion tactile-proprioceptive pour estimer les forces de contact dans l'interaction physique humain-robot en corps entier

Des chercheurs ont publié sur arXiv (2605.28412) un framework de fusion sensorielle tactile-proprioceptive destiné à améliorer l'interaction physique entre humains et robots. L'approche combine des capteurs de peau pneumatiques, des coussins souples disposés sur la surface du bras robotique, avec la proprioception basée sur le courant moteur, afin de reconstruire des forces de contact multi-axes en temps réel. Le point clé : les signaux tactiles servent d'indicateurs de contact binaires, permettant de contourner l'ambiguïté classique entre les résidus de frottement et les forces externes appliquées. Pour corriger la dérive due à l'hystérésis de frottement lors des transitions stick-slip (adhérence/glissement), les auteurs intègrent un réseau de convolutions temporelles (TCN). Le système est validé sur un bras robotique équipé de cette peau artificielle, dans deux scénarios : reconstruction stationnaire des forces multi-axes et enseignement cinesthésique simultané, c'est-à-dire guider le robot à la main pendant qu'il enregistre la trajectoire. Ce travail adresse un goulot d'étranglement concret dans le déploiement de robots collaboratifs : la difficulté à distinguer un contact intentionnel d'un contact perturbateur sans modéliser explicitement le frottement. La fusion tactile-proprioceptive proposée améliore la sensibilité et la réactivité par rapport aux approches uniquement tactiles ou uniquement proprioceptives, ce qui a des implications directes pour la programmation par démonstration (LfD) et les environnements de coproduction humain-robot. Le TCN est un choix pragmatique, il gère la non-linéarité dynamique sans forcer une identification de friction au préalable, ce qui réduit la complexité de mise en service pour les intégrateurs industriels. Ce type de "peau robotique" fait l'objet de recherches intensives depuis une décennie, mais les résultats ont longtemps souffert du fossé simulation-réalité et d'une fragile généralisation à la manipulation en mouvement. Des acteurs comme Wandercraft (France), qui développe des exosquelettes à interaction physique, ou des laboratoires comme le DLR et l'IIT travaillent sur des problématiques similaires. La publication reste une preuve de concept sur bras isolé, sans données de cycle time, de robustesse sur durée ni de coût de fabrication de la peau pneumatique, des paramètres déterminants avant tout transfert industriel. Les prochaines étapes naturelles seraient une validation sur robot humanoïde complet et des tests en conditions d'usine.

UEDes laboratoires européens comme le DLR et l'IIT, ainsi que Wandercraft en France pour ses exosquelettes, travaillent sur des problématiques similaires et pourraient s'appuyer sur ce framework de fusion sensorielle, mais l'impact reste indirect à ce stade de preuve de concept.

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage d'une manipulation dextérique robuste en main à partir de capteurs articulaires avec un transformeur proprioceptif

Des chercheurs publient sur arXiv (2605.21330, mai 2026) le Proprioceptive Transformer (PT), une architecture de contrôle pour la manipulation dextre en main fondée exclusivement sur les capteurs articulaires, sans vision ni retour tactile. Testée sur la main ténosynoviale ORCA, l'approche réalise une rotation continue de cube à une vitesse 3,1 fois supérieure aux méthodes de référence, et estime la position de l'objet avec une erreur quadratique moyenne (RMSE) inférieure de 23,4 % à celle d'un perceptron multicouche (MLP). La politique de contrôle est obtenue par distillation enseignant-élève : une politique enseignante est d'abord entraînée par apprentissage par renforcement avec accès privilégié à l'état de l'objet, puis ses connaissances sont distillées vers le PT, qui opère uniquement sur l'historique de positions et de vitesses articulaires. Ce résultat questionne une hypothèse largement répandue dans le domaine : la nécessité d'une perception externe pour fermer la boucle d'estimation d'état lors de manipulations en main. Les encodeurs articulaires sont présents sur toutes les mains robotiques, y compris les architectures ténosynoviales où la transmission élastique complique l'estimation de la posture réelle des doigts. Que le Transformer extraie implicitement des informations extrinsèques à partir de patterns temporels proprioceptifs constitue une validation partielle du sim-to-real appliqué à la manipulation dextre, un problème longtemps considéré non résolu à l'échelle réelle. La robustesse sur des objets de géométrie variable ou sous charge perturbée reste à démontrer : le preprint ne rapporte de résultats que sur le cube, et les métriques de vitesse de rotation manquent de contexte sur les conditions expérimentales exactes. La manipulation dextre en main est un problème ouvert depuis les années 1990, relancé par OpenAI Dactyl (2019) qui combinait vision externe et simulation massivement distribuée. Les approches concurrentes recourent aujourd'hui à des capteurs tactiles haute résolution (Shadow Hand avec BioTac, Leap Hand, GelSight sur Allegro) ou à des pipelines vision-langage-action de type Pi-0 ou GR00T N2. L'ORCA hand, plateforme académique à actionnement par tendons, reste moins présente dans les benchmarks publiés que l'Allegro ou la Shadow Hand, ce qui limite la comparaison directe avec l'état de l'art. Le preprint ne mentionne ni partenaires industriels ni calendrier de transfert : il s'agit d'une contribution de recherche fondamentale, sans déploiement annoncé.

RecherchePaper

1 source

4arXiv cs.RO

MemCompiler : une mémoire conditionnée par l'état pour les agents IA physiques, sans injection

Des chercheurs ont déposé le 10 mai 2026 sur arXiv (2605.07594) MemCompiler, une nouvelle architecture de mémoire pour agents incarnés, ces systèmes d'IA qui exécutent des séquences longues de tâches dans des environnements physiques ou simulés. Le problème ciblé est précis : les approches dominantes injectent l'ensemble du contexte mémoriel en bloc au démarrage de chaque épisode, une stratégie que les auteurs nomment AMMI (Ahead-of-time Monolithic Memory Injection). Ce contexte figé se désaligne avec l'état évolutif de l'agent au fil de l'exécution, et sur des modèles légers, peut même dégrader les performances sous la baseline sans mémoire. MemCompiler substitue à cette injection statique une compilation dynamique conditionnée à l'état courant : un Memory Compiler lit un résumé structuré de la situation (Brief State), sélectionne la mémoire pertinente et génère une guidance exécutable transmise sur deux canaux, un canal texte et un canal latent Soft-Mem préservant les informations perceptuelles non encodables en langage naturel. Évalué sur AlfWorld, EmbodiedBench et ScienceWorld, MemCompiler progresse jusqu'à +129 % sur les backbones open-source testés, réduit la latence par pas d'exécution de 60 % et approche les niveaux des systèmes propriétaires de référence. L'enjeu dépasse le benchmarking académique. Un agent dont l'état change à chaque action n'a plus besoin, au milieu d'une tâche, de la même mémoire qu'à son lancement : lui fournir un contexte statique revient à imprimer pour un technicien la liste exhaustive de tous ses outils plutôt que de lui tendre le bon au bon moment. La réduction de latence de 60 %, couplée aux gains de performance, contredit directement l'hypothèse que davantage de contexte mémoriel vaut toujours mieux. Le canal Soft-Mem est l'élément le plus original : il ouvre la voie à une mémoire multimodale compacte qui ne force pas la réduction au texte, un verrou structurel pour les agents traitant des observations visuelles ou proprioceptives complexes. La mémoire longue pour agents est un chantier actif depuis l'essor des LLM comme moteurs de raisonnement. Des travaux antérieurs comme MemGPT ou les systèmes RAG appliqués à la robotique ont établi que l'accès sélectif à un historique améliore les performances sur des tâches à horizon étendu. MemCompiler déplace le curseur de l'accès sélectif vers la compilation active : la mémoire n'est pas seulement récupérée, elle est transformée en fonction de l'état présent. Point de vigilance toutefois : les benchmarks utilisés (AlfWorld, ScienceWorld) sont des environnements textuels simulés. Des validations sur du hardware physique ou des benchmarks visuellement riches comme RLBench restent à produire pour mesurer la robustesse en conditions réelles. L'intégration dans des pipelines VLA (vision-language-action) embarqués sur des plateformes robotiques constitue la prochaine étape logique.

RecherchePaper

1 source