SECOND-Grasp : préhension dextérique guidée par le contact sémantique

Au-delà du binaire : manipulation dextérique sim-vers-réel avec représentation de contact fondée sur la physique

Une équipe de chercheurs a publié le 28 mai 2026 (arXiv:2605.28812) une nouvelle représentation tactile baptisée Centre de Pression (CoP, pour Center-of-Pressure), qui permet un transfert sim-to-real zéro-shot sur une main robotique multi-doigts pour des tâches de contact intensif. Les deux scénarios de validation retenus sont représentatifs de cas industriels difficiles : l'insertion de type cheville-trou (peg-in-hole) et l'équilibrage d'une balle sur les doigts. La méthode repose sur une calibration des capteurs tactiles via la dynamique différentiable, permettant d'estimer l'orientation de chaque taxel (l'équivalent tactile d'un pixel) sans mesures de force de référence. Les résultats montrent que les politiques conditionnées sur CoP surpassent deux baselines classiques : le contact binaire grossier et les taxels bruts non traités. Le verrou que CoP cherche à lever est bien identifié dans le domaine : le sim-to-real gap pousse la majorité des approches actuelles à réduire les données tactiles à des signaux bas-dimensionnels, sacrifiant la richesse nécessaire aux manipulations précises. CoP change l'équation en ancrant la représentation dans des principes physiques rigoureux plutôt que dans des heuristiques d'ingénierie, préservant la densité d'information tout en maintenant la robustesse au transfert. Un résultat secondaire notable : les politiques apprennent à encoder des propriétés physiques comme la masse de l'objet tenu de façon émergente, sans supervision explicite. Pour les intégrateurs et les équipes de robotique d'assemblage, cela ouvre la perspective de rendre compétitif l'apprentissage par renforcement en simulation pour des tâches de précision, sans collecter des milliers d'heures de données réelles. Ce travail s'inscrit dans une compétition académique soutenue autour de la manipulation dextère tactile, où plusieurs groupes de recherche (Berkeley, CMU, MIT, ETH Zurich) ont progressé sur le sim-to-real pour les capteurs de contact en 2024-2025, sans atteindre le transfert zéro-shot sur une main complète multi-doigts. Côté industriel, Shadow Robot (Royaume-Uni) reste la référence sur les mains tactiles à haute dextérité, tandis que Figure AI et Apptronik misent sur la manipulation corps entier dans des humanoïdes généralistes. Ce papier est un résultat académique : pas de prototype commercial ni de calendrier industriel annoncé, mais la validation sur peg-in-hole, benchmark historique en robotique d'assemblage, et sur une tâche dynamique d'équilibrage renforce sa crédibilité pour les équipes R&D en fabrication avancée.

GCNGrasp-VP : planification de vue guidée par les affordances pour une préhension efficace orientée tâche

Une équipe de recherche publie ce mois-ci sur arXiv (référence 2606.19091) GCNGrasp-VP, un framework destiné à améliorer la saisie orientée tâche en robotique de manipulation, en particulier lorsque l'objet cible est partiellement masqué. Le système repose sur deux composants : GCNGrasp-v2, un modèle de préhension qui évalue simultanément la qualité d'une prise et prédit un champ d'affordance en temps constant, et Affordance-VP, un planificateur de points de vue qui utilise ce champ d'affordance comme métrique de gain d'information pour repositionner la caméra du robot vers les zones fonctionnellement pertinentes. Les auteurs rapportent une validation en environnement réel sur des scénarios mono-objet, avec une latence de calcul annoncée à l'échelle de la milliseconde et une correction de point de vue obtenue en un seul déplacement caméra. Le code et les modèles sont rendus publics sur GitHub. L'intérêt technique de cette approche réside dans la dissociation entre perception active et reconstruction de scène. Les méthodes existantes de view planning s'appuient généralement sur une reconstruction 3D complète avant de décider où observer, ce qui introduit une latence incompatible avec les contraintes de cycle industriel. GCNGrasp-VP contourne ce goulot en substituant la carte d'affordance à l'incertitude géométrique comme critère d'exploration, ce qui réduit le nombre d'ajustements nécessaires à un seul dans les tests publiés. Pour les intégrateurs travaillant sur des cellules de picking ou d'assemblage, c'est un angle pertinent : gérer les occlusions partielles sans recourir à un système de vision multi-caméras fixe ou à une reconstruction volumétrique coûteuse. Ce travail s'inscrit dans une tendance plus large vers les modèles de préhension sémantiquement informés, où la notion d'affordance, popularisée par des travaux comme GCNGrasp original et les approches VLA (Vision-Language-Action) de type pi-zero ou GR00T, commence à descendre au niveau de la planification perceptuelle. La contribution reste pour l'instant un preprint non peer-reviewed, validé sur des scénarios mono-objet en laboratoire. Les benchmarks sur des configurations multi-objets avec occlusions sévères, ou dans un contexte industriel réel, n'ont pas encore été publiés. Aucun partenaire industriel ni calendrier de déploiement n'est mentionné.

💬 Ce qui est malin ici, c'est de remplacer la reconstruction 3D complète par une carte d'affordance pour guider la caméra. Un robot qui cherche à voir ce qu'il veut saisir plutôt que de tout reconstruire avant d'agir, c'est un vrai changement de logique dans la perception active, et ça ramène les ajustements caméra à un seul dans les tests. Bon, c'est un preprint sur scénarios mono-objet, donc on garde la tête froide.

SAFE-Pruner : élagage de tokens guidé par l'attention sémantique pour les modèles VLA en manipulation robotique

Des chercheurs ont publié fin mai 2026 SAFE-Pruner (arXiv:2605.29662), un framework d'élagage de tokens conçu pour accélérer l'inférence des modèles vision-language-action (VLA) en robotique. Les VLA combinent perception visuelle, compréhension du langage et génération de commandes motrices, mais leur charge computationnelle freine leur déploiement en temps réel. Les méthodes d'élagage existantes s'appuient sur les couches superficielles du réseau et risquent de supprimer des tokens visuels encore requis par les couches profondes. SAFE-Pruner intègre une stratégie prospective qui prédit la saillance future des tokens en exploitant la "semantic attention consistency" : la tendance des VLA à concentrer leur attention sur la même entité sémantique à travers les étapes successives d'exécution. Un second mécanisme, la division adaptative de sous-tâches, détecte les ruptures brusques d'attention pour affiner les prévisions. Sur simulation et en conditions réelles, la méthode atteint un gain de vitesse jusqu'à 1,89x avec une dégradation du taux de succès inférieure à 1,7%, surpassant l'état de l'art de jusqu'à 1,9%. Pour les intégrateurs industriels déployant des VLA sur du matériel embarqué à puissance limitée, un gain de 1,89x sans refonte d'infrastructure représente un levier concret. La contribution théorique sur la cohérence sémantique de l'attention ouvre aussi une piste pour mieux comprendre ce que les VLA perçoivent réellement lors de l'exécution de tâches, un angle utile pour le débogage et la sûreté fonctionnelle. Il faut toutefois rester prudent : les benchmarks présentés ne précisent pas les environnements de test, le matériel utilisé ni le spectre complet des tâches évaluées, un bémol habituel dans les papiers de recherche en manipulation. SAFE-Pruner s'inscrit dans un mouvement plus large d'optimisation des modèles fondation pour la robotique, porté notamment par RT-2 (Google DeepMind, 2023), OpenVLA (Berkeley, 2024) et Pi-0 de Physical Intelligence (2024). Face à des architectures combinant des backbones de plusieurs milliards de paramètres avec un policy head, la communauté explore en parallèle la quantification, la distillation et l'élagage adaptatif. Le framework se présente comme un module plug-and-play compatible avec les VLA existants, ce qui faciliterait l'adoption sans refonte des pipelines si la compatibilité est confirmée sur un panel représentatif de modèles. L'article est disponible en preprint sur arXiv ; aucune intégration dans un framework open-source ni déploiement sur robot commercial n'est annoncé à ce stade.

Au-delà de la dextérité : pourquoi le contact pourrait définir la prochaine ère de la robotique

Lors de l'IEEE International Conference on Robotics and Automation (ICRA 2026) à Vienne, la démonstration ayant le plus mobilisé les visiteurs n'était pas un bras industriel ni un humanoïde en équilibre : c'était une paire de mains robotiques en train de fabriquer un animal en ballon. La société AGILINK y a présenté son système bimain OmniHand 3 Ultra-M réalisant une torsion séquentielle de ballon long format, sans le faire éclater, en gérant en temps réel la déformation de l'objet, la pression interne et la friction de contact. Ce type de tâche, qualifié de "long-horizon contact-rich manipulation", constitue un benchmark reconnu dans la communauté : la légèreté et la déformabilité d'un ballon rendent toute régulation de force particulièrement délicate, et chaque torsion modifie la géométrie et les propriétés mécaniques de l'objet, imposant une adaptation continue du contrôle. Pour entraîner le système, AGILINK a capturé des démonstrations d'artistes professionnels en sculpture sur ballon, les a transposées en politiques de manipulation sur ses mains robotiques, puis a enrichi l'apprentissage par renforcement non seulement avec les séquences réussies, mais aussi avec les interventions correctrices d'opérateurs humains enregistrées chaque fois que l'exécution dérivait vers l'échec. Ce résultat illustre un glissement de paradigme dans la manipulation robotique : après des années centrées sur la dextérité au sens cinématique (nombre de degrés de liberté, précision de positionnement), le vrai verrou se situerait désormais dans la gestion du contact lui-même. La capacité à maintenir une interaction stable avec un objet dont les propriétés évoluent en continu, ce qu'AGILINK désigne par "contact intelligence", reste hors de portée de la plupart des systèmes commerciaux actuels. Pour les intégrateurs industriels et les équipes R&D en manipulation, ce démo signale que les progrès en sensing visuotactile et en politiques d'apprentissage par imitation commencent à produire des résultats reproductibles sur des tâches à la limite du geste humain. La prudence s'impose toutefois : ICRA 2026 est un cadre contrôlé, et les vidéos présentées sélectionnent les exécutions réussies sans données publiées sur le taux de succès systématique ni sur les conditions de répétabilité en dehors du laboratoire. AGILINK, spécialisée dans la manipulation dextre, développe depuis plusieurs années la plateforme OmniHand en combinant sensing visuotactile, contrôle en force et politique bimanuelle. Son positionnement la place en concurrence directe avec Shadow Robot au Royaume-Uni, Dexterous Robotics, et les divisions R&D en main robotique d'ABB et FANUC, ainsi qu'avec des groupes académiques de Stanford et du MIT travaillant sur des architectures similaires. À noter que l'article source est un contenu sponsorisé par AGILINK publié dans le cadre de la couverture ICRA 2026, ce qui en limite l'indépendance éditoriale. Les prochaines étapes annoncées portent sur des extensions vers des tâches industrielles à contact riche, sans qu'un calendrier de déploiement commercial ni des volumes de production aient été précisés.