RecherchearXiv cs.RO 3 août 2026

TransGraspNet : manipulation physiquement et géométriquement cohérente de matériel de laboratoire transparent

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent TransGraspNet, un système robotique conçu pour manipuler de la verrerie de laboratoire transparente contenant du liquide, une tâche jugée critique pour la sécurité puisque la moindre erreur géométrique peut provoquer une prise instable et un déversement. Contrairement aux pipelines existants qui traitent séparément la détection, la reconstruction de profondeur et la planification de prise, ce qui génère des incohérences entre étapes (bords mal détectés qui faussent la profondeur, surfaces déformées qui corrompent l'estimation des normales, scores de prise non adaptés à la tâche qui produisent des prises inclinées ou décentrées), TransGraspNet impose une cohérence de bout en bout via trois principes couplés: cohérence des contours pour des frontières d'objet fiables, cohérence de surface pour préserver la fidélité géométrique et les normales pendant la reconstruction de profondeur, et cohérence physique pour affiner la sélection de prise via alignement du centre de gravité et stabilité dans l'espace des torseurs. Testé sur des benchmarks publics, un jeu de données dédié à la verrerie transparente et une plateforme robotique réelle, le système affiche une meilleure qualité de contours et de normales de surface, un taux de réussite de prise élevé en environnement encombré, et surtout zéro déversement lors de transports de liquide à haute vitesse.

Ce résultat s'attaque à un point faible connu de la robotique de manipulation: les objets transparents ou réfléchissants trompent les capteurs de profondeur standards (structure lumineuse, stéréo, LiDAR), ce qui limite depuis des années l'automatisation en laboratoire, en pharmacie et dans l'industrie agroalimentaire où la verrerie est omniprégnante. En démontrant une manipulation fiable et rapide de liquide sans casse ni renversement, TransGraspNet apporte une preuve concrète que le problème de la perception d'objets transparents, longtemps considéré comme un obstacle académique persistant, peut être traité de façon intégrée plutôt que par des correctifs empilés à chaque étage du pipeline.

Le travail s'inscrit dans une lignée de recherches récentes sur la perception d'objets transparents (reconstruction de profondeur par apprentissage, estimation de normales dédiée) et le grasping robotique en clutter, domaines où les approches modulaires dominaient jusqu'ici. Les auteurs positionnent leur contribution comme une alternative aux pipelines découplés utilisés dans la littérature et les systèmes commerciaux d'automatisation de laboratoire. L'article, publié en prépublication sur arXiv, ne précise pas de partenariat industriel ni de calendrier de déploiement au-delà des essais sur plateforme réelle décrits dans l'étude.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Labimus : simulation et référentiel pour la manipulation dextérique humanoïde en laboratoire de chimie

Des chercheurs ont présenté Labimus, premier benchmark évaluant la manipulation dextre de robots humanoïdes dans un laboratoire de chimie organique, selon un article publié sur arXiv (2606.31037v1). Le système reconstruit plus de 30 éléments fidèles fonctionnellement à partir de postes de travail réels de chimie organique, via une modélisation dite "real-to-sim", couvrant les opérations centrales des expériences de routine en laboratoire. Labimus intègre des instruments articulés, une physique de poudre basée sur des particules, et des mesures en boucle fermée reliant manipulation et lecture d'instruments. Le benchmark définit six opérations atomiques et un protocole en sept étapes pour la pesée de solides, directement dérivé de procédures opératoires standard utilisées en laboratoire réel. Les auteurs y associent un protocole d'évaluation "precision-aware", mesurant conjointement la réussite de la tâche, la précision expérimentale et l'exécution sur des horizons longs. Trois politiques de contrôle représentatives ont été testées sous des dispositions procédurales variables et des perturbations environnementales. Le résultat central est ce que les auteurs nomment un "gap de précision" : des politiques capables de mener une tâche à terme échouent malgré tout à respecter les tolérances quantitatives exigées par les protocoles expérimentaux réels. C'est un signal important pour l'écosystème robotique humanoïde, où la plupart des démonstrations publiques (Figure 03, Optimus, GR00T N2, Helix) se concentrent sur la réussite visible d'une tâche plutôt que sur sa validité métrologique. Labimus démontre que "terminer la tâche" et "produire un résultat scientifiquement exploitable" sont deux critères distincts, ce qui questionne la pertinence des benchmarks actuels pour des applications à forte exigence de précision comme l'automatisation de laboratoire. Le travail s'inscrit dans la dynamique plus large d'automatisation scientifique par IA, où les plateformes robotiques et le raisonnement scientifique assisté par IA ont progressé rapidement, mais où des opérations comme le transfert solide-solide restent difficiles à standardiser en raison de leur caractère dynamique. Contrairement aux benchmarks de manipulation généralistes existants, Labimus cible spécifiquement ce contexte de précision critique, ouvrant la voie à des travaux futurs de développement de robots humanoïdes fiables pour les laboratoires scientifiques, un segment encore largement inexploré par les acteurs commerciaux du secteur.

RecherchePaper

1 source

2arXiv cs.RO

GenVid2Robot : de la génération vidéo à la manipulation robotique par cohérence rigide-géométrique

Des chercheurs ont publié le 13 juillet 2026 sur arXiv (2607.09191v1) GenVid2Robot, un système qui transforme des vidéos générées par IA en trajectoires exécutables sur un robot manipulateur réel. Le problème de départ: une vidéo générée peut sembler visuellement plausible sans être physiquement exécutable, faute de géométrie métrique, d'ancrage de préhension, de faisabilité cinématique ou de retour d'exécution. GenVid2Robot part d'une observation RGB-D initiale et d'une instruction de tâche, échantillonne des ancres sémantiques pertinentes sur la première image réelle, puis suit ces ancres à travers les candidats vidéo générés. Un modèle SE(3) relatif et épars vérifie si le mouvement 2D observé est cohérent avec la géométrie 3D des ancres; seul le mouvement validé géométriquement est transféré au robot. Ce mouvement est ensuite appliqué à la pose réelle de l'organe terminal (TCP) au moment de la saisie, déterminée par une préhension contrainte par masque, et un module de compensation de profondeur borné corrige les erreurs locales dues au bruit RGB-D ou aux déplacements de contact. L'enjeu dépasse la démonstration technique isolée: les modèles de génération vidéo (type Sora, Veo ou Genie) sont de plus en plus présentés comme des sources de "priors" de mouvement pour la robotique, mais l'écart entre vidéo plausible et action exécutable reste l'un des obstacles majeurs à leur usage réel, aux côtés du problème classique du sim-to-real. En filtrant les hypothèses de mouvement par cohérence géométrique plutôt qu'en rejouant directement une trajectoire, GenVid2Robot répond directement au risque d'échec en conditions réelles que redoutent intégrateurs et équipes R&D travaillant sur les architectures vision-langage-action (VLA). Le travail s'inscrit dans la lignée des approches combinant modèles génératifs et politiques robotiques, aux côtés d'efforts comme Pi-0, GR00T N2 ou Helix qui cherchent à exploiter des priors visuels ou vidéo à grande échelle. À ce stade, il s'agit d'une publication de recherche avec expériences sur robot réel, non d'un produit commercialisé; les auteurs ne précisent pas de calendrier de déploiement industriel.

RecherchePaper

1 source

3arXiv cs.RO

SegDiff : diffusion de trajectoires segmentées pour une manipulation robotique cohérente et adaptative

SegDiff, présenté dans un article déposé sur arXiv (2607.11027v1), est une nouvelle politique visuomotrice en boucle fermée pour l'apprentissage par imitation en robotique manipulation. La méthode découpe les démonstrations humaines en segments de mouvement délimités par des keyposes (poses clés), puis apprend à prédire la trajectoire continue reliant l'état courant à la prochaine keypose. Elle s'appuie sur des modèles de diffusion combinés à l'inversion DDIM pour introduire un mécanisme appelé Dynamic Temporal Ensembling, conçu pour répondre efficacement aux environnements dynamiques et lisser les discontinuités provoquées par un échantillonnage multi-modal incohérent. Les auteurs rapportent des gains de performance significatifs par rapport aux approches existantes, testés à la fois en simulation et sur des scénarios réels de manipulation robotique. L'enjeu technique visé est concret : les méthodes actuelles d'apprentissage par imitation doivent choisir entre deux limites. La prédiction continue à court horizon accumule des erreurs qui se propagent au fil de l'exécution et gère mal les distributions d'actions multi-modales (plusieurs façons valides d'atteindre un objectif). Les méthodes par keyposes évitent ce problème mais nécessitent un planificateur externe pour relier les points clés, ce qui casse le temps réel. SegDiff prétend combiner les deux avantages, hypothèse centrale pour l'industrie : produire une politique robotique capable de raisonner sur des horizons temporels longs tout en restant réactive et stable, sans dépendance à un module de planification séparé, un point clé pour les intégrateurs qui cherchent des politiques déployables directement sur du matériel. Le travail s'inscrit dans la lignée des politiques de diffusion appliquées à la robotique (type Diffusion Policy), déjà largement adoptées comme alternative aux transformeurs d'action classiques. Il ne s'agit pas ici d'un produit commercial ni d'un déploiement industriel : c'est un article de recherche fraîchement publié, sans affiliation industrielle mentionnée dans l'abstract, et ses résultats restent à confirmer par la communauté et par des essais indépendants avant toute reprise en conditions de production.

RecherchePaper

1 source

4arXiv cs.RO

Des politiques de mouvement géométrique sûres et pilotables pour la manipulation dextérique robotique

Des chercheurs de Stanford (TML, Tamara Manipulation Lab) ont publié sur arXiv (arXiv:2605.21811) un cadre mathématique baptisé SafePBDS (Safe Pullback Bundle Dynamical Systems) destiné à la manipulation dextre robotique. Le système opère sur des espaces géométriques hétérogènes simultanément : une configuration en R^7 pour le bras, des poses d'effecteur en SE(3), et des marges d'évitement d'obstacles en R. Validé sur une plateforme Franka Panda avec main Allegro à 23 degrés de liberté, SafePBDS atteint 92,5 % de succès sur 120 essais de saisie couvrant 20 objets du quotidien. Une interface d'action permet en outre d'exclure n'importe quel doigt de la préhension via une action unidimensionnelle, avec 94,4 % de succès en saisie à trois doigts sur 36 essais. Plus significatif encore : les auteurs revendiquent la première réorientation in-hand palm-down entièrement actionnée et basée sur un modèle, atteignant plus de 360° de rotation en lacet dans les deux sens, sous différents poids d'objet et mouvements de poignet. La contribution centrale de SafePBDS est double. D'abord, une construction de "pullback control barrier function" qui convertit les conditions de sécurité définies sur n'importe quelle variété tâche en contraintes linéaires sur les accélérations en espace de configuration, ce qui permet des garanties de sécurité certifiables, pas seulement empiriques. Ensuite, une interface d'action qui laisse une politique de haut niveau (un VLA, un planificateur, un opérateur humain) injecter des résidus de mouvement de faible dimension, sans jamais violer les contraintes de sécurité. Entrée nulle = comportement autonome préservé. Ce découplage entre planification stratégique et contrôle précis répond à un problème récurrent des architectures VLA : la difficulté à garantir formellement la sécurité physique lors de la phase d'exploration en monde réel. Le travail s'inscrit dans une tradition de dynamical systems pour la manipulation, prolongeant des approches comme les DS-based motion policies de l'EPFL et les travaux de Riemannian motion policies (RMP). Les concurrents directs incluent les méthodes d'apprentissage par imitation avec contraintes CBF (type Berkeley Humanoid, Physical Intelligence pi0) et les architectures modèle-libre qui sacrifient les garanties formelles à la généralisation. SafePBDS reste pour l'instant un résultat de laboratoire sur preprint non relu par les pairs, validé en simulation et sur banc de test mono-robot. Les prochaines étapes annoncées pointent vers l'intégration avec des politiques d'apprentissage de haut niveau et la généralisation à d'autres morphologies de mains.

RecherchePaper

1 source