RecherchearXiv cs.RO 9 juin 2026

GraspFoM : vers une préhension robotique guidée par la reconstruction et les modèles fondation 3D

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié le 10 juin 2026 sur arXiv (référence 2606.08440) GraspFoM, un framework unifié de saisie robotique qui exploite des fondations 3D pré-entraînées, plus précisément SAM3D, pour construire une représentation latente 3D partagée entre deux tâches simultanées : la reconstruction géométrique de l'objet et la prédiction de poses de préhension. L'architecture centrale repose sur un diffuseur de raisonnement de pose tronqué à initialisation par ancres, qui génère des poses continues et multimodales sans dépendre de candidats discrets préétablis, une distinction technique importante par rapport aux pipelines classiques. GraspFoM produit en sortie à la fois des poses de saisie et des reconstructions 3D haute fidélité au format maillage polygonal et 3D Gaussian Splatting (3DGS). Les auteurs rapportent des résultats de pointe sur les benchmarks de reconstruction et de saisie, avec un surcoût en paramètres entraînables qualifié de "limité" mais sans chiffre précis publié.

Ce travail adresse un verrou réel dans la manipulation robotique : la saisie sous observation partielle, c'est-à-dire quand la caméra ne voit qu'une fraction de l'objet. Les approches existantes utilisent la géométrie 3D comme étape intermédiaire jetable, sans la capitaliser comme prior réutilisable. GraspFoM rompt avec cette logique en faisant co-évoluer reconstruction et grasping dans un espace latent commun : la reconstruction ancre la géométrie, la supervision de saisie affine ce latent vers les zones de prise pertinentes. Le scorer reconstruction-aware et le residual latent updater formalisent cette rétroaction mutuelle. Pour les intégrateurs en manipulation industrielle ou logistique, cela suggère une meilleure robustesse sur des objets partiellement occultés, sans multiplication des modules ou des paramètres, ce qui est un argument d'efficacité réelle si les expériences réelles confirment les benchmarks.

Les fondations 3D comme SAM3D s'inscrivent dans une vague de transferts de connaissances entre vision 2D et représentations 3D, parallèle à l'essor des VLA (Vision-Language-Action models) pour la manipulation généraliste. GraspFoM se positionne différemment des approches purement end-to-end comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA : il mise sur la reconstruction explicite plutôt que sur l'imitation à grande échelle. Les concurrents académiques proches incluent GraspNeRF, Contact-GraspNet et des travaux récents combinant diffusion et géométrie 3D. À ce stade, GraspFoM reste un preprint non validé en conditions réelles, les expériences rapportées étant réalisées sur simulateur ou bancs de test contrôlés. Aucun partenaire industriel ni déploiement pilote n'est mentionné, et aucune timeline de commercialisation n'est communiquée.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

RepSAM : adapter les modèles fondation à la vision robotique par guidage de représentation

Des chercheurs ont publié le 26 mai 2026 sur arXiv (2605.25495) RepSAM, un cadre d'adaptation à l'efficacité paramétrique (PEFT) conçu pour transférer les capacités de SAM (Segment Anything Model) vers la perception robotique en environnements non structurés. Le diagnostic de départ est précis : les couches superficielles du transformeur subissent un écart de représentation important entre données génériques et données robotiques (CKA inférieur à 0,7), tandis que les couches profondes restent stables (CKA supérieur à 0,7). RepSAM exploite cette asymétrie via une allocation de rang guidée par la CKA (Centered Kernel Alignment) pour concentrer les paramètres entraînables là où le décalage est effectivement significatif. Le résultat : 89,0 % de mIoU contre 90,9 % pour le fine-tuning complet, soit 97,9 % des performances, avec seulement 4,0 millions de paramètres entraînables sur 632 millions totaux, une réduction de 158 fois. L'entraînement tient en 4 heures sur un seul GPU A100, contre 384 heures-GPU pour le fine-tuning intégral, et surpasse DoRA de 7,9 points de mIoU sur six benchmarks. En manipulation robotique, le gain atteint 12 points absolus de taux de succès par rapport à la baseline LoRA RGB, avec une significativité statistique p inférieur à 0,01. L'enjeu industriel est direct : le gouffre entre les modèles de vision généralistes et les conditions réelles de la robotique (objets transparents, scènes encombrées, éclairage variable) reste l'un des principaux blocages pour les intégrateurs. RepSAM démontre qu'un adapter bien ciblé, informé par la structure interne du réseau plutôt qu'appliqué uniformément, peut quasiment égaler un fine-tuning complet à une fraction du coût de calcul. Pour un responsable technique déployant des bras manipulateurs ou des systèmes de picking, cela signifie qu'il devient réaliste d'adapter un modèle de fondation sur du matériel standard, sans infrastructure de calcul dédiée ni données massives. SAM, développé par Meta AI et publié en 2023, s'est imposé comme référence pour la segmentation zero-shot, mais ses performances se dégradent hors distribution, notamment en robotique industrielle. Les méthodes PEFT comme LoRA et DoRA avaient déjà tenté ce pont, avec des gains limités faute d'adaptation différenciée par couche. RepSAM s'inscrit dans la continuité de travaux sur l'analyse de représentation pour guider le fine-tuning (CKA comme outil de diagnostic, popularisé depuis 2019). La prochaine étape logique est la validation sur des robots réels en conditions industrielles ; l'article se limite pour l'instant à des benchmarks simulés et des tâches de manipulation contrôlées, ce qui laisse ouvert le sim-to-real gap à grande échelle.

UELes intégrateurs européens de bras manipulateurs et systèmes de picking pourraient adapter des modèles de vision fondation sur du matériel GPU standard, réduisant la barrière à l'IA perceptive sans infrastructure de calcul dédiée.

RechercheOpinion

1 source

2arXiv cs.RO

DynaFLIP : repenser la perception robotique via une représentation guidée par les dynamiques tri-modales

Des chercheurs présentent DynaFLIP (arXiv:2605.30350, mai 2026), un framework de pré-entraînement multimodal qui intègre la compréhension du mouvement directement dans l'encodeur visuel d'un robot manipulateur. L'approche repose sur des triplets image-langage-flux 3D extraits de vidéos hétérogènes d'humains et de robots. Le principe géométrique central consiste à forcer ces trois modalités à occuper un volume de simplexe minimal dans un espace hypersphérique partagé, plus ce volume est petit, plus l'alignement entre vision, langage et dynamique 3D est fort. Pour éviter l'effondrement trivial de cette minimisation géométrique, les auteurs combinent une régularisation cosinus et un objectif contrastif. Validé sur des benchmarks en simulation et en conditions réelles, DynaFLIP apporte des gains allant jusqu'à +22,5 % de performance dans des scénarios hors distribution, avec des améliorations constantes sur l'ensemble des politiques testées, y compris les VLA (Vision-Language-Action models). L'enjeu industriel est direct : les pipelines robotiques actuels, y compris ceux qui alimentent les humanoïdes commerciaux et les bras manipulateurs, s'appuient sur des encodeurs visuels pré-entraînés pour la reconnaissance statique ou l'alignement vision-langage de type CLIP. La compréhension du mouvement est laissée à la politique en aval, ce qui crée un goulot d'étranglement pour la généralisation. DynaFLIP déplace ce traitement en amont : le backbone visuel lui-même apprend à encoder non pas seulement ce qui est présent dans la scène, mais comment le monde se transforme sous l'effet d'une action. Le gain de +22,5 % hors distribution est particulièrement significatif, car c'est précisément là que les robots en déploiement réel échouent le plus souvent, sur des objets, des éclairages ou des configurations jamais vus à l'entraînement. Cette approche s'inscrit dans une vague de travaux sur les représentations visuelles pour la manipulation (R3M, MVP, SPA), mais elle se distingue en exploitant le flux optique 3D comme signal de supervision sans l'utiliser à l'inférence. Côté compétiteurs, les VLA comme pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou les modèles de Figure et Agility reposent tous sur des encodeurs dont la qualité représentationnelle conditionne la robustesse terrain. DynaFLIP propose un backbone de substitution directement intégrable dans ces architectures. La prochaine étape logique sera de valider à l'échelle sur des tâches de manipulation longue durée et de mesurer le transfert vers des morphologies robotiques variées, bras industriels, mains dextères, ou bases mobiles.

RechercheOpinion

1 source

3arXiv cs.RO

E0.5 : des fondations 3D reconstructives aux fondations 3D prédictives du futur pour la modélisation monde-action en robotique

E0.5 est un modèle monde-action (WAM, pour world-action model) présenté sur arXiv (2610.36011v1) qui prend pour backbone principal un modèle de fondation 3D plutôt qu'un modèle vidéo ou un modèle vision-langage (VLM). La géométrie 3D devient ainsi la représentation native, à la fois pour la modélisation du monde et pour la prédiction d'actions. Le modèle prédit conjointement les actions et les états 3D futurs. Sur le benchmark de simulation RoboTwin 2.0, sans aucun pré-entraînement sur données robotiques, il atteint 89,90 % de réussite en environnement propre et 50,09 % en environnement randomisé. Les auteurs l'ont ensuite pré-entraîné sur plus de 160 000 trajectoires issues d'AgiBotWorld-Beta, en apprenant simultanément les actions et la géométrie future. Ce pré-entraînement améliore le taux de réussite moyen en manipulation réelle d'environ 15 points de pourcentage sur le bras AgileX Piper et d'environ 7 points sur le robot Zerith H1. L'intérêt tient à un choix d'architecture. La plupart des WAM actuels s'appuient sur un modèle vidéo ou un VLM, et lorsqu'ils exploitent des features géométriques issues de modèles 3D comme VGGT, celles-ci restent une entrée auxiliaire ou une cible de prédiction secondaire. E0.5 inverse la hiérarchie, ce qui revient à parier que la structure spatiale est un meilleur support pour la manipulation que l'apparence visuelle. Les résultats donnent un premier signal en ce sens, mais ils appellent de la prudence. Le score de 50,09 % en conditions randomisées montre que la robustesse reste un point faible. Les gains réels de 15 et 7 points sont des moyennes sur des tâches non détaillées dans le résumé, sans indication du nombre d'essais ni de comparaison chiffrée avec des références comme Pi-0 ou d'autres VLA. Il s'agit d'un travail de recherche, sans produit ni déploiement industriel, mais il suggère qu'un pré-entraînement robotique peut se transférer sur une base géométrique. Cette publication s'inscrit dans la montée des modèles monde-action, qui prolongent les VLA (vision-language-action) en y ajoutant la prédiction du futur, jusqu'ici surtout par la vidéo. E0.5 se présente comme un membre de la famille VWA de ces modèles. Il s'appuie sur les avancées des modèles de fondation 3D de type VGGT et sur l'ouverture de grands jeux de données comme AgiBotWorld, dont la version Beta fournit le volume de trajectoires nécessaire. Face à lui se trouvent les approches centrées sur la vidéo et les VLA classiques. Les prochaines étapes à surveiller sont une évaluation sur davantage de plateformes, des comparaisons directes avec ces modèles et une montée en échelle des données de pré-entraînement.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage robotique guidé par le toucher : des représentations aux modèles fondation

Une revue de littérature publiée sur arXiv (2610.20134, première version) propose de relire la manipulation robotique par le toucher sous un angle centré sur l'apprentissage, et non plus sur le matériel. Les auteurs structurent le domaine selon le rôle fonctionnel du toucher dans la chaîne d'apprentissage et de contrôle: apprentissage de représentations tactiles et de politiques, modèles de fondation tactiles, contrôle prédictif et adaptatif, puis généralisation entre objets, tâches, capteurs, morphologies de robots et transfert simulation-réel. Le texte ne rapporte ni nouveau robot, ni benchmark chiffré, ni déploiement industriel. Il s'agit d'une synthèse accompagnée d'une base de données publique des travaux recensés, accessible via un site dédié. L'intérêt pour les intégrateurs et les ingénieurs tient au constat que le toucher change de statut. Longtemps cantonné à la détection de contact et au contrôle réactif, il sert désormais à apprendre des représentations transférables, à conditionner des politiques de manipulation et à soutenir un raisonnement physique incarné. Les auteurs soulignent que les revues existantes se concentrent sur les capteurs et la perception, ce qui laisse sans synthèse le virage vers la manipulation tactile apprise. Ils identifient trois verrous: apprendre des représentations physiques réellement transférables, articuler le raisonnement sémantique (type VLA, modèles vision-langage-action) avec le contrôle fin au niveau du contact, et passer à l'échelle sur des données et des capteurs hétérogènes. Cette hétérogénéité des capteurs reste le point dur pour tout acteur qui voudrait déployer une politique tactile sur plusieurs plateformes. Il faut aussi noter qu'une revue décrit un état de la recherche, pas des performances démontrées en production. Ce travail s'inscrit dans la course aux modèles de fondation pour la robotique, où la vision et le langage dominent encore les grands modèles généralistes, tandis que le tactile demeure fragmenté entre capteurs optiques, magnétiques ou capacitifs et entre jeux de données peu compatibles. Les auteurs esquissent la suite: des modèles de fondation et des modèles du monde tactiles capables de prédire, raisonner et adapter les interactions physiques. Aucun calendrier ni pilote industriel n'est annoncé, ce qui place cette perspective au stade de la feuille de route académique. Pour les décideurs, la revue sert surtout de carte pour repérer quelles approches méritent un suivi avant d'éventuels transferts vers des mains dextres commerciales.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source