RecherchearXiv cs.RO 11 août 2026

Calib3R : calibration main-œil et reconstruction 3D à l'échelle métrique avec des modèles fondation 3D

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Le laboratoire de recherche a présenté Calib3R, une méthode conjointe de calibration main-œil et de reconstruction 3D métrique pour bras robotiques équipés de caméras RGB. Contrairement aux techniques traditionnelles qui exigent des mires de calibration physiques, Calib3R fonctionne sans motif imprimé : elle s'appuie sur un modèle de fondation 3D pour extraire des pointmaps directement à partir d'images RGB, combinées aux poses articulaires du robot afin de reconstruire une scène 3D à l'échelle métrique, alignée sur le référentiel de la base du robot. Le système gère aussi bien les configurations mono-caméra que multi-caméras, un cas généralement plus complexe car il impose d'exprimer les données dans un référentiel commun. Selon les auteurs, des expériences menées sur plusieurs jeux de données montrent que Calib3R atteint une calibration précise avec moins de dix images, surpassant à la fois les méthodes sans mire et les méthodes classiques avec mire. Le papier, disponible sur arXiv (2509.08813v2), correspond à une version révisée d'un article déjà annoncé précédemment.

Pour l'industrie robotique, cette approche répond à un goulot d'étranglement concret de l'intégration : aujourd'hui, calibrer un bras robotique et reconstruire son environnement en 3D restent deux étapes distinctes, chacune exigeant du matériel dédié (mires, cibles) et une expertise spécifique, ce qui ralentit le déploiement de systèmes de manipulation guidés par la vision. En unifiant les deux tâches dans une seule optimisation géométrique, et en réduisant drastiquement le nombre d'images nécessaires, Calib3R pourrait simplifier la mise en service de cellules robotiques pour des intégrateurs qui n'ont pas de laboratoire de métrologie dédié. C'est aussi un signal parmi d'autres que les modèles de fondation 3D, initialement développés pour la vision générale, commencent à s'infiltrer dans les briques d'infrastructure robotique les plus techniques, au-delà des usages de perception ou de planification de trajectoire déjà démontrés.

Cette publication s'inscrit dans la lignée des travaux récents exploitant les modèles de fondation 3D (type reconstruction dense à partir d'images non calibrées) pour résoudre des problèmes classiques de robotique autrement dépendants de capteurs ou de mires physiques. Elle se positionne face aux méthodes de calibration patternless existantes et aux approches par mire encore largement utilisées en production. L'article ne précise pas d'implémentation matérielle commerciale ni de partenaire industriel : il s'agit à ce stade d'une contribution de recherche évaluée sur jeux de données, sans indication de déploiement pilote ou d'intégration produit annoncée.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

GraspFoM : vers une préhension robotique guidée par la reconstruction et les modèles fondation 3D

Une équipe de chercheurs a publié le 10 juin 2026 sur arXiv (référence 2606.08440) GraspFoM, un framework unifié de saisie robotique qui exploite des fondations 3D pré-entraînées, plus précisément SAM3D, pour construire une représentation latente 3D partagée entre deux tâches simultanées : la reconstruction géométrique de l'objet et la prédiction de poses de préhension. L'architecture centrale repose sur un diffuseur de raisonnement de pose tronqué à initialisation par ancres, qui génère des poses continues et multimodales sans dépendre de candidats discrets préétablis, une distinction technique importante par rapport aux pipelines classiques. GraspFoM produit en sortie à la fois des poses de saisie et des reconstructions 3D haute fidélité au format maillage polygonal et 3D Gaussian Splatting (3DGS). Les auteurs rapportent des résultats de pointe sur les benchmarks de reconstruction et de saisie, avec un surcoût en paramètres entraînables qualifié de "limité" mais sans chiffre précis publié. Ce travail adresse un verrou réel dans la manipulation robotique : la saisie sous observation partielle, c'est-à-dire quand la caméra ne voit qu'une fraction de l'objet. Les approches existantes utilisent la géométrie 3D comme étape intermédiaire jetable, sans la capitaliser comme prior réutilisable. GraspFoM rompt avec cette logique en faisant co-évoluer reconstruction et grasping dans un espace latent commun : la reconstruction ancre la géométrie, la supervision de saisie affine ce latent vers les zones de prise pertinentes. Le scorer reconstruction-aware et le residual latent updater formalisent cette rétroaction mutuelle. Pour les intégrateurs en manipulation industrielle ou logistique, cela suggère une meilleure robustesse sur des objets partiellement occultés, sans multiplication des modules ou des paramètres, ce qui est un argument d'efficacité réelle si les expériences réelles confirment les benchmarks. Les fondations 3D comme SAM3D s'inscrivent dans une vague de transferts de connaissances entre vision 2D et représentations 3D, parallèle à l'essor des VLA (Vision-Language-Action models) pour la manipulation généraliste. GraspFoM se positionne différemment des approches purement end-to-end comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA : il mise sur la reconstruction explicite plutôt que sur l'imitation à grande échelle. Les concurrents académiques proches incluent GraspNeRF, Contact-GraspNet et des travaux récents combinant diffusion et géométrie 3D. À ce stade, GraspFoM reste un preprint non validé en conditions réelles, les expériences rapportées étant réalisées sur simulateur ou bancs de test contrôlés. Aucun partenaire industriel ni déploiement pilote n'est mentionné, et aucune timeline de commercialisation n'est communiquée.

RecherchePaper

1 source

2arXiv cs.RO

Modèle fondation à l'échelle pour robots humanoïdes

Une nouvelle publication arXiv (2607.15163v1, soumission de type "new") propose un modèle de fondation comportemental (Behavior Foundation Model, BFM) pour le contrôle de robots humanoïdes, baptisé Humanoid Transformer. Les auteurs affirment avoir identifié la recette manquante pour faire monter en puissance ces modèles, en coordonnant trois leviers : un nouveau paradigme d'apprentissage qui reformule le contrôle humanoïde comme la reproduction de comportements corporels intégrés dans le référentiel global plutôt que local ; un équilibrage stratégique entre le volume de déploiements en ligne (on-policy rollouts) et la diversité des mouvements de référence utilisés à l'entraînement ; et l'architecture Humanoid Transformer elle-même, conçue pour faire émerger naturellement des représentations structurées du comportement. Testée à la fois en simulation et en conditions réelles, l'approche réduit l'erreur moyenne par point clé (Mean Per-Keypoint Position Error, MPKPE) de plus de 10% en mode local et de 82% en mode global par rapport aux contrôleurs humanoïdes existants. Ce travail répond à un flou méthodologique réel du secteur : malgré l'engouement croissant pour les BFM comme brique de base des agents incarnés généralistes, personne n'avait jusqu'ici établi de façon rigoureuse comment coordonner données, architecture et paradigme d'entraînement pour obtenir un gain de performance qui tienne la route au passage à l'échelle. Le saut de 82% en mode global est le chiffre qui compte vraiment pour les intégrateurs : c'est la capacité à maintenir une cohérence corporelle dans le référentiel monde, condition nécessaire pour des tâches où le robot doit coordonner déplacement et manipulation sans dérive, un point faible classique des contrôleurs entraînés uniquement en référentiel local. Si les résultats se confirment à plus grande échelle, ils renforcent l'hypothèse que le contrôle humanoïde généraliste peut suivre une trajectoire de scaling comparable à celle des grands modèles de langage, plutôt que de rester cantonné à des politiques spécialisées par tâche. L'article s'inscrit dans la vague de recherche académique qui a suivi l'essor des politiques vision-langage-action (VLA) et des BFM ces deux dernières années, sans rattacher la méthode à un robot ou un laboratoire commercial précis : il s'agit d'une contribution méthodologique comparée à des "contrôleurs humanoïdes existants" pris comme référence, sans nommer de plateforme physique spécifique. La suite logique serait une validation sur du matériel humanoïde tiers et à plus grande échelle de données, pour confirmer que le gain en mode global se maintient hors du cadre expérimental des auteurs.

RechercheActu

1 source

3arXiv cs.RO

ACE-Brain-0.6 : passage à l'échelle de l'ancrage spatial pour les modèles fondation physiques

ACE-Brain-0.6 est un modèle de « grounding » spatial décrit dans un preprint arXiv (2610.27040) : il s'agit de relier une instruction ou une description à l'endroit précis où agir dans une scène visuelle. Les auteurs ont affiné Qwen3.5-9B, un modèle multimodal ouvert de 9 milliards de paramètres, sur environ 1,5 million d'échantillons issus d'un pipeline de données unifié. Ce pipeline combine des enregistrements de manipulation robotique, annotés automatiquement, avec des données visuelles complémentaires de sources variées. Le tout est converti en supervision de grounding « vérifiable », c'est-à-dire que chaque réponse peut être contrôlée automatiquement. Sur sept benchmarks publics de grounding, ACE-Brain-0.6 devance GPT-6 Astra sur quatre, avec une moyenne globale de 75,41 contre 73,68. À configuration de fine-tuning identique, la performance agrégée progresse à mesure que les versions successives du jeu de données couvrent davantage de scénarios. L'intérêt tient à l'écart qui se resserre entre un petit modèle ouvert et un modèle généraliste fermé sur une compétence que les auteurs jugent centrale pour la manipulation. Leur analyse suggère que la polyvalence de modèles comme GPT-6 Astra et Claude Opus 5.5 en robotique repose en partie sur une bonne perception spatiale, notamment la capacité à localiser l'objet pertinent malgré des éléments visuels parasites. Un modèle de 9 milliards de paramètres, déployable à moindre coût et modifiable, qui égale ou dépasse un modèle frontière sur ce volet, intéresse les intégrateurs qui ne veulent pas dépendre d'API distantes pour la couche perception. Les résultats portent toutefois sur des benchmarks de grounding, pas sur des taux de réussite de tâches physiques. Aucune mesure en boucle fermée sur robot n'est mentionnée, et l'avance moyenne reste modeste (moins de deux points). Le modèle perd sur trois des sept tests, ce qui nuance la portée du résultat. Le passage du grounding statique à une manipulation fiable reste à démontrer. Ce travail s'inscrit dans la tendance des modèles de fondation physiques, où la recherche se demande si la perception ou le raisonnement de haut niveau doit être renforcé en priorité avant de coupler le tout à une politique d'action de type VLA (vision-langage-action). L'approche privilégie la mise à l'échelle de données diverses et vérifiables plutôt que l'architecture, en concurrence avec les modèles généralistes fermés et avec les modèles robotiques ouverts ou propriétaires du secteur. Le suffixe « 0.6 » indique une version intermédiaire d'une série. Les auteurs évoquent des « data releases » successives, ce qui laisse attendre de nouvelles itérations avec une couverture élargie. Le preprint n'a pas encore été relu par des pairs, et la disponibilité publique des poids et du jeu de données n'est pas précisée dans le résumé.

RecherchePaper

1 source

4arXiv cs.RO

E0.5 : des fondations 3D reconstructives aux fondations 3D prédictives du futur pour la modélisation monde-action en robotique

E0.5 est un modèle monde-action (WAM, pour world-action model) présenté sur arXiv (2610.36011v1) qui prend pour backbone principal un modèle de fondation 3D plutôt qu'un modèle vidéo ou un modèle vision-langage (VLM). La géométrie 3D devient ainsi la représentation native, à la fois pour la modélisation du monde et pour la prédiction d'actions. Le modèle prédit conjointement les actions et les états 3D futurs. Sur le benchmark de simulation RoboTwin 2.0, sans aucun pré-entraînement sur données robotiques, il atteint 89,90 % de réussite en environnement propre et 50,09 % en environnement randomisé. Les auteurs l'ont ensuite pré-entraîné sur plus de 160 000 trajectoires issues d'AgiBotWorld-Beta, en apprenant simultanément les actions et la géométrie future. Ce pré-entraînement améliore le taux de réussite moyen en manipulation réelle d'environ 15 points de pourcentage sur le bras AgileX Piper et d'environ 7 points sur le robot Zerith H1. L'intérêt tient à un choix d'architecture. La plupart des WAM actuels s'appuient sur un modèle vidéo ou un VLM, et lorsqu'ils exploitent des features géométriques issues de modèles 3D comme VGGT, celles-ci restent une entrée auxiliaire ou une cible de prédiction secondaire. E0.5 inverse la hiérarchie, ce qui revient à parier que la structure spatiale est un meilleur support pour la manipulation que l'apparence visuelle. Les résultats donnent un premier signal en ce sens, mais ils appellent de la prudence. Le score de 50,09 % en conditions randomisées montre que la robustesse reste un point faible. Les gains réels de 15 et 7 points sont des moyennes sur des tâches non détaillées dans le résumé, sans indication du nombre d'essais ni de comparaison chiffrée avec des références comme Pi-0 ou d'autres VLA. Il s'agit d'un travail de recherche, sans produit ni déploiement industriel, mais il suggère qu'un pré-entraînement robotique peut se transférer sur une base géométrique. Cette publication s'inscrit dans la montée des modèles monde-action, qui prolongent les VLA (vision-language-action) en y ajoutant la prédiction du futur, jusqu'ici surtout par la vidéo. E0.5 se présente comme un membre de la famille VWA de ces modèles. Il s'appuie sur les avancées des modèles de fondation 3D de type VGGT et sur l'ouverture de grands jeux de données comme AgiBotWorld, dont la version Beta fournit le volume de trajectoires nécessaire. Face à lui se trouvent les approches centrées sur la vidéo et les VLA classiques. Les prochaines étapes à surveiller sont une évaluation sur davantage de plateformes, des comparaisons directes avec ces modèles et une montée en échelle des données de pré-entraînement.

RecherchePaper

1 source