RecherchearXiv cs.RO 5 mai 2026

Robo3R : amélioration de la manipulation robotique par reconstruction 3D précise en avance de phase

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Robo3R est un modèle de reconstruction 3D présenté dans un preprint arXiv (2502.10101) qui vise à remplacer les capteurs de profondeur classiques dans les pipelines de manipulation robotique. Le système prend en entrée des images RGB et les états du robot, et prédit en temps réel la géométrie de la scène à l'échelle métrique, sans recours à un capteur ToF, LiDAR ou stéréo. Robo3R combine une tête de points masquée (masked point head) pour des nuages de points précis, et une formulation Perspective-n-Point (PnP) basée sur des keypoints pour aligner les poses de caméra dans un référentiel canonique robot. Le modèle a été entraîné sur Robo3R-4M, un dataset synthétique de 4 millions de frames annotées haute fidélité. Les auteurs rapportent des gains constants sur plusieurs tâches aval : imitation learning, transfert sim-to-real, synthèse de saisies (grasp synthesis) et planification de trajectoire sans collision.

L'intérêt pratique est direct pour les intégrateurs : les capteurs de profondeur actuels (caméras stéréo, ToF, LiDAR structuré) présentent des limites bien documentées sur les surfaces réfléchissantes, transparentes ou sombres, et leur calibration reste coûteuse. Un module RGB-only à l'échelle métrique et en temps réel réduirait la dépendance au hardware de sensing. Les gains sur le transfert sim-to-real sont particulièrement significatifs : c'est précisément là que les politiques de manipulation, qu'il s'agisse d'ACT, de Diffusion Policy ou des VLA récents, perdent en robustesse lors du déploiement. Que Robo3R améliore cette étape charnière suggère qu'un meilleur module perceptif en entrée peut compenser une partie du reality gap sans toucher à l'architecture de la politique.

Ce travail s'inscrit dans une dynamique de recherche active autour de la reconstruction 3D dense depuis le RGB, dominée ces deux dernières années par DUSt3R et MASt3R, développés par Naver Labs Europe à Grenoble, ainsi que par UniDepth et Depth Pro. Robo3R se différencie en ciblant explicitement les contraintes de la manipulation : précision métrique, cohérence du référentiel robot et latence compatible avec le contrôle en boucle fermée. Le dataset synthétique Robo3R-4M, bien que large, soulève la question classique du domaine gap entre simulation et réel, même si les résultats rapportés sur des tâches physiques restent positifs. Il s'agit pour l'instant d'un preprint non encore évalué par les pairs; une soumission à ICRA, CVPR ou RSS, couplée à une validation sur des plateformes robotiques variées au-delà des benchmarks internes, constituerait la prochaine étape naturelle.

Impact France/UE

Les modèles DUSt3R et MASt3R développés par Naver Labs Europe à Grenoble constituent la référence comparative directe de Robo3R, signalant que la recherche européenne reste en pointe sur la reconstruction 3D dense appliquée à la manipulation robotique.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

PointWAM : modélisation d'actions du monde en 3D pour la manipulation robotique dextre

Des chercheurs publient sur arXiv (2610.02840) PointWAM, un « Point World Action Model » qui prédit conjointement l'évolution du monde et les actions d'un robot sous forme de trajectoires de points 3D. Le modèle décompose la scène en deux entités, l'environnement et les mains (l'acteur). Les deux sont prévus dans un même repère espace-temps. À partir d'un nuage de points coloré et d'une instruction en langage naturel, il anticipe comment la scène et les mains évoluent ensemble. Il retranspose ensuite le mouvement de main prévu en commandes robot. Les résultats sont ceux des auteurs, sur le benchmark DexJoCo et sur un robot réel. Le pré-entraînement sur des vidéos de démonstrations humaines améliore le taux de succès moyen sur DexJoCo de 56,9 points de pourcentage. Ajouter la supervision des trajectoires de la scène, et pas seulement celles des mains, apporte 10,9 points de plus. Avec les deux ingrédients, PointWAM dépasse de 11,7 points l'état de l'art précédent sur dix tâches DexJoCo et surpasse de « solides » VLA (modèles vision-langage-action) sur un robot physique. L'article ne précise pas dans cet extrait les modèles de référence, le robot ou le nombre d'essais. L'enjeu est la manipulation dextre, où les approches courantes montrent leurs limites. Les world action models habituels représentent le monde en images RGB ou en espaces latents, et les actions en poses d'effecteur ou en angles articulaires. Ces représentations capturent mal la structure spatiale 3D et la géométrie des contacts, qui décident pourtant du succès d'une saisie ou d'une manipulation en main. Une représentation explicite en points 3D évite aussi de choisir à la main les objets ou points-clés propres à chaque tâche. Elle permet ainsi un pré-entraînement à grande échelle sur des vidéos humaines, une source de données bien moins coûteuse que la téléopération robotique. Le gain de 56,9 points suggère que le transfert humain vers robot dépend beaucoup du choix de représentation. Ces chiffres viennent d'un preprint non évalué par les pairs, sur un benchmark très probablement en grande partie simulé. Le résultat sur robot réel reste à qualifier, notamment sur la diversité des tâches et la robustesse hors laboratoire. Ce travail s'inscrit dans la montée des world action models, qui fusionnent prédiction de dynamique et génération d'actions, en réaction aux VLA purement réactifs. Ces derniers, comme Pi-0 ou Helix, s'appuient sur des représentations 2D et des données robot coûteuses. PointWAM se place sur le créneau de l'apprentissage à partir de vidéos humaines et de la 3D explicite, face aux approches par images ou latents. La suite dépendra de la reproduction des résultats, d'une éventuelle publication du code et des poids, et de tests sur des mains robotiques multi-doigts variées. Aucune application industrielle ni calendrier de déploiement n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Évaluation comparative de la reconstruction 3D pour la perception robotique sous la glace en Arctique

Une équipe de chercheurs publie sur arXiv un benchmark de reconstruction 3D par vision pour la face inférieure de la banquise, un domaine où la cartographie repose aujourd'hui presque exclusivement sur l'acoustique, notamment les sonars multifaisceaux. Le jeu d'évaluation combine des données réelles issues de l'expédition arctique MOSAiC et des données synthétiques produites dans un simulateur de robotique sous-marine basé sur Unreal Engine. Deux familles de méthodes sont comparées : la photogrammétrie par Structure-From-Motion (SfM) et l'estimation de profondeur monoculaire. La mesure quantitative passe par un recalage intermodal sur un sonar multifaisceaux orienté vers le haut, utilisé comme référence géométrique. Le résumé disponible ne donne ni scores, ni nombre d'images, ni noms de modèles testés, ce qui limite pour l'instant toute conclusion chiffrée. L'intérêt tient à une limite connue du sonar : il restitue bien la géométrie à grande échelle, mais pas la texture, l'information spectrale ni les détails fins de la morphologie de la glace. Or ces détails comptent pour les modèles d'échanges thermiques entre océan, glace et atmosphère, et pour le suivi des habitats sous la banquise, alors que l'Arctique évolue vers des étés sans glace. Pour les opérateurs de véhicules sous-marins autonomes (AUV) et de robots téléopérés (ROV), la question pratique est de savoir si une caméra embarquée peut compléter le sonar. Le benchmark apporte un cadre de comparaison reproductible, rare pour ces conditions. Il met aussi à l'épreuve une hypothèse courante : que les méthodes de vision, SfM comme modèles de profondeur pré-entraînés, se transfèrent à des scènes pauvres en points d'appui visuels et dégradées par l'eau. Les auteurs soulignent d'ailleurs que ces conditions compliquent la capture des propriétés structurelles et optiques de surface. Il s'agit d'un travail de recherche, sans produit ni déploiement commercial à ce stade. Ce travail s'inscrit dans l'héritage de MOSAiC, la dérive d'un an du brise-glace Polarstern dans l'Arctique central, qui a produit un corpus de données de référence sur la glace de mer. La perception sous la glace reste un parent pauvre de la robotique marine : la navigation par GPS y est impossible, la lumière est faible et les textures sont répétitives, ce qui pénalise les approches visuelles classiques. L'usage d'un simulateur pour compléter des données réelles rares reflète une tendance plus large de la robotique, qui utilise la simulation pour valider des algorithmes avant des campagnes coûteuses. Les suites logiques seraient l'évaluation de modèles de profondeur plus récents, la fusion caméra-sonar et des essais sur des AUV polaires, mais l'article ne précise ni calendrier ni partenaires industriels.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

E0.5 : des fondations 3D reconstructives aux fondations 3D prédictives du futur pour la modélisation monde-action en robotique

E0.5 est un modèle monde-action (WAM, pour world-action model) présenté sur arXiv (2610.36011v1) qui prend pour backbone principal un modèle de fondation 3D plutôt qu'un modèle vidéo ou un modèle vision-langage (VLM). La géométrie 3D devient ainsi la représentation native, à la fois pour la modélisation du monde et pour la prédiction d'actions. Le modèle prédit conjointement les actions et les états 3D futurs. Sur le benchmark de simulation RoboTwin 2.0, sans aucun pré-entraînement sur données robotiques, il atteint 89,90 % de réussite en environnement propre et 50,09 % en environnement randomisé. Les auteurs l'ont ensuite pré-entraîné sur plus de 160 000 trajectoires issues d'AgiBotWorld-Beta, en apprenant simultanément les actions et la géométrie future. Ce pré-entraînement améliore le taux de réussite moyen en manipulation réelle d'environ 15 points de pourcentage sur le bras AgileX Piper et d'environ 7 points sur le robot Zerith H1. L'intérêt tient à un choix d'architecture. La plupart des WAM actuels s'appuient sur un modèle vidéo ou un VLM, et lorsqu'ils exploitent des features géométriques issues de modèles 3D comme VGGT, celles-ci restent une entrée auxiliaire ou une cible de prédiction secondaire. E0.5 inverse la hiérarchie, ce qui revient à parier que la structure spatiale est un meilleur support pour la manipulation que l'apparence visuelle. Les résultats donnent un premier signal en ce sens, mais ils appellent de la prudence. Le score de 50,09 % en conditions randomisées montre que la robustesse reste un point faible. Les gains réels de 15 et 7 points sont des moyennes sur des tâches non détaillées dans le résumé, sans indication du nombre d'essais ni de comparaison chiffrée avec des références comme Pi-0 ou d'autres VLA. Il s'agit d'un travail de recherche, sans produit ni déploiement industriel, mais il suggère qu'un pré-entraînement robotique peut se transférer sur une base géométrique. Cette publication s'inscrit dans la montée des modèles monde-action, qui prolongent les VLA (vision-language-action) en y ajoutant la prédiction du futur, jusqu'ici surtout par la vidéo. E0.5 se présente comme un membre de la famille VWA de ces modèles. Il s'appuie sur les avancées des modèles de fondation 3D de type VGGT et sur l'ouverture de grands jeux de données comme AgiBotWorld, dont la version Beta fournit le volume de trajectoires nécessaire. Face à lui se trouvent les approches centrées sur la vidéo et les VLA classiques. Les prochaines étapes à surveiller sont une évaluation sur davantage de plateformes, des comparaisons directes avec ces modèles et une montée en échelle des données de pré-entraînement.

RecherchePaper

1 source

4arXiv cs.RO

RoboSeg : reconstruction sémantique en ligne au niveau des pièces pour la manipulation robotique via une seule caméra montée sur pince

RoboSeg est un système de perception robotique présenté dans un article déposé sur arXiv (arXiv:2608.09778v1) qui vise à reconnaître non pas des objets entiers mais leurs parties actionnables : poignées, bords, gâchettes, embouts d'outils. Le système interroge un modèle vision-langage (VLM) sur une première image RGB pour identifier des invites de parties fonctionnelles, puis combine deux flux asynchrones : un thread géométrique haute fréquence pour l'odométrie RGB-D et la fusion TSDF, et un thread sémantique déclenché par images clés utilisant SAM3 pour segmenter les parties. Les masques projetés sont fusionnés par vote temporel au niveau voxel pour construire une carte de points étiquetée, persistante, sans nécessiter de modèle CAD ni de maillage pré-scanné. Cette carte sert ensuite à assigner les candidats de prise à 6 degrés de liberté générés par AnyGrasp à la partie sémantique pertinente pour la tâche demandée. Les résultats rapportés atteignent 83,4% de mIoU (intersection sur union moyenne) sur des objets annotés manuellement, et lors d'un pilote physique de 24 essais couvrant quatre objets et huit tâches, la prise sélectionnée a touché la partie demandée dans tous les essais, pour 21 réussites sur 24 au total. L'intérêt de ce travail pour les intégrateurs et chercheurs en robotique tient au fait qu'il traite un angle mort classique des pipelines de manipulation : la plupart des systèmes de préhension raisonnent au niveau de l'objet entier, sans distinguer la partie fonctionnellement pertinente pour une tâche donnée. En s'appuyant uniquement sur une caméra montée sur l'effecteur (eye-in-hand) et sur des modèles de fondation existants plutôt que sur des CAO préalables, RoboSeg propose une couche d'indexation sémantique généralisable à des environnements non structurés. Le papier reste toutefois prudent sur la portée de la validation : le pilote physique ne couvre que quatre objets et 24 essais, un échantillon restreint qui limite la généralisation des taux de réussite annoncés. Ce travail s'inscrit dans la tendance actuelle combinant modèles vision-langage et générateurs de prises pré-entraînés plutôt que de réentraîner des systèmes de bout en bout. Les auteurs positionnent explicitement RoboSeg comme une couche complémentaire à AnyGrasp, conservé comme générateur de propositions de préhension, et non comme un remplacement. Il s'agit d'un article de recherche académique récemment publié, sans mention d'un déploiement industriel ni d'un partenaire commercial ; les prochaines étapes concernant une éventuelle extension à davantage d'objets, de tâches ou de plateformes robotiques ne sont pas précisées dans le résumé.

RecherchePaper

1 source