RecherchearXiv cs.RO 2 juillet 2026

Structure de prédiction latente 4D pour la planification robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Structured 4D Latent Predictive Model : un système de prédiction spatiale en 3D pour la planification robotique

Une équipe de recherche publie sur arXiv (identifiant 2607.01166v1) un nouveau modèle baptisé « Structured 4D Latent Predictive Model », conçu pour la planification de tâches robotiques. Contrairement aux modèles prédictifs vidéo classiques, qui travaillent sur des séquences 2D, ce système prédit l'évolution de la structure 3D d'une scène dans un espace latent structuré, à partir d'observations visuelles et d'instructions textuelles. Cette représentation peut être décodée vers plusieurs formats 3D, offrant une compréhension plus complète et géométriquement cohérente de la scène. Le modèle sert de planificateur : il génère des scènes futures qui sont ensuite converties en actions exécutables par un module de dynamique inverse conditionné par l'objectif. Selon les auteurs, les expériences montrent une qualité visuelle élevée et une cohérence 3D et multi-vues nettement supérieure aux meilleurs planificateurs vidéo existants, avec de meilleures performances sur des tâches de manipulation complexes, une bonne généralisation à des conditions visuelles inédites, et une validation sur plateformes robotiques réelles. Un site dédié (structured-4d-model.github.io) présente le projet.

L'enjeu dépasse la seule prouesse technique. Les modèles vidéo 2D dominent actuellement l'approche « world model » en robotique, notamment dans les architectures VLA (vision-language-action) qui inspirent des systèmes comme Pi-0 ou GR00T N2. Or ces approches peinent souvent à garantir une cohérence physique et spatiale suffisante pour une manipulation fine. En injectant explicitement une structure 3D dans l'espace latent, ce travail répond directement à une limite identifiée du secteur : le fossé entre démonstrations vidéo impressionnantes et exécution fiable sur du matériel réel, un problème central pour les intégrateurs industriels qui cherchent des systèmes robustes plutôt que des démonstrations sélectionnées.

Il s'agit toutefois d'une publication académique à ce stade, sans laboratoire ni entreprise identifiés dans le résumé, et sans date de déploiement annoncée. Elle s'inscrit dans une compétition de recherche intense autour des modèles prédictifs pour la robotique, où plusieurs équipes explorent en parallèle des représentations 3D ou 4D pour dépasser les limites du tout-vidéo. Les prochaines étapes dépendront de la publication du code et de tests indépendants sur des plateformes tierces.

Dans nos dossiers

NVIDIA GR00T World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

GeneralVLA-2 : reconstruction géométrique et mémoire structurée pour la planification robotique

Une équipe de recherche affiliée au groupe AIGeeks a publié le 17 juin 2026 sur arXiv (2506.17480) GeneralVLA-2, une version améliorée de son système généraliste vision-langage-action (VLA) pour la planification de trajectoires robotiques. L'architecture de base, GeneralVLA, convertit des instructions en langage naturel et des observations RGB-D en chemins 3D pour l'effecteur terminal d'un robot. GeneralVLA-2 apporte deux contributions distinctes: GeoFuse-MV3D, une branche de reconstruction 3D multi-vues guidée par des a priori géométriques, qui remplace la reconstruction monoculaire SAM3D sujette aux hallucinations de pose; et une refonte du KnowledgeBank en système de mémoire à long terme avec métadonnées explicites de qualité, confiance, cycle de vie et détection de conflits. Sur le benchmark GSO-30, GeoFuse-MV3D réduit la Chamfer Distance de 2,20 % et le LPIPS de 2,02 % par rapport à la baseline MV-SAM3D, tout en améliorant PSNR et SSIM de respectivement 2,36 % et 1,03 %. Le KnowledgeBank gouverné gagne 4,53 points sur Terminal-Bench SR et 3,73 points sur SWE-Bench Verified par rapport à ReasoningBank, tout en réduisant les erreurs d'assertion (AS) de 4,95 % et 5,65 %. Ces améliorations s'attaquent à deux verrous concrets du pipeline VLA industriel: la qualité des représentations 3D d'objets en manipulation, et la fiabilité de la mémoire épisodique pour la réutilisation d'expériences. La reconstruction 3D monoculaire reste un point de défaillance majeur dans les déploiements réels, car une pose hallucinée en amont se propage directement en erreur de préhension. L'approche multi-vues avec fusion géométrique ciblée (visual-hull, raffinement axial, préservation de l'apparence) adresse ce problème de façon plus contrôlée. Les gains restent cependant modestes sur les métriques reportées, et il convient de noter qu'il s'agit d'un preprint sans peer review, avec des évaluations sur benchmarks laboratoire sans validation sur robot physique dans des conditions industrielles. GeneralVLA-1 avait posé l'interface hiérarchique langage-to-trajectory comme abstraction centrale pour les systèmes généralistes; cette version 2 consolide les fondations plutôt que d'étendre le périmètre. Dans l'espace VLA, les travaux concurrents incluent Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), et OpenVLA (Berkeley), qui ciblent eux aussi le sim-to-real et la généralisation multi-tâche. La publication du code sur GitHub suggère une démarche de recherche ouverte, sans annonce de déploiement industriel ni partenariat opérationnel associé. Les prochaines étapes naturelles seraient une validation sur robot réel et des benchmarks de manipulation comparables à ceux de RoboMimic ou LIBERO.

RechercheOpinion

1 source

2arXiv cs.RO

Titre découverte conjointe de symboles d'objets et d'actions par prédiction d'effets pour la planification de manipulation robotique

Ce travail de recherche, publié sur arXiv, s'attaque à un problème central en planification robotique : comment faire en sorte qu'un robot autonome transforme des interactions sensorimotrices continues et complexes en représentations discrètes exploitables pour planifier ses actions. Les auteurs proposent un modèle qui découvre simultanément des primitives de manipulation de haut niveau et des catégories d'objets, via une couche binaire dite « bottleneck », entraînée à prédire des résultats multimodaux (mouvement de l'objet, contact, retour de force) à partir de données d'interaction générées aléatoirement. Le système s'appuie ensuite sur une méthode de planification discrète qui utilise les étapes intermédiaires de la trajectoire d'effets prédite, permettant des exécutions partielles d'actions pour un contrôle précis à bas niveau. Les expériences portent sur des tâches de repositionnement et d'empilement d'objets sur table, et montrent une précision de planification supérieure à un état de l'art existant et à une méthode alternative fondée sur la vision, aussi bien sur des objets déjà vus que sur des objets nouveaux. L'enjeu dépasse la simple performance de laboratoire. Les approches classiques de catégorisation d'objets en robotique reposent soit sur l'apparence visuelle, ce qui échoue dès que deux objets se ressemblent mais réagissent différemment à la manipulation, soit sur les effets observés, mais avec des actions figées à l'avance. En liant les deux via l'apprentissage, cette méthode permet une généralisation en few-shot fondée sur le comportement réel de l'objet plutôt que sur son aspect, un enjeu direct pour les intégrateurs industriels confrontés à des objets non standardisés en entrepôt ou en logistique, où deux boîtes identiques visuellement peuvent avoir un contenu, un poids ou une rigidité totalement différents. Ce travail s'inscrit dans la lignée des recherches sur l'ancrage symbolique (symbol grounding) pour la planification robotique, un champ qui cherche depuis plusieurs années à dépasser les limites de la perception purement visuelle. Les auteurs annoncent vouloir étendre cette approche à des tâches de manipulation plus variées et à des objets plus complexes, une piste qui pourrait à terme nourrir les architectures de type VLA utilisées par les bras industriels et les robots humanoïdes.

RecherchePaper

1 source

3arXiv cs.RO

Planification de séquences de compétences pour la construction collaborative multi-robots

Une équipe de recherche publie sur arXiv (référence 2609.25649, soumis fin septembre 2026) une méthode de planification de séquences de compétences destinée à des équipes hétérogènes de robots multifonctions collaborant sur des tâches d'assemblage en construction. Le système s'appuie sur des compétences préprogrammées et réutilisables telles que la préhension, le perçage et le vissage. Un contrôleur central convertit la représentation numérique du bâtiment en un graphe de relations de construction, qui modélise les entités du chantier, leurs états et leurs liens hiérarchiques parent-enfant. À partir de cette représentation, le système sélectionne la prochaine cible de construction, génère une séquence symbolique de compétences pour les robots de l'équipe capables de les exécuter, puis produit des plans de mouvement géométriques sans collision pour chaque compétence. Le problème de planification symbolique est régénéré dynamiquement à chaque évolution de l'état du chantier, et un jumeau numérique interactif présente la séquence planifiée et l'état des robots à des opérateurs humains pour validation avant exécution. La méthode a été évaluée sur une étude de cas d'assemblage de construction, sans chiffres de charge utile, degrés de liberté ou temps de cycle communiqués dans le résumé du papier. L'intérêt principal de ces travaux tient à la réduction de l'effort de reprogrammation robot par robot et tâche par tâche, identifié comme le principal frein à l'adoption des robots dans le secteur du bâtiment. En automatisant la génération de séquences à partir d'un modèle numérique du bâtiment plutôt que d'une programmation manuelle spécifique à chaque variation de tâche, l'approche vise une flexibilité de déploiement accrue pour des équipes de robots collaboratifs sur chantier, un enjeu direct pour les intégrateurs et décideurs industriels confrontés à la diversité des configurations de construction. Le papier s'inscrit dans la lignée des travaux sur l'automatisation de la construction et la planification multi-robots, où la validation humaine via jumeau numérique reste un garde-fou courant avant exécution physique. Aucun acteur commercial, franco-européen ou autre, n'est mentionné dans cette publication académique, et le texte ne précise pas de suites opérationnelles ou de pilotes industriels annoncés au-delà de l'étude de cas décrite.

RecherchePaper

1 source

4arXiv cs.RO

DUET-DINO : modélisation simultanée du monde multi-vue pour la planification latente en manipulation robotique

Des chercheurs affiliés au laboratoire UTN-AIR publient DUET-DINO, un modèle de monde latent conditionné par l'action, décrit dans une prépublication arXiv du 10 septembre 2026 (arXiv:2609.10506). Le système apprend simultanément à partir de deux flux vidéo, une caméra statique de scène et une caméra montée sur le poignet du bras robotique, en les faisant se conditionner mutuellement, pour prédire les conséquences visuelles d'une action sur l'ensemble des 7 degrés de liberté (DOF) d'un effecteur terminal. Entraîné à partir de zéro sur les jeux de données DROID et RoboArena, il atteint 92% de réussite sur des tâches d'atteinte spatiale (reach), 72,5% sur des tâches d'atteinte avec orientation fine (angled-reach) et 60,0% sur des tâches de préhension et levage d'objet (grasp-and-lift), surpassant des versions à vue unique ou à double vue non couplée. Les auteurs comparent aussi deux briques de vision : les prédictions du modèle V-JEPA 2 sur la vue poignet sous-estiment la dynamique visuelle induite par des actions fines, tandis que DINOv3 capture mieux ces changements et améliore la planification en aval. Le code et les poids seront publiés en open source, mais ne le sont pas encore à ce stade. L'enjeu technique visé est concret : les modèles de monde latents existants échouent souvent sur les actions spatiales et rotationnelles fines, ce qui limite leur usage pour un contrôle précis en 7 DOF, indispensable à des tâches d'insertion, de saisie orientée ou de manipulation fine en usine. En couplant vue globale de scène et vue centrée sur la pince, DUET-DINO cherche à combler cet écart pour permettre une planification zero-shot conditionnée par objectif, sans réentraînement spécifique à chaque tâche. Pour les intégrateurs et décideurs robotique, le résultat le plus utile n'est pas tant les scores de réussite, encore modestes sur des tâches de préhension complexes, que l'indication empirique que le choix du backbone visuel (DINOv3 plutôt que V-JEPA 2) conditionne directement la qualité de la planification en aval, un signal utile pour quiconque construit des architectures VLA ou de modèles de monde. Ce travail s'inscrit dans la lignée des modèles de monde auto-supervisés type V-JEPA de Meta et des familles DINOv2/DINOv3, plutôt que dans celle des politiques VLA de bout en bout comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui apprennent directement une politique d'action plutôt qu'un modèle prédictif séparé. DUET-DINO reste à ce stade une publication de recherche évaluée sur des bancs d'essai contrôlés, sans déploiement industriel annoncé ; les auteurs promettent la publication du code et des checkpoints ainsi qu'une page projet dédiée, mais aucun calendrier de mise à disposition n'est précisé.

RecherchePaper

1 source