RecherchearXiv cs.RO 8 octobre 2026

NovaPlan : manipulation à long horizon sans apprentissage préalable par planification vidéo-langage en boucle fermée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

NovaPlan est un cadre de planification hiérarchique pour la manipulation robotique longue durée, décrit dans un preprint arXiv (2602.20119, version 2). Il fonctionne en « zero-shot », c'est-à-dire sans démonstration ni entraînement propre à chaque tâche. Au niveau supérieur, un modèle vision-langage (VLM) décompose la tâche en sous-étapes. Il génère plusieurs scénarios vidéo candidats pour chacune, puis écarte ceux dont la dynamique est physiquement incohérente. Pour convertir ces futurs imaginés en actions, le système choisit de façon adaptative entre deux représentations géométriques : le flux centré sur l'objet (object-centric flow) et le flux de la main humaine (hand flow). Enfin, une boucle fermée surveille l'exécution, vérifie les résultats et, en cas d'échec, synthétise des corrections locales sans préhension, comme pousser ou « poker » un objet du bout du doigt. Les auteurs affirment que NovaPlan surpasse nettement les systèmes zero-shot antérieurs sur des tâches multi-étapes variées, avec des assemblages complexes et des récupérations d'erreur dextres. Le résumé ne donne ni chiffres de taux de réussite, ni nombre d'essais, ni robot utilisé. Ces éléments figurent sur le site du projet et dans le texte complet.

L'intérêt tient à la manière dont le travail s'attaque à un point faible connu des approches « VLM plus génération vidéo » : les hallucinations physiques du générateur vidéo et les incohérences géométriques du VLM s'accumulent sur des horizons longs, ce qui bloque l'exécution réelle. NovaPlan répond par une logique de proposition, vérification et réparation, plutôt que par un modèle plus grand ou davantage de données. Si les résultats tiennent hors du laboratoire, cela suggère qu'on peut obtenir de la fiabilité sur des séquences longues sans collecter de démonstrations par tâche. Ce coût de collecte reste le principal frein économique du déploiement pour les intégrateurs. L'usage du flux de la main humaine comme représentation intermédiaire est aussi notable : il permet d'exploiter les vidéos générées de mains pour guider des manipulations fines. Il faut toutefois rester prudent. Il s'agit d'un preprint académique sans déploiement industriel, les temps de cycle et la robustesse sur de longues séries ne sont pas documentés dans le résumé, et les comparaisons dépendent des baselines retenues par les auteurs.

Ce travail s'inscrit dans la lignée de la planification par vidéo générative (les approches « vidéo language planning ») et des modèles vision-langage-action (VLA) comme Pi-0 ou GR00T, qui apprennent plutôt la politique de bout en bout à partir de grandes quantités de démonstrations. NovaPlan fait le pari inverse : réutiliser des modèles de fondation existants, sans réentraînement, et ajouter autour d'eux une couche de vérification. La version 2 du preprint indique un travail en cours de consolidation, mais aucune date de transfert vers un produit n'est annoncée. La suite logique est une validation sur davantage de plateformes et de tâches, avec des métriques de latence. La boucle de vérification et de génération de vidéos candidates est coûteuse en calcul, et c'est probablement la vraie question pour une cadence de production.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Politique de carte d'action : apprentissage de la manipulation 3D en boucle fermée par classification de pixels

Des chercheurs viennent de publier sur arXiv (2607.10706, 14 juillet 2026) un nouveau cadre baptisé Action Map Policy (AMP), qui reformule l'apprentissage de politiques de manipulation robotique en boucle fermée comme un problème de classification dans l'espace image plutôt que comme une régression continue. L'idée centrale consiste à projeter les actions 3D du bras robotique sur le plan de la caméra et à traiter chaque pixel comme une classe discrète à prédire, ce qui limite l'explosion combinatoire du vocabulaire tout en conservant une précision de l'ordre du millimètre. Contrairement aux approches par diffusion, qui nécessitent un débruitage itératif coûteux en temps de calcul, AMP prédit l'intégralité d'un segment d'actions en une seule passe avant, ce qui accélère nettement l'inférence. Les auteurs rapportent des taux de réussite supérieurs à plusieurs méthodes de référence sur diverses tâches de manipulation, ainsi qu'un raisonnement spatial amélioré. Le choix de la représentation d'action reste l'un des obstacles majeurs des politiques robotiques modernes, notamment pour les modèles vision-langage-action (VLA) qui cherchent à généraliser au-delà des tâches d'entraînement. La classification par pixels s'inspire du succès des modèles génératifs de langage, où la prédiction du prochain token a supplanté les approches par régression directe. En robotique, cette analogie est plus délicate car l'espace d'action est continu et de haute dimension, avec des solutions optimales souvent multimodales. En résolvant le compromis entre discrétisation fine et vocabulaire gérable, AMP répond directement à une limite pratique des politiques par diffusion, jugées précises mais lentes, un frein pour les applications nécessitant un contrôle réactif en temps réel. Il s'agit pour l'instant d'un travail de recherche académique, sans lien annoncé avec un produit commercial ou un déploiement industriel. AMP s'inscrit dans une lignée d'alternatives aux politiques par diffusion (popularisées par Diffusion Policy) et aux approches autorégressives de type VLA (Pi-0, GR00T N2, OpenVLA). Les prochaines étapes attendues incluent une validation sur robots physiques au-delà des expériences en simulation ou banc de test décrites dans l'article, ainsi qu'un examen par les pairs.

RecherchePaper

1 source

2arXiv cs.RO

MoMaStage : planification guidée par graphe d'états de compétences et exécution en boucle fermée pour la manipulation mobile intérieure à long horizon

MoMaStage est le nom d'un système de planification et d'exécution présenté dans un article scientifique publié sur arXiv sous l'identifiant 2603.08383, en version 2 remplaçant une publication antérieure, consacré à la manipulation mobile en intérieur sur des tâches à horizon long. Le système associe un modèle vision-langage (VLM) figé, c'est-à-dire non réentraîné, à l'exécution robotique via trois mécanismes complémentaires : une bibliothèque hiérarchique de compétences ancrées et exécutables couplée à une projection purement topologique d'un graphe d'état des compétences (Skill-State Graph, SSG) qui borne l'espace de planification du VLM ; un vérificateur SSG qui propage l'état des régions de la scène et l'occupation du préhenseur pour écarter les plans infaisables avant leur exécution ; et un moniteur événementiel qui ne déclenche une réparation du plan, ancrée dans le graphe, que lorsqu'un résultat observé invalide la suite prévue. Les auteurs ont évalué l'approche en simulation à physique réaliste ainsi que sur un robot mobile manipulateur réel. Le résumé ne fournit aucun chiffre précis de charge utile, de degrés de liberté, de temps de cycle ou de volume de déploiement : il annonce seulement une amélioration de la validité des plans et de la tenue en exécution longue par rapport aux méthodes de référence testées, avec une réduction de la latence et de la consommation de tokens. Le travail s'attaque à une faiblesse connue des architectures VLA/VLM en robotique mobile : ces modèles décomposent bien une instruction en séquence d'actions plausible, mais ne suivent pas fiablement les contraintes cumulatives d'état du robot ni ne révisent leur plan quand l'exécution diverge du prévu. Cela vient nuancer l'idée qu'un grand modèle de langage suffirait, seul, à piloter des tâches longues de manipulation mobile sans couche de vérification dédiée. Pour les intégrateurs qui évaluent des piles VLA pour l'entrepôt ou l'usine, l'intérêt est méthodologique : coupler un VLM figé à une vérification symbolique légère plutôt qu'une politique entraînée de bout en bout, pour gagner en fiabilité sans construire de carte dense de la scène ni alourdir le calcul embarqué. MoMaStage s'inscrit dans la lignée des travaux cherchant à combler l'écart entre la planification par VLM généraliste et les exigences de fiabilité de la robotique physique, un enjeu documenté depuis la montée d'architectures bout-en-bout comme Pi-0, GR00T N2 ou Helix. À la différence de ces politiques entraînées sur de larges corpus de démonstrations, MoMaStage garde le VLM figé et externalise la cohérence d'état dans un graphe symbolique léger, plus proche des méthodes de planification classique augmentées par des modèles de langage. L'article ne mentionne ni calendrier de déploiement industriel ni partenariat commercial : il s'agit d'une contribution de recherche testée en simulation et sur un unique robot en laboratoire, sans indication de passage à l'échelle vers une flotte ou un site client.

RecherchePaper

1 source

3arXiv cs.RO

Foresight par apprentissage résiduel pour la manipulation robotique à long horizon avec des modèles vision-langage-action

Le laboratoire de recherche en robotique derrière l'étude "Foresight Residual RL" a publié le 24 juillet 2026 sur arXiv (2607.16506v1) une méthode visant à corriger un défaut connu des politiques Vision-Language-Action (VLA) sur les tâches d'assemblage complexes. Le problème identifié est concret : sur une tâche en trois phases (saisie, déplacement-insertion, rotation) simulant le serrage d'un écrou avec une clé dans l'environnement Isaac Gym, les méthodes classiques de reinforcement learning résiduel appliquées à une politique VLA gelée échouent à enchaîner les sous-tâches correctement, même quand chaque sous-tâche individuelle réussit. La solution proposée, baptisée Foresight Residual RL, entraîne un prédicteur visuel qui estime, à partir d'une image de l'état terminal d'une sous-tâche, la probabilité de succès des sous-tâches suivantes, et utilise cette estimation comme multiplicateur de récompense pour orienter l'apprentissage. Sur la tâche testée, la méthode atteint 85,6% de réussite sur l'ensemble de la séquence, contre 54,5% pour le RL résiduel standard et des résultats inférieurs pour les politiques VLA de base seules. Ce résultat pointe un angle mort largement sous-estimé dans le déploiement industriel des politiques génératives pour la manipulation robotique : optimiser chaque geste isolément ne garantit pas un enchaînement fiable des tâches. Pour les intégrateurs qui envisagent des lignes d'assemblage à tolérances serrées, contact-riche, type ligne électronique ou mécanique de précision, la démonstration confirme un écart persistant entre la performance en démonstration isolée et la performance en séquence réelle, un des points de vigilance recurrents pointés par les acteurs du secteur, sceptiques face aux vidéos promotionnelles de robots humanoïdes. Le fait que le succès par sous-tâche reste inchangé alors que le succès global bondit change la manière de penser l'entraînement : il ne s'agit plus seulement de maximiser un taux de réussite par étape, mais de façonner l'état terminal produit à chaque étape pour qu'il reste exploitable par l'étape suivante, une nuance directement pertinente pour les équipes qui construisent des pipelines d'apprentissage par renforcement sur des bases VLA préentraînées comme Pi-0 ou GR00T. Cette approche s'inscrit dans la lignée des travaux récents combinant politiques VLA préentraînées et affinage par RL résiduel, une stratégie de plus en plus utilisée pour adapter des modèles de manipulation généralistes à des tâches industrielles spécifiques sans réentraîner l'ensemble du modèle. La méthode a été validée uniquement en simulation, sur une tâche mécanique unique et relativement contrainte ; aucune date de transfert vers un robot physique ni de partenariat industriel n'est mentionnée dans l'article. Les auteurs positionnent leurs travaux comme une réponse méthodologique générale au problème d'attribution de crédit sur des horizons longs, un défi que partagent les principaux laboratoires travaillant sur les politiques génératives pour bras robotiques et humanoïdes, de Physical Intelligence à NVIDIA, sans qu'aucun acteur français ou européen ne soit cité dans cette publication.

RecherchePaper

1 source

4arXiv cs.RO

Modèle vision-langage-action pour la manipulation robuste multi-robot en boucle fermée

Un article publié le 9 juillet 2026 sur arXiv (référence 2607.06990) présente un nouveau système multi-agent destiné à fiabiliser la manipulation robotique lorsque plusieurs robots doivent coopérer. Les chercheurs proposent une architecture hiérarchique et bouclée reposant sur trois agents pilotés par un grand modèle de langage (LLM) : un agent de planification qui décompose une instruction globale en sous-tâches réparties entre les robots, un agent de manipulation propre à chaque robot qui exécute les actions en mobilisant dynamiquement des outils adaptés, et un agent de vérification qui observe les résultats physiques réels et renvoie des corrections sémantiques en cas d'échec ou d'écart. Le système a été testé lors d'expériences réelles, sans que l'article ne précise pour l'instant de chiffres exacts (taux de succès, nombre de robots, temps de cycle) au-delà de l'affirmation d'une performance supérieure aux approches existantes, aussi bien sur des tâches limitées à un seul poste de travail que sur des tâches réparties entre plusieurs espaces de travail distincts. L'intérêt de ce travail tient au problème qu'il cible directement : la plupart des approches actuelles combinant LLM et robotique se cantonnent soit à un seul bras manipulateur, où la prise en compte du contact physique est robuste mais sans coordination multi-robot possible, soit à une planification multi-robot de haut niveau qui traite la manipulation comme une brique idéalisée, ignorant les aléas réels d'exécution (glissement, échec de préhension, erreur de perception). En bouclant la boucle perception-action-vérification à l'échelle du système multi-robot, cette architecture s'attaque à un angle mort connu du secteur : la difficulté à faire passer un plan LLM cohérent en langage naturel vers une exécution physique fiable quand plusieurs machines doivent se synchroniser sur des tâches à long horizon. Ce travail s'inscrit dans une tendance de recherche plus large qui cherche à doter les architectures VLA (vision-language-action) et les systèmes agentiques d'un mécanisme de rétroaction correctif, plutôt que de se reposer uniquement sur des plans ouverts non révisables. Il concurrence conceptuellement les approches de planification hiérarchique pure et les méthodes de manipulation mono-robot type Pi-0 ou GR00T N2, en visant explicitement le passage à l'échelle vers des ateliers ou des cellules industrielles à plusieurs robots. L'article, encore un simple dépôt arXiv à ce stade, ne mentionne pas de partenariat industriel ni de calendrier de déploiement commercial.

RechercheActu

1 source