RecherchearXiv cs.RO 14 juillet 2026

Planification des tâches pour la manipulation mobile en magasin grâce à des modèles fondation avec replanification itérative

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Il s'agit d'un article de recherche arXiv (2607.09962v1), pas d'une annonce produit, je rédige le résumé en conséquence, en marquant clairement qu'il s'agit d'un travail encore au stade simulation.

Des chercheurs présentent une méthode de planification de tâches pour la robotique mobile de manipulation appliquée au réassort en magasin, combinant grands modèles de langage (LLM) et modèles vision-langage (VLM). Le système reçoit des instructions formulées par un utilisateur, construit un plan d'action pour une plateforme de manipulation mobile omnidirectionnelle personnalisée, puis corrige ses erreurs grâce à une boucle de re-planification itérative fondée sur un retour visuel. Point important à souligner : l'ensemble du pipeline n'a été validé qu'en environnement de simulation PyBullet, sur des tâches de prise et dépose (pick-and-place), et non sur un robot physique en conditions réelles de magasin. L'abstract ne fournit ni chiffres de charge utile, ni degrés de liberté, ni temps de cycle, ni date de déploiement, ce qui limite la portée immédiatement opérationnelle de l'annonce.

L'intérêt de ces travaux tient moins à la performance affichée qu'au périmètre visé : jusqu'ici, l'automatisation en logistique et distribution s'est concentrée sur des opérations d'arrière-boutique (tri, emballage) dans des environnements structurés et prévisibles. Étendre cette automatisation aux rayons de supermarché suppose de gérer un environnement bien plus variable et centré sur l'humain, avec des obstacles mobiles, des produits mal rangés et des interactions client. L'usage de LLM/VLM pour la planification de haut niveau, couplé à une re-planification réactive en cas d'échec, illustre une tendance plus large du secteur : tester si les modèles fondation permettent de généraliser au-delà des scénarios d'entrepôt scriptés. Mais tant que la preuve ne dépasse pas la simulation, l'écart classique entre démonstration et déploiement réel reste entier, et les intégrateurs B2B devront attendre une validation sur plateforme physique avant d'y voir un signal de maturité commerciale.

Ce travail s'inscrit dans la vague plus large de recherche sur la manipulation mobile pilotée par foundation models, qui a vu émerger des architectures VLA comme Pi-0 ou GR00T N2 chez des acteurs orientés produit, mais qui reste ici traitée sous un angle académique, avec une plateforme de manipulation "custom" non identifiée commercialement. Le choix du cas d'usage réassort en supermarché reflète l'intérêt croissant du secteur retail pour l'automatisation de tâches jusqu'ici jugées trop non structurées pour la robotique, un terrain où des acteurs comme Simbe Robotics ou Bossa Nova ont déjà exploré l'inventaire par robot mobile, sans toutefois intégrer la manipulation physique des produits. La suite logique de ces travaux serait un transfert sim-to-real sur robot physique, étape non abordée dans cette publication, ce qui invite à considérer ce résultat comme une preuve de concept méthodologique plutôt qu'un jalon de déploiement.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

ReMoBot : apprentissage par imitation en quelques exemples pour la manipulation mobile avec des modèles fondation visuels

Des chercheurs ont publié ReMoBot (arXiv:2408.15919v4), un framework d'apprentissage par imitation à peu d'exemples conçu pour la manipulation mobile sur robots à vision égocentrique. Évalué sur un Boston Dynamics Spot, le système atteint des taux de succès de 70 % sur la tâche "Table Uncover" et 80 % sur "Gap Cover" en environnement réel, avec seulement 20 démonstrations par tâche. Plutôt que de distiller les démonstrations dans une politique paramétrique classique, ReMoBot adopte une stratégie de récupération : à l'inférence, il identifie dans une base de démonstrations d'experts les séquences les plus pertinentes via une combinaison de similarité d'état, d'alignement temporel des trajectoires et de cohérence des séquences d'actions, puis sélectionne directement les commandes motrices sans aucun entraînement supplémentaire. L'ensemble s'appuie sur des vision foundation models pour extraire des représentations robustes depuis la caméra embarquée du robot, en fonctionnement totalement training-free à l'exécution. L'approche retrieval-based présente deux avantages concrets pour les intégrateurs industriels. D'abord, le coût de collecte de données est drastiquement réduit : 20 démonstrations contre plusieurs centaines requises par les méthodes IL standard (ACT, Diffusion Policy), ce qui accélère le déploiement sur de nouvelles tâches ou variantes. Ensuite, l'absence d'entraînement à l'inférence supprime le risque de surapprentissage sur données insuffisantes, problème récurrent avec les objets déformables où la variabilité des états est élevée. ReMoBot surpasse deux baselines entraînées directement sur données réelles sans transfert sim-to-réel sur deux tâches sur trois. La tâche "Curtain Open" reste problématique, signalant que la manipulation d'objets hautement déformables sous occultations partielles constitue encore un verrou non résolu, y compris pour les approches retrieval. ReMoBot s'inscrit dans la tendance à exploiter les vision foundation models (de la famille DINOv2, CLIP, SAM) pour réduire la dépendance aux données propriétaires et améliorer la généralisation. Sur le Spot de Boston Dynamics, plateforme quadrupède commerciale, la manipulation mobile reste un défi structurel : le robot se déplace en même temps qu'il manipule, rendant l'observation égocentrique partielle et bruitée. Face aux VLA de grande taille comme pi-0 (Physical Intelligence) ou RT-2 (Google DeepMind), qui exigent des volumes de données considérables et une infrastructure d'entraînement lourde, ReMoBot se positionne dans le segment "data-efficient, training-free" particulièrement pertinent pour les intégrateurs ou PME industrielles sans capacité de collecte à grande échelle. La prochaine étape logique serait d'enrichir dynamiquement la base de démonstrations et de valider l'approche dans des environnements industriels hors laboratoire contrôlé.

UELes PME et intégrateurs robotiques européens sans capacité de collecte de données à grande échelle pourraient bénéficier directement de cette approche data-efficient (20 démos vs plusieurs centaines), réduisant la barrière d'entrée au déploiement de manipulation mobile intelligente.

RecherchePaper

1 source

2arXiv cs.RO

Planification de tâches et de mouvements guidée par la preuve avec des modèles vision-langage

EAFG (Evidence Acquisition and Feasibility Gating), publié sur arXiv le 20 août 2026 (2608.20084v1), est un framework de planification de tâches et de mouvements (TAMP) pilotée par des modèles vision-langage (VLM) pour robots manipulateurs. Face à une instruction longue, comme cuisiner un plat, le VLM peut halluciner la présence d'objets jamais observés et bâtir des sous-objectifs sur ses connaissances a priori plutôt que sur la perception réelle, causant des échecs d'exécution. EAFG fait d'abord explorer le robot, via des sous-objectifs générés par le VLM et exécutés par TAMP, pour recueillir des preuves visuelles ; une porte de faisabilité décide ensuite de planifier, d'explorer davantage, ou d'arrêter. Sur des tâches culinaires à usage d'objets ambigu, EAFG améliore la complétion des recettes en découvrant les objets pertinents avant de planifier, et réduit les tentatives inutiles quand un objet requis est absent, sans chiffres précis publiés. Cette approche cible un point de friction concret pour l'industrialisation des robots manipulateurs pilotés par VLM : l'écart entre la compréhension sémantique d'une instruction et la vérification géométrique et perceptive de sa faisabilité réelle. Pour les intégrateurs opérant en environnement partiellement observable, un robot qui agit sur des suppositions non vérifiées représente un risque opérationnel, en temps perdu ou en échecs silencieux. En séparant explicitement planifier, explorer et arrêter, EAFG remet en question l'hypothèse implicite de nombreux pipelines VLM+TAMP selon laquelle une seule perception de la scène suffit avant de planifier une tâche longue, une piste utile face au fossé persistant entre démonstrations contrôlées et déploiement fiable. EAFG s'inscrit dans la lignée des travaux combinant VLM et planification robotique, un courant structuré notamment autour d'approches comme SayCan, qui traduisent des instructions en langage naturel en séquences d'actions exécutables. Il s'agit ici d'une contribution académique : aucun robot commercial ni déploiement en production n'est mentionné, et le résumé ne précise pas si les expériences culinaires ont été menées sur un robot physique ou en simulation. La suite logique pour ce type de recherche serait une validation sur des tâches plus longues, dans des environnements moins contrôlés que la cuisine, et une comparaison directe avec d'autres pipelines VLM+TAMP sur des benchmarks partagés.

RecherchePaper

1 source

3arXiv cs.RO

Manipulation robotique incarnée à l'ère des modèles fondation : perspectives de planification et d'apprentissage

Une équipe de chercheurs publie une revue de littérature (arXiv:2512.22983v2) sur la manipulation robotique a l'ère des modèles de fondation, sans annoncer de robot ni de produit. Le papier classe les approches récentes selon une grille unifiée : une planification de haut niveau, qui étend le raisonnement de taches classique au langage, au code, aux affordances (zones d'interaction possibles avec un objet), aux contraintes géométriques et aux représentations 3D, et une modélisation d'action de bas niveau, décomposée en trois briques d'apprentissage : entrées sensorielles, représentations latentes et politiques d'action. Les modèles de fondation y interviennent soit comme générateurs de contraintes de planification, soit comme modèles directs de trajectoires exécutables par le robot. Pour les intégrateurs et les laboratoires, l'apport n'est pas une percée technique mais une mise en ordre d'un champ devenu fragmente, ou chaque acteur publie son propre modèle vision-langage-action (VLA) avec ses propres benchmarks, rendant les comparaisons difficiles. En reliant planification symbolique et apprentissage de bout en bout dans un même cadre, la revue donne aux décideurs B2B des critères pour situer une architecture candidate plutôt que de juger chaque annonce sur des vidéos de démonstration. Elle souligne aussi, en creux, l'écart persistant entre résultats de laboratoire et fiabilité en conditions réelles : passage a l'échelle, généralisation, efficacité des données d'entrainement, interaction physique multimodale et sécurité restent, selon les auteurs, des verrous non résolus. Cette synthèse s'inscrit dans la vague de modèles vision-langage-action appliques depuis deux ans a la manipulation robotique et aux bras et humanoïdes industriels, un domaine ou laboratoires de recherche et entreprises publient a un rythme soutenu sans toujours partager un vocabulaire commun. En articulant planification symbolique classique et apprentissage neuronal de bout en bout, les auteurs visent un point de repère stable pour les travaux futurs, notamment sur la généralisation hors distribution et la sûreté des systèmes autonomes. Le papier ne fixe ni calendrier de déploiement ni pilote industriel : il s'agit d'un état de l'art oriente recherche, et non d'une feuille de route produit.

RecherchePaper

1 source

4arXiv cs.RO

MobileManiBench : simplifier la vérification des modèles pour la manipulation mobile

Une équipe de chercheurs a publié MobileManiBench, un benchmark à grande échelle destiné à évaluer les modèles de type VLA (Vision-Language-Action) sur des tâches de manipulation robotique mobile, avant tout déploiement réel. Le système repose sur NVIDIA Isaac Sim et un pipeline de génération automatique par apprentissage par renforcement, qui produit des trajectoires annotées incluant instructions en langage naturel, images RGB-profondeur-segmentation multi-vues, et états synchronisés objet/robot. Le dataset résultant comprend 300 000 trajectoires, couvrant 630 objets répartis en 20 catégories, 5 compétences motrices (ouvrir, fermer, tirer, pousser, saisir), plus de 100 tâches distinctes exécutées dans 100 scènes réalistes. Deux plateformes mobiles sont représentées, un robot à pince parallèle et un robot à main dextère, chacun équipé de deux caméras synchronisées (tête et poignet droit). Le code, les datasets et les modèles sont publiés en open-source. L'enjeu central que MobileManiBench cherche à résoudre est le goulot d'étranglement des données de téléopération : les VLA actuels, dont pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, sont entraînés quasi-exclusivement sur des scènes de table statiques collectées par des opérateurs humains, ce qui limite leur généralisation à des environnements mobiles et encombrés. Un framework de vérification en simulation avant déploiement réel permettrait aux équipes R&D de filtrer les architectures non viables sans mobiliser des flottes de robots physiques ni des heures de téléopération coûteuses. La génération automatique à l'échelle de 300K trajectoires diversifiées ouvre également la voie à des études contrôlées sur l'efficacité des données et la généralisation, deux variables critiques pour les intégrateurs industriels qui évaluent le coût réel d'adoption d'un VLA. Cette publication s'inscrit dans un mouvement plus large de la communauté robotique vers les approches sim-to-real, portées notamment par NVIDIA (Isaac Lab, Isaac Sim) et des labos comme Stanford, CMU et le LAAS-CNRS côté français. La manipulation mobile reste plus difficile que la manipulation sur table fixe en raison de la complexité des coordinations base-bras et de la variabilité des angles de caméra, problèmes que MobileManiBench cherche précisément à circonscrire. Les résultats comparatifs publiés sur plusieurs VLA représentatifs fournissent une base de référence utile, même si les benchmarks en simulation pure sous-estiment souvent l'écart sim-to-real : les métriques annoncées devront être validées en conditions physiques pour devenir opérationnellement significatives.

UELe LAAS-CNRS est cité parmi les laboratoires moteurs du sim-to-real ; les équipes R&D françaises évaluant des VLA pour la manipulation mobile peuvent exploiter directement ce benchmark open-source pour réduire leurs coûts de validation avant déploiement physique.

RechercheOpinion

1 source