RecherchearXiv cs.RO 13 mai 2026

PRISM : planification et raisonnement intentionnel dans des environnements simulés à IA incarnée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié PRISM (Planning and Reasoning with Intent in Simulated Embodied Environments) sur arXiv en mai 2026, un benchmark de diagnostic pour agents incarnés basés sur des LLM. Là où les benchmarks actuels se limitent à un taux de succès global, PRISM identifie quel module cognitif est responsable d'un échec. Le dispositif repose sur cinq appartements multi-pièces photoréalistes (4 à 8 pièces chacun) et 300 tâches validées par des humains, organisées en trois niveaux de capacité : Basic Ability (ancrage perception-action), Reasoning Ability (résolution d'intentions implicites) et Long-horizon Ability (coordination multi-étapes soutenue). L'API d'évaluation est agnostique au type d'agent, couvrant LLM, VLM, planificateurs symboliques, politiques RL et systèmes hybrides dans le même protocole. Des expériences sur sept LLM contemporains montrent que les modèles légers s'effondrent à 20 % de succès sur les tâches long-horizon tout en consommant davantage de tokens que les modèles frontier, un phénomène que les auteurs nomment sur-raisonnement compensatoire.

Ce résultat contredit une hypothèse dominante dans l'IA incarnée : en conditions de perception oracle (sans erreur de détection), l'ancrage spatial n'est pas le principal facteur limitant. C'est la résolution d'intentions implicites qui constitue le goulot d'étranglement commun à toutes les familles de modèles testées, y compris les plus puissantes. Pour les intégrateurs et décideurs B2B, la découverte du sur-raisonnement compensatoire est un signal d'alerte concret : un modèle léger déployé en edge peut afficher une activité de raisonnement apparente (volume de tokens élevé) tout en échouant massivement sur des tâches complexes. PRISM offre ainsi un protocole de qualification plus fin que le simple taux de complétion, permettant de cibler les investissements entre perception, mémoire et planification.

PRISM s'inscrit dans un mouvement de benchmarking plus rigoureux des agents incarnés, aux côtés de référentiels comme ALFRED ou ScienceWorld qui agrègent les résultats sans en décomposer les causes. La publication intervient alors que DeepMind, Google, Meta et des startups comme Physical Intelligence (auteure de pi0) investissent massivement dans les architectures VLA (Vision-Language-Action) pour la robotique domestique et industrielle. L'API publique et agnostique à l'agent est conçue pour une adoption communautaire large. Il s'agit cependant d'un preprint académique : aucun pilote industriel ni timeline de déploiement ne sont annoncés à ce stade.

Dans nos dossiers

IA physique & VLA Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

MEMORA : mémoire d'action incarnée à partir de vidéos égocentriques pour le raisonnement et la planification

Des chercheurs présentent MEMORA, un système de mémoire d'action incarnée pour la planification robotique à long horizon, détaillé dans un article publié le 17 juillet 2026 sur arXiv (2607.14252v1). L'architecture repose sur un cycle formation-consolidation-récupération et quatre magasins de mémoire typés : Environment Memory (lieux), Entity Memory (identité et états des objets), Activity Memory (procédures répétées) et Inferred Knowledge (régularités déduites de l'expérience). Les auteurs ont construit MEMORA-Bench, évalué sur 45 heures de vidéos égocentriques issues d'une extension du jeu de données EPIC-KITCHENS-100 couvrant 18 participants, avec des tâches de planification ancrée en mémoire incluant des objectifs inédits. Testée sur quatre modèles de langage à poids ouverts, la version complète de MEMORA obtient les meilleurs résultats agrégés parmi toutes les conditions comparées, avec un gain jusqu'à 20,5 points de précision sur l'évaluation de mémoire et une amélioration relative jusqu'à 16,6% du score de plan ancré au robot en généralisation hors distribution. Une étude qualitative de déploiement sur deux tâches robotiques illustre l'interfaçage entre plans en langage naturel et contrôle réel. L'enjeu dépasse le simple score de benchmark. La plupart des modèles vision-langage-action actuels, de Pi-0 à GR00T N2 en passant par Helix, raisonnent surtout à partir de la scène présente, sans mémoire persistante des lieux, états d'objets ou procédures déjà rencontrées. Or planifier à long horizon dans un entrepôt, une cuisine industrielle ou un atelier suppose de se souvenir où est rangé tel outil ou quelle procédure a déjà fonctionné. En montrant qu'une mémoire éditable et consolidée améliore la généralisation à des objectifs inédits, MEMORA plaide pour une architecture hybride perception-action plus mémoire structurée, plutôt qu'un modèle unique de bout en bout. Pour les équipes de recherche robotique, le signal est que le goulot d'étranglement du raisonnement long horizon tient autant à l'absence de représentation persistante de l'expérience qu'à la politique d'action elle-même. Ce travail s'inscrit dans la recherche émergente sur l'agentivité incarnée à mémoire longue, en marge des humanoïdes commerciaux comme Figure 03 ou Optimus. À ce stade, MEMORA reste un travail académique évalué sur benchmark et testé qualitativement sur seulement deux tâches robotiques, loin d'un déploiement industriel. Les auteurs le positionnent comme complémentaire aux modèles VLA existants, une couche de contexte en amont plutôt qu'un concurrent. La suite logique serait une intégration à des pipelines VLA en conditions réelles et une extension du benchmark au-delà des tâches de cuisine, vers la logistique ou l'assemblage. Détails et code sur la page projet des auteurs.

RecherchePaper

1 source

2arXiv cs.RO

Raisonnement inverse rationnel : imitation en quelques exemples par inférence d'intention via la planification

Une équipe de recherche en robotique présente Rational Inverse Reasoning (RIR), une méthode d'apprentissage par imitation capable d'acquérir une nouvelle tâche de manipulation à partir d'une seule démonstration, contre des centaines voire des milliers habituellement nécessaires aux approches actuelles. Le système combine un modèle vision-langage (VLM), qui propose des programmes candidats décrivant l'intention du démonstrateur, et un planificateur hiérarchique de type task-and-motion-planning (TAMP) qui évalue la plausibilité de ces programmes selon un principe de rationalité bornée. Par itérations successives, RIR affine cet ensemble de candidats pour converger vers une explication compacte et exécutable de la tâche, sous forme de buts, sous-buts et contraintes. La méthode a été testée sur un benchmark de raisonnement en 2D ainsi que sur un bras robotique réel Franka FR3. En configuration à un ou trois exemples de démonstration, RIR améliore le taux de réussite de 34 et 28 points de pourcentage par rapport aux approches de référence combinant VLM et planification, mais dépourvues d'inférence explicite de la rationalité. L'enjeu dépassé ici est celui de la généralisation, le talon d'Achille de l'imitation learning en robotique. Un humain apprend un geste et sait l'adapter à une nouvelle pièce, de nouveaux objets ou de nouvelles contraintes ; les politiques apprises par imitation, elles, s'effondrent souvent au moindre changement de disposition ou de géométrie. RIR répond à ce problème non pas en accumulant davantage de données, mais en changeant de niveau d'abstraction: au lieu de reproduire des trajectoires de mouvement, le système infère le pourquoi du comportement démontré. Pour les intégrateurs et laboratoires travaillant sur des politiques de manipulation generalistes, ce résultat suggère qu'un raisonnement structuré ancré dans la planification symbolique peut réduire drastiquement le besoin de données, un argument qui pèse face aux approches VLA pures gourmandes en démonstrations. Ce travail s'inscrit dans une lignée de recherches cherchant à combiner modèles de fondation et planification classique plutôt que de tout déléguer à l'apprentissage de bout en bout. La publication, mise à jour sur arXiv en tant que "replace" d'une version antérieure, ouvre la voie à des extensions vers des tâches multi-étapes plus complexes et des environnements moins contrôlés que le laboratoire.

RecherchePaper

1 source

3arXiv cs.RO

DynoJEPP : estimation conjointe, prédiction et planification en environnements dynamiques

DynoJEPP (Joint Estimation, Prediction and Planning) est un cadre de planification robotique basé sur les graphes de facteurs, publié le 14 mai 2026 sur arXiv (2605.12897), qui optimise simultanément trois modules traditionnellement traités en séquence : l'estimation d'état, la prédiction du comportement des objets environnants, et la planification de trajectoire. Le coeur de la contribution est l'introduction des "facteurs dirigés" (directed factors), un nouveau type de noeud dans le graphe de facteurs imposant un flux d'information strictement unidirectionnel entre les modules. Sans ce mécanisme, les informations issues de la prédiction et de la planification remontent dans l'estimateur d'état, corrompant les estimées et produisant des comportements non désirés. Le framework inclut également une extension baptisée Cooperative DynoJEPP, permettant au robot de modéliser un comportement coopératif des objets mobiles dans sa planification de trajectoire. L'impact le plus saillant ressort des expériences de validation : sans les facteurs dirigés, le robot entre en collision dans la majorité des tests, en environnement statique comme dynamique. Ce résultat pointe un problème fondamental des architectures JEPP existantes : la co-optimisation conjointe crée des boucles de rétroaction non désirées qui dégradent la sécurité opérationnelle. Le module d'estimation d'état, typiquement le composant de référence dans les systèmes de navigation, se retrouve contaminé par des hypothèses issues de la planification, inversant la causalité naturelle du pipeline. Pour les intégrateurs travaillant sur la navigation autonome en entrepôt ou en espace partagé humain-robot, l'approche suggère que la structure des dépendances entre modules est au moins aussi critique que leur optimisation conjointe. Les graphes de facteurs sont une technique établie en robotique depuis le milieu des années 2000, popularisée notamment par Frank Dellaert (Georgia Tech) via la librairie GTSAM pour le SLAM. Les approches JEPP suscitent un intérêt croissant face à la montée des robots en espaces dynamiques (entrepôts, routes mixtes, cobotique). Les concurrents directs incluent les planificateurs MPC à modules séparés, les architectures différentiables de type Wayve ou DreamerV3, et les VLA (Vision-Language-Action) qui intègrent progressivement la modélisation des agents environnants. La contribution de DynoJEPP reste au stade de la recherche académique (preprint sans revue par les pairs), sans déploiement ni pilote industriel annoncé.

RecherchePaper

1 source

4arXiv cs.RO

Planification de trajets robotiques adaptée à la congestion en environnements encombrés

Des chercheurs ont publié sur arXiv (réf. 2606.19031, juin 2026) un planificateur de tournées probabiliste pour robots mobiles autonomes (AMR) en espaces publics encombrés. Le système vise à guider un robot de service, qu'il soit guide en centre commercial, livreur en entrepôt de préparation de commandes ou médiateur muséal, à travers une séquence de points de passage en tenant compte du comportement stochastique des foules. L'approche repose sur des cartes CLiFF (Circular Linear Flow Field), des modèles statistiques appris qui prédisent les trajectoires piétonnes à partir d'une observation initiale. Ces prédictions alimentent un processus de décision markovien (MDP) résolu en ligne, autorisant un recalcul d'itinéraire à chaque nouvelle observation de passants. La validation s'appuie sur un jeu de données réel collecté dans un centre commercial. Le problème est concret et régulièrement sous-estimé dans les déploiements AMR : les manoeuvres d'évitement de collision déclenchées par la présence humaine dégradent les temps de cycle de manière non linéaire, particulièrement dans les espaces à densité variable selon l'heure de la journée. Traiter la foule comme un processus stochastique temporel plutôt que comme un simple bruit à filtrer représente un changement d'approche pertinent pour les intégrateurs opérant en logistique retail ou en accueil public. La contribution d'ingénierie centrale est la replanification en ligne sans recalcul global du MDP, ce qui conditionne l'utilisabilité réelle en environnement dynamique. A noter : les métriques de performance (gains de temps de cycle, taux de succès de tournée) ne sont pas quantifiées dans le résumé publié, et l'évaluation reste limitée à un seul site, ce qui limite la généralisation des conclusions. Les cartes CLiFF constituent un cadre existant de modélisation des flux piétons, ici couplé pour la première fois à un MDP online dans un contexte de planification multi-points de passage. La navigation sociale est un champ de recherche actif depuis une décennie, avec des approches concurrentes basées sur les modèles de force sociale, le protocole ORCA, ou des méthodes d'apprentissage profond sur trajectoires piétonnes (GNN, Transformer). Ce travail reste au stade de preprint académique, sans partenaire industriel ni déploiement commercial annoncé. La prochaine étape logique serait une validation multi-sites et une comparaison quantitative directe avec ces méthodes concurrentes, en particulier sur des géométries d'espaces plus complexes et des horizons temporels plus longs.

RecherchePaper

1 source