RecherchearXiv cs.RO 20 avril 2026

Modèles fondation en robotique : revue complète des méthodes, modèles, jeux de données, défis et perspectives

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une revue systématique publiée sur arXiv (2604.15395) recense l'état de l'art des modèles de fondation appliqués à la robotique, couvrant l'ensemble du spectre allant des grands modèles de langage (LLM) aux architectures vision-langage-action (VLA). Les auteurs structurent leur analyse en cinq phases historiques distinctes, depuis les premières intégrations de modèles NLP et vision par ordinateur jusqu'aux déploiements multi-sensoriels en environnement réel. La taxonomie proposée examine six axes : les types de modèles employés (LLM, VFM, VLM, VLA), les architectures de réseaux de neurones sous-jacentes, les paradigmes d'apprentissage, les stades d'incorporation des connaissances, les tâches robotiques ciblées, et les domaines applicatifs industriels. L'étude recense également les datasets publics utilisés pour l'entraînement et l'évaluation sur ces différentes tâches.

L'intérêt de ce travail pour les intégrateurs et les décideurs industriels réside dans sa cartographie des capacités réelles versus annoncées des VLA en déploiement. Le passage d'agents mono-tâche et spécialisés vers des agents adaptatifs multi-fonctions à usage général constitue le fil directeur de l'analyse. Les auteurs traitent explicitement du gap simulation-réalité (sim-to-real), de la généralisation inter-embodiment (cross-embodiment), et de la planification à horizon long, trois verrous techniques qui conditionnent la commercialisation à grande échelle. La revue identifie aussi les défis ouverts et les directions de recherche prometteuses, utiles pour orienter des feuilles de route R&D.

Ce survey s'inscrit dans une accélération documentée depuis 2022, portée par des laboratoires comme Google DeepMind (RT-2, π0), Physical Intelligence, Figure AI, et Unitree, qui ont tous misé sur les VLA comme colonne vertébrale de leurs systèmes. Côté européen, des acteurs comme Enchanted Tools ou Wandercraft n'apparaissent pas dans ce corpus, ce qui reflète un déséquilibre de publication favorable aux équipes nord-américaines et asiatiques. La revue ne constitue pas un benchmark expérimental indépendant mais une synthèse bibliographique, ce qui en fait un point d'entrée solide pour un ingénieur robotique cherchant à situer une technologie ou comparer des approches, sans remplacer une évaluation terrain des solutions commerciales disponibles.

Impact France/UE

Le déséquilibre de publication constaté, acteurs FR/EU (Enchanted Tools, Wandercraft) absents du corpus, souligne un déficit de visibilité des équipes européennes dans la recherche VLA, ce qui peut biaiser les benchmarks de référence utilisés par les industriels pour orienter leurs feuilles de route R&D.

Dans nos dossiers

Figure Unitree Wandercraft Enchanted Tools — Mirokaï

À lire aussi

1arXiv cs.RO

Robustesse de la manipulation robotique : fondations et perspectives

Résumé pour l'article "Robustness of Robotic Manipulation: Foundations and Frontiers" : Une équipe de chercheurs publie sur arXiv une étude systématique consacrée à la robustesse de la manipulation robotique, un chantier resté jusqu'ici fragmenté entre sous-domaines qui n'utilisaient pas les mêmes définitions. Les auteurs proposent d'abord une définition formelle : la robustesse mesure la capacité d'un système de manipulation à atteindre son objectif malgré l'incertitude et la variation des conditions. Ils en dérivent ensuite deux formulations générales, l'une probabiliste, l'autre issue de la théorie du contrôle, avant de cartographier les mécanismes concrets qui produisent de la robustesse à chaque étage de la pile robotique : perception, planification, contrôle, apprentissage de politiques (policy learning) et conception matérielle. Chaque mécanisme est illustré par des travaux de référence, des fondations historiques aux publications récentes. Le papier revient aussi sur les métriques et protocoles d'évaluation existants, souvent hétérogènes, et se conclut par une liste de problèmes ouverts vers une robustesse comparable à celle des humains. L'enjeu dépasse l'exercice académique. Depuis deux ans, une génération de modèles VLA (vision-language-action) comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia, Helix de Figure ou Optimus de Tesla revendique des capacités de manipulation généralistes, mais les annonces s'appuient sur des démonstrations et des métriques propres à chaque acteur, difficiles à comparer entre elles. Pour les intégrateurs et décideurs B2B qui doivent choisir une solution pour de la logistique ou de l'assemblage, disposer d'un cadre commun pour distinguer un modèle réellement robuste d'une démonstration soigneusement sélectionnée devient central, surtout face à l'écart bien documenté entre performance en vidéo et performance en déploiement réel. Cette synthèse s'inscrit dans une lignée qui remonte au contrôle robuste classique des années 1980-1990, avant que l'apprentissage par renforcement puis les politiques end-to-end n'ouvrent de nouvelles pistes dans les années 2010-2020, jusqu'au boom actuel des modèles fondation pour la robotique portés par des laboratoires comme Physical Intelligence, Nvidia, Google DeepMind ou Figure. En posant un vocabulaire et des critères communs, les auteurs cherchent moins à trancher un débat qu'à donner aux chercheurs et industriels un langage partagé pour comparer leurs approches, une étape jugée nécessaire avant toute standardisation sectorielle des tests de robustesse.

RecherchePaper

1 source

2arXiv cs.RO

Manipulation robotique incarnée à l'ère des modèles fondation : perspectives de planification et d'apprentissage

Une équipe de chercheurs publie une revue de littérature (arXiv:2512.22983v2) sur la manipulation robotique a l'ère des modèles de fondation, sans annoncer de robot ni de produit. Le papier classe les approches récentes selon une grille unifiée : une planification de haut niveau, qui étend le raisonnement de taches classique au langage, au code, aux affordances (zones d'interaction possibles avec un objet), aux contraintes géométriques et aux représentations 3D, et une modélisation d'action de bas niveau, décomposée en trois briques d'apprentissage : entrées sensorielles, représentations latentes et politiques d'action. Les modèles de fondation y interviennent soit comme générateurs de contraintes de planification, soit comme modèles directs de trajectoires exécutables par le robot. Pour les intégrateurs et les laboratoires, l'apport n'est pas une percée technique mais une mise en ordre d'un champ devenu fragmente, ou chaque acteur publie son propre modèle vision-langage-action (VLA) avec ses propres benchmarks, rendant les comparaisons difficiles. En reliant planification symbolique et apprentissage de bout en bout dans un même cadre, la revue donne aux décideurs B2B des critères pour situer une architecture candidate plutôt que de juger chaque annonce sur des vidéos de démonstration. Elle souligne aussi, en creux, l'écart persistant entre résultats de laboratoire et fiabilité en conditions réelles : passage a l'échelle, généralisation, efficacité des données d'entrainement, interaction physique multimodale et sécurité restent, selon les auteurs, des verrous non résolus. Cette synthèse s'inscrit dans la vague de modèles vision-langage-action appliques depuis deux ans a la manipulation robotique et aux bras et humanoïdes industriels, un domaine ou laboratoires de recherche et entreprises publient a un rythme soutenu sans toujours partager un vocabulaire commun. En articulant planification symbolique classique et apprentissage neuronal de bout en bout, les auteurs visent un point de repère stable pour les travaux futurs, notamment sur la généralisation hors distribution et la sûreté des systèmes autonomes. Le papier ne fixe ni calendrier de déploiement ni pilote industriel : il s'agit d'un état de l'art oriente recherche, et non d'une feuille de route produit.

RecherchePaper

1 source

3arXiv cs.RO

Revue complète des modèles du monde pour l'apprentissage robotique

Un groupe de chercheurs a publié début mai 2026 une revue systématique sur les modèles de monde appliqués à l'apprentissage robotique (arXiv:2605.00080). Ces modèles sont des représentations prédictives qui modélisent l'évolution d'un environnement en réponse aux actions d'un agent. Utilisés dans six fonctions distinctes, policy learning, planification, simulation, évaluation, génération de données et entraînement à l'échelle fondation, ils sont devenus un composant central des architectures robotiques modernes. Le survey couvre les grandes familles d'architectures, leurs rôles fonctionnels et leurs applications dans l'embodied AI, en s'étendant à la navigation mobile et à la conduite autonome. Les auteurs inventorient également les benchmarks et protocoles d'évaluation disponibles dans le domaine, et maintiennent un dépôt GitHub mis à jour en continu pour intégrer les travaux émergents. L'intérêt de cette synthèse réside dans la fragmentation actuelle du domaine : les architectures de modèles de monde se développent en silos, reinforcement learning, génération vidéo, VLA (Vision-Language-Action models), avec peu de recoupement méthodologique. Le survey clarifie comment ces modèles s'articulent avec les politiques robotiques, comment ils servent de simulateurs appris pour le RL, et comment les modèles de monde vidéo ont évolué de la génération par imagination vers des formulations contrôlables à l'échelle fondation. Pour les équipes R&D et les intégrateurs industriels, cette cartographie facilite le choix architectural et réduit le risque de duplication des efforts. L'accélération récente du domaine est en partie portée par la montée en puissance des foundation models et de la génération vidéo large-scale depuis 2023. Les modèles de monde en robotique s'enracinent dans les travaux de Schmidhuber dans les années 1990 et ont connu un regain majeur avec DreamerV3 (Google DeepMind, 2023), UniSim, et les VLA récents intégrant une prédiction d'état futur comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). Les acteurs dominants restent américains et chinois, DeepMind, NVIDIA, Physical Intelligence, Figure AI, avec des contributions académiques majeures de Stanford, MIT et Berkeley. En Europe, les contributions restent moins visibles à l'échelle internationale, bien que des acteurs comme Pollen Robotics (France) et l'INRIA travaillent sur des approches connexes. Le principal défi identifié est de combler le sim-to-real gap via des modèles suffisamment fidèles pour substituer partiellement les environnements physiques dans la boucle d'entraînement.

UEPollen Robotics et l'INRIA sont mentionnés comme acteurs connexes mais restent en retrait international ; cette cartographie peut aider les équipes européennes à identifier les lacunes à combler face à la domination américaine et chinoise.

RecherchePaper

1 source

4arXiv cs.RO

Exploration des robots à base de modèles fondation dans les soins aux patients et aux personnes âgées

Une équipe de chercheurs a publié en juin 2026 sur arXiv (référence 2606.10208) une analyse de synthèse portant sur l'intégration des modèles de fondation dans les robots de soin aux personnes âgées et aux patients. L'article, classé comme Perspective, passe en revue l'état de l'art sur trois axes : les caractéristiques de conception, l'expérience utilisateur mesurée, et les preuves d'impact sur les soins. Le constat central est que les architectures dominantes utilisent les modèles de fondation comme couche de conversation et de raisonnement au sein d'incarnations socioassistives centrées sur la voix, des agents qui parlent et écoutent mais dont l'autonomie physique et la compréhension multimodale restent fortement limitées. Les évaluations empiriques rapportent des bénéfices positifs en termes d'utilisabilité et d'engagement, mais des défaillances de fiabilité persistent : hallucinations, ruptures conversationnelles et pannes dans le pipeline d'interaction. L'enjeu pour les intégrateurs et décideurs du secteur santé est précisément là : les métriques actuellement rapportées portent sur des résultats proximaux comme l'engagement cognitif ou la participation, et non sur des indicateurs cliniques validés. Les robots sociaux conversationnels améliorent peut-être le ressenti ou l'interaction, mais aucun système décrit dans la littérature ne démontre d'impact mesurable sur des outcomes de santé standardisés. Cette lacune est critique pour tout déploiement en EHPAD ou à l'hôpital, où la responsabilité médicale exige traçabilité et supervision humaine explicite. Les auteurs soulignent que les benchmarks génériques importés du NLP ou de la robotique généraliste ne sont pas adaptés aux contraintes des environnements de soin. Le contexte est celui d'une accélération massive des modèles de fondation en robotique, de PaLM-E à Pi-0 de Physical Intelligence en passant par GR00T N2 de NVIDIA, qui creuse un écart croissant entre capacités techniques et readiness clinique. Du côté des plateformes établies, Pepper (SoftBank) et PARO (AIST, Japon) restent les références les plus documentées en milieu de soin. Des acteurs européens comme Enchanted Tools avec Mirokaï, ou des projets portés par l'Inria, s'inscrivent dans cette dynamique. Les auteurs appellent à une transition vers des standards d'évaluation spécifiques aux soins, une autonomie avec supervision humaine intégrée dès la conception, et une intégration réelle dans les flux de travail cliniques, trois conditions encore largement non remplies par les systèmes actuels.

UEEnchanted Tools (Mirokaï) et l'Inria sont explicitement cités comme acteurs européens engagés dans la robotique de soin, et les lacunes identifiées (absence de standards d'évaluation cliniques, supervision humaine insuffisante) concernent directement les déploiements en EHPAD et hôpitaux français soumis à la réglementation médicale.

RecherchePaper

1 source