RecherchearXiv cs.RO 5 novembre 2026

Apprendre à vivre : un pas vers l'intelligence incarnée tout au long de la vie

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

LIFE (Lifelong Intelligence from Experience) est un cadre logiciel pour agents incarnés, publié en deuxième version sur arXiv (2611.00180v2), qui vise à faire passer les robots d'une logique « une tâche à la fois » à un apprentissage continu. Il repose sur trois briques. RoboBeats, une famille de filtres de flux légers, surveille en permanence les conditions définies par l'agent, détecte de nouveaux événements et décide si une observation justifie une réaction ou une écriture en mémoire. Les observations retenues alimentent Plastic Memory, un stockage « à plat » d'images et d'enregistrements structurés qui conserve la preuve brute, ce qui permet d'ajouter champs et index quand de nouvelles questions apparaissent. Enfin, Explore-Distill-Mount (EDM) transforme les solutions trouvées pendant la résolution de problèmes en outils et compétences validés et réutilisables, lorsque les outils existants ne suffisent pas. Les auteurs affirment que, sous protocoles comparables, RoboBeats améliore nettement le suivi de conditions par rapport à ses modèles de base et, à budget d'écriture égal, conserve davantage de preuves utiles pour des questions sur la mémoire qu'un échantillonnage uniforme. L'étude de cas rejoue 24 heures de vidéo continue enregistrées par un robot réel. Le résumé ne fournit ni gains chiffrés, ni nom de robot, ni modèles de base.

L'enjeu est de s'attaquer à une limite structurelle des systèmes actuels : la plupart des agents incarnés, y compris les modèles vision-langage-action (VLA), sont évalués épisode par épisode, alors qu'un robot déployé dans un entrepôt, un hôpital ou un domicile voit son environnement évoluer entre les tâches et pendant leur exécution. Décider quoi mémoriser, et à quel coût, devient un problème d'ingénierie central pour les intégrateurs, car stocker tout le flux vidéo est inabordable. L'approche par filtres légers, par opposition à un modèle massif qui regarde tout, va dans le sens d'une exécution embarquée à budget contraint. Il faut toutefois relativiser : l'étude de cas, de portée limitée, porte sur un seul enregistrement rejoué hors ligne. Cela ne démontre ni robustesse en boucle fermée, ni fiabilité sur plusieurs semaines, ni sécurité de l'auto-extension d'outils en environnement réel.

Ce travail s'inscrit dans le courant de l'apprentissage continu et des agents à mémoire de long terme, nés dans les agents LLM logiciels (bibliothèques de compétences, mémoires épisodiques) et désormais transposés à la robotique, face au défi de la généralisation des fondations de type Pi-0 ou GR00T, entraînées hors ligne puis figées. Le texte reste académique : aucun partenaire industriel, calendrier de déploiement ou code de production n'est annoncé. La suite logique serait une validation en boucle fermée sur des robots mobiles ou humanoïdes, sur des durées bien supérieures à une journée, avec des benchmarks publics permettant de comparer ces mécanismes de mémoire sélective aux approches concurrentes.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

De l'IA du monde à l'IA incarnée : une feuille de route pour l'intelligence physique en monde ouvert

Publié sur arXiv le 14 juillet 2026 (arXiv:2607.11689), cet article de synthèse dresse un état des lieux des modèles d'action pour la robotique et propose une feuille de route vers ce que les auteurs nomment le « cerveau incarné » (embodied brain). Le texte retrace l'évolution des politiques vision-langage-action (VLA) vers les World Action Models (WAM), des systèmes qui relient une intervention candidate à ses conséquences prédites avant exécution. Trois failles couplées freinent le secteur selon les auteurs: des espaces d'action et cibles de prédiction incompatibles d'un modèle à l'autre, une absence de standardisation des jeux de données et des protocoles d'évaluation, et des interfaces d'exécution trop fermées pour permettre la réutilisation entre systèmes. Plutôt qu'un nouveau modèle entraîné, le papier propose une architecture cible: le cerveau incarné intégrerait un contexte multimodal, comparerait plusieurs interventions candidates, puis émettrait des requêtes de transition d'état ou de capacité plutôt que des commandes moteur directes, les WAM servant de prototypes pour ces fonctions prédictives. Pour les intégrateurs et décideurs en robotique, ce travail nomme un problème concret: chaque laboratoire, qu'il s'agisse de Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2 ou Figure avec Helix, construit son propre espace d'action et son propre format de données, rendant quasi impossible la comparaison directe des performances ou la réutilisation d'un modèle entre un bras robotique et un humanoïde. En proposant des contrats partagés entre modèles, données, tâches et morphologies, et un post-entraînement en boucle fermée transformant les interactions vérifiées en expérience réutilisable, la feuille de route vise à sortir la robotique généraliste du stade de la démonstration isolée. C'est une contribution méthodologique plus qu'un résultat expérimental: elle ne prouve pas qu'un tel système fonctionne à l'échelle, mais formalise ce qui manque pour y parvenir, un constat qui recoupe les critiques récurrentes sur l'écart entre vidéos de démonstration sélectionnées et déploiements robustes en conditions réelles. Le papier s'inscrit dans la continuité des travaux sur les modèles d'action et les world models, qui ont convergé avec l'essor des VLA avant que des approches hybrides, combinant prédiction du monde et politique d'action, ne donnent naissance aux WAM. Les auteurs ne mentionnent aucun déploiement propre mais positionnent leur cadre face aux systèmes existants de Physical Intelligence, NVIDIA et Figure, sans citer d'acteur français ou européen dans cette revue. La suite annoncée est l'adoption progressive de ces contrats partagés par la communauté de recherche, préalable jugé nécessaire à l'émergence d'agents physiques réellement adaptatifs et auto-améliorants hors laboratoire.

RecherchePaper

1 source

2arXiv cs.RO

ESI-Bench : vers une intelligence spatiale incarnée qui boucle la perception et l'action

Une équipe de chercheurs a publié ESI-Bench, un benchmark dédié à l'intelligence spatiale incarnée (embodied spatial intelligence), conçu pour évaluer la capacité des agents artificiels à fermer la boucle perception-action. Le benchmark, construit sur le simulateur OmniGibson, couvre 10 catégories de tâches et 29 sous-catégories, ancrées dans les systèmes de connaissances fondamentales de la psychologue Elizabeth Spelke (objets, agents, nombre, géométrie). Contrairement aux benchmarks classiques qui fournissent des observations "oracle" figées, ESI-Bench exige que l'agent décide lui-même quelles capacités mobiliser, perception, locomotion, manipulation, et dans quel ordre, pour accumuler activement les informations pertinentes à la tâche. Les expériences menées sur les modèles multimodaux de pointe (MLLMs) révèlent un écart significatif entre exploration active et observation passive : les agents qui choisissent leurs points de vue surpassent nettement leurs homologues passifs. Fait notable, ces agents développent spontanément des stratégies spatiales émergentes sans instruction explicite. En revanche, l'acquisition multi-vues aléatoire dégrade souvent les performances en ajoutant du bruit plutôt que du signal, malgré un volume d'images bien supérieur. L'étude identifie une cause principale d'échec qu'elle nomme "action blindness" : de mauvais choix d'action produisent de mauvaises observations, qui induisent à leur tour des erreurs en cascade. Autre résultat contre-intuitif : une représentation 3D imparfaite se révèle plus nuisible qu'une baseline 2D, car elle distord les relations spatiales au lieu de les clarifier. Les auteurs documentent également un écart métacognitif net par rapport aux humains : là où un opérateur humain cherche activement des angles réfutant son hypothèse et révise ses croyances face à une contradiction, les modèles s'engagent prématurément avec une confiance élevée indépendamment de la qualité des preuves disponibles. ESI-Bench s'inscrit dans une vague de travaux cherchant à dépasser les limites des benchmarks statiques pour robots et agents incarnés, notamment VQA-3D, ScanQA ou EmbodiedScan, qui évaluent la compréhension spatiale sans boucle de rétroaction motrice. La dépendance à OmniGibson implique que les résultats restent pour l'instant confinés à la simulation, et le gap sim-to-real, déjà central dans les débats sur les VLA comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), n'est pas adressé ici. Ce benchmark ne teste pas de robots physiques déployés mais des MLLMs dans un environnement simulé. Les prochaines étapes naturelles incluront le transfert vers des plateformes réelles et l'intégration de politiques de manipulation close-loop pour valider si les stratégies émergentes observées en simulation tiennent face aux incertitudes du monde physique.

RecherchePaper

1 source

3arXiv cs.RO

GPT-6-Astra a-t-il atteint l'intelligence incarnée ?

Un rapport technique publié sur arXiv (2610.22471) évalue GPT-6-Astra, un modèle généraliste, sur des tâches de manipulation et de navigation robotique. Les auteurs l'ont testé sur 12 benchmarks couvrant la manipulation sur table, les humanoïdes, les plateformes mobiles et les mains dextres. Le protocole est unifié. Il autorise l'apprentissage en contexte (ICL) à partir des démonstrations du jeu d'entraînement et augmente fortement le nombre d'étapes d'exécution. Les auteurs parlent de performances « sans précédent », mais le résumé ne donne aucun score chiffré. Ils testent aussi un montage agentique en boucle fermée. GPT-6-Astra y joue le raisonneur de haut niveau (« System 2 ») et pilote un contrôleur bas niveau (« System 1 ») comme π0.5. Cette coordination est jugée coûteuse mais efficace. Enfin, des essais ont été menés sur 8 configurations de robots réels. Le verdict des auteurs est nuancé : le modèle a « largement franchi le seuil de la compétence incarnée », mais pas celui d'une intelligence incarnée pratique. Pour un intégrateur ou un COO, l'écart entre benchmark et terrain est le point central. Les démonstrations robot nécessaires à l'ICL sont chères à collecter. Et l'on ne peut pas compenser un taux de succès insuffisant par des exécutions plus longues, car les contraintes physiques l'interdisent. Les résultats de benchmark reposent en outre sur un protocole favorable : démonstrations in-domain et budget d'étapes élargi. Ils disent donc peu de la performance en déploiement. Les auteurs listent cinq chantiers : généralité de l'ICL, coût et temps d'exécution, vérification de l'état physique, récupération après échec irréversible, et préservation de la progression sur de longs horizons. Cette architecture à deux niveaux prolonge la séparation raisonnement/contrôle déjà utilisée par Helix de Figure, GR00T de NVIDIA ou les modèles de Physical Intelligence, ici avec un modèle généraliste placé au-dessus d'un VLA existant. Elle remet en cause l'approche d'un modèle spécialisé par tâche et par morphologie. Les auteurs esquissent aussi un prototype de benchmark de nouvelle génération. Ses tâches viennent de besoins réels, il ne fournit aucune démonstration in-domain, et une horloge continue de tourner pendant que l'agent délibère. Il s'agit d'un travail de recherche, sans produit commercialisé, sans pilote annoncé et sans acteur européen identifié. La suite dépendra de la réduction du coût et de la latence, ainsi que de la reproduction indépendante de ces résultats.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

L'intelligence à travers les incarnations robotiques

Publié sur arXiv en septembre 2026 sous la référence 2609.27095, cet article de position définit l'embodiment robotique, capteurs, cinématique, dynamique, géométrie, actionneurs, commande, comme l'ensemble des propriétés physiques par lesquelles un agent interagit avec le monde, des propriétés qui varient d'un robot à l'autre et évoluent dans le temps. Ses auteurs soutiennent qu'une intelligence incarnée générale exige un apprentissage qui s'accumule malgré ces différences plutôt qu'un réentraînement à chaque nouvelle plateforme. Ils critiquent les méthodes dominantes, qui bâtissent des correspondances explicites entre embodiments : utiles à court terme mais limitantes pour le transfert à long terme. Ils proposent plutôt de rechercher des représentations généralisables, en posant la diversité des embodiments comme axe de passage à l'échelle, complétée par de larges a priori appris, et appellent à des évaluations mesurant mieux l'écart entre embodiments. Aucun chiffre, modèle ou benchmark n'est fourni : il s'agit d'une contribution théorique, non d'une annonce produit. L'enjeu dépasse l'exercice académique. La plupart des modèles vision-langage-action actuels, du Pi-0 de Physical Intelligence au GR00T N2 de NVIDIA en passant par Helix de Figure AI, s'appuient sur des correspondances d'embodiment largement ad hoc pour transférer des compétences entre un bras fixe, un robot mobile et un humanoïde bipède. L'article avance que cette stratégie plafonnera la généralisation à mesure que le nombre de plateformes augmente, et suggère de traiter la diversité des corps comme un levier de scaling au même titre que le volume de données. Pour les intégrateurs opérant des flottes hétérogènes, la promesse d'une politique "generalist" unique reste conditionnée à la diversité réelle des embodiments d'entraînement, pas seulement à leur volume brut. Cette publication arrive alors que la robotique généraliste traverse une phase de scaling intensif, après des années où chaque nouveau robot exigeait un réentraînement quasi complet ; les modèles VLA avaient promis de contourner ce problème via une politique unique partagée entre embodiments, promesse que ce texte nuance en pointant les limites des méthodes de correspondance actuelles. Le résumé ne nomme ni laboratoire ni institution affiliée, et ne mentionne aucun déploiement, pilote industriel, calendrier ou acteur français ou européen : il s'agit d'un appel à réorienter les priorités de recherche de la communauté, non d'une feuille de route commerciale.

RecherchePaper

1 source