Aller au contenu principal
Vers l'ère de l'intelligence incarnée à base d'agents
RecherchearXiv cs.RO 

Vers l'ère de l'intelligence incarnée à base d'agents

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (2611.09124) A2-MEAS, un framework multi-agents pour la robotique où le code sert d'interface de passage à l'échelle. Des « codes de correction » appris combinent consigne corrective en langage naturel, indices spatiaux, historique d'exécution et propositions d'actions. Le module MetaBrain fournit la supervision à l'entraînement et le guidage à l'exécution. Un encodeur et un adaptateur intègrent ces corrections dans les poids de la politique, et de nouveaux codes peuvent ensuite modifier le comportement à poids gelés au déploiement. Le modèle d'action A2-WLA ajoute à une politique vision-langage-action (VLA) un historique sensible au mouvement et un modèle du monde latent. Il obtient un Q-score de 0,5755 sur 50 tâches publiques de BEHAVIOR 2026 avant correction en ligne, contre 0,2605 pour le vainqueur 2025. Sur les 100 tâches, A2-MEAS atteint 0,6411 et 45,40 % de succès. Sur RoboTwin 2.0, il affiche 93,98 % de succès moyen, puis 95,05 % avec le système complet. Sur 12 tâches réelles dans cinq cadres domestiques, A2-WLA réussit 57,92 % du temps contre 26,67 % pour pi0.5. Sur un café filtre en longue séquence, la reprise après échec passe de 14 % à 94 % et de 8 % à 82 % à deux étapes de manipulation du filtre.

L'intérêt tient moins au score brut qu'au traitement de la récupération sur erreur, principal obstacle à l'autonomie prolongée des VLA hors laboratoire. Un adaptateur conditionné par l'historique redresse nettement des échecs en cascade, ce qui suggère que la mémoire d'exécution compte autant que la taille du modèle. Le débit d'entraînement de 427,1 échantillons par seconde, soit 4,03 fois une implémentation de référence de pi0.5 sur matériel équivalent, abaisse le coût d'itération. Il faut toutefois relativiser. Le facteur 2,21 compare des éditions différentes du benchmark et des configurations d'entraînement différentes. Les 45,40 % de succès sur 100 tâches restent modestes. Les 12 tâches réelles sont peu nombreuses et ne disent rien d'une fiabilité de niveau industriel.

Ce travail s'inscrit dans la course aux politiques généralistes ouvertes dérivées de pi0 et pi0.5 de Physical Intelligence, face à des modèles comme GR00T ou Helix. Le défi BEHAVIOR, centré sur des tâches ménagères longues en simulation, sert de banc d'essai commun. Il s'agit d'un preprint, sans produit ni déploiement commercial. Les auteurs promettent de publier le système, les modèles, les scripts d'entraînement et l'infrastructure, ce qui permettra une reproduction indépendante, seul vrai test de ces résultats.

À lire aussi

Apprendre à vivre : un pas vers l'intelligence incarnée tout au long de la vie
1arXiv cs.RO 

Apprendre à vivre : un pas vers l'intelligence incarnée tout au long de la vie

LIFE (Lifelong Intelligence from Experience) est un cadre logiciel pour agents incarnés, publié en deuxième version sur arXiv (2611.00180v2), qui vise à faire passer les robots d'une logique « une tâche à la fois » à un apprentissage continu. Il repose sur trois briques. RoboBeats, une famille de filtres de flux légers, surveille en permanence les conditions définies par l'agent, détecte de nouveaux événements et décide si une observation justifie une réaction ou une écriture en mémoire. Les observations retenues alimentent Plastic Memory, un stockage « à plat » d'images et d'enregistrements structurés qui conserve la preuve brute, ce qui permet d'ajouter champs et index quand de nouvelles questions apparaissent. Enfin, Explore-Distill-Mount (EDM) transforme les solutions trouvées pendant la résolution de problèmes en outils et compétences validés et réutilisables, lorsque les outils existants ne suffisent pas. Les auteurs affirment que, sous protocoles comparables, RoboBeats améliore nettement le suivi de conditions par rapport à ses modèles de base et, à budget d'écriture égal, conserve davantage de preuves utiles pour des questions sur la mémoire qu'un échantillonnage uniforme. L'étude de cas rejoue 24 heures de vidéo continue enregistrées par un robot réel. Le résumé ne fournit ni gains chiffrés, ni nom de robot, ni modèles de base. L'enjeu est de s'attaquer à une limite structurelle des systèmes actuels : la plupart des agents incarnés, y compris les modèles vision-langage-action (VLA), sont évalués épisode par épisode, alors qu'un robot déployé dans un entrepôt, un hôpital ou un domicile voit son environnement évoluer entre les tâches et pendant leur exécution. Décider quoi mémoriser, et à quel coût, devient un problème d'ingénierie central pour les intégrateurs, car stocker tout le flux vidéo est inabordable. L'approche par filtres légers, par opposition à un modèle massif qui regarde tout, va dans le sens d'une exécution embarquée à budget contraint. Il faut toutefois relativiser : l'étude de cas, de portée limitée, porte sur un seul enregistrement rejoué hors ligne. Cela ne démontre ni robustesse en boucle fermée, ni fiabilité sur plusieurs semaines, ni sécurité de l'auto-extension d'outils en environnement réel. Ce travail s'inscrit dans le courant de l'apprentissage continu et des agents à mémoire de long terme, nés dans les agents LLM logiciels (bibliothèques de compétences, mémoires épisodiques) et désormais transposés à la robotique, face au défi de la généralisation des fondations de type Pi-0 ou GR00T, entraînées hors ligne puis figées. Le texte reste académique : aucun partenaire industriel, calendrier de déploiement ou code de production n'est annoncé. La suite logique serait une validation en boucle fermée sur des robots mobiles ou humanoïdes, sur des durées bien supérieures à une journée, avec des benchmarks publics permettant de comparer ces mécanismes de mémoire sélective aux approches concurrentes.

RecherchePaper
1 source
Quand les systèmes multi-robots rencontrent l'IA à base d'agents : vers une intelligence collective incarnée
2arXiv cs.RO 

Quand les systèmes multi-robots rencontrent l'IA à base d'agents : vers une intelligence collective incarnée

Un article de recherche publié fin juin 2026 sur arXiv (réf. 2606.27929) propose un cadre conceptuel baptisé "Intelligence Collective Incarnée" (ECI, Embodied Collective Intelligence), qui fusionne deux trajectoires parallèles de la robotique : l'essor des agents IA en boucle fermée et la coordination de flottes multi-robots. Les auteurs décrivent comment les robots migrent de pipelines perception-contrôle rigides vers des systèmes agentiques capables de récupérer du contexte, délibérer pendant l'exécution et affiner leur comportement futur. L'ECI structure cette convergence en trois piliers : Co-Perception (partage du modèle du monde), Co-Action (coordination distribuée des tâches) et Co-Évolution (transmission de compétences entre agents). Pour ancrer le concept, une étude de navigation illustre qu'un robot nouvellement intégré à une équipe bénéficie de la mémoire fusionnée de ses coéquipiers avec des gains mesurables, bien que les auteurs précisent eux-mêmes que cette étude ne constitue pas une évaluation complète du framework. L'enjeu central est de dépasser le modèle actuel de coopération multi-robots, limité au partage de cartes, d'affectations de tâches et de datasets d'entraînement. L'ECI propose de partager l'état produit par la boucle agentique elle-même : contexte mondial, progression des tâches, compétences accumulées en opération. Pour un intégrateur ou un décideur B2B, cela ouvre la voie à des flottes où les robots apprennent collectivement en temps réel, un saut qualitatif par rapport aux AMR actuels qui n'échangent que des données structurées. La thèse sous-jacente est qu'une mémoire partagée réduit le temps d'intégration d'un nouvel agent et améliore la robustesse de la flotte face aux pannes, s'attaquant directement au "demo-to-reality gap" qui pénalise les VLA déployés à l'échelle industrielle. Ce travail s'inscrit dans une période d'accélération marquée : les modèles VLA comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA ont démontré en 2024-2025 que l'IA agentique peut généraliser sur du hardware physique réel, tandis que les systèmes multi-robots butent encore sur la coopération hétérogène à grande échelle. Les travaux proches incluent les frameworks multi-agents LLM comme AutoGen ou CrewAI, ainsi que les recherches en robotique collaborative conduites à ETH Zurich et au MIT CSAIL. L'article demeure à ce stade un cadre théorique avec validation partielle et sans déploiement industriel annoncé, mais il pose les fondations conceptuelles d'une génération de flottes capables de capitaliser collectivement sur l'expérience terrain accumulée.

RecherchePaper
1 source
N₀-Foundation : vers l'ère de l'intelligence tactile
3arXiv cs.RO 

N₀-Foundation : vers l'ère de l'intelligence tactile

Publiée sur arXiv en août 2026 (arXiv:2608.29601), N0-Foundation est une infrastructure complète pour la manipulation robotique par le toucher: un capteur tactile à base de vision, une interface universelle de manipulation (UMI) tactile, et un système de collecte synchronisée visuo-tactile compatible avec plusieurs types de robots. Elle a permis de constituer NeoData, plus de 30000 heures de démonstrations visuo-tactiles synchronisées couvrant six embodiments robotiques et 450 tâches, soit des milliards de paires d'images RGB et de signaux tactiles, collectées par téléopération réelle et via l'UMI. Un sous-ensemble de 5000 heures, OpenNeoData, est publié en accès libre, aux côtés de NeoForce, un modèle de représentation tactile transférable d'un capteur à un autre, et d'un benchmark combinant la suite réelle NeoReal et la suite simulée NeoSim. Le tactile demeure le maillon faible des modèles de manipulation actuels: la plupart des architectures vision-langage-action (VLA) déployées dans l'industrie s'appuient presque exclusivement sur la caméra et le langage, sans retour de force ou de contact fiable. Ce vide freine des tâches critiques pour l'industrie, comme la manipulation d'objets déformables, l'assemblage de précision, le contrôle fin de la force ou le maintien prolongé d'un contact de surface. Le résultat expérimental le plus notable est que les politiques progressent grâce à l'état de contact physique plutôt qu'à l'apparence propre à chaque capteur, ouvrant la voie à des représentations tactiles transférables d'un matériel à un autre et à une mutualisation des données entre laboratoires. Ce travail s'inscrit dans la course aux modèles fondation pour la manipulation, où des architectures comme GR00T N2, Pi-0 ou Helix, entraînées notamment sur des plateformes telles que Figure 03 ou Optimus Gen 3, restent surtout centrées sur la vision. En publiant simultanément le jeu de données, le modèle de représentation et le protocole d'évaluation, les auteurs cherchent à établir le tactile comme modalité standardisée et comparable, sur le modèle de ce qu'a été ImageNet pour la vision. Il s'agit à ce stade d'une publication de recherche assortie d'un jeu de données ouvert, non d'un produit commercial ni d'un déploiement industriel: aucun pilote ni calendrier d'intégration n'est annoncé. Aucun acteur français ou européen comme Wandercraft, Exotec, Pollen Robotics ou Enchanted Tools n'apparaît dans ces travaux.

RecherchePaper
1 source
P³ : vers des agents incarnés polyvalents
4arXiv cs.RO 

P³ : vers des agents incarnés polyvalents

Des chercheurs ont publié la seconde version d'un article arXiv (2508.07033v2) présentant P³, un framework unifié pour agents incarnés (embodied agents) polyvalents. Le code et les données sont disponibles sur GitHub (fz-zsl/P3). Le framework s'attaque à trois limitations identifiées dans les approches existantes: la perception dynamique de l'environnement, l'usage flexible d'outils, et la planification multi-tâches complexe. Contrairement aux méthodes précédentes qui dépendent uniquement du retour d'agents-outils pour détecter les changements d'environnement et le statut des tâches, ce qui limite l'adaptabilité en temps réel et provoque une accumulation d'erreurs, P³ permet à l'agent de percevoir activement les informations pertinentes directement depuis l'environnement. Il autorise aussi l'utilisation d'outils sans nécessiter de retour systématique, et priorise dynamiquement les tâches urgentes en ajustant leur ordre d'exécution selon leurs dépendances. Les auteurs rapportent des expérimentations en conditions réelles, sans toutefois préciser dans le résumé les métriques chiffrées, le nombre de tâches testées ou les plateformes robotiques utilisées, ce qui invite à la prudence sur la portée exacte des gains démontrés. Cette contribution touche un point sensible du secteur des agents incarnés: l'écart persistant entre les benchmarks académiques et le déploiement pratique. La plupart des architectures actuelles pour robots ou agents autonomes traitent la perception, l'usage d'outils et la planification comme des modules largement indépendants, ce qui les rend fragiles dès que l'environnement change ou que plusieurs tâches concurrentes doivent être arbitrées en temps réel. En proposant un mécanisme de planification dynamique capable de réordonner les priorités selon les dépendances, P³ répond à un problème très concret pour les intégrateurs qui cherchent à déployer des agents capables de gérer plusieurs objectifs simultanément sans supervision humaine constante, un prérequis pour toute application industrielle ou domestique à grande échelle. Le travail s'inscrit dans la lignée des recherches sur les architectures agentiques pour l'IA incarnée, qui combinent perception, raisonnement et action physique ou logicielle, un domaine où rivalisent notamment les approches fondées sur de grands modèles multimodaux couplés à des outils externes. La publication d'une seconde version de l'article, après un premier dépôt, suggère une itération liée à des retours de relecture, signe habituel d'une maturation vers une publication en conférence. La mise à disposition du code sur GitHub permettra à la communauté de reproduire et d'étendre les résultats, étape nécessaire avant toute adoption au-delà du cadre académique.

RecherchePaper
1 source