Aller au contenu principal
Apprendre sans perdre son identité : l'évolution des capacités des agents incarnésIllustration générée par IA
RecherchearXiv cs.RO 

Apprendre sans perdre son identité : l'évolution des capacités des agents incarnés

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs ont publié sur arXiv (arXiv:2604.07799) un cadre baptisé "capability-centric evolution paradigm" qui permet aux agents robotiques incarnés d'acquérir continuellement de nouvelles compétences sans modifier leur architecture centrale. Le concept pivot est celui des Embodied Capability Modules (ECMs): des unités modulaires et versionnées de fonctionnalité, qui peuvent être apprises, affinées et composées indépendamment de l'identité cognitive de l'agent. Le processus fonctionne en boucle fermée -- exécution de tâche, collecte d'expérience, raffinement du modèle, mise à jour du module -- le tout supervisé par une couche d'exécution (runtime layer) appliquant en permanence les contraintes de sécurité. En simulation, le taux de réussite des tâches est passé de 32,4% à 91,3% en 20 itérations, avec zéro dérive de politique et zéro violation de sécurité signalées.

Le problème adressé est concret: dans les systèmes robotiques à longue durée de vie (entrepôts, manufactures, logistique hospitalière), chaque mise à jour du modèle risque de dégrader des comportements précédemment validés -- un frein majeur au déploiement à l'échelle. En découplant l'identité de l'agent de l'évolution de ses capacités, l'approche ECM ouvre la voie à des mises à jour incrémentales et auditables sans régression. Les performances annoncées surpassent SPiRL et SkiMo, deux méthodes de référence en apprentissage de compétences. Il faut cependant souligner que l'ensemble des résultats est obtenu en simulation uniquement: le franchissement du sim-to-real gap, défi central de la robotique incarnée, n'est pas démontré dans ce travail.

Cette recherche s'inscrit dans un courant plus large autour du lifelong learning et de la modularité en robotique, en réponse directe aux limites du fine-tuning de politique classique et du prompt engineering, qui induisent ce que les auteurs nomment une "instabilité d'identité" dans les systèmes durables. Elle dialogue avec les travaux sur les VLA (Vision-Language-Action models) comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, où la question de la mise à jour continue sans régression est également ouverte. Pour les intégrateurs et les décideurs industriels, la prochaine étape déterminante sera la validation sur hardware réel, en environnements non contrôlés, avant toute considération de déploiement.

À lire aussi

ASENA : des agents auto-évolutifs pour la navigation de l'IA incarnée
Illustration générée par IA
1arXiv cs.RO 

ASENA : des agents auto-évolutifs pour la navigation de l'IA incarnée

Des chercheurs publient ASENA, un système d'agent incarné qui relie des agents de codage généralistes aux capteurs, au calcul, à l'exécution supervisée et à une mémoire persistante d'un robot. L'agent écrit et exécute des programmes, relit les résultats enregistrés, corrige ses échecs et réutilise des notes et des compétences exécutables, le tout sans modifier les poids du modèle. Le système s'accompagne d'ASENA-VLN, une politique de navigation monoculaire de 4 milliards de paramètres, proposée comme outil optionnel. Elle prédit des trajectoires dans le repère du corps, pour des itinéraires longs comme pour des comportements à court horizon, grâce à un décodeur vision-langage unique. Celui-ci est entraîné sur des instructions de parcours, des questions-réponses visuelles et un nouveau jeu de tâches de navigation « atomiques » dérivées de la géométrie. Seule, la politique atteint 68,7 % de succès sur R2R et 70,2 % sur RxR, ce que les auteurs présentent comme l'état de l'art. Couplée à l'agent de codage, elle ajoute 11 points de succès sur les deux benchmarks agentiques tout en réduisant le temps d'exécution. Dix passes sur des sous-ensembles récurrents de 100 tâches, avec retour du simulateur, font passer le succès de 72 % à 98 % sur R2R et de 65 % à 89 % sur RxR. En question-réponse incarnée, ASENA annonce aussi la meilleure précision, avec moins d'étapes d'interaction. Des démonstrations réelles sur un Unitree G1 combinent recherche, inspection visuelle, raisonnement spatial et gestes synthétisés, sans carte préalable. L'intérêt tient moins au score de navigation qu'à l'architecture. Ici, l'amélioration ne passe pas par un réentraînement : elle vient de la mémoire de l'agent (notes, scripts, compétences), ce qui rapproche le robot d'un logiciel qu'on débogue que d'un modèle qu'on affine. Pour un intégrateur, cela ouvre la voie à une adaptation d'un site à l'autre sans cycle de collecte de données ni de fine-tuning. Il faut toutefois lire les gains avec prudence. Le passage de 72 % à 98 % est mesuré sur des sous-ensembles de 100 tâches rejouées dix fois avec retour du simulateur : cela ressemble davantage à une mémorisation de tâches récurrentes qu'à une généralisation à des environnements inédits. Les résultats chiffrés restent obtenus en simulation, et les démonstrations sur G1 sont qualitatives, sans taux de réussite, durée ni nombre d'essais publiés. L'écart entre démonstration et fiabilité en conditions réelles reste donc entier. Ce travail s'inscrit dans deux tendances qui convergent : les politiques vision-langage-action pour la navigation, évaluées sur R2R et RxR, et les agents de codage appliqués à la robotique, où le LLM génère du code plutôt que des commandes bas niveau. En faisant de la politique apprise un simple outil parmi d'autres, ASENA se positionne à l'opposé des approches de bout en bout comme Pi-0 ou GR00T, qui concentrent tout dans un seul modèle. Le G1 de Unitree, plateforme humanoïde à bas coût largement répandue en recherche, sert de support. Il s'agit d'une prépublication arXiv (v1), non évaluée par les pairs. Le code, les jeux de données et d'éventuels tests hors simulation seront les vrais juges de la portée du système.

RecherchePaper
1 source
Auto-évolution d'agents incarnés par évolution de compétences en environnement d'entraînement
Illustration générée par IA
2arXiv cs.RO 

Auto-évolution d'agents incarnés par évolution de compétences en environnement d'entraînement

Un article publié sur arXiv (2608.11350v1, catégorie "cross-listing", 13 août 2026) présente SHAPER, un cadre pour l'adaptation sans entraînement d'agents incarnés (embodied agents) construits autour de modèles de fondation. Le principe : les poids du modèle restent figés, et c'est la couche non paramétrique autour de lui, compétences réutilisables et "harnais" de contexte-code, qui évolue via des essais répétés (rollouts) dans l'environnement cible. Le même modèle figé joue à la fois le rôle de planificateur et d'optimiseur, affinant ses compétences externes sans aucune mise à jour de paramètres. Les auteurs évaluent SHAPER sur deux bancs d'essai, VLABench et ESI-Bench, qui couvrent des agents disposant d'interfaces d'action bas niveau différentes, et comparent les résultats à l'exécution pure, au fine-tuning supervisé (SFT) et à des méthodes de mise à l'échelle au moment du test comme la sélection sans vérificateur et le vote. L'enjeu pour l'industrie robotique est concret. Le fine-tuning supervisé et l'apprentissage par renforcement exigent des données, des fonctions de récompense et des cycles d'entraînement coûteux ; à l'inverse, les approches sans entraînement centrées sur le code s'appuient d'ordinaire sur des API robotiques programmables, souvent absentes des systèmes à interface fixe. SHAPER propose une troisième voie, faire évoluer les compétences et le harnais logiciel plutôt que le modèle lui-même, ce qui intéresserait particulièrement les intégrateurs qui ne peuvent pas se permettre de réentraîner un modèle à chaque nouvel environnement de déploiement. Les résultats restent toutefois issus de bancs d'essai simulés, pas de déploiements sur robots physiques : c'est une preuve de concept méthodologique, pas encore une validation terrain. Ce travail s'inscrit dans une tendance plus large où la performance des agents incarnés dépend autant du harnais d'exécution, compétences, contexte, interfaces d'action, que des poids du modèle sous-jacent. Il se positionne explicitement entre deux familles d'approches existantes : le fine-tuning et le RL d'un côté, gourmands en données et en calcul, et les approches code-centric sans entraînement de l'autre, limitées par leur dépendance à des API robotiques programmables. L'article ne mentionne ni partenariat industriel ni plateforme robotique commerciale associée ; la suite logique serait une validation sur robots réels pour vérifier si les gains observés sur VLABench et ESI-Bench se transposent hors simulation.

RecherchePaper
1 source
Sur l'alignement des représentations entre agents incarnés
Illustration générée par IA
3arXiv cs.RO 

Sur l'alignement des représentations entre agents incarnés

Des chercheurs publient sur arXiv (2610.02985, octobre 2026) un travail théorique sur l'alignement des représentations entre agents incarnés. Le point de départ est que plusieurs agents qui interagissent avec le même processus physique ont rarement des représentations identiques. Elles sont hétérogènes, asynchrones et relatives à l'observateur. Les auteurs ne cherchent pas à les aligner globalement. Ils se demandent quelles distinctions doivent réellement être résolues pour qu'une interaction reste cohérente. Ils formalisent la question par la notion de « suffisance relationnelle ». Une carte de preuves relationnelles, propre à l'interaction, définit l'ambiguïté laissée après comparaison des représentations. La suffisance est atteinte quand chaque fibre d'ambiguïté résiduelle reste dans une même classe d'équivalence d'interaction. Si la condition échoue, il faut ajouter des ancrages sensorimoteurs qui séparent précisément les ambiguïtés capables de changer le résultat utile. Pour les systèmes lisses, les auteurs dérivent une borne inférieure locale au premier ordre. Le nombre d'ancrages scalaires indépendants est au moins égal à la dimension des directions invisibles à la preuve relationnelle mais visibles pour la carte pertinente pour l'interaction. L'article l'illustre par un scénario de passage de relais asynchrone, en deux variantes avec les mêmes agents observateurs, représentations, transports et preuves relationnelles. La synchronisation relative n'exige aucun ancrage supplémentaire. Le passage à un instant absolu en exige exactement un. Le résultat est une condition d'arrêt, relative à la tâche, pour l'alignement des représentations. Un désaccord résiduel n'a pas besoin d'être éliminé s'il n'a aucun effet sur l'interaction. Pour les équipes qui conçoivent des flottes multi-robots, des cellules mixtes humains-robots ou des échanges entre robots de fournisseurs différents, cela déplace la question. On ne demande plus si deux systèmes partagent le même modèle du monde, mais quelle information minimale ils doivent partager pour la tâche visée. Le cas du passage de relais montre aussi qu'une exigence d'horloge absolue a un coût réel en capteurs ou en signaux de synchronisation, alors qu'une coordination relative peut s'en passer. Il faut toutefois rester prudent. Il s'agit d'un cadre théorique, sans validation sur du matériel, sans benchmark, sans chiffres de performance, et la borne n'est établie que localement pour des systèmes lisses. Rien n'indique encore que le cadre passe à l'échelle de politiques apprises de type VLA ou de dynamiques avec contacts non lisses. Ces travaux s'inscrivent dans un débat plus large sur la communication et l'alignement de représentations dans les systèmes multi-agents. Les approches habituelles cherchent souvent un espace latent commun ou un étalonnage global, ce qui est coûteux et souvent superflu. La contribution ici est une manière de dire à l'avance où s'arrêter. Les prochaines étapes naturelles seraient de calculer cette borne sur des tâches robotiques concrètes, comme le transfert d'objet entre manipulateurs ou la coordination entre AMR, et de la relier à des politiques apprises. Aucune implémentation ni échéance n'est annoncée.

RecherchePaper
1 source
Agents incarnés multimodaux : une perspective unifiée centrée sur les capacités, de l'utilisation d'ordinateur à celle de robot
Illustration générée par IA
4arXiv cs.RO 

Agents incarnés multimodaux : une perspective unifiée centrée sur les capacités, de l'utilisation d'ordinateur à celle de robot

Des chercheurs proposent, dans un article déposé sur arXiv (2610.30108), un cadre unifié pour décrire les agents multimodaux incarnés, qu'ils nomment MMEAs (multimodal embodied agents). Ces systèmes orientés but associent un raisonnement multimodal sur la tâche à une action physique, puis révisent leurs décisions à partir du retour obtenu. Le cadre, baptisé PAPAV, repose sur cinq fonctions récurrentes: percevoir l'état courant, anticiper les effets d'une action, planifier une séquence réalisable, agir via une interface ou un corps, et vérifier le résultat. Ces fonctions sont définies par leur rôle et non par une architecture, ce qui permet de comparer trois familles: les agents multimodaux (MMAs) qui raisonnent avec mémoire, outils et retours, surtout visibles sous forme d'agents d'usage d'ordinateur, les systèmes robotiques (RSs) qui couplent capteurs et actionneurs sous dynamique physique, et les MMEAs. Les auteurs ont examiné 64 benchmarks: l'évaluation explicite se concentre sur la fonction Act, seuls 5 benchmarks mesurent Anticipate et 3 mesurent Verify. Pour les intégrateurs et les équipes qui évaluent des modèles vision-langage-action (VLA), le constat est concret: un taux de réussite de tâche agrège des capacités très différentes et masque justement les deux fonctions dont dépend la fiabilité en conditions réelles. Un robot qui réussit une démonstration peut le faire sans réellement anticiper les conséquences de ses gestes ni vérifier qu'il a atteint son objectif, ce qui aide à comprendre l'écart entre démonstrations et déploiements. Le passage de l'ordinateur au robot est, selon les auteurs, gouverné par cinq contraintes physiques, de l'observabilité partielle aux résultats difficiles à vérifier. Elles laissent moins de choix fixés à l'avance et moins de marge pour annuler une erreur: un clic erroné se défait, une pièce lâchée ou un produit écrasé beaucoup moins. Il s'agit d'une contribution conceptuelle et d'une revue de benchmarks, sans nouveau modèle ni résultat expérimental sur robot, et la grille d'analyse reste à éprouver sur des systèmes concrets. Ce travail s'inscrit dans le mouvement qui rapproche les agents d'usage d'ordinateur, désormais courants, des modèles généralistes pour la robotique, où des VLA comme Pi-0, GR00T ou Helix cherchent à transposer le raisonnement multimodal vers le geste. Les benchmarks actuels sont surtout conçus pour mesurer l'exécution, ce qui oriente la recherche vers l'optimisation du succès final plutôt que vers la prédiction et le contrôle des résultats. Les auteurs listent des défis ouverts découlant de leurs contraintes physiques et proposent PAPAV comme base commune pour concevoir des agents physiques fiables et mesurer le progrès capacité par capacité. La suite dépendra de l'adoption de ce vocabulaire par les concepteurs de benchmarks, avec à la clé des évaluations dédiées à Anticipate et Verify.

RecherchePaper
1 source