Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
REMAC : collaboration multi-agents auto-réflexive et auto-évolutive pour la manipulation robotique à long horizon
RecherchearXiv cs.RO 

REMAC : collaboration multi-agents auto-réflexive et auto-évolutive pour la manipulation robotique à long horizon

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche a publié une version révisée (v2) sur arXiv (2503.22122) présentant REMAC, un framework de planification multi-robots pour des tâches de manipulation longues et complexes, piloté par des modèles vision-langage. Le système combine deux modules: une auto-réflexion qui vérifie les conditions avant et après chaque action pour détecter les erreurs de plan, et une auto-évolution qui adapte la stratégie selon le contexte réel de la scène, sans prompt spécifique à la tâche. Les auteurs ont bâti un environnement de test basé sur RoboCasa, avec 4 catégories de tâches, 27 variantes et plus de 50 objets, puis évalué REMAC avec quatre modèles de raisonnement comme moteurs de décision: DeepSeek-R1, o3-mini, QwQ et Grok3. Résultat revendiqué: +40% de taux de réussite moyen et +52,7% d'efficacité d'exécution face à une baseline à robot unique.

L'enjeu visé est concret pour les intégrateurs: les approches actuelles reposent souvent sur une connaissance préalable de l'environnement ou des prompts taillés sur mesure, ce qui les rend fragiles dès qu'un imprévu survient, par exemple un robot chargé de poser une carotte dans un micro-ondes qui découvre que la porte est fermée. En permettant à un robot d'en solliciter un autre pour paralléliser les tâches après plusieurs cycles de réflexion, REMAC pointe vers une robotique multi-agents plus tolérante aux aléas de scène, un axe clé pour dépasser les démonstrations scénarisées et réduire le travail d'ingénierie de prompt lors du déploiement de flottes sur des tâches longues.

Le travail s'inscrit dans la recherche sur la planification robotique assistée par grands modèles, aux côtés d'approches comme Pi-0 ou GR00T N2, mais REMAC mise sur un raisonnement multi-agents itératif plutôt que sur un modèle action de bout en bout, en s'appuyant sur des modèles de raisonnement généralistes existants plutôt qu'un modèle propriétaire dédié. Il s'agit pour l'instant d'un travail académique validé en simulation, sans déploiement matériel réel ni partenariat industriel annoncé; la publication de cette seconde version suggère une itération continue sur la méthode, sans calendrier communiqué pour un transfert vers des robots physiques.

Dans nos dossiers

NVIDIA GR00TManipulation robotiquearXiv cs.RO

À lire aussi

LAMP : planification adaptative de manipulation à long horizon pour la collaboration multi-robots en espace encombré
1arXiv cs.RO 

LAMP : planification adaptative de manipulation à long horizon pour la collaboration multi-robots en espace encombré

Une équipe de chercheurs a publié sur arXiv (référence 2606.29358v1) un nouveau cadre de planification intitulé LAMP, pour Long-horizon Adaptive Manipulation Planning, conçu pour coordonner plusieurs robots manipulateurs dans des environnements très encombrés. Le système repose sur deux planificateurs complémentaires : LAMPA*, qui effectue une recherche systématique dans l'espace couplé objets-robots, et LAMP-Lazy, un planificateur dit "paresseux" qui diffère certaines évaluations pour permettre une replanification en temps réel. Les expériences ont été menées dans des environnements simulés à haute densité d'obstacles, où les méthodes existantes échouent à trouver des solutions. Aucun déploiement physique ni timeline de commercialisation n'est annoncé. Le verrou technique que LAMP cherche à lever est fondamental pour l'industrie : coordonner plusieurs bras robotiques sur des tâches longues dans des espaces confinés implique de raisonner simultanément sur les contacts physiques, les dynamiques couplées entre robots, et l'évitement de collision. Les deux approches dominantes aujourd'hui se heurtent à des murs de scalabilité distincts. L'apprentissage par renforcement end-to-end peine à généraliser dès que l'horizon de tâche s'allonge ou que le nombre de robots augmente. Les méthodes hybrides, qui planifient les trajectoires d'objets et apprennent des primitives de contact à courte portée, ne tiennent pas dans des scènes très denses. LAMP propose de rendre ce problème tractable via un modèle génératif appris, combiné à une stratégie de recherche adaptative, ce qui constitue une approche architecturalement différente des VLA (Vision-Language-Action models) qui dominent l'espace humanoïde. La planification multi-robot en environnement encombré est un problème central pour l'automatisation logistique et industrielle, où des acteurs comme Exotec (France) déploient des flottes de robots AMR dans des entrepôts à haute densité. La recherche en robotique académique a longtemps traité la manipulation et la coordination de flotte séparément ; des travaux comme LAMP signalent une convergence vers des systèmes unifiés capables de gérer les deux dimensions. Cependant, l'absence totale de validation sur hardware réel est une limite importante : le sim-to-real gap reste le principal obstacle entre des résultats de simulation convaincants et une industrialisation effective. Les prochaines étapes naturelles seraient des tests sur bancs physiques multi-bras, dans des configurations représentatives de cellules de picking ou d'assemblage.

RecherchePaper
1 source
MAAP : perception active multi-agents pour la manipulation collaborative
2arXiv cs.RO 

MAAP : perception active multi-agents pour la manipulation collaborative

Des chercheurs présentent MAAP (Multi-Agent Active Perception), un système de manipulation collaborative ou chaque bras joue un double rôle: exécuter des actions et servir, via sa camera de poignet, de point de vue mobile pour l'équipe. Il est couple a RAIL (Role-Aware Imitation Learning), un contrôleur qui prédit le rôle courant de chaque bras et conditionne ses actions sur celui-ci. Sur quatre taches simulées, le taux de réussite moyen passe de 56,5% avec une camera fixe a 62,5% avec un poignet actif, puis 70,0% avec tous les bras actifs, et atteint 79,2% avec MAAP+RAIL. Sur une tache a trois bras nommée Microwave, RAIL fait grimper la réussite de 47% a 82% avec les mêmes entrées. Sur une plateforme réelle a deux bras, MAAP+RAIL réussit 14 essais de placement sur 20, contre 0 sur 20 pour une base a vue fixe utilisant ACT. Publie en preprint sur arXiv (2609.21929), le papier ne précise ni affiliation des auteurs ni calendrier de déploiement industriel. Cette approche renverse l'hypothèse selon laquelle la perception active exige un agent dédié a l'observation, distinct des bras qui manipulent. En montrant que les cameras de poignet déjà présentes sur des cellules multi-bras standard suffisent a améliorer nettement la réussite des taches, sans capteur ni agent supplémentaire, MAAP donne aux intégrateurs une piste pour exploiter le matériel existant plutôt que de multiplier les cameras fixes. L'écart entre 0% et 70% de réussite obtenu sur la plateforme physique face a la base ACT a vue fixe est le chiffre le plus parlant pour un décideur industriel: il suggere que le goulot d'étranglement de nombreux systèmes de manipulation actuels tient autant a la couverture visuelle de la scene qu'a l'algorithme de contrôle lui-même. MAAP s'inscrit dans la lignée des travaux d'apprentissage par imitation en manipulation, ou ACT (Action Chunking Transformer) sert de référence a vue fixe. Teste sur quatre taches simulées puis sur une plateforme physique a deux bras, l'échantillon de 20 essais reste modeste. Le papier, une contribution académique sans partenariat industriel annonce, ne mentionne aucun calendrier de commercialisation; les suites attendues concernent l'extension a davantage de bras et de taches plus complexes.

RecherchePaper
1 source
MALLVI : un cadre multi-agents pour la manipulation robotique généralisée et intégrée
3arXiv cs.RO 

MALLVI : un cadre multi-agents pour la manipulation robotique généralisée et intégrée

Une équipe de chercheurs a publié MALLVI (Multi-Agent Large Language and Vision Interface), un framework d'orchestration multi-agents pour la manipulation robotique généraliste, dont la cinquième révision vient d'être déposée sur arXiv (2602.16898). Le système prend en entrée une instruction en langage naturel et une image de la scène, puis génère des actions atomiques exécutables pour un bras manipulateur. L'architecture coordonne quatre agents spécialisés: un Decomposer chargé de découper la tâche en sous-étapes, un Localizer pour la détection et la localisation visuelle, un Thinker pour le raisonnement et la planification de haut niveau, et un Reflector dédié à la détection d'erreurs et à la récupération ciblée. Un cinquième agent optionnel, le Descriptor, maintient une mémoire visuelle de l'état initial de l'environnement. La boucle fermée est pilotée par un modèle de vision-langage (VLM) qui évalue les retours environnementaux après chaque action et décide si l'étape doit être rejouée ou si le robot peut passer à la suivante. Les expériences en simulation et en environnement réel indiquent des gains de taux de réussite sur des tâches de manipulation zero-shot par rapport aux approches classiques en boucle ouverte. Ce que MALLVI cherche à résoudre est un problème structurel bien documenté de la manipulation pilotée par LLM: les systèmes open-loop, qui n'interrogent pas l'état réel du monde après chaque action, accumulent les erreurs sans possibilité de correction en cours d'exécution. L'apport du Reflector est notable sur ce point, puisque plutôt que de déclencher une replanification complète en cas d'échec, il identifie les agents pertinents à réactiver, limitant la latence et la consommation de tokens. Pour les intégrateurs et les équipes R&D, l'intérêt réside dans la capacité zero-shot du système, sans fine-tuning ni prompt engineering spécifique à chaque tâche. Toutefois, les métriques de taux de succès restent difficiles à contextualiser faute d'indications précises sur le nombre de DOF du bras utilisé, la complexité des scènes de test, ou les conditions d'occultation. Le framework s'inscrit dans un courant très actif depuis 2023 autour de l'utilisation des grands modèles pour la planification robotique, avec des travaux fondateurs comme SayCan (Google DeepMind) et Code-as-Policies, et des architectures VLA (Vision-Language-Action) récentes comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. La spécificité de MALLVI est son découpage en agents modulaires plutôt qu'un modèle monolithique, une approche qui facilite le débogage et la spécialisation par composant. Le code source est disponible publiquement sur GitHub (iman1234ahmadi/MALLVI). Aucun partenariat industriel ni déploiement commercial n'est annoncé à ce stade, ce qui en fait pour l'instant une contribution académique à suivre davantage qu'un produit opérationnel.

RechercheOpinion
1 source
NativeMEM : compression native de la mémoire pour la manipulation robotique long horizon
4arXiv cs.RO 

NativeMEM : compression native de la mémoire pour la manipulation robotique long horizon

Des chercheurs présentent, dans un preprint publié sur arXiv début juillet 2026, NativeMEM, une politique Vision-Language-Action (VLA) dotée d'une mémoire longue durée mise à jour en temps réel. Le cœur du système, baptisé Native Memory Compression, réutilise l'encodeur visuel du VLA lui-même pour compresser chaque image historique de chaque caméra en un unique token, ajouté à la séquence d'entrée du modèle. Cette approche permet au VLA préentraîné d'exploiter un historique long avec un surcoût de latence négligeable, sans planificateur externe ni module mémoire réinitialisé à part. L'entraînement se fait en deux temps : d'abord un tokenizer de mémoire générique, entraîné sous la supervision d'un VLA gelé sur des données exigeantes en mémoire, puis un dégel complet du modèle pour un fine-tuning spécifique à la tâche. Les résultats annoncés sont marqués : le taux de réussite passe de 32,4% à 84,0% en simulation, et grimpe jusqu'à 98,7% sur robots réels, avec une latence d'inférence et une consommation GPU maîtrisées. Le système atteint aussi des performances comparables aux méthodes précédentes en n'utilisant que 20% des données d'entraînement. L'enjeu adressé est concret pour la manipulation robotique longue horizon, un point dur reconnu du secteur : les VLA préentraînés peinent à retenir un historique visuel étendu à haute fréquence de mise à jour sans sacrifier leur réactivité, et les solutions de gestion mémoire externe existantes limitent soit l'horizon temporel, soit la vitesse de réaction. Que la compression tienne dans l'encodeur visuel déjà présent, sans architecture séparée, va à l'encontre de l'hypothèse répandue qu'une mémoire longue nécessite un module dédié coûteux à entraîner. Le saut de performance observé, notamment sur robots réels et non seulement en simulation, est le signal à surveiller pour les intégrateurs qui cherchent à dépasser les tâches courtes et réactives. Ce travail s'inscrit dans la vague de recherche actuelle sur les architectures VLA à mémoire pour la manipulation robotique, un axe activement exploré en parallèle des efforts de robots humanoïdes commerciaux. Le papier n'ayant pas encore été relu par les pairs, ses chiffres restent à confirmer par des évaluations indépendantes ; les prochaines étapes attendues concernent la généralisation à davantage de plateformes robotiques et de tâches multi-étapes en conditions réelles.

RechercheActu
1 source