RechercheMIT News Robotics 17 juin 2026

L'IA pourrait-elle vous dire où vous avez laissé vos clés ?

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs du MIT ont présenté à la conférence CVPR un cadre de mémoire à long terme pour robots mobiles, baptisé DAAAM (Describe Anything, Anywhere, Anytime, at Any Moment). Développé par Luca Carlone, professeur associé au département d'AéroAstro du MIT et directeur du laboratoire SPARK, avec le doctorant Nicolas Gorlo comme auteur principal et Lukas Schmid, désormais professeur à l'Université de technologie de Nuremberg, le système permet à un robot de construire une carte 3D enrichie de descriptions sémantiques en langage naturel, au fil de ses déplacements. Concrètement, un robot équipé de DAAAM peut enregistrer qu'un vélo rouge avec un pneu crevé est garé sur le rack devant le Stata Center, ou qu'un composant partiellement assemblé occupe tel bac de stockage dans une usine, et répondre ensuite à des requêtes formulées en langage courant. La méthode surpasse les approches de l'état de l'art en précision de réponse et s'exécute assez rapidement pour fonctionner en temps réel sur un robot mobile.

Ce que DAAAM résout est un verrou bien identifié en robotique industrielle et de service : la mémoire spatiotemporelle. Un opérateur humain sait spontanément où il a posé un composant la veille et peut déléguer la récupération avec une simple instruction verbale. Les robots, même dotés de cartographie 3D avancée, échouaient jusqu'ici à ce niveau de raisonnement contextuel. DAAAM fusionne deux lignées de recherche distinctes : les modèles de vision multimodale, qui décrivent richement les scènes mais traitent une annotation à la fois, et les frameworks de cartographie robotique, qui couvrent de grands espaces mais sans sémantique fine ni ancrage temporel. En combinant les deux dans une représentation unifiée et interrogeable en langage naturel, le MIT ouvre la voie à des robots capables de recevoir et exécuter des consignes verbales sans interface spécialisée, ce que Carlone formule ainsi : « le robot doit parler la même langue que les humains ».

Le laboratoire SPARK du MIT travaille depuis plusieurs années sur la cartographie sémantique pour robots autonomes, dans un contexte de convergence accélérée entre grands modèles de langage et robotique embarquée. DAAAM s'inscrit dans la tendance plus large des cartes de scène en langage naturel, où des équipes comme celles de Google DeepMind, Stanford ou Carnegie Mellon explorent des architectures comparables. Les applications envisagées par les auteurs dépassent la robotique industrielle : maintenance assistée par réalité augmentée et guidage en environnement complexe sont explicitement citées. Aucun calendrier de validation hors campus ni partenariat industriel n'est annoncé, ce qui situe DAAAM clairement au stade de prototype de recherche publié, pas encore d'un système en cours de déploiement commercial.

Impact France/UE

Un co-auteur, Lukas Schmid, est désormais professeur à l'Université de technologie de Nuremberg, ancrant une partie de cette recherche en Europe, mais aucun partenariat industriel ni déploiement européen n'est annoncé à ce stade.

À lire aussi

1arXiv cs.RO

Avez-vous du freestyle ? La locomotion humanoïde expressive pilotée par l'audio

Des chercheurs ont publié sur arXiv (2512.23650, troisième révision) RoboPerform, présenté comme le premier framework unifiant génération audio-vers-locomotion pour robots humanoïdes, capable de produire à la fois de la danse pilotée par la musique et des gestes de co-parole déclenchés par la voix, directement depuis le signal audio. L'approche suit le principe "mouvement = contenu + style" : l'audio est traité comme un signal de style implicite, sans reconstruction explicite préalable du mouvement. L'architecture combine une politique enseignante ResMoE, un mélange d'experts adapté à des répertoires de mouvements variés, et une politique étudiante par diffusion qui injecte le style audio directement dans la trajectoire, un design "sans retargeting" censé réduire latence et erreurs en cascade. Les auteurs revendiquent des résultats "prometteurs" en plausibilité physique et en alignement audio-mouvement, mais le résumé ne donne aucun chiffre précis : ni degrés de liberté, ni temps de cycle, ni score de benchmark, ni nom de robot testé. Le travail cible un manque réel du secteur : la plupart des humanoïdes actuels restent cantonnés à des bibliothèques de mouvements prédéfinis ou à des commandes distantes ponctuelles, sans capacité d'improvisation réactive en temps réel. Un pipeline générant chorégraphie ou gestes de communication directement depuis l'audio, sans reconstruction puis retargeting séparés, intéresserait les concepteurs de robots destinés à l'interaction humaine, à l'événementiel ou au service client, où la réactivité perçue pèse autant que la précision du geste. La portée reste toutefois à relativiser : il s'agit d'un article de recherche sans produit commercialisé ni déploiement annoncé, et la formule "résultats prometteurs" sans métriques chiffrées relève d'une validation académique préliminaire, pas d'une preuve à l'échelle industrielle. RoboPerform s'inscrit dans la lignée des travaux sur la génération de mouvement à partir de l'audio, un champ jusqu'ici dominé par des pipelines en cascade : un modèle de diffusion génère un mouvement depuis l'audio, ensuite retargeté vers la morphologie du robot par cinématique inverse, une chaîne connue pour accumuler erreurs et latence à chaque étape. La contribution revendiquée est de fusionner ces étapes en une seule paire de politiques entraînées conjointement, plutôt qu'un pipeline séquentiel classique. L'article ne mentionne ni partenariat industriel, ni pilote, ni calendrier de déploiement : à ce stade, RoboPerform reste un résultat de laboratoire dont la validation sur une plateforme humanoïde réelle et à grande échelle reste à démontrer.

RecherchePaper

1 source

2arXiv cs.RO

Coopération de deux bras pour l'essuyage de table avec retrait temporel des objets

Des chercheurs ont publié sur arXiv (identifiant 2610.19527) un cadre de planification coopérative à deux bras pour essuyer une table sur laquelle sont dispersés des objets. Contrairement aux stratégies classiques de nettoyage de surface, qui ne couvrent que les zones libres et contournent les obstacles, ce système assigne explicitement un bras au déplacement des objets pendant que l'autre balaie la surface. Les auteurs définissent d'abord un ensemble de primitives d'action (essuyage et réarrangement d'objets). Un planificateur de tâches nommé Geo-MILP, formulé en programmation linéaire en nombres entiers mixtes (MILP) et conscient de la géométrie, optimise ensuite l'ordre et le timing des actions. Il s'appuie sur une décomposition de Benders à base logique (LBBD) qui résout itérativement les conflits géométriques. Enfin, l'optimiseur K-Order Markov Optimization (KOMO) génère des trajectoires lisses et sans collision. Les essais en simulation et sur matériel réel affichent un temps de planification jusqu'à 9 fois inférieur et un makespan d'exécution (durée totale de la tâche) réduit d'environ 40 % face à des références de planification de tâches et de mouvements (TAMP). L'intérêt tient à ce que ce travail s'attaque à un cas fréquent en service, en cuisine collective ou en logistique légère: une surface jamais vraiment dégagée. Retirer temporairement les objets pour accéder aux zones masquées augmente la couverture atteignable, là où le contournement laisse des surfaces sales. Le gain de 9 fois sur le temps de planification compte pour les intégrateurs, car la lenteur des planificateurs TAMP généralistes est un frein connu au déploiement de robots bimanuels hors laboratoire. Une approche à base d'optimisation structurée, qui exploite la géométrie du problème, constitue une alternative aux politiques apprises de type VLA (vision-langage-action) pour des tâches où la garantie de couverture et l'absence de collision sont exigées. Ces chiffres restent toutefois des résultats de recherche. Le résumé ne précise ni le nombre d'essais, ni la densité d'objets, ni la plateforme utilisée, ni la nature des références TAMP comparées, et la généralisation à des objets déformables, fragiles ou à des liquides n'est pas démontrée. Ce travail s'inscrit dans la lignée des méthodes de planification de couverture (coverage path planning) et de réarrangement d'objets sur table, longtemps traitées séparément, puis des approches TAMP qui les combinent au prix d'une recherche combinatoire coûteuse. L'apport de Geo-MILP est de ramener cette recherche à un problème d'optimisation décomposé. Il se positionne face aux politiques end-to-end apprises, plus souples mais moins prévisibles. Aucun pilote industriel ni calendrier de transfert n'est annoncé, et il s'agit d'une prépublication non évaluée par les pairs. Les suites logiques seraient des tests sur des scènes plus encombrées, avec perception en boucle fermée, et une éventuelle hybridation avec des modèles appris pour la perception et la sélection des objets à déplacer.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Amortissement de l'optimisation de trajectoire pour la MPC résiduelle via différentiation implicite du contact

Cette étude publiée sur arXiv (2607.24959v1) s'attaque à un goulot d'étranglement classique de la robotique de contact : l'optimisation de trajectoire dans des simulateurs différentiables. Les chercheurs introduisent une méthode de dérivation implicite assistée par différentiation automatique (AD), appliquée au moteur MuJoCo MJX et fondée sur le théorème des fonctions implicites (IFT). Contrairement aux différences finies, coûteuses et sensibles au choix du pas, ou au déroulement complet de l'AD à travers un solveur de contact itératif, qui fait exploser la trace de calcul stockée en mémoire, leur approche différencie directement le résidu de stationnarité à la solution convergée, sans reconstruire à la main les systèmes KKT propres à chaque solveur. Résultat mesuré : la mémoire temporaire compilée reste quasi constante quel que soit l'effort du solveur, avec moins de 4% de variation entre une et dix itérations, contre une croissance de 10,6 fois pour l'AD déroulée classique. Le gain s'accentue avec la complexité du problème : 20 fois moins de mémoire à 256 contacts actifs, 6 fois moins à 16 contacts et 96 degrés de liberté. L'équipe va plus loin avec une technique de "distillation d'optimiseur" pour le contrôle prédictif résiduel (residual MPC) : un iLQR complet, calculé en batch sur tout l'horizon temporel, est condensé en une politique qui guide ensuite un iLQR résiduel à horizon court, bien moins coûteux à exécuter en ligne. Sur trois bancs d'essai (Finger, bras Franka, quadrupède Unitree), cette approche améliore le taux de succès à six pas de 28 à 98 points de pourcentage par rapport à un iLQR standard. Pour les équipes qui développent du contrôle robotique riche en contacts, manipulation fine, locomotion sur terrain irrégulier, l'intérêt est double : réduire drastiquement l'empreinte mémoire permet de faire tourner des simulations différentiables à plus grande échelle ou en temps réel embarqué, tandis que la distillation d'optimiseur offre une voie pour transférer la qualité d'une planification hors-ligne coûteuse vers un contrôleur exécutable en boucle rapide sur le robot. Le travail s'inscrit dans la lignée des efforts récents autour de MuJoCo MJX et de la simulation différentiable pour la robotique, un axe de recherche actif depuis que des laboratoires comme DeepMind ou des groupes académiques cherchent à exploiter les gradients de simulateurs physiques pour accélérer l'apprentissage et la planification, plutôt que de s'appuyer uniquement sur l'apprentissage par renforcement sans modèle. La méthode proposée ici comble un vide méthodologique entre les approches génériques mais gourmandes en mémoire et les dérivations KKT sur mesure, difficiles à maintenir et à généraliser d'un solveur à l'autre. Les auteurs ne précisent pas de calendrier de publication du code ni de partenariat industriel, mais la validation croisée sur des plateformes hétérogènes (doigt robotique, bras manipulateur Franka, quadrupède Unitree) suggère une ambition de généralisation au-delà d'un cas d'usage unique, avec un potentiel d'intégration dans des piles de contrôle MPC pour la manipulation ou la locomotion dynamique.

RecherchePaper

1 source

4arXiv cs.RO

SAIL : le passage à l'échelle au moment du test pour l'apprentissage par imitation en contexte avec VLM

Des chercheurs présentent SAIL, un framework qui reformule l'apprentissage par imitation en contexte (in-context imitation learning) comme un problème de raffinement itératif capable de tirer parti du calcul disponible au moment de l'inférence, ou "test-time compute". SAIL s'appuie sur une recherche arborescente Monte Carlo (MCTS) où chaque nœud représente une trajectoire complète et chaque arête correspond à un raffinement de cette trajectoire. Le système repose sur trois composants : une archive automatisée des trajectoires réussies pour la récupération contextuelle pertinente, un mécanisme de notation basé sur un modèle vision-langage (VLM) pour évaluer les trajectoires, et un retour au niveau de chaque étape (step-level feedback) qui fournit des scores alignés sur la trajectoire pour guider le raffinement itératif. Testé sur six tâches de manipulation distinctes, en simulation et en conditions réelles, SAIL montre qu'augmenter le calcul au moment du test améliore de manière constante le taux de réussite, atteignant jusqu'à 95 % sur les tâches les plus complexes. Le papier est publié sur arXiv sous une version révisée (arXiv:2603.08269v2, type "replace"). Ce résultat intéresse les équipes qui travaillent sur les modèles vision-langage-action (VLA) et l'apprentissage par imitation en manipulation robotique, un domaine où la génération de trajectoire en un seul essai reste fragile dès que l'environnement s'écarte des démonstrations d'entraînement. En transposant au bras robotique la logique de "test-time scaling" déjà démontrée dans les grands modèles de langage, où davantage de calcul à l'inférence améliore la qualité des réponses, SAIL suggère qu'une partie du problème de généralisation en robotique peut se traiter en allouant plus de calcul par tâche à l'exécution, via recherche, notation et raffinement, plutôt qu'en entraînant des modèles toujours plus gros. Pour les intégrateurs et décideurs B2B, cela pointe vers un compromis latence-fiabilité : accepter un temps de cycle plus long contre un taux de réussite plus élevé sur des tâches complexes, un arbitrage pertinent pour des applications où l'échec d'une manipulation coûte cher. Le travail reste toutefois académique : les 95 % de réussite portent sur six tâches définies en laboratoire, sans indication de temps de cycle ni de surcoût de calcul lié aux itérations MCTS, deux données déterminantes pour toute application industrielle. Cette publication s'inscrit dans un courant de recherche sur l'apprentissage par imitation en contexte, où un robot reproduit une tâche à partir d'un petit nombre de démonstrations sans réentraînement complet du modèle, une approche distincte des politiques VLA entraînées de bout en bout à la manière de Pi-0 ou GR00T N2. L'usage d'un VLM comme juge de qualité de trajectoire rejoint aussi une tendance récente consistant à mobiliser des modèles multimodaux généralistes comme mécanisme d'évaluation plutôt que comme contrôleur direct du robot. Aucun acteur européen n'apparaît dans ces travaux, qui n'annoncent ni partenariat industriel, ni pilote de déploiement, ni calendrier de commercialisation : la "validation monde réel" décrite correspond à des essais de laboratoire, pas à un déploiement en production.

RecherchePaper

1 source