RecherchearXiv cs.RO 21 octobre 2026

Les LLM de pointe entrent dans la robotique : évaluation comparative de plusieurs modèles sur RoboColiseum

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une évaluation comparative publiée sur arXiv (2610.27865) teste quatre grands modèles de langage multimodaux de pointe sur la plateforme RoboColiseum: GPT-6 Astra, GPT-6.1 Sol, Claude Opus 5.5 et Gemini 4 Argon. Les chercheurs ont développé Agent2Act, un harnais de contrôle qui relie chaque modèle à l'environnement via des interfaces communes d'observation, d'exécution d'actions et de retour d'information. L'évaluation couvre quatre pistes: suivi d'instructions, raisonnement spatial, manipulation générale et robustesse. Les quatre modèles affichent le même profil: des scores élevés en suivi d'instructions, trois d'entre eux frôlant la perfection, un raisonnement spatial solide, et une manipulation générale nettement en retrait. Astra mène en suivi d'instructions et en robustesse, tandis qu'Opus domine le raisonnement spatial, la manipulation générale et le classement global. Des études de cas menées avec Astra explorent la coordination du corps entier, la manipulation sur différentes morphologies de robots, la manipulation de précision, les mains dextres et des tâches sur robot réel.

Pour les intégrateurs et décideurs industriels, le résultat central est un écart persistant entre compréhension de la tâche et exécution physique fiable. Un LLM généraliste comprend presque parfaitement ce qu'on lui demande, mais ne le transforme pas encore de façon fiable en gestes. Cela conforte l'idée que le goulot d'étranglement de la robotique pilotée par modèles de fondation se situe dans le contrôle bas niveau et la manipulation, davantage que dans le langage ou la planification. L'étude indique aussi que la conception du harnais (planification, exécution, boucle de retour) influe sur le taux de réussite, le coût de planification et le temps d'exécution. Le choix du modèle ne suffit donc pas: l'architecture d'orchestration pèse autant. Les forces complémentaires des modèles plaident enfin pour des approches multi-modèles plutôt qu'un fournisseur unique.

Quelques réserves s'imposent. Le résumé ne fournit ni taux de réussite chiffrés, ni temps de cycle, ni nombre de tâches, et la part des essais sur robot réel semble limitée à des études de cas qualitatives, la plupart des scores venant a priori d'un environnement simulé. Les classements valent « dans les configurations évaluées » et dépendent du harnais Agent2Act, ce qui limite leur portée générale. Ces travaux s'inscrivent dans la lignée des modèles vision-langage-action spécialisés (Pi-0, GR00T, Helix), qui entraînent directement le contrôle moteur, là où cette étude teste des LLM généralistes utilisés comme cerveau de haut niveau. La comparaison avec ces approches dédiées reste à faire, tout comme la validation à grande échelle sur matériel réel.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Retrouver la vue : évaluation de la vision active physique pour surmonter les occlusions en manipulation robotique

Des chercheurs publient sur arXiv (2609.37292) BAVO-Bench, un benchmark de vision active bimanuelle (Bimanual Active Vision under Occlusion), accompagné d'une politique de contrôle baptisée A-FAR (Active Future-Aware Recovery). Le benchmark contrôle systématiquement la visibilité externe selon trois conditions : Clean (sans occultation), Stage Occlusion (occultation liée à une étape de la tâche) et Random-time Occlusion (occultation à un instant aléatoire). Il permet ainsi d'évaluer à la fois la performance de manipulation et la capacité du robot à retrouver une vue exploitable en déplaçant sa caméra. A-FAR pilote conjointement le point de vue et la manipulation. Elle exprime les observations d'une caméra mobile dans un repère 3D unique centré sur le robot. Elle distille ensuite, depuis un modèle 4D pré-entraîné, la structure relationnelle de la scène et son évolution future. La politique bénéficie donc d'un guidage géométrique anticipatif sans avoir besoin d'observations futures au déploiement. Les auteurs annoncent, sur plusieurs tâches de manipulation, une meilleure robustesse face aux occultations structurées et décalées dans le temps, avec des performances maintenues en conditions propres. Le résumé ne chiffre pas ces gains. Le point de départ est un angle mort des évaluations actuelles. La plupart des benchmarks de manipulation supposent une caméra fixe ou des vues fiables. Ils testent donc peu la façon dont une politique se rétablit quand une observation utile disparaît en cours d'exécution, par exemple derrière un bras, un objet ou un opérateur. Or c'est fréquent en atelier ou en logistique, où les caméras montées sur le robot ou sur des poteaux sont régulièrement masquées. Un cadre reproductible qui sépare occultation liée à la tâche et occultation aléatoire donne aux équipes VLA et imitation learning un moyen comparable de mesurer cette robustesse. Le choix d'un dispositif bimanuel, proche des plateformes de téléopération à bas coût et des humanoïdes, en accroît la pertinence. Il faut toutefois rester prudent : il s'agit d'un travail académique, apparemment évalué en simulation ou en environnement contrôlé, sans déploiement industriel ni chiffres de taux de réussite dans le résumé. Il ne dit rien de l'écart entre démonstration et réalité. Ce travail s'inscrit dans le courant de la perception active et des politiques conditionnées par la géométrie, qui cherche à dépasser les VLA entraînés sur des vues quasi statiques. L'usage d'un modèle 4D pré-entraîné comme « enseignant » relève d'une logique de distillation : la connaissance de la dynamique spatio-temporelle est intégrée à l'entraînement pour éviter un coût de calcul supplémentaire à l'inférence. Les suites logiques sont la publication du code et des données du benchmark, la comparaison avec des politiques généralistes comme Pi-0 ou GR00T, puis la validation sur robot réel avec caméra poignet ou tête mobile. Cette dernière étape déterminera si l'approche dépasse le cadre de l'évaluation académique.

RecherchePaper

1 source

2arXiv cs.RO

SC3-Eval : évaluer les modèles fondation pour la robotique via la génération vidéo auto-cohérente

Une équipe de chercheurs a publié fin juin 2026 SC3-Eval (arXiv:2606.18610), un cadre d'évaluation des politiques de manipulation robotique basé sur la génération vidéo cohérente. Le principe : plutôt que de rouler une politique en conditions réelles, un modèle fondamental vidéo pré-entraîné simule les trajectoires du robot et prédit si la tâche aboutit. SC3-Eval repose sur trois mécanismes de cohérence complémentaires. La cohérence dynamique avant-inverse entraîne simultanément le modèle à prédire les images à partir des actions et à récupérer les actions à partir des images, ancrant les rollouts à un espace d'action physiquement plausible. La cohérence multi-vue oblige le modèle à reconstruire chaque caméra depuis les autres, maintenant la cohérence spatiale sur de longs épisodes. Enfin, à l'inférence, un signal d'incertitude par chunk d'actions interrompt les rollouts dont les images générées divergent des actions demandées. Évalué sur sept politiques vision-langage-action (VLA) réelles, SC3-Eval atteint une corrélation de Pearson de 0,929 avec les résultats terrain et un MMRV de 0,119, surpassant trois baselines vidéo existantes. Ce résultat a une portée pratique immédiate : évaluer une politique de manipulation en conditions réelles est coûteux, lent et difficile à paralléliser. Un corrélat simulé à 0,929 constitue un substitut crédible pour filtrer les candidats politiques avant déploiement physique, réduisant potentiellement les cycles d'itération de plusieurs semaines à quelques heures. Fait notable, SC3-Eval reproduit fidèlement les modes d'échec observés en réel, permettant un diagnostic fin au niveau tâche plutôt qu'un classement agrégé, ce qui est plus actionnable pour un intégrateur. Le cadre se généralise par ailleurs à des tâches hors distribution d'entraînement, un point critique pour les équipes qui développent des politiques généralistes. Ce travail s'inscrit dans la vague d'adoption des modèles VLA commerciaux et de recherche, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix, OpenVLA, dont l'évaluation standardisée reste un goulot d'étranglement reconnu. Les approches alternatives passent par des simulateurs physiques classiques (MuJoCo, Isaac Sim) ou des rollouts réels coûteux ; les world models vidéo comme UniSim ou IRASim avaient amorcé cette direction mais se heurtaient à la dérive autorégressiveet à l'incohérence multi-caméras que SC3-Eval adresse directement. Le code et les données ne sont pas encore publiés au moment de la préprint, ce qui limite l'adoption immédiate. La prochaine étape logique sera de valider la méthode sur des plateformes humanoïdes à plus haute dimensionnalité, où le coût d'évaluation réelle est encore plus prohibitif.

RechercheOpinion

1 source

3arXiv cs.RO

DexJoCo-X : évaluation comparative des représentations d'action pour la manipulation dextère à plusieurs mains

Des chercheurs ont publié sur arXiv (2610.03278) DexJoCo-X, un benchmark et une boîte à outils pour comparer, dans un cadre contrôlé, les représentations d'actions utilisées en manipulation dextre multi-mains. Le protocole couvre sept mains dextres représentatives, six tâches (mono-bras et bimanuelles) et 2 100 démonstrations équilibrées. Il impose des scènes, des critères de succès et des interfaces d'exécution communs. Il propose aussi des mappings gant-vers-main redessinés, ainsi qu'un pipeline automatisé qui étend des démonstrations validées à des scènes randomisées. Trois modèles sont testés : π0.5, Ego-Pi et Being-H0.5. Étendre π0.5 à une sortie bimanuelle de 80 dimensions donne un succès proche de zéro. Ego-Pi conserve la tête d'action pré-entraînée grâce à une prédiction entrelacée et fonctionne en multi-tâche pour une main donnée, mais échoue en entraînement conjoint sur les sept mains. Being-H0.5 réunit pré-entraînement cross-embodiment, espace d'action unifié et experts propres à chaque morphologie, et une seule politique pilote alors les sept mains. Dans cette architecture, des « slots d'action » alignés sur les fonctions atteignent 47,7 % de succès moyen. Les coordonnées natives font 47,0 % et DexLatent 33,1 %. Le résultat contredit l'idée qu'il suffirait de concaténer ou d'élargir l'espace d'action d'un VLA existant pour couvrir de nouvelles mains. L'échec quasi total de π0.5 à 80 dimensions montre que la dimension de sortie n'est pas un simple paramètre à augmenter. Pour les fabricants de mains dextres et les intégrateurs, la perspective d'une seule politique partagée entre morphologies reste ouverte, mais elle dépend de la combinaison pré-entraînement, architecture et représentation. Un changement de coordonnées seul ne l'apporte pas. L'écart entre slots fonctionnels (47,7 %) et coordonnées natives (47,0 %) est minime, et les auteurs ne donnent pas de dispersion dans le résumé. Il est donc prudent de n'y voir qu'un avantage marginal. Le chiffre le plus net est l'infériorité de DexLatent (33,1 %). Surtout, un succès moyen proche de 48 % montre que le problème est loin d'être résolu pour un usage industriel. Le travail répond à une prolifération de mains dextres qui rend peu réaliste la collecte de données et l'entraînement séparés pour chaque morphologie. Jusqu'ici, les études cross-embodiment variaient en même temps les mains, les tâches, les jeux de données et les interfaces de contrôle, ce qui empêchait d'isoler l'effet de la représentation, du pré-entraînement et de l'architecture. DexJoCo-X vise à combler ce manque. Il s'inscrit dans la famille des politiques VLA de type π0.5, avec Ego-Pi et Being-H0.5 comme variantes testées. Il s'agit d'un benchmark de recherche, sans produit ni déploiement réel annoncé, et le résumé ne précise pas si les résultats sont obtenus en simulation ou sur matériel. La suite logique serait l'adoption du protocole par d'autres équipes pour comparer de nouvelles architectures à action unifiée.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Vers des métriques fondées sur les données pour l'évaluation comparative de la navigation sociale des robots

Une équipe de recherche a publié une métrique d'évaluation entièrement pilotée par les données pour la navigation robotique en environnement social, baptisée SN26. Le travail s'appuie sur un jeu de données de 4427 trajectoires, dont 182 enregistrées sur des robots réels et 4245 générées en simulation, notées ensuite par des évaluateurs humains selon des critères de qualité et d'acceptabilité sociale. Après un contrôle qualité des annotations, 4402 trajectoires notées ont été retenues pour entraîner le modèle. Les auteurs présentent des résultats qualitatifs et quantitatifs, dont la perte de test obtenue, une comparaison directe avec les métriques manuelles utilisées jusqu'ici dans le domaine, ainsi qu'une étude d'ablation détaillant la contribution de chaque composante. L'ensemble des données, du code et des poids du modèle a été rendu public. Cette publication répond à un problème concret pour les équipes qui développent des robots mobiles autonomes destinés à évoluer parmi des humains, entrepôts, hôpitaux, espaces commerciaux : l'absence de métrique standardisée et fiable pour juger si une trajectoire de navigation est socialement acceptable. Jusqu'ici, les métriques reposaient sur des règles conçues à la main, distance minimale aux piétons, vitesse, fluidité, qui peinent à capturer la perception humaine réelle du confort ou de l'intrusion. Une métrique apprise à partir de données réelles et d'annotations humaines pourrait devenir un outil de référence pour comparer objectivement des politiques de navigation, y compris celles entraînées par apprentissage par renforcement, et accélérer le passage de la démonstration en simulation au déploiement en conditions réelles, un des points de friction classiques du secteur robotique. Le sujet s'inscrit dans un effort collectif de la communauté de recherche en navigation sociale, où plusieurs benchmarks et simulateurs concurrents coexistent sans consensus sur la métrique d'évaluation à privilégier. En rendant public le dataset, le code et les poids du modèle SN26, les auteurs cherchent explicitement à fournir une base commune réutilisable par d'autres laboratoires et industriels, plutôt qu'un outil propriétaire fermé. Les prochaines étapes attendues concernent l'élargissement du dataset à davantage de trajectoires réelles et l'adoption de cette métrique par d'autres équipes pour valider sa généralisation au-delà du corpus initial.

RecherchePaper

1 source