RecherchearXiv cs.RO 22 octobre 2026

Généralisation des robots au-delà du volume : la voie de la diversité grâce aux capacités zero-shot

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent, dans une prépublication arXiv (2610.29829), de repenser la généralisation « zéro-shot » des robots polyvalents, c'est-à-dire leur capacité à traiter des tâches, des objets et des environnements absents de l'entraînement. Le texte formalise cette capacité comme la couverture de la distribution de déploiement. Il montre que multiplier les échantillons issus des mêmes collecteurs ne réduit que lentement la zone « non vue », alors que chaque nouveau contributeur peut l'étendre. Sur le plan technique, les auteurs avancent un espace latent partagé pour les actions robotiques, qui combine alignement multimodal, augmentation générative et apprentissage avec étiquettes bruitées. Côté données, ils misent sur une communauté de développeurs qui construisent des applications sur un robot standard et accessible, baptisé Origami. L'article se clôt sur une hypothèse testable et un protocole d'évaluation reliant le succès zéro-shot sur robot réel à la diversité des données fournies. Il s'agit d'une proposition conceptuelle : le résumé ne mentionne ni résultat expérimental, ni nombre de degrés de liberté, ni charge utile, ni prix, ni site de déploiement pour Origami.

L'enjeu touche à un point sensible du secteur. Les modèles vision-langage-action (VLA) actuels reposent largement sur la collecte payée, menée par quelques équipes bien financées, qui produit beaucoup de volume mais peu de variété. Si l'argument des auteurs tient, empiler des milliers d'heures de téléopération dans les mêmes cellules et avec les mêmes opérateurs aurait des rendements décroissants pour la généralisation. Pour un intégrateur ou un décideur industriel, cela expliquerait l'écart entre démonstrations en conditions maîtrisées et déploiement en environnement ouvert. Le cadre fournit aussi une grille de lecture : demander à un fournisseur la diversité de ses données, et pas seulement leur volume. Il faut toutefois rester prudent, car l'analyse de couverture est théorique et l'hypothèse n'est pas encore validée sur robot réel. Le protocole d'évaluation proposé est justement ce qui permettra de la tester.

Le raisonnement transpose à la robotique ce qui s'est produit en IA numérique, où les capacités zéro-shot ont progressé avec la diversité des données, souvent issues du crowdsourcing. La robotique a suivi une voie différente, portée par des acteurs comme Physical Intelligence, Figure, Tesla ou NVIDIA, avec des jeux de données propriétaires collectés par des équipes salariées. Des initiatives ouvertes de partage de données existent, mais elles restent minoritaires. La proposition Origami suppose qu'un robot standard, abordable et largement adopté finisse par exister, ce qui reste à démontrer : sans base installée, la communauté de contributeurs ne se forme pas. La suite logique serait la publication d'une expérimentation chiffrée liant diversité des contributeurs et taux de succès zéro-shot. Tant qu'elle n'existe pas, le texte relève d'une feuille de route de recherche et non d'un produit livré.

Dans nos dossiers

IA physique & VLA Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Insertion robotique généralisable grâce aux modèles du monde

Une équipe de recherche décrit, dans un article publié sur arXiv en septembre 2026 sous le titre "Generalizable Robotic Insertion with World Models" (identifiant 2609.28258v1), un système d'insertion robotique généraliste construit autour d'un modèle du monde (world model) entraîné sur un seul réseau couvrant jusqu'à 90 tâches d'insertion différentes, portant sur des pièces aux géométries variées. Le modèle combine les données proprioceptives du bras robotique avec les images brutes issues d'une caméra montée sur le poignet. Sur des objets totalement inédits, dont la géométrie n'a jamais été vue pendant l'entraînement, le système atteint un taux de réussite de 56% en zero-shot, contre seulement 7% pour une base de référence model-free entraînée dans les mêmes conditions. Les chercheurs montrent aussi que la performance progresse à mesure que le nombre d'objets inclus dans le jeu d'entraînement augmente, signe d'une bonne scalabilité. Un fine-tuning du modèle généraliste sur des objets exclus de l'entraînement initial améliore par ailleurs nettement l'efficacité en données par rapport à un entraînement from scratch, et dépasse parfois ses performances asymptotiques. Ce résultat s'attaque à un goulot d'étranglement connu de l'assemblage robotique en forte mixité de références: les approches actuelles, même très performantes, reposent sur des politiques spécialisées entraînées pièce par pièce, ce qui rend le déploiement sur une nouvelle référence lent et coûteux en ingénierie. Un système capable de généraliser à des pièces jamais vues changerait potentiellement l'équation pour les intégrateurs et les lignes à forte variabilité, en réduisant le travail de reprogrammation à chaque changement de produit. Les auteurs présentent leur travail comme le premier système capable d'assembler des objets inédits de façon entièrement pilotée par les données, sans modélisation géométrique explicite préalable, ce qui alimente le débat sur la capacité réelle des architectures génériques à tenir la charge en manipulation fine, un terrain où l'écart entre démonstration et fiabilité industrielle reste habituellement large. Ce travail s'inscrit dans la tendance de fond de la robotique de manipulation, où la recherche cherche à remplacer les politiques spécialisées task-specific par des modèles généralistes transférables d'un objet ou d'une tâche à l'autre, dans la lignée des efforts en cours autour des architectures vision-langage-action. Il reste à ce stade un résultat de recherche publié en preprint, sans partenaire industriel cité, ni site de déploiement, ni calendrier de commercialisation: les auteurs parlent d'une étape significative vers des systèmes d'assemblage généralisables et scalables, formulation à lire comme un jalon scientifique plutôt qu'une annonce produit. Les suites attendues pour ce type d'approche sont l'extension à davantage de tâches et de géométries, ainsi qu'une validation en conditions de production réelles, où robustesse et temps de cycle devront être mesurés au-delà des benchmarks de laboratoire.

RecherchePaper

1 source

2arXiv cs.RO

Le jeu de l'imitateur : évaluer la capacité d'imitation des robots au-delà de la prédiction d'action

Un benchmark baptisé « The Imitator Game » évalue en quatre niveaux (L0 à L3) la capacité d'un robot à imiter l'intention d'une démonstration humaine, et non son simple mouvement, en écartant progressivement la scène du robot de celle de la démonstration. L'étude s'appuie sur IG-10K, le plus grand jeu de données humain-robot appairé et aligné par environnement à ce jour : plus de 20 000 épisodes couvrant 50 tâches et 6 domaines, en réel comme en simulation. Les auteurs publient aussi Imitator Arena, une plateforme ouverte d'évaluation humaine en aveugle par comparaison A/B. Sur neuf modèles vision-langage-action testés, les performances restent stables de L0 à L2 puis s'effondrent à L3 : aucun ne dépasse 13% de réussite en zero-shot sur des tâches inédites, malgré des gains nets après un fine-tuning sur seulement 10 démonstrations appariées. Le point de rupture identifié est la « substitution fonctionnelle » : atteindre le même objectif via un objet ou un outil différent de celui vu en démonstration, plus déterminante dans l'effondrement des scores que la simple variation visuelle du décor. Pour les intégrateurs et équipes robotique, le résultat tempère l'idée que les politiques vision-langage-action actuelles comprennent réellement une tâche : elles semblent surtout rejouer des trajectoires proches de ce qu'elles ont observé, sans transfert vers une affordance différente. Le plafond de 13% en zero-shot confirme l'écart persistant entre démonstrations soignées et généralisation réelle ; le protocole d'évaluation en aveugle d'Imitator Arena vise à limiter les biais de sélection des vidéos de démonstration, une critique récurrente adressée aux annonces du secteur. Ce travail s'inscrit dans la vague des modèles vision-langage-action qui apprennent des tâches robotiques à partir de vidéos humaines plutôt que de téléopération coûteuse, une piste suivie par plusieurs laboratoires de robotique généraliste. En décomposant l'évaluation en quatre niveaux plutôt qu'en un score global agrégé, les auteurs cherchent précisément à localiser où l'apprentissage par imitation cesse de fonctionner. Le site du projet et l'accès à Imitator Arena sont ouverts sur imitator-game.github.io, pour que la communauté y soumette et compare ses propres modèles. Ce gain rapide avec un minimum de données ouvre une piste concrète pour de futurs déploiements : combiner pré-entraînement à grande échelle sur données appariées et calibration légère sur site.

RecherchePaper

1 source

3arXiv cs.RO

Au-delà de la prédiction du futur : le débruitage comme adaptation générative pour le contrôle des robots

Des chercheurs publient sur arXiv (arXiv:2609.28339v1) une méthode baptisée NowWAM pour entraîner des politiques de contrôle robotique à partir de Diffusion Transformers (DiT) pré-entraînés sur de la génération d'images et de vidéos. Plutôt que de prédire des images futures pour transférer ce prior génératif vers le contrôle, comme le font la plupart des approches existantes, NowWAM débruite l'observation courante et prédit les actions du robot à partir du même flux visuel, sans cible visuelle future séparée. Sur le benchmark de simulation LIBERO-Plus, avec un backbone FLUX2-Klein, la méthode atteint 87,7 % de réussite, soit 6,1 points de plus qu'une base entraînée avec prédiction du futur, tout en divisant par deux le nombre de tokens visuels d'entraînement (784 à 392) et en réduisant le temps par étape de 2,85 à 1,63 seconde, un gain de vitesse de 1,8x. Avec un backbone texte-vers-image pur, Z-Image, sans capacité de génération vidéo ni d'édition d'image, NowWAM atteint 87,8 %. Le résultat central du papier est que restreindre l'entraînement au seul point d'arrivée débruité dégrade nettement la robustesse, alors que remplacer la cible future par la cible présente ne change quasiment rien aux performances. Cela suggère que ce n'est pas la prédiction du futur en tant que telle qui rend utile le prior génératif des DiT pour le contrôle, mais la trajectoire de débruitage elle-même, utilisée comme interface d'apprentissage. Pour le secteur des politiques robotiques de type VLA (vision-language-action), bâties sur des bases génératives comparables à celles derrière Pi-0 ou GR00T N2, ce travail remet en cause l'hypothèse répandue selon laquelle un module de prédiction vidéo du futur serait nécessaire pour exploiter un prior génératif. Il ouvre aussi une piste d'efficacité concrète: moitié moins de tokens visuels et un temps de calcul par étape quasi divisé par deux, un enjeu direct pour le contrôle temps réel embarqué. Ce travail s'inscrit dans la tendance à construire des politiques de contrôle sur des DiT pré-entraînés à grande échelle, une lignée qui inclut des modèles comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, généralement adaptés via prédiction visuelle du futur. NowWAM se positionne comme une alternative de co-entraînement plus économe, comparée sous conditions contrôlées à une base "future prédiction" sur LIBERO-Plus, un environnement de simulation standard pour la manipulation, et non un déploiement sur robot réel. Les auteurs montrent que l'adaptation au contrôle ne dépend pas d'un backbone spécialisé en vidéo ou en édition d'image, élargissant les bases génératives exploitables en robotique. Publié en preprint, l'article ne mentionne aucun déploiement industriel ni partenariat commercial; ses conclusions restent à confirmer au-delà du benchmark simulé.

RechercheActu

1 source

4arXiv cs.RO

Grands modèles de récompense : génération de récompenses robotiques en ligne et généralisable grâce aux modèles vision-langage

Des chercheurs proposent les Large Reward Models (LRM), un cadre qui transforme des modèles vision-langage (VLM) de base en générateurs de récompense image par image, destinés à affiner des politiques de manipulation robotique. Le VLM de pointe retenu est spécialisé sur un jeu de données multi-sources : trajectoires de robots réels, interactions humain-objet et environnements de manipulation simulés. Contrairement aux approches qui évaluent les trajectoires a posteriori, les LRM exposent trois interfaces de récompense à partir des seules observations visuelles : estimation de progression, détection d'achèvement de la tâche et comparaison contrastive temporelle. Partant d'une politique apprise par imitation (IL), les auteurs utilisent ces signaux pour guider un affinage par PPO sur des tâches de manipulation à long horizon non vues pendant l'entraînement. La récompense de progression s'impose comme le meilleur signal en ligne sans information privilégiée : elle améliore la politique IL de référence et réduit l'écart avec les récompenses « privilégiées » issues de l'état interne de l'environnement. Côté matériel réel, elle sert à pondérer un clonage comportemental (behavioral cloning) selon la progression, sur quatre tâches de manipulation et deux plateformes robotiques, avec un gain sur le fine-tuning supervisé (SFT) classique dans les quatre cas. Le résumé ne donne ni modèle de VLM, ni taux de réussite chiffrés, ni noms de robots. L'enjeu est celui d'un goulot d'étranglement bien connu : l'apprentissage par renforcement (RL) peut améliorer les politiques de manipulation, mais écrire une fonction de récompense à la fois sémantiquement pertinente et réutilisable d'une tâche à l'autre reste coûteux, et se fait aujourd'hui surtout à la main, tâche par tâche. Si ces résultats se confirment, un VLM spécialisé pourrait servir de récompense générique, ce qui réduirait l'ingénierie de récompense pour les intégrateurs et ouvrirait la voie à une auto-amélioration des robots en déploiement, sans instrumentation de la scène. Des réserves s'imposent : l'écart avec les récompenses privilégiées est réduit, pas comblé ; la validation réelle ne porte que sur quatre tâches, et sur du clonage comportemental pondéré plutôt que sur du RL en ligne sur robot physique. Le travail relève de la recherche (preprint arXiv, version 3), sans produit ni déploiement industriel. Ces travaux s'inscrivent dans la montée des modèles de fondation pour la robotique, des VLA (vision-langage-action) comme Pi-0 ou GR00T aux VLM utilisés comme juges ou générateurs de récompense. Les approches précédentes de récompense par modèle de langage ou de vision restaient souvent limitées à une évaluation après coup, ce que les LRM cherchent à dépasser avec un signal exploitable en ligne. La suite logique serait de tester ces récompenses en RL directement sur robot réel, sur un plus grand nombre de tâches, et de mesurer leur robustesse face aux erreurs d'estimation de progression, qui peuvent être exploitées par la politique. Le résumé ne cite aucun acteur européen ni partenaire industriel.

RecherchePaper

1 source