RecherchearXiv cs.RO 21 octobre 2026

JARVIS : des manuels visuels à l'assemblage robotique autonome

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

JARVIS est un benchmark publié sur arXiv (octobre 2026) qui évalue la capacité d'agents robotiques à exécuter un assemblage de bout en bout à partir d'un simple manuel visuel, sans instruction textuelle complémentaire. Il regroupe 236 679 tâches d'assemblage LEGO réparties sur 8 987 scènes, dont une sélection de 50 tâches, JARVIS-v1, destinée à l'évaluation interactive sur robot. Les tâches varient par la complexité structurelle initiale et par l'horizon d'assemblage. Le protocole d'évaluation mesure la précision géométrique, les relations structurelles, l'ordre de construction, la progression partielle et l'achèvement. Les auteurs proposent aussi JARVIS-agentic, un agent qui compose des primitives robotiques en programmes exécutables et s'appuie sur le retour d'exécution pour vérifier et corriger, sans trajectoires spécifiques à la tâche ni mise à jour des paramètres du modèle. Neuf modèles multimodaux et de raisonnement ont été testés. Les primitives orientées tâche améliorent le score moyen, mais les performances chutent nettement quand l'horizon s'allonge.

Pour les intégrateurs et les responsables industriels, ce travail chiffre un écart que les démonstrations masquent souvent : comprendre un schéma de montage ne suffit pas à l'exécuter de façon fiable. Les erreurs d'exécution restent difficiles à rattraper, l'expérience de tâches antérieures aide au démarrage, et la réflexion répétée n'apporte que des gains irréguliers. Cela relativise l'idée qu'un grand modèle de raisonnement, associé à une boucle de vérification, suffirait à résoudre l'assemblage long-horizon sans apprentissage spécifique. Le résumé ne donne ni scores détaillés, ni noms de modèles, ni plateforme robotique : l'ampleur réelle de l'écart reste donc à vérifier dans l'article complet. Il s'agit d'un benchmark de recherche, sans produit ni déploiement associé.

Le contexte est celui d'une course aux modèles vision-langage-action et aux agents embarqués, souvent évalués sur des tâches courtes, dans des conditions choisies par leurs concepteurs. En fournissant un jeu de tâches massif, indépendant de la méthode, avec des mesures de progression partielle, JARVIS cherche à offrir un terrain commun pour comparer approches agentiques et politiques apprises. Le montage de manuels illustrés est proche des cas d'usage d'assemblage industriel, mais le LEGO reste un environnement simplifié. Les suites probables sont l'adoption du benchmark par d'autres laboratoires et des travaux sur la récupération d'erreurs et la perception de l'état évolutif de l'espace de travail.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprendre à construire : assemblage robotique autonome de structures stables sans plans prédéfinis

Des chercheurs proposent un cadre d'assemblage robotique autonome capable de construire des structures stables sans plan architectural prédéfini. Au lieu de suivre un plan figé, la tâche de construction est décrite par des cibles à atteindre et des obstacles à éviter. Le système décide donc lui-même de l'ordre et du placement des éléments. Le module de décision est une politique d'apprentissage par renforcement (RL), entraînée par deep Q-learning avec « successor features », une représentation qui découple la dynamique de l'environnement de la fonction de récompense. Cette approche vise à faciliter le transfert d'une tâche à l'autre. L'évaluation, présentée comme une preuve de concept, porte sur un banc d'essai de 15 tâches d'assemblage 2D en blocs discrets. Des expériences ont aussi été menées sur un montage robotique réel en boucle fermée. Elles indiquent que la méthode fonctionne et tolère le bruit de construction, c'est-à-dire les imprécisions de pose et d'exécution lors de la pose des blocs. Le résumé ne donne ni taux de réussite, ni temps de cycle, ni nombre d'essais réels, ni identification du robot utilisé. L'intérêt tient au déplacement du problème. L'assemblage robotique industriel repose presque toujours sur une séquence connue à l'avance, ce qui limite sa robustesse dès que le terrain ou les pièces s'écartent du modèle. Une politique qui raisonne à partir d'objectifs et de contraintes, et qui corrige en boucle fermée, répond à l'incertitude propre au chantier, à la construction modulaire ou à la préfabrication in situ. Les limites sont toutefois nettes. Les tâches sont en 2D, avec des blocs discrets, loin des charges, des tolérances et des matériaux d'un site réel. Aucune comparaison avec des planificateurs classiques n'est annoncée. Le résultat reste un signal de recherche, sans lien avec un produit, un déploiement ou une démonstration à l'échelle. Ces travaux s'inscrivent dans un mouvement plus large qui remplace les pipelines de planification symbolique par des politiques apprises, qu'il s'agisse de RL ou de modèles vision-langage-action (VLA) pour la manipulation. L'assemblage de structures y reste un terrain moins exploré que la saisie ou le tri. La suite logique est le passage à la 3D, à des éléments hétérogènes et à des géométries plus riches, avec une validation sur des tâches physiques plus nombreuses. Il s'agit de la version 2 d'un preprint arXiv (2602.23934), qui n'a pas encore été publié après relecture par les pairs. Aucun partenaire industriel ni calendrier de pilote n'est mentionné.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Principes de l'autonomie robotique

Un nouveau manuel intitulé "Principles of Robot Autonomy" vient d'être publié sur arXiv (2608.03496v1, début août 2026). L'ouvrage est issu de plusieurs décennies d'enseignement à Stanford et propose une introduction unifiée aux méthodes qui composent les piles logicielles d'autonomie robotique modernes, de la perception à la planification en passant par le contrôle. Chaque chapitre est accompagné de notebooks Jupyter et d'exercices d'implémentation, pensés pour que les lecteurs construisent une intuition pratique en parallèle des fondements théoriques. Le texte s'adresse aux étudiants, ingénieurs et chercheurs qui entrent dans le domaine, et vise explicitement à faire le pont entre la robotique classique (odométrie, SLAM, planification de trajectoire, commande) et ce que les auteurs appellent l'IA physique, c'est à dire les architectures d'apprentissage qui pilotent aujourd'hui les robots déployés sur route, en entrepôt, dans les airs ou en environnement spatial. L'intérêt de ce manuel dépasse le cadre académique. Il acte un changement de statut de l'autonomie robotique, qui n'est plus seulement un sujet de recherche mais un ensemble de méthodes éprouvées sur le terrain, utilisées quotidiennement par des praticiens. Pour les ingénieurs et les décideurs B2B qui recrutent ou forment des équipes robotique, disposer d'un cadre conceptuel commun, couvrant aussi bien les fondamentaux classiques que les briques modernes d'IA physique, répond à un vrai manque : la formation universitaire peine souvent à suivre le rythme d'un secteur où les modèles VLA (vision language action) et les stacks d'autonomie évoluent plus vite que les programmes d'enseignement. Ce manuel s'inscrit dans une lignée de références historiques de la robotique universitaire, à un moment où le secteur connaît une accélération commerciale sans précédent, portée par des architectures d'IA physique et des humanoïdes déployés en usine ou en entrepôt par plusieurs acteurs industriels. Ce contexte de bascule rapide entre recherche et déploiement réel rend d'autant plus utile un ouvrage qui structure les principes fondamentaux plutôt que de courir après chaque nouvelle démonstration. Le texte ne mentionne pas de suite ou de version imprimée prévue au delà de cette publication arXiv.

RecherchePaper

1 source

3arXiv cs.RO

PVRA : un système de vote par points-clés pour l'assemblage robotique

Des chercheurs publient sur arXiv (identifiant 2608.19968v1) un nouveau framework baptisé PVRA, pour Pointwise Key-point Voting Framework for Robotic Assembly, destiné à l'assemblage robotique autonome. Contrairement aux systèmes de vision par ordinateur actuels qui se limitent à la perception d'objets individuels, PVRA repose sur une représentation par points-clés 3D pour apprendre les dépendances entre pièces au sein d'un assemblage progressif. Le système traite en entrée des données RGB-D (couleur et profondeur) d'une scène d'assemblage et produit des sorties directement exploitables pour piloter la manipulation. Les auteurs ont entraîné et évalué leur réseau modulaire sur un jeu de données dédié à l'estimation de pose pour l'assemblage, puis comparé ses performances à des méthodes de référence centrées sur l'objet, à l'aide d'un ensemble élargi de métriques conçues spécifiquement pour les assemblages progressifs. L'article ne précise ni charge utile, ni degrés de liberté, ni temps de cycle, ni site de déploiement: il s'agit d'une contribution de recherche méthodologique, pas d'un produit commercialisé ni d'un pilote industriel. Pour les intégrateurs et les équipes R&D en robotique industrielle, ce travail illustre une limite reconnue de la perception objet par objet: détecter et localiser chaque pièce ne suffit pas à orchestrer un assemblage multi-étapes, où chaque geste dépend de l'état des connexions déjà réalisées. En modélisant explicitement les dépendances d'assemblage plutôt que les seuls objets, PVRA s'inscrit dans une tendance de fond visant à rapprocher la perception robotique du raisonnement séquentiel nécessaire aux tâches de type peg-in-hole, vissage ou emboîtement, courantes en électronique, en automobile et en petite série manufacturière. Si les gains rapportés se confirment au-delà du jeu de données de test, ce type d'approche pourrait réduire la dépendance à des séquences d'assemblage programmées à la main, un frein connu à l'autonomie des cellules robotisées face à la variabilité des produits. Cette publication s'inscrit dans un courant de recherche plus large sur la perception 3D par points-clés pour la manipulation, domaine où les laboratoires universitaires explorent depuis plusieurs années des alternatives aux pipelines classiques de détection d'objets et d'estimation de pose 6D. Les auteurs situent leur contribution après une analyse comparative des travaux existants en perception centrée sur l'objet et en planification d'assemblage, qu'ils jugent insuffisamment reliés entre eux. L'article, classé comme nouvelle soumission sur arXiv, ne mentionne ni partenariat industriel ni feuille de route de déploiement; les prochaines étapes habituelles pour ce type de travaux académiques restent la publication en conférence, la mise à disposition du code et du jeu de données, puis d'éventuelles reprises par des équipes industrielles pour validation sur des cas réels.

RecherchePaper

1 source

4arXiv cs.RO

IDfRA : l'auto-vérification pour la conception itérative en assemblage robotique

IDfRA, un cadre de conception itératif pour l'assemblage robotique, a été publié sur arXiv (version 2 de l'article 2509.16998). Il associe un grand modèle de langage (LLM) qui génère le plan d'assemblage à un modèle vision-langage (VLM) qui évalue le résultat de l'exécution. À partir d'une structure cible et d'une signature partielle de l'environnement, le LLM propose un plan. Le robot l'exécute une seule fois au moment du test, puis le VLM juge l'état obtenu et renvoie un retour qui sert à replanifier. Les auteurs annoncent 73,3 % de précision top-1 en reconnaissabilité sémantique, au-dessus de la référence retenue sur cette métrique, et 86,9 % de taux de réussite de construction. La qualité des conceptions progresse au fil des itérations, mais pas toujours de façon monotone. Une évaluation humaine par paires conforte ces résultats face aux approches alternatives. L'intérêt tient au fait que la conception pour l'assemblage robotique (DfRA) reste très dépendante d'une planification manuelle et de simulations heuristiques, ce qui freine le passage à l'échelle dans les environnements industriels complexes. La plupart des approches à base de LLM supposent un simulateur préconstruit et un modèle du monde fiable. IDfRA évite cette hypothèse : les contraintes physiques sont découvertes en ligne, par l'interaction, ce qui convient mieux aux environnements sous-spécifiés. Pour un intégrateur, la promesse est de réduire le travail de modélisation préalable. Il faut toutefois rester prudent. Il s'agit d'un travail académique, et le résumé ne donne ni la plateforme robotique, ni le nombre d'essais, ni les temps de cycle, ni les tâches concrètes. Il ne dit pas non plus quelle est la référence battue. Le fait que la progression ne soit pas toujours monotone indique que la boucle de vérification reste imparfaite. Les auteurs parlent de « fort potentiel » pour la fabrication non structurée, ce qui relève de l'hypothèse. Aucun déploiement industriel n'est présenté. Ce travail s'inscrit dans le mouvement qui utilise les LLM et les VLM comme planificateurs de haut niveau en robotique, souvent couplés à des simulateurs, et qui se déplace vers des boucles de vérification en conditions réelles. Il se place donc à côté des modèles vision-langage-action (VLA) comme Pi-0 ou Helix, qui visent surtout l'exécution, alors qu'IDfRA cible la conception du plan d'assemblage et son raffinement après exécution. La version 2 de l'article est une révision, sans annonce de pilote ni de calendrier de transfert vers l'industrie. Les prochaines étapes à surveiller sont la validation sur des pièces industrielles réelles, la robustesse face à des erreurs de perception du VLM et la comparaison avec des planificateurs classiques fondés sur la simulation.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source