Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

Route par cinématique, agir par observation : routage d'experts supervisé par cinématique dans un VLA à experts multiples (MoE)

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Le routage d'experts dans les architectures Vision-Language-Action (VLA) augmentées par mixture-of-experts (MoE) échoue souvent car les actions de manipulation présentent une forte hétérogénéité cinématique d'une tâche à l'autre, et parce que le signal cinématique n'est de toute façon pas disponible au moment de l'inférence. Face à ce constat, une équipe de recherche propose KinRT (Kinematics-supervised explicit Routing), qui remplace le routage implicite piloté par l'observation par un dispatching explicite guidé par la cinématique. La méthode regroupe d'abord les trajectoires d'action par clustering cinématique en groupes cohérents, dont les identifiants servent de vérité terrain pour entraîner le routeur ; à l'inférence, ce routeur n'utilise plus que les observations visuo-langagières, via un mécanisme de pont asymétrique qui distille la cinématique apprise pendant l'entraînement dans l'espace des observations. Pour tester la généralisation multi-plateforme de KinRT, les chercheurs ont aussi construit DIYRobot, une plateforme robotique imprimée en 3D coûtant moins de 2 000 dollars. Sur le benchmark RoboTwin, KinRT dépasse les VLA denses comme MoE de plus de 23,26 %, et de 20,27 % sur DIYRobot ; code et plateforme seront open source.

Cette contribution s'attaque à un point de friction connu des architectures MoE appliquées à la robotique manipulatrice : le routeur doit décider quel expert activer sans jamais voir la cinématique réelle du geste, seulement l'image et l'instruction. En prouvant qu'on peut entraîner ce jugement à partir d'un signal cinématique absent au runtime, KinRT répond directement à l'écart entre supervision disponible en entraînement et information disponible en production, un problème central pour tout VLA industriel. Le choix de valider sur une plateforme DIY à moins de 2 000 dollars est aussi un signal fort à destination du secteur académique et des petites équipes robotiques : la généralisation cross-plateforme redevient testable sans budget matériel lourd, ce qui pourrait accélérer la reproductibilité des benchmarks VLA.

Le papier s'inscrit dans la vague de recherche sur les modèles VLA à mixture d'experts, où la spécialisation par expert promet une meilleure scalabilité que les architectures denses, mais où le routage reste le maillon faible en conditions réelles de manipulation. Contrairement à une annonce produit, il s'agit ici d'une contribution scientifique publiée sur arXiv, sans déploiement industriel annoncé : les auteurs prévoient la publication en open source du code et de la plateforme DIYRobot, ce qui ouvrira la porte à des comparaisons indépendantes sur d'autres benchmarks et architectures MoE concurrentes.

Dans nos dossiers

arXiv cs.RO

À lire aussi

CoRE-VLA : vers une modélisation vision-langage-action évolutive et robuste par routage conditionnel d'experts
1arXiv cs.RO 

CoRE-VLA : vers une modélisation vision-langage-action évolutive et robuste par routage conditionnel d'experts

Des chercheurs présentent CoRE-VLA, une nouvelle architecture de modèle vision-langage-action (VLA) conçue pour résoudre un problème concret de déploiement robotique: la gestion de capteurs hétérogènes et potentiellement défaillants. Publié sur arXiv le 3 juillet 2026, le papier propose de traiter la génération d'actions comme un calcul épars conditionné par le contexte, plutôt que par un calcul dense partagé comme dans les VLA classiques. Concrètement, la disponibilité des capteurs active des experts spécialisés par modalité (le papier se concentre sur la profondeur, ou depth, comme capteur auxiliaire représentatif), tandis que l'intention de la tâche route les représentations vers des experts pertinents pour chaque sous-objectif. Les auteurs testent CoRE-VLA sur les benchmarks LIBERO et RoboCasa GR1 Tabletop, ainsi que sur des manipulations réelles à deux bras, et rapportent des performances supérieures à un modèle dense équivalent et à un VLA pré-entraîné de référence, y compris en généralisation zero-shot sur des scénarios non vus à l'entraînement. L'enjeu pratique est réel pour les intégrateurs: la plupart des VLA actuels couplent rigidement la génération d'action à un jeu de capteurs fixe, ce qui les rend fragiles dès qu'un capteur auxiliaire tombe en panne ou qu'un embodiment robotique en est simplement dépourvu par conception. CoRE-VLA promet une dégradation gracieuse sans réentraînement complet, un point clé pour des flottes hétérogènes déployées en usine ou en entrepôt où tous les robots n'ont pas la même instrumentation. C'est un signal de plus que la recherche VLA s'oriente vers la robustesse opérationnelle plutôt que la seule performance en benchmark contrôlé, un décalage régulièrement pointé du doigt entre démonstrations académiques et réalité industrielle. Ce travail s'inscrit dans la lignée des architectures VLA généralistes type Pi-0 ou GR00T N2, mais adresse un angle mort spécifique: l'hétérogénéité capteurs plutôt que la seule diversité des tâches. Il s'agit ici d'une contribution de recherche publiée sur arXiv, sans partenaire industriel ni déploiement annoncé; les prochaines étapes attendues seraient une validation sur davantage d'embodiments réels et une comparaison directe avec les VLA propriétaires déployés en production.

RechercheActu
1 source
PokeNet : apprentissage de modèles cinématiques d'objets articulés à partir d'observations humaines
2arXiv cs.RO 

PokeNet : apprentissage de modèles cinématiques d'objets articulés à partir d'observations humaines

PokeNet, un nouveau framework de recherche présenté dans un article arXiv (2602.02741v2, version révisée), apprend le modèle cinématique complet d'un objet articulé à partir d'une seule démonstration humaine, sans connaissance préalable du nombre ou du type d'articulations. Le système reçoit une séquence d'observations en nuages de points capturant une personne en train de manipuler un objet inconnu (porte, tiroir, appareil à plusieurs axes), et en déduit trois choses simultanément : les paramètres des articulations (position et orientation des axes), l'ordre dans lequel les liaisons doivent être actionnées, et l'évolution de l'état de chaque articulation au fil du temps. Sur un ensemble d'objets variés, y compris des catégories jamais vues à l'entraînement, PokeNet améliore la précision d'estimation des axes et des états articulaires de plus de 27% en moyenne par rapport aux meilleures méthodes existantes, avec des résultats validés à la fois en simulation et en conditions réelles. L'enjeu dépasse la simple prouesse technique : la modélisation d'articulations est une brique de base pour toute manipulation robotique d'objets du quotidien, en amont de l'apprentissage de compétences ou de la planification de mouvements. Les approches précédentes butaient sur plusieurs limites pratiques, à commencer par la dépendance à des priors sur l'objet, l'incapacité à récupérer des articulations occultées qui ne se révèlent que pendant l'interaction, ou le besoin de dizaines d'images multi-vues par objet, difficilement compatible avec un déploiement réel. PokeNet s'attaque aussi à un point souvent négligé : l'ordre des manipulations, crucial pour des objets à plusieurs degrés de liberté comme un lave-vaisselle, où il faut ouvrir la porte avant de pouvoir sortir le panier. Un robot capable d'apprendre ce modèle à partir d'une simple démonstration humaine, sans instrumentation lourde, se rapproche d'un déploiement générique en environnement domestique ou industriel non structuré. Le travail s'inscrit dans la lignée des méthodes de "articulation modeling" qui cherchent à généraliser au-delà des catégories d'objets prédéfinies, un axe de recherche actif en robotique de manipulation ces dernières années. En s'appuyant uniquement sur une observation humaine plutôt que sur une exploration robotique coûteuse en essais, PokeNet ouvre la voie à des pipelines où un robot apprend par observation avant d'agir. Les auteurs ne précisent pas de calendrier d'intégration dans un système robotique complet, mais les résultats en environnement réel suggèrent une maturité suffisante pour des tests d'intégration à court terme sur des plateformes de manipulation existantes.

RecherchePaper
1 source
Une théorie cinétique de la propagation d'information par rencontres dans les systèmes multi-robots
3arXiv cs.RO 

Une théorie cinétique de la propagation d'information par rencontres dans les systèmes multi-robots

Une équipe de chercheurs a publié sur arXiv (arXiv:2606.02296v1) un cadre théorique pour modéliser la propagation d'information dans les essaims de robots mobiles opérant sans connectivité réseau permanente. L'étude aborde le problème via le cas d'usage du suivi de cible (target tracking) : dans ces systèmes, les robots n'échangent des données que lors de rencontres physiques, transformant chaque interaction en un événement de transport d'information. Les auteurs formalisent trois limites structurelles qui gouvernent la performance collective. La première, la limite d'accès, stipule que l'information ne peut coordonner l'équipe que si elle se propage au-delà des robots ayant directement observé la cible. La deuxième, la limite de fraîcheur (staleness), traduit la perte de valeur d'une donnée à mesure que la cible se déplace entre le moment de la collecte et celui de l'utilisation. La troisième, la limite géométrique, correspond au régime de saturation où la vitesse de déplacement de la cible dépasse la capacité de transport d'information du réseau, rendant les améliorations de communication seules sans effet mesurable sur l'erreur de suivi. La validation repose sur des simulations à grande échelle faisant varier la taille de l'équipe, la superficie de la zone d'opération, la portée de communication et la vitesse de la cible. Ce travail apporte une valeur analytique concrète aux concepteurs de systèmes multi-robots déployés dans des environnements dégradés, typiquement la logistique d'entrepôt autonome, la surveillance de périmètre ou les opérations en zone sans infrastructure. La décomposition accès-fraîcheur-géométrie offre aux ingénieurs un outil de diagnostic : avant d'investir dans une augmentation de la portée radio ou de la densité d'agents, il est possible de déterminer quelle limite est effectivement contraignante dans un scénario donné. Le résultat le plus opérationnellement utile est la linéarité locale de la réponse en régime contraint, qui autorise des approximations de conception simples, contrastant avec le comportement non-linéaire observé sur des plages plus larges de paramètres. En pratique, cela signifie qu'un intégrateur AMR ne peut pas simplement extrapoler les performances d'un petit essai pilote à un déploiement à grande échelle sans tenir compte des transitions de régime identifiées ici. Ce papier s'inscrit dans un corpus croissant autour des réseaux robotiques intermittents, un domaine stimulé par les limites des communications sans fil en milieu industriel et la montée en puissance des flottes autonomes hétérogènes. Les approches concurrentes mobilisent généralement soit la théorie des graphes dynamiques (temporal networks), soit les modèles épidémiques pour modéliser la diffusion d'information, tandis que cette contribution emprunte explicitement au formalisme cinétique inspiré de la physique statistique, ce qui en distingue l'angle. Côté acteurs, des laboratoires comme MIT CSAIL, CMU Robotics et ETH Zurich travaillent sur des problématiques connexes de coordination sans infrastructure. En France, des équipes comme celle de l'INRIA sur les systèmes multi-agents embarqués ou les travaux de recherche liés à Exotec sur la coordination de flotte pourraient trouver dans ce cadre des outils théoriques applicables. La prochaine étape naturelle pour ce type de travail est l'intégration dans des boucles de planification de mouvement adaptatives, où la politique de déplacement des robots serait directement optimisée pour maximiser les rencontres informationnellement utiles.

UEDes équipes françaises comme l'INRIA et des industriels comme Exotec pourraient exploiter ce cadre théorique pour dimensionner et diagnostiquer leurs flottes AMR en environnements sans infrastructure réseau permanente, avant de passer à grande échelle.

RecherchePaper
1 source
4arXiv cs.RO 

Explicit guidage cinématique à partir de concepts analytiques pour les modèles vision-langage-action

Une équipe de recherche publie sur arXiv (référence 2607.26513v1) un nouveau module baptisé Concept Expert, conçu pour les modèles Vision-Language-Action (VLA) utilisés en manipulation robotique. Le constat de départ est simple : la plupart des VLA actuels s'appuient uniquement sur des entrées 2D et ignorent la structure tridimensionnelle réelle des objets, ce qui limite leur précision dans les tâches de manipulation fine. Le Concept Expert construit ce que les auteurs appellent des "concepts analytiques exécutables", des sortes de plans programmatiques explicites décrivant chaque objet. Le mécanisme fonctionne en deux temps : avant l'inférence, il exploite des modèles de fondation visuels (VFM) pour estimer les paramètres cinématiques et structurels initiaux d'un objet ; ensuite, pendant la manipulation, le VLA suit et met à jour dynamiquement ces paramètres pour rester aligné avec ce qu'il observe en temps réel. Ces concepts servent ensuite à guider le fine-tuning du modèle, via des récompenses programmatiques denses et un guidage spatial précis. Les auteurs rapportent des gains constants de taux de succès et d'efficacité d'apprentissage, en apprentissage supervisé comme en renforcement. L'intérêt de cette approche pour l'industrie robotique tient à un problème persistant des modèles VLA à grande échelle : leur difficulté à généraliser des manipulations précises sans passer par une compréhension géométrique explicite des objets manipulés. En intégrant une représentation 3D structurée directement dans le pipeline d'apprentissage, plutôt que de compter uniquement sur des corrélations apprises à partir d'images 2D, cette méthode s'attaque frontalement à l'écart entre démonstrations en laboratoire et robustesse en conditions réelles, un point sensible pour les intégrateurs qui déploient des VLA de type Pi-0, GR00T N2 ou Helix sur des tâches industrielles exigeant une précision fine (préhension, insertion, alignement). Si les gains annoncés se confirment sur des bancs d'essai plus larges, cela pourrait renforcer la crédibilité des approches hybrides combinant fondations visuelles 3D et bout-en-bout, plutôt que le tout-apprentissage pur actuellement dominant chez la plupart des labos. Ce travail s'inscrit dans une tendance de fond de la recherche en VLA post-training, où plusieurs équipes cherchent à injecter des a priori structurels (géométrie, physique, cinématique) dans des modèles historiquement entraînés de façon purement data-driven sur des vidéos ou démonstrations téléopérées. Les grands acteurs du secteur, qu'il s'agisse des laboratoires derrière Pi-0 ou GR00T, explorent des voies similaires pour combler le fossé entre performance en démonstration et fiabilité en déploiement réel. La publication, encore au stade de preprint arXiv, ne précise pas de partenariat industriel ni de calendrier de transfert vers des plateformes commerciales ; elle reste pour l'instant une contribution méthodologique dont l'impact concret dépendra de sa reproduction et de son adoption par des équipes travaillant sur des bras robotiques ou des humanoïdes en conditions réelles.

RecherchePaper
1 source