RecherchearXiv cs.RO 10 septembre 2026

Conditionnement géométrique dans un SLM incarné : contrôles d'entraînement et diagnostics de robustesse d'un modèle hybride 0,8 milliard de paramètres

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude publiée sur arXiv (2609.09213) teste un modèle de langage hybride de 0,8 milliard de paramètres adapté à la manipulation robotique, avec 6,2 millions de paramètres entraînés. Six configurations de conditionnement géométrique sont comparées sur trois tâches du benchmark LIBERO-Spatial, sur trois graines aléatoires et 540 essais de validation. Conditionner les portes de décroissance récurrentes avec des incréments géométriques réels donne 28,9% de réussite, contre 36,7% quand ces mêmes incréments sont mélangés à l'entraînement et 24,4% sans géométrie explicite ; un adaptateur par jetons utilisant les mêmes incréments obtient 27,8% (résultat non concluant selon les graines) et un conditionnement par horloge de jetons chute à 11,1%, une graine ne convergeant même pas. Une politique fondée sur des coordonnées relatives à l'état conserve par ailleurs 7 réussites sur 10 après un changement de référentiel, contre 3 sur 20 au maximum pour les quatre politiques visuelles testées, après un simple déplacement de 5 centimètres de l'objet.

Ce résultat contredit une hypothèse répandue dans la recherche sur les politiques vision-langage-action, où l'ajout de signaux géométriques explicites est censé améliorer la généralisation spatiale des robots manipulateurs, à l'heure de modèles comme GR00T N2, Pi-0 ou Helix. Que des incréments mélangés, donc vidés de leur information, surpassent la version correctement alignée suggère que l'architecture testée n'exploite pas vraiment la géométrie fournie, ou que ce signal agit surtout comme un bruit régularisant plutôt qu'une donnée réellement utilisée. Le contraste entre la résistance au changement de référentiel et l'effondrement quasi total des politiques visuelles dès qu'un objet bouge de 5 cm rappelle aux intégrateurs et décideurs qu'un bon score de benchmark ne garantit en rien la robustesse d'une politique de manipulation en conditions réelles.

LIBERO-Spatial est un benchmark académique de référence pour évaluer le raisonnement spatial des politiques de manipulation, et les 6,2 millions de paramètres entraînés sur un socle de 0,8 milliard situent cette étude dans une logique d'adaptation légère plutôt que dans la course aux modèles fondation de plusieurs milliards de paramètres. Aucune entreprise ni déploiement industriel n'est associé à ces travaux : il s'agit d'une soumission académique nouvelle sur arXiv, sans produit commercialisé ni pilote terrain annoncé. Les auteurs publient les enregistrements d'épisodes, les analyses détaillées par graine et le code de génération des figures, et présentent l'écart entre invariance aux coordonnées et généralisation à un agencement physique réel comme un problème encore ouvert, appelant à de nouveaux travaux plutôt qu'à un déploiement immédiat.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

IA incarnée : conditionnement géométrique explicite des escaliers pour une locomotion humanoïde robuste

Des chercheurs ont publié sur arXiv (2605.09944) un cadre de conditionnement géométrique explicite pour la montée d'escaliers par robot humanoïde. Le système extrait trois paramètres compacts depuis la perception : la hauteur de marche, la profondeur de marche, et l'angle de lacet courant par rapport au cap du robot. Ces paramètres conditionnent directement une politique de locomotion entraînée par Proximal Policy Optimization (PPO), permettant une modulation proactive de la hauteur d'enjambée et des caractéristiques de foulée selon la géométrie de l'escalier. Validé sur le Unitree G1, humanoïde à 23 degrés de liberté de Unitree Robotics, le système a enchaîné 33 marches consécutives en extérieur sans défaillance lors des expériences en conditions réelles. Des tests en simulation confirment par ailleurs une généralisation à des hauteurs de marches hors de la distribution d'entraînement. L'intérêt de l'approche tient au choix de représentations explicites et interprétables plutôt que des encodages latents haute dimension. Les politiques de locomotion actuelles s'appuient généralement sur du feedback proprioceptif aveugle ou des représentations implicites du terrain, ce qui limite leur capacité à anticiper les ajustements de gait face à des géométries non vues, problème central du sim-to-real gap. En conditionnant la politique sur des paramètres lisibles par un ingénieur, le système peut moduler proactivement la hauteur d'enjambée avant le contact, là où une représentation opaque réagirait après coup. Pour un intégrateur ou un COO logistique, cela se traduit par une robustesse prédictive accrue dans des environnements réels non maîtrisés, sans instrumentation supplémentaire des escaliers. Le Unitree G1, commercialisé depuis 2024 à partir de 16 000 USD, s'est imposé comme plateforme de référence pour la recherche en locomotion humanoïde grâce à sa disponibilité et son prix d'accès. Unitree concurrence directement Agility Robotics (Digit), Boston Dynamics (Atlas) et des startups comme Figure ou 1X sur la capacité à opérer dans des espaces tertiaires et industriels non modifiés. La traversée d'escaliers reste un verrou opérationnel clé pour les déploiements logistiques et de services, segment où des acteurs européens comme Wandercraft et Enchanted Tools opèrent sur des créneaux voisins mais distincts. L'article, soumis en preprint sans revue par les pairs à ce stade, ne fournit pas de comparaison quantitative avec d'autres politiques sur le même matériel, ce qui limite l'évaluation rigoureuse des gains réels.

UELa traversée d'escaliers étant un verrou opérationnel clé pour les déploiements en espaces non modifiés, cette avancée fixe un niveau de référence que des acteurs européens comme Wandercraft et Enchanted Tools devront intégrer dans leur feuille de route locomotion.

RecherchePaper

1 source

2Pandaily

SenseTime met en open source SenseNova-RoboRSI, un cadre d'IA incarnée, et un modèle « cerveau » de robot de 27 milliards de paramètres

SenseTime a mis en open source SenseNova-RoboRSI, un cadre d'évaluation pour systèmes d'IA incarnée, ainsi qu'un modèle embarqué de 27 milliards de paramètres, SenseNova-RoboRSI-27B-Preview. Cette publication fait suite à une étude où l'entreprise a testé le grand modèle GPT-6-Astra sur 12 benchmarks de robotique en simulation et sur 8 robots physiques. Selon SenseTime, en donnant au modèle accès à des démonstrations d'entraînement et en relevant les limites de pas jusqu'à 10 fois les réglages officiels, GPT-6-Astra sature les benchmarks LIBERO et SIMPLE et atteint 81,9 % de réussite sur RoboDojo. Neuf tâches RoboDojo ratées lors des cinq essais ont toutes été réussies cinq fois sur cinq dès lors que le modèle pouvait continuer à interagir. Le coût est lourd : empiler des bols a demandé environ 131 minutes et 19 dollars d'inférence estimés, et placer un stylo dans un pot 263 minutes et environ 55 dollars. Le modèle reste faible sur les tâches à long horizon, transfère mal ses compétences d'une tâche à l'autre et peine avec les objets déformables et le contrôle fin sur robot réel. Le meilleur couplage testé, un modèle de raisonnement lent associé à un modèle d'action rapide, atteint 54 % de réussite sur 42 tâches RoboDojo avec une boucle fermée vérifiant chaque résultat. Côté outillage, chaque benchmark est empaqueté avec ses dépendances dans une image Docker distincte, accessible via une API HTTP unifiée qui expose l'interaction avec l'environnement et le scoring natif. Une évaluation de bout en bout se lance depuis un fichier de configuration, sans installer chaque simulateur à la main. Le modèle 27B affiche 26,13 sur RoboDojo (20,83 % de réussite), plus de 90 sur LIBERO-Pro, et fait passer RoboCasa365 de 26,0 % à 46,5 % tout en réduisant de 73 % la consommation de tokens. Pour les intégrateurs et décideurs, l'intérêt tient moins au modèle qu'à ce que l'étude révèle sur l'écart entre démonstration et réalité. Un modèle généraliste peut résoudre des benchmarks saturés si on lui laisse du temps, des essais et des exemples, mais au prix de plusieurs heures et de dizaines de dollars par tâche élémentaire, ce qui est incompatible avec un temps de cycle industriel. Les points faibles identifiés (horizon long, objets déformables, précision fine) correspondent précisément aux cas d'usage d'assemblage et de manutention qui comptent en production. Le résultat de 54 % en architecture hybride lent/rapide, proche des approches à deux systèmes déjà explorées dans le secteur, suggère que la fiabilité vient de la boucle de vérification autant que du modèle lui-même. L'argument de SenseTime, selon lequel le temps de réflexion doit compter comme du temps réel (une poêle continue de chauffer pendant que le modèle délibère), est pertinent pour les futurs benchmarks. Il faut toutefois rester prudent : tous les chiffres proviennent des tests internes de SenseTime et aucun n'a été vérifié de façon indépendante. Le facteur de coût annoncé, un cinquantième de celui de GPT-6-Astra, compare un modèle spécialisé à un modèle généraliste sous budget étendu, et le score de 20,83 % sur RoboDojo reste modeste. Cette publication s'inscrit dans la montée en puissance des acteurs chinois de l'IA incarnée, qui multiplient les ouvertures de modèles et d'outils d'évaluation face aux approches de Physical Intelligence (Pi-0), de NVIDIA (GR00T) ou de Figure (Helix). SenseTime, déjà connu pour sa famille SenseNova, a récemment présenté SenseNova U1.5 en 8B-MoT pour la vision unifiée native, tandis qu'Infinigence AI a ouvert APXInf pour l'inférence embarquée en périphérie, signe d'un écosystème qui se structure autour de l'évaluation reproductible et de l'efficacité. Le modèle est publié en préversion et aucun déploiement industriel ni calendrier de pilotes n'a été annoncé. Pour les équipes de recherche, la valeur immédiate réside dans l'infrastructure Docker et API unifiée, qui peut réduire le coût de comparaison entre modèles, y compris pour les laboratoires européens.

UEPas d\'impact direct sur la France/UE

RechercheOpinion

1 source

3arXiv cs.RO

Robust-WAM : concilier préentraînement génératif et anticipation sémantique dans les modèles monde-action

Des chercheurs présentent Robust-WAM, une méthode de post-entraînement destinée aux World-Action Models (WAM), ces modèles qui adaptent des générateurs vidéo pré-entraînés (VGM) pour prédire les actions d'un robot à partir de flux visuels. Le papier, publié sur arXiv sous la référence 2608.05903v1, part d'un constat technique précis: la plupart des WAM s'appuient sur un espace latent de variational autoencoder (VAE), optimisé pour la reconstruction pixel par pixel, ce qui rend la prédiction d'actions fragile dès que l'apparence visuelle change (éclairage, texture, angle de caméra). Des travaux récents avaient contourné le problème en construisant des WAM dans un espace latent sémantique, plus robuste aux变... aux variations d'apparence, mais incapables de profiter du pré-entraînement à grande échelle réalisé uniquement dans l'espace VAE. Robust-WAM propose de garder le chemin génératif basé VAE tout en ajoutant un objectif léger d'alignement sémantique prospectif sur le flux d'actions: des tokens de requête apprenables captent la sémantique des scènes futures en alignant leurs états cachés sur les représentations sémantiques des images futures réelles, avec un encodage positionnel calé sur les tokens d'action correspondants pour garantir la correspondance temporelle. L'enjeu dépasse la seule prouesse technique. Les modèles VLA et WAM affichent souvent de bonnes performances en conditions contrôlées mais se dégradent nettement face à des variations visuelles hors distribution, un frein connu au déploiement industriel de robots hors laboratoire. En montrant qu'on peut conserver les bénéfices du pré-entraînement massif sur vidéo tout en gagnant en robustesse, sans sacrifier les performances en distribution, ce travail répond directement à l'écart souvent pointé entre démonstrations impressionnantes et fiabilité réelle sur le terrain. Robust-WAM s'inscrit dans la lignée des travaux qui détournent les modèles de génération vidéo grand public vers le contrôle robotique, plutôt que de concevoir des architectures dédiées. Il se positionne comme une brique de post-entraînement compatible avec plusieurs WAM existants, testée sur des benchmarks de simulation hors distribution et sur un banc robotique réel, avec des gains de taux de réussite constatés sur plusieurs modèles de référence.

RechercheActu

1 source

4arXiv cs.RO

AtomEgo : intégration de la vision égocentrique dans le pré-entraînement des modèles fondation pour l'IA incarnée

Une équipe de recherche présente AtomEgo, une étude systématique sur l'entraînement conjoint de modèles fondation robotiques à partir de vidéo égocentrique humaine et de démonstrations robotiques, déposée sur arXiv sous la référence 2609.21461. Le corpus assemblé représente environ 2 659 heures de vidéo égocentrique, traitées via un pipeline de données conçu pour passer à l'échelle. Les auteurs testent trois paradigmes sur des architectures vision-langage-action (VLA) et des modèles monde-action : co-entraînement conjoint avec des têtes d'action spécifiques par domaine, transfert progressif ego-vers-robot par alignement d'embodiment, et modélisation conjointe vidéo-action. Ces approches sont évaluées par des expériences multi-tâches sur robots réels et par une analyse de représentation cross-embodiment conditionnée par le langage. Le résultat central tient en une formule simple : le gain de capacité résulte de l'échelle des données multipliée par la qualité de leur alignement. Les données humaines égocentriques améliorent la généralisation des robots, mais seulement si leur intégration est alignée avec l'espace d'action robotique, pas par simple accumulation de volume. Ce constat tempère une hypothèse répandue dans le secteur, celle qui veut que les modèles VLA, à l'image de Pi-0, GR00T N2 ou Helix, comblent le manque de démonstrations robotiques réelles en aspirant des volumes massifs de vidéo humaine issue d'internet. Pour les intégrateurs et laboratoires qui bâtissent des pipelines de pretraining, le message est opérationnel : la méthode d'alignement compte davantage que le volume brut de vidéo, ce qui questionne le narratif du scaling pur comme solution suffisante au problème des données. Ce travail s'inscrit dans la course des laboratoires et industriels de la robotique humanoïde et manipulatrice à exploiter des sources de données alternatives face à la rareté des démonstrations robotiques réelles, coûteuses et lentes à collecter comparées aux corpus vidéo humains disponibles à grande échelle. AtomEgo reste à ce stade une publication de recherche non encore revue par les pairs, et non un produit ou pipeline commercial déployé, ce qui la distingue des annonces d'entreprises comme celles associées à Figure 03, Optimus ou aux modèles GR00T N2 de Nvidia. Les auteurs présentent leur pipeline et leurs trois paradigmes comme un cadre reproductible destiné à guider les prochains efforts de pretraining ego-robot à grande échelle, sans annoncer de calendrier de déploiement industriel ni de partenariat avec un fabricant de robots.

RecherchePaper

1 source