RecherchearXiv cs.RO 10 septembre 2026

Conditionnement géométrique dans un SLM incarné : contrôles d'entraînement et diagnostics de robustesse d'un modèle hybride 0,8 milliard de paramètres

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude publiée sur arXiv (2609.09213) teste un modèle de langage hybride de 0,8 milliard de paramètres adapté à la manipulation robotique, avec 6,2 millions de paramètres entraînés. Six configurations de conditionnement géométrique sont comparées sur trois tâches du benchmark LIBERO-Spatial, sur trois graines aléatoires et 540 essais de validation. Conditionner les portes de décroissance récurrentes avec des incréments géométriques réels donne 28,9% de réussite, contre 36,7% quand ces mêmes incréments sont mélangés à l'entraînement et 24,4% sans géométrie explicite ; un adaptateur par jetons utilisant les mêmes incréments obtient 27,8% (résultat non concluant selon les graines) et un conditionnement par horloge de jetons chute à 11,1%, une graine ne convergeant même pas. Une politique fondée sur des coordonnées relatives à l'état conserve par ailleurs 7 réussites sur 10 après un changement de référentiel, contre 3 sur 20 au maximum pour les quatre politiques visuelles testées, après un simple déplacement de 5 centimètres de l'objet.

Ce résultat contredit une hypothèse répandue dans la recherche sur les politiques vision-langage-action, où l'ajout de signaux géométriques explicites est censé améliorer la généralisation spatiale des robots manipulateurs, à l'heure de modèles comme GR00T N2, Pi-0 ou Helix. Que des incréments mélangés, donc vidés de leur information, surpassent la version correctement alignée suggère que l'architecture testée n'exploite pas vraiment la géométrie fournie, ou que ce signal agit surtout comme un bruit régularisant plutôt qu'une donnée réellement utilisée. Le contraste entre la résistance au changement de référentiel et l'effondrement quasi total des politiques visuelles dès qu'un objet bouge de 5 cm rappelle aux intégrateurs et décideurs qu'un bon score de benchmark ne garantit en rien la robustesse d'une politique de manipulation en conditions réelles.

LIBERO-Spatial est un benchmark académique de référence pour évaluer le raisonnement spatial des politiques de manipulation, et les 6,2 millions de paramètres entraînés sur un socle de 0,8 milliard situent cette étude dans une logique d'adaptation légère plutôt que dans la course aux modèles fondation de plusieurs milliards de paramètres. Aucune entreprise ni déploiement industriel n'est associé à ces travaux : il s'agit d'une soumission académique nouvelle sur arXiv, sans produit commercialisé ni pilote terrain annoncé. Les auteurs publient les enregistrements d'épisodes, les analyses détaillées par graine et le code de génération des figures, et présentent l'écart entre invariance aux coordonnées et généralisation à un agencement physique réel comme un problème encore ouvert, appelant à de nouveaux travaux plutôt qu'à un déploiement immédiat.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

IA incarnée : conditionnement géométrique explicite des escaliers pour une locomotion humanoïde robuste

Des chercheurs ont publié sur arXiv (2605.09944) un cadre de conditionnement géométrique explicite pour la montée d'escaliers par robot humanoïde. Le système extrait trois paramètres compacts depuis la perception : la hauteur de marche, la profondeur de marche, et l'angle de lacet courant par rapport au cap du robot. Ces paramètres conditionnent directement une politique de locomotion entraînée par Proximal Policy Optimization (PPO), permettant une modulation proactive de la hauteur d'enjambée et des caractéristiques de foulée selon la géométrie de l'escalier. Validé sur le Unitree G1, humanoïde à 23 degrés de liberté de Unitree Robotics, le système a enchaîné 33 marches consécutives en extérieur sans défaillance lors des expériences en conditions réelles. Des tests en simulation confirment par ailleurs une généralisation à des hauteurs de marches hors de la distribution d'entraînement. L'intérêt de l'approche tient au choix de représentations explicites et interprétables plutôt que des encodages latents haute dimension. Les politiques de locomotion actuelles s'appuient généralement sur du feedback proprioceptif aveugle ou des représentations implicites du terrain, ce qui limite leur capacité à anticiper les ajustements de gait face à des géométries non vues, problème central du sim-to-real gap. En conditionnant la politique sur des paramètres lisibles par un ingénieur, le système peut moduler proactivement la hauteur d'enjambée avant le contact, là où une représentation opaque réagirait après coup. Pour un intégrateur ou un COO logistique, cela se traduit par une robustesse prédictive accrue dans des environnements réels non maîtrisés, sans instrumentation supplémentaire des escaliers. Le Unitree G1, commercialisé depuis 2024 à partir de 16 000 USD, s'est imposé comme plateforme de référence pour la recherche en locomotion humanoïde grâce à sa disponibilité et son prix d'accès. Unitree concurrence directement Agility Robotics (Digit), Boston Dynamics (Atlas) et des startups comme Figure ou 1X sur la capacité à opérer dans des espaces tertiaires et industriels non modifiés. La traversée d'escaliers reste un verrou opérationnel clé pour les déploiements logistiques et de services, segment où des acteurs européens comme Wandercraft et Enchanted Tools opèrent sur des créneaux voisins mais distincts. L'article, soumis en preprint sans revue par les pairs à ce stade, ne fournit pas de comparaison quantitative avec d'autres politiques sur le même matériel, ce qui limite l'évaluation rigoureuse des gains réels.

UELa traversée d'escaliers étant un verrou opérationnel clé pour les déploiements en espaces non modifiés, cette avancée fixe un niveau de référence que des acteurs européens comme Wandercraft et Enchanted Tools devront intégrer dans leur feuille de route locomotion.

RecherchePaper

1 source

2arXiv cs.RO

Robust-WAM : concilier préentraînement génératif et anticipation sémantique dans les modèles monde-action

Des chercheurs présentent Robust-WAM, une méthode de post-entraînement destinée aux World-Action Models (WAM), ces modèles qui adaptent des générateurs vidéo pré-entraînés (VGM) pour prédire les actions d'un robot à partir de flux visuels. Le papier, publié sur arXiv sous la référence 2608.05903v1, part d'un constat technique précis: la plupart des WAM s'appuient sur un espace latent de variational autoencoder (VAE), optimisé pour la reconstruction pixel par pixel, ce qui rend la prédiction d'actions fragile dès que l'apparence visuelle change (éclairage, texture, angle de caméra). Des travaux récents avaient contourné le problème en construisant des WAM dans un espace latent sémantique, plus robuste aux变... aux variations d'apparence, mais incapables de profiter du pré-entraînement à grande échelle réalisé uniquement dans l'espace VAE. Robust-WAM propose de garder le chemin génératif basé VAE tout en ajoutant un objectif léger d'alignement sémantique prospectif sur le flux d'actions: des tokens de requête apprenables captent la sémantique des scènes futures en alignant leurs états cachés sur les représentations sémantiques des images futures réelles, avec un encodage positionnel calé sur les tokens d'action correspondants pour garantir la correspondance temporelle. L'enjeu dépasse la seule prouesse technique. Les modèles VLA et WAM affichent souvent de bonnes performances en conditions contrôlées mais se dégradent nettement face à des variations visuelles hors distribution, un frein connu au déploiement industriel de robots hors laboratoire. En montrant qu'on peut conserver les bénéfices du pré-entraînement massif sur vidéo tout en gagnant en robustesse, sans sacrifier les performances en distribution, ce travail répond directement à l'écart souvent pointé entre démonstrations impressionnantes et fiabilité réelle sur le terrain. Robust-WAM s'inscrit dans la lignée des travaux qui détournent les modèles de génération vidéo grand public vers le contrôle robotique, plutôt que de concevoir des architectures dédiées. Il se positionne comme une brique de post-entraînement compatible avec plusieurs WAM existants, testée sur des benchmarks de simulation hors distribution et sur un banc robotique réel, avec des gains de taux de réussite constatés sur plusieurs modèles de référence.

RechercheActu

1 source

3arXiv cs.RO

Métrique robuste de plaçabilité pour le raisonnement unifié de prise-et-dépose sans modèle

Des chercheurs publient sur arXiv (version 3, révisée) une nouvelle métrique probabiliste de plaçabilité destinée à la planification robotique de préhension et dépose (pick-and-place) à partir de nuages de points partiels. Le système évalue des poses de placement en 6D en notant conjointement la stabilité de l'objet et sa saisissabilité, directement à partir de la géométrie brute captée par un capteur, sans modèle CAO préalable ni hypothèse de surface d'appui plane et continue. La méthode génère plusieurs candidats de placement multi-orientations, puis conditionne le score de préhension sur ces placements pour produire un raisonnement unifié et sans modèle du cycle complet préhension-dépose. Les auteurs valident l'approche à la fois en simulation et sur robot réel, sur des objets jamais vus auparavant et posés sur des supports géométriquement complexes, incluant des bords de table et des plans inclinés. L'apport principal tient à l'affranchissement de deux contraintes qui limitent aujourd'hui les déploiements en environnement non structuré : la dépendance à des modèles CAO d'objets connus à l'avance, et l'hypothèse simplificatrice d'une surface de dépose plane et dégagée. Pour l'intégration industrielle, ce type de méthode vise directement les cas où le catalogue d'objets est hétérogène et changeant, comme le tri de colis, le bin-picking en entrepôt ou la logistique du dernier mètre, où les objets sont partiellement occlus (face inférieure invisible sur une table) et où les zones de dépose ne sont pas toujours des plateaux plats dégagés. En prouvant que stabilité et saisissabilité peuvent être estimées de façon fiable depuis un nuage de points brut et partiel, les auteurs répondent à un écart concret entre démonstrations en laboratoire et conditions réelles de préhension généraliste. Le travail s'inscrit dans la lignée des recherches en planification de préhension par nuages de points et en raisonnement de manipulation généraliste, un axe où la littérature s'appuie encore largement soit sur des bases CAO pré-scannées, soit sur des surfaces d'appui idéalisées. Il s'agit ici d'une publication de recherche académique, à ce stade validée par des expériences en simulation et sur banc robotique réel, mais sans déploiement industriel annoncé ni partenaire commercial cité dans l'article.

RecherchePaper

1 source

4arXiv cs.RO

Un mot, deux actions différentes : un benchmark robotique réel pour le raisonnement incarné conditionné au langage

Des chercheurs ont mis en ligne sur arXiv, en septembre 2026, un preprint non encore relu par les pairs présentant un nouveau benchmark nommé « One Word, Different Action » (référence 2609.05260), conçu pour évaluer le raisonnement incarné conditionné par le langage directement sur robot réel plutôt qu'en simulation. Le protocole s'appuie sur des états de décision physiques et des actions exécutables, en confrontant des paires d'instructions qui soit préservent la tâche malgré un changement de mot, soit la modifient réellement. Il mesure ainsi séparément deux capacités : l'invariance décisionnelle, soit la capacité à conserver la même action quand la tâche ne change pas, et la sensibilité décisionnelle, soit la capacité à changer d'action quand la consigne l'exige vraiment. Deux volets complètent l'évaluation : un test de raisonnement multi-contraintes, où plusieurs exigences de tâche doivent être combinées en une seule décision exécutable, et un test d'ancrage sur images RGB réelles plutôt que sur des représentations symboliques simplifiées. Les résultats montrent que les modèles actuels frôlent la saturation face à un changement isolé d'instruction, une difficulté donc largement surmontée par l'état de l'art. Ils se dégradent en revanche nettement dès qu'il faut intégrer plusieurs contraintes simultanées dans une seule décision exécutable. Pour les intégrateurs et décideurs qui déploient des robots pilotés en langage naturel, ce constat déplace le véritable verrou technique : il ne s'agit plus de détecter qu'une consigne a changé, mais de composer correctement plusieurs contraintes, par exemple l'objet visé, la position et une condition de sécurité, en une action cohérente. Le résultat invite à tempérer l'idée reçue selon laquelle les modèles vision-langage-action (VLA) auraient déjà réglé le suivi d'instructions en robotique : le goulot d'étranglement se déplace du repérage du changement vers le raisonnement compositionnel. Ce travail s'inscrit dans une tendance plus large des bancs d'essai en robotique cherchant à dépasser les métriques obtenues en simulation, jugées trop éloignées des conditions réelles, en testant directement sur robot physique avec des images RGB non retouchées. Il fait écho à une limite déjà observée sur les modèles vision-langage-action déployés dans l'industrie : de bonnes performances sur des démonstrations isolées et contrôlées, mais une généralisation plus fragile dès que plusieurs contraintes de tâche doivent être combinées en une seule décision. L'abstract publié ne précise ni le robot manipulateur utilisé ni les modèles VLA spécifiquement testés, et ne mentionne aucun jeu de données ou code source rendu public à ce stade. « One Word, Different Action » ouvre néanmoins la voie à des comparaisons futures entre modèles sur la composition de contraintes, un axe que les prochains bancs d'essai du secteur devront probablement intégrer pour aller au-delà du simple test de détection de changement d'instruction.

RecherchePaper

1 source