Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

Connaître son corps : une méthode pour un contrôle robotique direct et auto-améliorant avec des VLM

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche présente KnowBody, un harnais logiciel qui vient se greffer sur un modèle vision-langage (VLM) déjà entraîné, sans toucher à ses poids, pour lui apprendre concrètement comment le corps d'un robot donné produit un effet. Le système part d'une seule trajectoire hors tâche pour construire un modèle partiel du corps du robot, qui guide ensuite le choix des actions et l'interprétation des interactions passées ; ce modèle est révisé au fil des nouvelles observations, et toute connaissance qui en dépendait est revérifiée avant d'être réutilisée. Sur 32 essais à budget fixe répartis sur quatre tâches confiées à un robot réel, la version initialisée de KnowBody atteint 75% de complétion contre 25% pour le harnais natif du même VLM, avec moins de cycles de planification nécessaires sur les tâches réussies par les deux approches. Lorsque les mises à jour persistantes du modèle de corps sont activées, le nombre de cycles de planification chute de 29 à 53% entre le premier et le cinquième succès enregistré.

Le résultat touche un point de friction central pour l'industrie des modèles vision-langage-action (VLA) : un VLM générique comprend sémantiquement l'objectif d'une tâche, mais ignore par défaut comment les degrés de liberté et les organes effecteurs spécifiques d'un robot donné traduisent cette intention en mouvement. Les approches dominantes comme Pi-0, GR00T N2 ou Helix misent sur l'apprentissage de bout en bout, souvent au prix d'un réentraînement ou d'un fine-tuning par plateforme. KnowBody propose l'inverse : garder le modèle figé et ajouter une couche intermédiaire explicite, interrogeable et corrigible, qui capitalise l'expérience physique du robot. Pour les intégrateurs, l'intérêt est la promesse d'un déploiement d'un même VLM générique sur des corps robotiques différents sans coût de réentraînement, si l'approche tient sur des flottes plus larges.

Ces résultats restent toutefois un travail de recherche préliminaire, publié en preprint sur arXiv (arXiv:2609.28530v1), validé sur seulement quatre tâches et 32 essais en environnement contrôlé, loin d'un déploiement industriel. Aucun nom d'entreprise, de robot commercial ni de site de production n'est associé à ces expériences. La démonstration se positionne néanmoins explicitement en alternative aux stratégies VLA propriétaires actuelles, et la suite logique attendue serait une extension à davantage de tâches, de plateformes robotiques et de conditions réelles pour confirmer la généralisation du mécanisme.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

CoCoNav : un contrôle conforme pour une navigation robotique sûre en milieu de foule
1arXiv cs.RO 

CoCoNav : un contrôle conforme pour une navigation robotique sûre en milieu de foule

Un article déposé sur arXiv en août 2026 (arXiv:2608.07751) présente CoCoNav, un framework de navigation pour robots évoluant en foule, conçu pour anticiper les mouvements imprévisibles des piétons. Le système combine une calibration conforme en ligne et une planification certifiée en temps réel. Son composant central, un contrôleur conforme proportionnel-intégral spécifique à l'horizon temporel, ajuste dynamiquement les marges d'erreur de trajectoire pour maintenir un taux de couverture empirique stable face à des erreurs de prédiction qui évoluent au fil du temps. Un second module, baptisé "relax-then-verify" (détendre puis vérifier), génère d'abord des trajectoires nominales via un contrôle prédictif par modèle (MPC) à contraintes souples, avant de certifier séparément ces trajectoires, ainsi que des manœuvres de secours, par rapport aux bornes calibrées, juste avant leur exécution. Les auteurs ont validé l'approche à la fois en simulation et lors d'expériences avec un robot quadrupède, mesurant l'évitement de collision, le taux de réussite de tâche et l'efficacité de navigation par rapport à plusieurs méthodes de référence. Ce travail s'attaque à un point de friction connu dans le déploiement de robots mobiles en environnement humain: les méthodes réactives classiques produisent des comportements oscillants dès que la densité de piétons augmente, tandis que les planificateurs prédictifs supposent souvent des trajectoires piétonnes exactes ou s'appuient sur des modèles d'erreur trop rigides pour rester fiables en conditions réelles. Imposer des marges d'incertitude conservatrices comme contraintes strictes rend par ailleurs le MPC souvent infaisable en pratique, un problème qui limite l'usage de ces techniques dans des AMR (robots mobiles autonomes) commerciaux, des robots de livraison ou des plateformes de service. En séparant génération de trajectoire et certification, et en calibrant les marges d'erreur en continu plutôt qu'a priori, CoCoNav propose une piste concrète pour rendre les garanties de sécurité compatibles avec la réactivité nécessaire en environnement dense, un compromis que peu d'approches publiées atteignent simultanément selon les auteurs. La navigation sociale en robotique reste un domaine actif de recherche depuis plusieurs années, tiraillé entre approches purement réactives, rapides mais instables, et planificateurs prédictifs, plus robustes mais coûteux en calcul ou trop optimistes sur la qualité des prévisions de mouvement humain. La prédiction conforme, technique statistique permettant de quantifier l'incertitude d'un modèle sans hypothèse forte sur sa distribution d'erreur, gagne du terrain dans la robotique de perception et de planification comme alternative aux bornes d'erreur fixes. CoCoNav s'inscrit dans cette tendance en l'appliquant spécifiquement à l'horizon de prédiction du MPC. À ce stade, les résultats se limitent à des simulations et à des essais sur un robot quadrupède en conditions contrôlées, sans déploiement en foule réelle ni partenariat industriel annoncé; les auteurs ne précisent pas de calendrier pour un transfert vers des plateformes commerciales de type AMR ou robots de service.

RecherchePaper
1 source
ReconVLA : un cadre VLA guidé par l'incertitude et la détection des défaillances pour le contrôle robotique
2arXiv cs.RO 

ReconVLA : un cadre VLA guidé par l'incertitude et la détection des défaillances pour le contrôle robotique

Des chercheurs ont mis en ligne en avril 2026 sur arXiv (référence 2604.16677) un framework nommé ReconVLA, conçu pour doter les modèles vision-langage-action (VLA) d'une capacité jusque-là absente : estimer leur propre degré de confiance avant d'agir. ReconVLA applique la prédiction conforme (conformal prediction) directement sur les tokens d'action produits par un VLA pré-entraîné, sans modification ni réentraînement du modèle. Cette couche génère des intervalles d'incertitude calibrés, corrélés à la qualité d'exécution et au taux de succès de la tâche. Le même mécanisme est étendu à l'espace d'état du robot pour détecter des configurations anormales avant qu'une défaillance ne survienne. L'évaluation couvre des tâches de manipulation variées en simulation et sur robot réel. L'absence de mesure de confiance calibrée est aujourd'hui l'un des principaux verrous à l'industrialisation des VLA. Un modèle comme Pi-0 (Physical Intelligence), OpenVLA ou GR00T N2 (NVIDIA) peut produire une action avec une assurance apparente même lorsque la scène perçue sort de sa distribution d'entraînement. ReconVLA contourne ce problème sans toucher au modèle sous-jacent : les intégrateurs peuvent envelopper n'importe quel VLA existant avec cette surcouche de sécurité. En pratique, le framework réduit les erreurs catastrophiques et fournit un signal exploitable par les superviseurs humains ou les systèmes de fail-safe industriels. Il convient de souligner que les résultats présentés restent à l'échelle laboratoire, sans validation sur des lignes de production réelles. La prédiction conforme est une méthode statistique bien établie dans la communauté du machine learning certifié, mais son application aux VLA robotiques reste émergente. Ces architectures ont connu une accélération notable depuis 2023 avec RT-2 (Google DeepMind), puis OpenVLA, Pi-0 et GR00T N2, chacune promettant un contrôle généraliste sans garantie formelle de comportement hors distribution. ReconVLA s'inscrit dans une tendance visant à rendre ces modèles auditables et déployables dans des contextes à risque industriel ou réglementé. Les prochaines étapes naturelles incluent l'intégration avec des pipelines temps réel et la validation sur des horizons de tâches plus longs, domaines où la calibration de l'incertitude devient critique pour les décideurs industriels.

UEImpact indirect : si validé à l'échelle industrielle, ce framework faciliterait le déploiement de VLA dans des environnements réglementés européens (AI Act, sécurité machines), sans nécessiter de réentraînement des modèles existants.

RechercheOpinion
1 source
Relier sémantique et physique : des LLM contraints pour une manipulation robotique sûre et fiable
3arXiv cs.RO 

Relier sémantique et physique : des LLM contraints pour une manipulation robotique sûre et fiable

Des chercheurs présentent un système qui relie raisonnement en langage naturel et exécution physique sûre pour la manipulation robotique, décrit dans un article publié le 29 août 2026 sur arXiv (2608.29379v1). Le pipeline part d'observations RGB-D pour construire un modèle de scène explicite tenant compte des collisions, puis contraint les décisions d'un grand modèle de langage via des appels d'outils validés par schéma selon le Model Context Protocol (MCP), rejetant les commandes mal formées avant qu'elles n'atteignent le robot. Chaque appel validé est ensuite traduit de façon déterministe dans un pipeline MoveIt Task Constructor, où les mouvements candidats sont vérifiés contre la scène reconstruite avant exécution, une étape de type "vérifier puis agir". Testé sur un bras robotique physique UFactory 850, le système atteint jusqu'à 80% de réussite sur dix essais par tâche pour des opérations de versement impliquant liquides, matières granulaires et solides discrets, et 90% de réussite sur une tâche de saisie-et-dépose avec la même architecture. L'intérêt de ces travaux tient à la démonstration chiffrée d'un problème bien identifié dans la robotique pilotée par LLM: un plan verbalement cohérent peut être physiquement infaisable si la cinématique et les collisions ne sont pas vérifiées avant exécution. Les auteurs montrent qu'une politique scriptée classique surpasse légèrement leur méthode sur la tâche la plus simple, mais chute à seulement 10% de réussite sur la tâche la plus difficile, contre 60% pour leur approche contrainte. Pour les intégrateurs industriels et les équipes robotique, ce résultat suggère qu'ajouter une couche de validation formelle entre le langage et l'action améliore surtout la robustesse sur les cas complexes, plutôt que la performance brute sur les cas faciles où des solutions scriptées suffisent déjà. Ce travail s'inscrit dans la lignée des recherches sur le "language-action gap", l'écart entre la capacité des LLM à décomposer des instructions en séquences d'actions et leur incapacité native à garantir la faisabilité physique de ces actions dans un environnement encombré et perçu de façon imparfaite. La solution proposée combine plusieurs briques existantes, le MCP pour la validation structurée des appels d'outils côté langage, et MoveIt Task Constructor pour la planification de mouvement sous contraintes cinématiques et de collision côté robot, plutôt que d'introduire une nouvelle architecture de bout en bout. Les tests restent limités à un seul bras robotique et un nombre réduit d'essais par tâche, ce qui invite à la prudence avant toute extrapolation vers des déploiements industriels à plus grande échelle.

RecherchePaper
1 source
Une méthode pratique pour améliorer la corrélation simulation-réel dans l'évaluation des modèles VLA
4arXiv cs.RO 

Une méthode pratique pour améliorer la corrélation simulation-réel dans l'évaluation des modèles VLA

Une équipe de chercheurs a publié en juin 2026 sur arXiv (arXiv:2606.10366) une étude systématique visant à quantifier et améliorer la corrélation entre évaluation en simulation et déploiement réel pour les politiques de type VLA (Vision-Language-Action). Ces politiques, qui combinent perception visuelle, compréhension du langage naturel et génération d'actions motrices, sont au coeur des robots généralistes actuels. L'étude couvre plusieurs plateformes de simulation, plusieurs politiques VLA, plusieurs familles de tâches manipulatoires, et plusieurs facteurs de perturbation contrôlés. Les métriques retenues sont la cohérence du classement des politiques entre simulation et réel, la corrélation de performance absolue, et les patterns d'échec induits par perturbation. Les auteurs examinent également à quel moment le fine-tuning d'une politique sur données simulées améliore réellement les performances en monde réel, et comment le volume de données post-entraînement influence cet alignement. Ce travail s'attaque à un verrou identifié de longue date dans la robotique apprise : les benchmarks en simulation, malgré des progrès significatifs en réalisme et diversité ces deux dernières années, ne sont pas encore adoptés comme proxies fiables pour l'évaluation hors-lab. En pratique, cela signifie que les équipes d'intégration et les labs reproduisent des évaluations coûteuses en monde réel à chaque itération de politique, faute de pouvoir faire confiance aux scores simulés. L'étude identifie quels signaux simulés restent alignés avec le déploiement réel et lesquels divergent, donnant aux praticiens une grille de lecture concrète pour calibrer leur utilisation de la simulation dans le pipeline de développement. Le problème du sim-to-real gap accompagne la robotique apprise depuis les travaux fondateurs sur le domain randomization (OpenAI, 2017-2019), mais il devient critique à mesure que les VLA cherchent à passer à l'échelle industrielle. Des acteurs comme Physical Intelligence (Pi-0), Google DeepMind (RT-X, GR00T N2 côté Nvidia), ou encore Figure AI avec Figure 03 s'appuient tous sur des pipelines simulation-réel pour accélérer l'entraînement. En proposant un cadre unifié pour mesurer, interpréter et améliorer l'utilité de la simulation pour les VLA, ce papier vise à fournir une référence méthodologique commune, à la fois pour les concepteurs de simulateurs et pour les praticiens. Les prochaines étapes logiques incluent l'intégration de ces recommandations dans des benchmarks publics existants tels que RoboVerse ou LIBERO.

UEImpact indirect : ce cadre méthodologique pourrait réduire les coûts d'évaluation réelle répétée pour les équipes R&D européennes travaillant sur des politiques VLA.

RechercheOpinion
1 source