Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

ThermoAct : modèles vision-langage-action (VLA) sensibles à la thermique pour la perception et la décision en robotique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

ThermoAct est un cadre de type Vision-Language-Action (VLA) qui ajoute la perception thermique aux entrées visuelles et textuelles pour l'exécution de tâches robotiques. Il a été déposé sur arXiv en mars 2026 (référence 2603.25044), et la version 3 vient d'être publiée. L'architecture repose sur un modèle vision-langage (VLM) qui joue le rôle de planificateur de haut niveau. Il interprète des consignes complexes en langage naturel et les décompose en sous-tâches plus simples, que la politique d'action exécute ensuite. Les auteurs affirment que cette décomposition facilite la collecte de données et rend le raisonnement plus robuste sur les opérations complexes. Grâce aux données thermiques, le robot peut percevoir des propriétés physiques invisibles à la caméra, comme une surface chaude, et assurer de lui-même la sécurité de son environnement. La validation repose sur des scénarios réels, mais le résumé ne donne ni taux de succès, ni nombre d'essais, ni description du matériel (capteur thermique, bras, DOF). Il s'agit donc d'un travail de recherche, sans produit ni déploiement industriel.

L'intérêt tient à une lacune réelle : la plupart des VLA actuels, qu'ils soient académiques ou industriels, s'appuient quasi exclusivement sur la vision. Dans les environnements de collaboration homme-robot, comme la cuisine, l'atelier ou la logistique avec manipulation de plaques chaudes ou de pièces fraîchement usinées, un humanoïde qui ne « sent » pas la chaleur reste limité sur la sécurité. Pour un intégrateur ou un responsable HSE, l'idée de brancher une modalité bon marché sur un modèle fondation est séduisante. Les conclusions restent toutefois prudentes : les auteurs parlent de « faisabilité » et de « potentiel » d'amélioration par rapport aux systèmes visuels, sans quantification publique dans le résumé. Il est donc impossible d'en tirer un gain de sécurité démontré.

Le contexte est celui d'une course aux VLA généralistes, où les acteurs américains et chinois enrichissent surtout leurs modèles en données visuelles, tactiles ou proprioceptives. La modalité thermique reste, de l'aveu même des auteurs, peu explorée. La suite logique serait une évaluation chiffrée face à des bases de référence uniquement visuelles, puis un test sur des plateformes mobiles ou humanoïdes. Une page projet est disponible pour suivre ces développements, mais aucun calendrier de commercialisation n'est annoncé.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

Sécurité de nuit VLA : détecter l'invisible grâce à des modèles vision-langage-action à perception thermique pour la manipulation critique
1arXiv cs.RO 

Sécurité de nuit VLA : détecter l'invisible grâce à des modèles vision-langage-action à perception thermique pour la manipulation critique

Des chercheurs présentent Safe-Night VLA, un framework de manipulation robotique qui ajoute la perception thermique infrarouge longue longueur d'onde à un modèle vision-langage-action (VLA) pré-entraîné, publié en version corrigée sur arXiv (2603.05754v2). Contrairement aux VLA classiques qui reposent uniquement sur des caméras RGB, ce système fait remonter un raisonnement sémantique fondé sur les propriétés thermodynamiques des objets et des surfaces, ce qui lui permet de percevoir des signaux invisibles pour une caméra couleur standard. Pour limiter la fragilité connue des politiques génératives face à des scénarios hors distribution d'entraînement, les auteurs ajoutent un filtre de sécurité basé sur des fonctions de barrière de contrôle (control barrier functions), garantissant un respect déterministe des contraintes de l'espace de travail pendant l'exécution. Les tests ont été menés sur un bras manipulateur Franka, avec un protocole d'évaluation inédit combinant manipulation conditionnée par la température, localisation de cibles sous une surface opaque, et désambiguïsation de reflets visuels. Résultat annoncé: le système surpasse les baselines RGB seules sur ces trois tâches, tout en maintenant l'exécution sous contrainte de sécurité. L'intérêt pour l'industrie tient moins à la démo qu'au principe qu'elle teste: peut-on faire dire à un modèle fondation pré-entraîné sur du RGB des choses pertinentes sur une modalité physique qu'il n'a jamais vue à l'entraînement, simplement en injectant un flux thermique dans son backbone vision-langage. Si ce principe se généralise, cela ouvre la voie à des VLA capables de manipuler dans le noir, de détecter des objets chauds ou cachés sous une surface, ou de distinguer un vrai objet d'un reflet trompeur, des cas d'usage utiles en logistique nocturne, en environnements industriels à faible visibilité ou en inspection. L'ajout d'un filtre de sécurité formel plutôt que purement appris répond aussi à une critique récurrente des politiques VLA end-to-end: l'absence de garanties dures sur les collisions ou les dépassements de zone de travail, un point sensible pour tout déploiement en environnement partagé avec des humains. Le travail s'inscrit dans la vague actuelle des VLA généralistes (type GR00T N2, Pi-0, Helix) qui cherchent à étendre la perception au-delà du RGB pour combler l'écart entre démonstrations en laboratoire et robustesse réelle. Il reste à ce stade une validation académique sur un seul bras fixe en conditions contrôlées, sans indication de déploiement industriel ni de partenaire commercial, et les auteurs eux-mêmes ne revendiquent qu'une preuve de concept sur l'exploitation de modalités physiques non visibles.

RecherchePaper
1 source
SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)
2arXiv cs.RO 

SWAP : routage pas à pas de politiques d'action pour les modèles vision-langage-action (VLA)

Des chercheurs publient sur arXiv (2610.06926) SWAP, pour StepWise Action Policy Routing, un cadre qui compose dynamiquement plusieurs politiques Vision-Language-Action (VLA) pendant l'exécution d'une tâche de manipulation. Aujourd'hui, la plupart des systèmes reposent sur un seul modèle VLA du début à la fin d'un épisode. SWAP formule le routage comme un problème d'apprentissage par renforcement hors ligne : un « critique de routage » est entraîné à choisir, à chaque pas de décision et selon l'observation courante, la politique la plus adaptée. Le robot peut ainsi changer de politique en cours d'épisode. L'évaluation porte sur des tâches réelles de manipulation sur la plateforme DROID et sur des simulations LIBERO. Face à l'exécution d'une politique fixe et à des méthodes de routage de référence, les auteurs annoncent jusqu'à 33 points de succès supplémentaires en conditions réelles, et une réduction de 28,3 % du nombre de pas d'action des trajectoires réussies. L'enjeu dépasse la performance brute. Le travail s'attaque à une limite que les intégrateurs constatent déjà : aucun VLA n'est le meilleur partout, et les performances varient selon la phase de la tâche et l'environnement. Au lieu d'attendre un modèle généraliste unique, SWAP traite les VLA existants comme une boîte à outils orchestrable, sans réentraîner chacun d'eux. Pour un industriel, cela suggère une voie pragmatique : combiner des politiques spécialisées ou de fournisseurs différents, et ne payer que pour la politique utile à chaque étape. La baisse de la longueur des trajectoires laisse aussi entrevoir un gain de temps de cycle, mais il s'agit d'un nombre de pas d'action, pas d'une durée mesurée en atelier. Il faut aussi rester prudent sur les chiffres : le « jusqu'à 33 % » correspond au meilleur cas, et l'abstract ne précise ni le nombre de tâches ni la taille des échantillons, ni les politiques combinées. Ce résultat s'inscrit dans la course aux modèles fondation pour la manipulation, où des VLA comme Pi-0, GR00T ou Helix sont généralement présentés comme des systèmes autonomes. Le routage entre politiques prolonge les approches de mélange d'experts, mais à l'échelle de politiques complètes et de manière apprise hors ligne. DROID, jeu de données et plateforme de manipulation très utilisé, et LIBERO, banc d'essai en simulation, servent de référence commune, ce qui facilite la comparaison. Il s'agit d'une prépublication v1 non évaluée par les pairs, sans déploiement industriel annoncé. Les prochaines étapes à surveiller : la publication du code, la robustesse du critique face à des environnements inédits, et la latence ajoutée par le routage à chaque pas de décision.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Modèles vision-langage-action (VLA) conditionnés par l'état de santé pour un contrôle robotique sensible aux pannes
3arXiv cs.RO 

Modèles vision-langage-action (VLA) conditionnés par l'état de santé pour un contrôle robotique sensible aux pannes

Une équipe de recherche publie sur arXiv (référence 2605.16056) un modèle VLA (Vision-Language-Action) capable d'adapter son comportement à la dégradation physique d'un robot, une problématique distincte des pannes de tâches habituellement ciblées par la littérature. L'approche repose sur l'injection d'un module "Health Projector" dans l'architecture VLA-Adapter : le modèle reçoit en entrée un vecteur de santé encodant l'amplitude articulaire et le couple disponible pour chaque joint. Entraîné sur 128 épisodes téléopérés collectés dans l'environnement de simulation LIBERO (benchmark Libero-Spatial), il parvient à compléter des tâches de manipulation spatiale avec des configurations de joints dégradés où le modèle de référence VLA-Adapter Libero-Spatial-Pro échoue systématiquement. Le code et le jeu de données seront prochainement disponibles sur GitHub (h-arslan/health-aware-vla). L'intérêt industriel est réel : dans les déploiements terrain, les robots accumulent des dégradations mécaniques progressives (usure articulaire, perte de couple, grippage de préhenseur) sans nécessairement déclencher d'alarme critique. Un contrôleur aveugle à cet état physique maintient ses consignes nominales et accumule les erreurs ; un modèle conditionné à la santé peut recalculer ses trajectoires à la volée. La modification proposée est présentée comme légère, ce qui suggère une intégration possible dans des pipelines VLA existants sans refonte complète. Cependant, les résultats restent limités à la simulation LIBERO avec 128 épisodes seulement, un jeu de données particulièrement restreint, et aucune validation sur robot physique n'est présentée, laissant le gap sim-to-real entièrement ouvert. Ce travail s'inscrit dans l'expansion rapide des VLA depuis 2023, portée par des modèles comme pi0 (Physical Intelligence), OpenVLA ou la famille RoboVLMs. VLA-Adapter, utilisé comme base ici, est une variante qui réduit les coûts de fine-tuning en gelant le backbone visio-langagier pour n'entraîner qu'un adaptateur léger. La résilience robotique est jusqu'ici majoritairement traitée côté contrôle bas niveau (détection de fautes, compensation par redondance articulaire) plutôt qu'au niveau de la politique visuo-langagière, ce qui rend l'angle de cette recherche original. Aucun acteur européen n'est impliqué dans cette publication. La prochaine étape logique serait une validation sur hardware réel avec des dégradations induites mécaniquement et un dataset substantiellement élargi pour crédibiliser le passage à l'échelle.

RechercheOpinion
1 source
Modèle vision-langage auto-raffiné pour la détection et le raisonnement sur les échecs en robotique
4arXiv cs.RO 

Modèle vision-langage auto-raffiné pour la détection et le raisonnement sur les échecs en robotique

ARMOR (Adaptive Round-based Multi-task mOdel for Robotic failure detection and reasoning) est un modèle vision-langage présenté dans un preprint arXiv (2602.12405v2) par une équipe de l'Université du Texas à Austin. Il vise à détecter les échecs d'un robot et à expliquer leur cause en langage naturel. Plutôt que de produire une réponse en un seul passage, le modèle fonctionne par raffinement itératif: à chaque tour, il prédit un verdict de détection (échec ou non) puis un raisonnement textuel, en s'appuyant sur ses sorties précédentes. À l'entraînement, il combine deux types de supervision: de nombreuses étiquettes binaires éparses (succès/échec) et un petit nombre d'annotations de raisonnement détaillées, optimisées par une combinaison d'apprentissage par imitation hors ligne et en ligne. À l'inférence, ARMOR génère plusieurs trajectoires de raffinement et retient la prédiction la plus fiable selon une métrique d'auto-certitude. Les auteurs annoncent jusqu'à 30% de gain sur le taux de détection d'échecs et jusqu'à 100% sur la qualité du raisonnement, mesurée par un score de correspondance floue évalué par un LLM, par rapport aux approches antérieures, dans plusieurs environnements. Pour les intégrateurs et les responsables d'exploitation, l'enjeu est la fiabilité en conditions réelles. Les échecs en production sont subtils, combinatoires et difficiles à énumérer: un classifieur à ensemble fermé de modes de défaillance passe à côté de tout ce qui n'a pas été anticipé, tandis que les méthodes qui exigent beaucoup d'annotations humaines riches sont coûteuses à déployer. ARMOR soutient qu'un volume modeste d'explications annotées, associé à des labels binaires bon marché, suffit à produire un raisonnement ouvert, au-delà des catégories prédéfinies. Si cela se confirme, la barrière pour doter une flotte de robots d'un diagnostic d'échec exploitable, utile pour la reprise automatique, la maintenance ou la traçabilité, baisserait nettement. Il faut toutefois rester prudent: les chiffres sont des gains relatifs "jusqu'à", sans indication ici des benchmarks ni des bases de comparaison, et le score de correspondance floue par LLM reste une mesure indirecte de la justesse d'un raisonnement. Rien n'indique non plus un test en déploiement industriel ni des contraintes de latence, alors que générer plusieurs trajectoires à l'inférence a un coût de calcul. Ce travail s'inscrit dans le courant des modèles vision-langage-action (VLA) et des VLM utilisés comme superviseurs ou "critiques" de robots, où la détection d'anomalies et l'auto-correction deviennent un maillon manquant entre démonstrations spectaculaires et fiabilité de production. Il se positionne contre deux familles: la classification d'échecs en ensemble fermé et les approches dépendantes d'annotations abondantes. La technique d'auto-raffinement avec sélection par auto-certitude rejoint les méthodes d'échelle à l'inférence popularisées par les LLM de raisonnement. Les auteurs proposent des visualisations complémentaires sur le site du projet (sites.google.com/utexas.edu/armor). Il s'agit pour l'instant d'une publication de recherche, sans produit ni pilote annoncé; la suite logique serait une validation sur robots physiques en conditions variées et une intégration avec des politiques de contrôle existantes.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source