Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
HAVE : un vérificateur sensible à l'historique qui raisonne sur les interactions passées
RecherchearXiv cs.RO2j

HAVE : un vérificateur sensible à l'historique qui raisonne sur les interactions passées

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent HAVE (History-Aware VErifier), une architecture de contrôle robotique publiée sur arXiv (2509.00271v2) et soumise à CoRL 2025. Le principe central est une dissociation explicite entre deux composants distincts : un générateur diffusif non conditionnel qui propose plusieurs actions candidates, et un vérificateur apprenant à sélectionner la meilleure action en raisonnant sur l'historique des interactions passées. Les expériences couvrent des environnements simulés et réels incluant des objets articulés, des portes à comportement multimodal (poussée ou tirée selon le contexte), et des scénarios de saisie d'objets sur surfaces inégales. Aucun chiffre de déploiement industriel ni de partenaire commercial n'est mentionné : il s'agit d'une contribution académique pure.

L'intérêt de HAVE réside dans son diagnostic du problème plutôt que dans la solution elle-même. Les modèles génératifs récents, y compris ceux conditionnés sur l'historique d'actions, peinent à résoudre les ambiguïtés visuelles lors de la manipulation : un objet dont l'état interne est incertain (tiroir bloqué, poignée bimode) génère des échecs répétés même avec des VLA sophistiqués. Séparer génération et vérification permet au vérificateur de capitaliser sur les tentatives précédentes, là où un seul réseau intégré lisse ces signaux. Les auteurs fournissent une analyse théorique montrant que l'ajout d'un vérificateur améliore statistiquement la qualité d'action espérée, ce qui est moins courant dans la littérature robotique que les seules validations empiriques. Pour un intégrateur industriel, cela suggère une voie pour traiter les cas limites sans collecter massivement de données étiquetées sur chaque configuration ambiguë.

HAVE s'inscrit dans la vague des politiques diffusives initiée par Diffusion Policy (Chi et al., 2023) et étendue par pi-0 de Physical Intelligence, qui applique ce paradigme aux robots humanoïdes. Face aux approches concurrentes comme GR00T N2 de NVIDIA ou OpenVLA, qui misent sur le conditionnement fort des transformeurs vision-langage-action, HAVE choisit une architecture modulaire où la vérification est un citoyen de première classe et non une post-correction. Aucun acteur européen ou français n'est impliqué dans cette publication. Les prochaines étapes naturelles seraient des tests sur des manipulateurs industriels en conditions non structurées et une intégration avec des modèles de fondation plus larges pour le raisonnement contextuel.

Dans nos dossiers

IA physique & VLANVIDIA GR00TPhysical Intelligence — π0OpenVLA / RT-X

À lire aussi

VISTA : navigation visuelle à l'échelle par conditionnement sur l'historique d'actions
1arXiv cs.RO 

VISTA : navigation visuelle à l'échelle par conditionnement sur l'historique d'actions

VISTA, un nouveau modèle de navigation visuelle présenté en preprint (arXiv:2606.17294), s'attaque à une faille structurelle identifiée dans les Vision Navigation Foundation Models (VNMs) actuels : la normalisation des actions prédites. Lorsqu'un VNM produit des trajectoires normalisées, l'application d'un facteur d'échelle différent selon le robot ou l'environnement déforme la géométrie physique de la trajectoire, ce qui dégrade les performances de navigation et augmente les risques de collision. Pour corriger cela, VISTA conditionne ses prédictions sur l'historique normalisé des actions exécutées, en parallèle des observations visuelles, offrant au modèle un contexte explicite sur la relation entre ses sorties et le déplacement physique réel du robot. Le modèle intègre également un encodeur DINOv3, dont les représentations plus riches permettent de mieux discriminer les environnements visuellement répétitifs (couloirs, entrepôts) où les VNMs classiques peinent à se localiser. En déploiement zéro-shot dans trois environnements réels (extérieur, forêt, bureau), VISTA affiche 100 % de précision dans la prédiction des objectifs et un taux moyen de 95 % de points de passage atteints. Ce résultat éclaire un angle mort largement sous-estimé dans le déploiement des politiques de navigation généralisées : l'invariance à l'échelle. Un modèle entraîné sur une flotte homogène peut échouer sur un robot dont la calibration diffère légèrement, sans qu'aucun défaut de l'architecture ne soit en cause. VISTA propose une correction légère mais systémique, applicable sans ré-entraînement, ce qui représente un avantage concret pour les intégrateurs qui déploient des politiques de navigation sur des flottes hétérogènes. Les résultats à 100 % méritent toutefois d'être nuancés : ils portent sur trois environnements seulement, et le terme "zéro-shot" désigne ici l'absence de fine-tuning spécifique aux sites de test, non une absence totale de données d'entraînement supervisé. VISTA s'inscrit dans la montée en puissance des modèles de navigation généraux, portée ces deux dernières années par des travaux comme NoMaD (CMU/Berkeley, 2023) ou GNFactor, qui cherchent tous à produire une politique de déplacement transférable sans adaptation manuelle. L'usage de DINOv3 suit une tendance nette : les encodeurs de la famille DINOv2/v3 (Meta FAIR) s'imposent progressivement comme backbone de référence pour les tâches nécessitant une compréhension géométrique fine de l'environnement. Le preprint ne mentionne ni partenaires industriels ni timeline de commercialisation ; il s'agit à ce stade d'une contribution académique, sans annonce de déploiement à grande échelle.

RechercheOpinion
1 source
EARL : un cadre unifié guidé par l'analyse pour le raisonnement d'interaction égocentrique et l'ancrage au pixel
2arXiv cs.RO 

EARL : un cadre unifié guidé par l'analyse pour le raisonnement d'interaction égocentrique et l'ancrage au pixel

Des chercheurs publient sur arXiv (réf. 2605.14742) EARL, un cadre d'apprentissage par renforcement guidé par analyse pour la compréhension d'interactions humain-environnement en vision égocentrique, c'est-à-dire depuis une caméra portée à la première personne. L'architecture repose sur deux étages séquentiels : une phase d'interprétation globale qui produit une description textuelle structurée des interactions observées, suivie d'une phase de réponse fine qui génère simultanément une réponse textuelle, des boîtes englobantes et un masque de segmentation au niveau pixel. Le lien entre ces deux étages est assuré par un module original, l'Analysis-guided Feature Synthesizer (AFS), qui extrait un descripteur sémantique global et l'injecte comme prior lors du raisonnement orienté requête. La phase de réponse est optimisée par GRPO (Group Relative Policy Optimization), une variante d'apprentissage par renforcement popularisée récemment par les travaux DeepSeek. Sur le benchmark Ego-IRGBench, EARL atteint 65,48 % de cIoU pour le pixel grounding, soit +8,37 points au-dessus des meilleures méthodes RL comparables. Le test de généralisation hors-distribution sur EgoHOS, un benchmark de segmentation mains-objets, confirme une transférabilité satisfaisante sur des scènes non vues à l'entraînement. Ce résultat souligne une limite structurelle des grands modèles multimodaux de langage (MLLMs) actuels : ils décrivent correctement les scènes, mais peinent à localiser avec précision les zones d'interaction au niveau pixel, une granularité pourtant indispensable pour qu'un robot assistif saisisse un objet ou qu'un système embarqué guide un geste en temps réel. EARL démontre qu'injecter un prior sémantique structuré avant la phase de grounding améliore significativement cette précision sans sacrifier la compréhension globale. La robustesse OOD mesurée sur EgoHOS est un signal positif pour des déploiements en conditions variées, même si l'article reste un preprint académique et non un système industriellement déployé, ce qui invite à la prudence sur la portée des métriques annoncées. La vision égocentrique connaît une forte dynamique, portée par des dispositifs comme les lunettes Meta Orion, l'Apple Vision Pro et les casques industriels RealWear, tandis que le dataset Ego4D (Meta/FAIR) reste la référence d'entraînement du domaine. EARL s'inscrit dans une vague de travaux combinant MLLMs et RL pour dépasser les limitations du fine-tuning supervisé classique, aux côtés de systèmes comme SpatialVLM ou EgoVLP. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans le preprint ; les extensions naturelles incluent l'intégration dans des pipelines robotiques temps-réel et l'évaluation sur des environnements industriels ou médicaux, où la précision du grounding pixel conditionne directement la sécurité opérationnelle.

RecherchePaper
1 source
Méthode reproductible de sensibilisation à la robotique par interaction LLM : résultats d'un défi d'entreprise
3arXiv cs.RO 

Méthode reproductible de sensibilisation à la robotique par interaction LLM : résultats d'un défi d'entreprise

Une équipe de chercheurs a conçu et testé une méthode de sensibilisation à la robotique en milieu industriel réel, en déployant un robot humanoïde contrôlé par un grand modèle de langage (LLM) lors d'un événement interne organisé par AD Ports Group aux Émirats arabes unis. Les employés du groupe portuaire, sans formation préalable en robotique, ont interagi avec le robot via des commandes vocales dans un environnement d'exercice inspiré de la logistique, structuré en équipes avec des rôles attribués. Au terme de l'activité, un questionnaire resté ouvert 16 jours a recueilli 102 réponses. La satisfaction globale atteint 8,46/10, l'intérêt déclaré pour la robotique et l'IA 4,47/5, et la compréhension des nouvelles formes de collaboration homme-robot 4,45/5. Les participants ayant interagi directement avec le robot ont évalué la naturalité de l'échange à 4,37/5 et la progression de la facilité d'interaction à 4,74/5. Les scores concernant la fiabilité et la prédictibilité du robot restent en revanche sensiblement plus bas, ce que les auteurs identifient comme un défi technique à adresser. Ce travail fournit l'une des rares mesures quantitatives issues d'un déploiement en organisation réelle, hors contexte laboratoire, sur l'efficacité des LLM comme interface d'entrée en robotique pour des non-spécialistes. Pour les décideurs industriels et les intégrateurs, il valide un format concret d'onboarding technique : une activité compétitive courte peut suffire à modifier la perception et l'appétence pour la robotique collaborative. La méthode est présentée comme réplicable, ce qui est significatif pour des groupes industriels cherchant à préparer leurs effectifs à des déploiements d'IA incarnée sans passer par une formation longue. L'exploration des LLM comme couche de contrôle en langage naturel pour les robots s'intensifie depuis 2023, portée notamment par des architectures comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI), mais les preuves d'usage en conditions industrielles non contrôlées restent rares. AD Ports Group, opérateur de ports et de zones logistiques parmi les plus importants du Moyen-Orient, constitue un terrain d'expérimentation pertinent. L'étude ne précise pas le modèle de robot humanoïde utilisé ni l'architecture LLM sous-jacente, une limite notable pour qui voudrait reproduire l'approche. Les prochaines étapes annoncées portent sur l'amélioration de la fiabilité perçue et la réplication de la méthode dans d'autres contextes opérationnels industriels.

UELa méthodologie réplicable d'onboarding robotique par interaction LLM peut être directement adoptée par des groupes industriels français et européens pour préparer leurs effectifs aux déploiements de robots collaboratifs sans formation longue.

RecherchePaper
1 source
UAOR : réinjection d'observations sensible à l'incertitude pour les modèles vision-langage-action (VLA)
4arXiv cs.RO 

UAOR : réinjection d'observations sensible à l'incertitude pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (référence 2602.18020v2) une méthode baptisée UAOR (Uncertainty-aware Observation Reinjection), conçue pour améliorer les modèles VLA (Vision-Language-Action) sans nécessiter de réentraînement ni de données supplémentaires. Le principe repose sur la mesure de l'entropie d'action à chaque couche du modèle de langage sous-jacent : lorsqu'une couche présente une incertitude élevée, le module réinjecte les informations d'observation clés dans le réseau Feed-Forward (FFN) de la couche suivante, via un mécanisme d'attention retrieval. Les auteurs exploitent ici une propriété connue des transformeurs où les FFN se comportent comme des mémoires clé-valeur, et l'appliquent de façon adaptative et conditionnelle à l'état d'incertitude du modèle. Les expériences couvrent à la fois des environnements simulés et des tâches de manipulation réelle, sans précisions chiffrées sur les volumes ou les délais de cycle dans l'abstract publié. L'intérêt pratique est réel pour les équipes qui cherchent à améliorer des pipelines VLA existants : la plupart des approches actuelles exigent l'ajout de capteurs (nuages de points, cartes de profondeur) ou de modules auxiliaires (détecteurs d'objets, encodeurs spécialisés), impliquant collecte de données et phases d'entraînement coûteuses. UAOR se branche en plug-and-play sur des modèles déjà entraînés, ce qui réduit significativement le coût d'intégration. Cette approche "training-free" est particulièrement pertinente dans un contexte industriel où le fine-tuning sur données propriétaires reste un frein. Cela dit, l'abstract ne communique pas de métriques précises (taux de succès, amélioration relative), ce qui rend l'évaluation de l'amplitude des gains difficile avant lecture complète du papier. Les VLA sont devenus un axe central de la robotique de manipulation généraliste depuis 2024, portés par des modèles comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI). UAOR s'inscrit dans une dynamique de recherche qui cherche à extraire davantage de performance des architectures existantes plutôt qu'à en construire de nouvelles, une tendance d'optimisation à moindre coût computationnel. La prochaine étape naturelle serait une évaluation comparative sur des benchmarks standardisés comme RLBench ou FurnitureBench, et un test d'intégration sur des modèles open-source populaires tels qu'OpenVLA ou Octo.

RechercheOpinion
1 source