RecherchearXiv cs.RO 12 octobre 2026

La connaissance de l'incertitude perceptive aide-t-elle un agent en conduite automatisée ?

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (version 2 de l'étude 2502.11864) une analyse de l'effet de l'incertitude perceptive sur le comportement d'un agent de conduite automatisée entraîné par apprentissage par renforcement. Le protocole repose sur une tâche proxy: l'agent est récompensé s'il parcourt un itinéraire le plus vite possible sans collision avec les autres usagers. Pour contrôler l'expérience, les auteurs perturbent artificiellement la perception de l'agent, c'est-à-dire l'espace d'observation, puis comparent deux configurations. Dans la première, l'agent subit ces perturbations sans le savoir. Dans la seconde, l'estimation de l'incertitude courante est ajoutée directement à son observation. L'abstract ne fournit ni chiffres de performance, ni taux de collision, ni détail sur le simulateur ou l'algorithme utilisés.

Les résultats vont dans le sens attendu. Une perception dégradée et non signalée conduit l'agent à adopter une conduite défensive, donc plus lente. Lorsque le niveau d'incertitude lui est communiqué, l'agent adapte son comportement à la situation et accomplit globalement sa tâche plus rapidement, tout en tenant compte des risques. Pour les ingénieurs en perception et en planification, l'enjeu est architectural. L'estimation d'incertitude est aujourd'hui surtout évaluée dans le domaine de la perception (taux de faux positifs, erreurs de calibration sur images de caméra), rarement pour son effet sur la décision. Ce travail suggère que propager cette information jusqu'à la politique de conduite peut réduire la prudence excessive sans sacrifier la sécurité. Il faut toutefois rester prudent: il s'agit d'une tâche proxy en simulation, avec des perturbations injectées et non des erreurs réelles de capteurs. Rien ne démontre à ce stade un transfert vers des véhicules réels, ni que les estimations d'incertitude d'un vrai système de perception seraient aussi bien calibrées que celles fournies ici à l'agent.

Cette recherche s'inscrit dans un décalage connu entre deux communautés: celle de l'apprentissage par renforcement, qui traite la décision sous incertitude sans exposer à l'agent l'incertitude de son propre environnement, et celle de la perception, qui quantifie l'incertitude sans mesurer son utilité en aval. Le sujet touche directement les approches de bout en bout et les modèles vision-langage-action, où la confiance du modèle dans ses entrées reste rarement exploitée par la politique. Il s'agit d'une publication académique, sans produit ni déploiement associé. Les suites logiques seraient une validation avec des estimateurs d'incertitude réalistes, des scénarios plus complexes et, à terme, des essais en conditions réelles. Le fait que l'article en soit déjà à sa deuxième version indique un travail révisé, sans qu'on sache encore s'il a passé une relecture par les pairs.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

IA incarnée : automatisation de la conception d'architectures d'agents

Une équipe de chercheurs a publié fin juin 2026 (arXiv:2606.30111) une étude sur l'automatisation de la conception d'architectures d'agents incarnés. Ils introduisent AgentCanvas, un environnement d'exécution à graphe typé qui représente les pipelines de perception, mémoire, planification et action comme des programmes nœud-à-fil éditables, et KDLoop, une procédure de recherche par agent codeur alternant proposition, critique, expérimentation et distillation, avec des réflexions déclenchées en cas de stagnation. L'évaluation suit une matrice 3x4 : trois variantes d'Agent Architecture Search (AAS) testées sur quatre tâches incarnées couvrant la navigation vision-langage, la réponse à des questions situées (embodied QA) et la manipulation conditionnée par le langage. Les résultats montrent des gains directionnels de taux de succès, mais un candidat apparemment performant a été écarté après détection d'une fuite de données (leak-bearing). L'intérêt de ces travaux réside dans le transfert, pour la première fois de façon systématique, des méthodes AAS -- jusqu'ici cantonnées aux agents textuels -- vers des agents perceptifs en simulation. Pour les architectes de systèmes cognitifs, cela ouvre la possibilité d'automatiser partiellement le choix de stockage de l'information, du traitement des observations et de l'enchaînement des appels de modèles, tâche jusqu'ici confiée à l'intuition des chercheurs. Les auteurs identifient cependant trois contraintes propres à l'incarné, absentes dans les benchmarks textuels : le bruit de rollout masque les signaux d'optimisation, la recherche se piège dans des bassins d'édition locaux, et l'attribution de crédit épisodique reste partielle même avec des journaux détaillés. La détection d'un candidat corrompu par fuite de données illustre par ailleurs un risque d'évaluation spécifique aux environnements simulés, où l'agent peut exploiter des artefacts de la simulation plutôt que résoudre la tâche réelle. Ces travaux s'inscrivent dans la mouvance des méthodes de méta-design d'architectures cognitives, appliquées ici à la couche système plutôt qu'aux poids des modèles. Les benchmarks dominants en navigation vision-langage (R2R, ALFRED) restent maîtrisés par des architectures manuelles, et des frameworks comme LangGraph ou AutoGen couvrent l'espace des agents textuels sans gestion de rollout simulé. Aucun acteur européen ou français n'est impliqué dans cette publication. Les prochaines étapes identifiées par les auteurs incluent l'extension à des environnements physiques réels et le renforcement de KDLoop face au bruit de rollout, deux verrous explicites avant toute applicabilité industrielle.

RecherchePaper

1 source

2arXiv cs.RO

Assistance robotique proactive et personnalisée par raisonnement LLM guidé par l'incertitude

Des chercheurs ont publié le 9 juin 2026 sur arXiv (2606.08458) GLOBE, un framework léger pour l'assistance robotique proactive en environnement domestique. Le principe : combiner des modèles de Markov n-grammes, qui capturent les patterns comportementaux temporels d'un utilisateur, avec un raisonnement par grand modèle de langage (LLM) déclenché uniquement lorsque la confiance du modèle prédictif passe sous un seuil. Ce mécanisme d'invocation sélective réduit la charge computationnelle par rapport aux architectures spatio-temporelles classiques. L'équipe introduit également HOMER-Noise, une extension bruitée du dataset HOMER+, qui simule des perturbations structurées réalistes : déplacements d'objets causés par des humains, des animaux domestiques ou des jeunes enfants. Le framework est validé en preuve de concept sur un manipulateur mobile Stretch 3 de Hello Robot, dans des scénarios d'interaction humain-robot à domicile. L'intérêt principal de GLOBE réside dans son positionnement hybride : plutôt que de faire tourner un LLM en continu sur chaque prédiction d'activité, le système n'y fait appel que sur les cas ambigus, ce qui le rend potentiellement déployable sur du matériel embarqué à ressources limitées. Les résultats annoncés montrent des performances compétitives face aux méthodes état de l'art, y compris en conditions bruitées, là où les approches purement neuronales se dégradent. Cette robustesse aux perturbations environnementales non contrôlées est un verrou connu pour le déploiement domestique réel. Il faut toutefois noter qu'il s'agit d'un preprint arXiv sans peer review, et que la validation sur Stretch 3 reste au stade de démonstration de concept, pas d'un déploiement opérationnel. GLOBE s'inscrit dans un courant de recherche qui cherche à réconcilier les LLMs, puissants mais coûteux, avec les contraintes temps réel de la robotique embarquée. Des approches similaires existent chez des équipes travaillant sur les VLAs (Vision-Language-Action models), comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, mais celles-ci ciblent surtout la manipulation industrielle plutôt que l'assistance cognitive à domicile. Le dataset HOMER-Noise comble un manque réel dans l'évaluation de la robustesse des systèmes d'anticipation d'activités. Les prochaines étapes logiques seraient une évaluation sur des déploiements multi-utilisateurs prolongés et une comparaison directe avec des baselines LLM-only pour quantifier précisément le gain computationnel revendiqué.

RecherchePaper

1 source

3arXiv cs.RO

Autonomie robotique à seuil de confiance : quand l'incertitude est-elle vraiment utile ?

Des chercheurs ont déposé sur arXiv (2605.18045) une étude systématique sur l'autonomie à seuil de confiance, mécanisme par lequel un robot décide d'agir de façon autonome ou de déléguer à une politique de repli selon son niveau d'incertitude prédictive. L'équipe a comparé trois familles de méthodes d'estimation de l'incertitude (heuristiques softmax, MC Dropout, ensembles de modèles) sur trois benchmarks de reconnaissance d'activité temporelle, avant de valider les résultats dans une simulation embarquée multi-seed mesurant taux de collision et coût opérationnel. Les auteurs critiquent les métriques standard comme l'ECE (erreur de calibration attendue) et l'AUROC : ces indicateurs ne testent pas directement si l'incertitude modifie la décision agir/déléguer. Ils proposent en remplacement une évaluation par corrélation de rang de Spearman, tests d'équivalence par bootstrap, et accord act/defer. Le résultat central contredit une hypothèse fréquente dans la robotique de déploiement : une fois un seuil de compétence minimal atteint par le modèle de base, les trois méthodes produisent des comportements de gating quasi-identiques. C'est le choix du seuil de décision qui pèse le plus sur les résultats d'exécution, bien davantage que la sophistication de la méthode d'incertitude choisie. En pratique, un proxy simple (softmax) suffit pour le gating sélectif dès lors que le modèle est compétent. Revers de la médaille : la détection sémantique hors-distribution fine-grained reste proche du hasard même avec des ensembles de modèles. Les systèmes actuels ne savent pas identifier une situation véritablement inédite, ce qui représente un angle mort critique pour les robots opérant en environnements non contrôlés. Ce travail s'inscrit dans le champ de l'autonomie partagée (shared autonomy), question centrale pour les robots collaboratifs et les AMR industriels. Les méthodes comparées (MC Dropout, Gal et Ghahramani 2016 ; ensembles, Lakshminarayanan 2017) font figure de références établies dans le domaine. Les résultats relativisent les arguments commerciaux en faveur des estimateurs bayésiens avancés pour le déploiement terrain, un sujet directement pertinent pour des acteurs comme Boston Dynamics, Figure AI, Apptronik ou Intrinsic (Alphabet), dont les systèmes doivent décider en temps réel quand solliciter un opérateur humain. Les auteurs annoncent comme prochaines étapes l'extension à des modalités sensorielles plus riches et à des scénarios de décalage de covariable plus agressifs, pour tester la robustesse des conclusions hors du cadre benchmarké.

RecherchePaper

1 source

4arXiv cs.RO

ROMA : un système LLM pour la perception active multisensorielle centrée sur les objets en conditions réelles

Des chercheurs publient sur arXiv (2610.06955v1) ROMA, un système à base de grand modèle de langage (LLM) pour la perception active multi-sensorielle centrée sur l'objet, testé en conditions réelles. Il intègre la vision, l'audio, le tactile et la force dans une boucle raisonnement, interaction, retour sensoriel. Le modèle repère les preuves manquantes, puis choisit l'objet cible, l'interaction et la modalité à utiliser. Une interface physique exécute l'action et renvoie les mesures. Pour l'entraîner, l'équipe a construit ROMI-2K, un jeu de données d'interactions réelles couvrant près de 2 000 objets et 6 interactions atomiques, avec un retour sensoriel synchronisé. L'entraînement se fait en deux étapes : alignement des modalités, puis apprentissage de trois compétences. Ces compétences sont évaluer si les preuves suffisent, sélectionner les interactions les plus informatives et raisonner sur le retour multi-sensoriel. Les auteurs définissent aussi des « chaînes de perception », où chaque preuve acquise guide l'interaction suivante. Ils proposent ROMA Bench, qui évalue trois cas : un seul attribut, plusieurs attributs sur un long horizon, et une perception guidée par l'intention. L'abstract ne donne ni chiffres de performance, ni noms des modèles comparés, ni détail sur le matériel robotique. L'intérêt tient au déplacement du problème. La plupart des systèmes multi-sensoriels fusionnent des entrées déjà disponibles. ROMA traite la perception comme une décision : quelle information manque, comment l'obtenir, quand s'arrêter. C'est utile pour les tâches où la vision seule ne suffit pas, comme estimer la masse, la rigidité, le contenu d'un contenant ou la matière d'une surface. Le travail suggère aussi qu'un LLM peut servir de planificateur d'interactions informatives, pas seulement d'exécutant de commandes. Reste une réserve : le papier ne précise pas ici le taux de réussite, le temps par chaîne de perception ni la robustesse hors des objets du jeu de données. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel annoncé. Ce travail s'inscrit dans la montée des modèles vision-langage-action (VLA) et des modèles de fondation pour la manipulation. Ceux-ci restent surtout dominés par la vision et le langage, et le tactile, la force et l'audio y sont encore peu exploités. ROMI-2K et ROMA Bench pourraient servir de références communes, à condition d'être publiés et reproductibles. Aucun pilote ni calendrier n'est annoncé. La prochaine étape logique est de brancher cette perception sur des agents incarnés capables d'agir sur les objets identifiés, ce que les auteurs présentent comme une « base perceptuelle ». Un intégrateur devra surtout vérifier si ces gains tiennent sur des pièces industrielles, en cadence réelle, avec des capteurs tactiles et de force du commerce.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source