Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

CAPSafe : un benchmark pour le raisonnement contextuel sur la sécurité des actions et des plans des agents incarnés

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

CAPSafe, un nouveau benchmark publié sur arXiv (2610.28381), évalue la capacité des agents incarnés pilotés par des grands modèles de langage à raisonner sur la sécurité, à deux niveaux. Le premier est un jeu de données au niveau de l'action, qui teste si une action isolée est sûre compte tenu de son contexte environnemental. Le second, au niveau du plan, vérifie si un agent sait produire des plans à long horizon sûrs pour des tâches domestiques dangereuses et complexes. Les auteurs ont testé neuf LLM, propriétaires et open source. Plusieurs d'entre eux dépassent 90 % de précision pour reconnaître une action dangereuse dans les meilleurs cas. Pourtant, le meilleur taux de réussite en toute sécurité sur les plans longs revient à Gemini-3-pro avec 78,19 %, tandis que tous les autres restent sous 65 %.

Cet écart entre détection et planification est le résultat à retenir pour l'industrie. Un modèle qui identifie correctement un danger quand on le lui présente ne le prend pas pour autant en compte quand il enchaîne des dizaines d'actions. Pour les intégrateurs et les décideurs qui envisagent de confier à un LLM ou à un modèle vision-langage-action (VLA) la planification de tâches en environnement réel, la précision sur des questions isolées ne garantit donc pas la sécurité d'exécution. Les garde-fous devront probablement être placés au niveau de la séquence, par exemple avec une vérification formelle du plan, un filtre indépendant ou une supervision en boucle fermée, plutôt que de s'en remettre au seul raisonnement du modèle. Les chiffres sont en outre obtenus sur des tâches textuelles ou simulées. Ils ne disent rien de la perception, des erreurs de capteurs ni de la dynamique physique, qui aggravent le problème sur un robot réel.

Le benchmark répond à des limites des évaluations précédentes. CAPSafe modélise des dangers situationnels, déduits des propriétés des objets plutôt que listés à l'avance. Il prévoit aussi plusieurs dangers simultanés dans un même environnement, chacun annoté d'un niveau de gravité relatif, ce qui permet une analyse plus fine que le simple verdict sûr ou non sûr. Il s'inscrit dans la série des évaluations de sécurité pour agents incarnés, sur un terrain où les laboratoires de modèles généralistes et les développeurs de robots humanoïdes et domestiques convergent. Le travail est un préprint, non évalué par les pairs, et l'article ne mentionne ni pilote industriel ni calendrier. Les suites logiques seraient l'adoption du benchmark par d'autres équipes, le test de modèles plus récents et son extension à des environnements physiques ou à des politiques VLA.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

Un mot, deux actions différentes : un benchmark robotique réel pour le raisonnement incarné conditionné au langage
1arXiv cs.RO 

Un mot, deux actions différentes : un benchmark robotique réel pour le raisonnement incarné conditionné au langage

Des chercheurs ont mis en ligne sur arXiv, en septembre 2026, un preprint non encore relu par les pairs présentant un nouveau benchmark nommé « One Word, Different Action » (référence 2609.05260), conçu pour évaluer le raisonnement incarné conditionné par le langage directement sur robot réel plutôt qu'en simulation. Le protocole s'appuie sur des états de décision physiques et des actions exécutables, en confrontant des paires d'instructions qui soit préservent la tâche malgré un changement de mot, soit la modifient réellement. Il mesure ainsi séparément deux capacités : l'invariance décisionnelle, soit la capacité à conserver la même action quand la tâche ne change pas, et la sensibilité décisionnelle, soit la capacité à changer d'action quand la consigne l'exige vraiment. Deux volets complètent l'évaluation : un test de raisonnement multi-contraintes, où plusieurs exigences de tâche doivent être combinées en une seule décision exécutable, et un test d'ancrage sur images RGB réelles plutôt que sur des représentations symboliques simplifiées. Les résultats montrent que les modèles actuels frôlent la saturation face à un changement isolé d'instruction, une difficulté donc largement surmontée par l'état de l'art. Ils se dégradent en revanche nettement dès qu'il faut intégrer plusieurs contraintes simultanées dans une seule décision exécutable. Pour les intégrateurs et décideurs qui déploient des robots pilotés en langage naturel, ce constat déplace le véritable verrou technique : il ne s'agit plus de détecter qu'une consigne a changé, mais de composer correctement plusieurs contraintes, par exemple l'objet visé, la position et une condition de sécurité, en une action cohérente. Le résultat invite à tempérer l'idée reçue selon laquelle les modèles vision-langage-action (VLA) auraient déjà réglé le suivi d'instructions en robotique : le goulot d'étranglement se déplace du repérage du changement vers le raisonnement compositionnel. Ce travail s'inscrit dans une tendance plus large des bancs d'essai en robotique cherchant à dépasser les métriques obtenues en simulation, jugées trop éloignées des conditions réelles, en testant directement sur robot physique avec des images RGB non retouchées. Il fait écho à une limite déjà observée sur les modèles vision-langage-action déployés dans l'industrie : de bonnes performances sur des démonstrations isolées et contrôlées, mais une généralisation plus fragile dès que plusieurs contraintes de tâche doivent être combinées en une seule décision. L'abstract publié ne précise ni le robot manipulateur utilisé ni les modèles VLA spécifiquement testés, et ne mentionne aucun jeu de données ou code source rendu public à ce stade. « One Word, Different Action » ouvre néanmoins la voie à des comparaisons futures entre modèles sur la composition de contraintes, un axe que les prochains bancs d'essai du secteur devront probablement intégrer pour aller au-delà du simple test de détection de changement d'instruction.

RecherchePaper
1 source
SafeRelBench : un benchmark sensible aux relations spatiales pour la sécurité au niveau des processus dans les agents incarnés pilotés par VLM
2arXiv cs.RO 

SafeRelBench : un benchmark sensible aux relations spatiales pour la sécurité au niveau des processus dans les agents incarnés pilotés par VLM

Des chercheurs présentent SafeRelBench, un nouveau benchmark évaluant la sécurité des agents robotiques pilotés par des modèles vision-langage (VLM), avec un focus sur les relations spatiales entre objets plutôt que sur la simple reconnaissance de risques statiques. Le jeu de données comprend 507 échantillons d'évaluation exécutables, répartis entre 248 échantillons centrés sur des relations spatiales (support, confinement, proximité) et 259 échantillons de contrôle non spatiaux. L'équipe a testé sept agents robotiques différents, combinant des VLM open-source et propriétaires, pour mesurer non seulement s'ils accomplissent une tâche demandée, mais s'ils respectent des contraintes de sécurité tout au long du processus d'exécution, avant même que des actions risquées ne soient entreprises. Le résultat principal est préoccupant pour l'industrie : les chercheurs observent un écart important entre la réussite d'une tâche et la conformité en matière de sécurité au niveau du processus. Concrètement, les agents testés parviennent souvent à terminer la tâche demandée tout en violant des règles de sécurité intermédiaires, par exemple en manipulant un objet posé de façon instable ou en ignorant un risque de renversement pendant le mouvement. Ce constat remet en question l'hypothèse répandue dans le secteur selon laquelle un modèle VLA qui réussit une tâche a nécessairement raisonné correctement sur les risques physiques associés. Pour les intégrateurs et décideurs B2B déployant des robots domestiques ou humanoïdes en environnement réel, cela signifie que les métriques de succès de tâche classiques ne suffisent pas à garantir un déploiement sûr, et que l'évaluation doit désormais intégrer explicitement le raisonnement sur les relations spatiales entre objets. Ce travail s'inscrit dans un mouvement plus large de recherche sur la sécurité des agents incarnés (embodied AI), où les benchmarks existants se limitaient jusqu'ici à la reconnaissance de dangers statiques, au refus d'instructions dangereuses, ou à la vérification de l'état final d'une tâche, sans examiner la trajectoire du processus. SafeRelBench se distingue en testant explicitement si les conditions de sécurité sont respectées avant l'exécution d'actions à risque, plaçant les relations spatiales au cœur de l'évaluation. Les auteurs concluent qu'une intelligence incarnée véritablement sûre nécessite, au-delà de meilleures capacités de perception et de planification, un raisonnement fiable sur la manière dont les relations entre objets façonnent le risque pendant l'interaction, un axe de recherche qui devrait gagner en importance à mesure que les déploiements de robots humanoïdes et domestiques s'accélèrent.

RecherchePaper
1 source
ERQA-Plus : un benchmark de diagnostic pour le raisonnement en IA incarnée
3arXiv cs.RO 

ERQA-Plus : un benchmark de diagnostic pour le raisonnement en IA incarnée

Des chercheurs du LUNAProject22 ont publié le 17 juin 2026 ERQA-Plus, un benchmark de diagnostic conçu pour évaluer les capacités de raisonnement des agents robotiques incarnés (embodied AI). Le jeu de données comprend 1 766 paires question-réponse ancrées dans 711 images prises depuis le point de vue d'un robot, organisées selon une taxonomie en cinq catégories : raisonnement perceptuel, centré sur l'action, interaction sociale, navigation environnementale, et inférence de sens commun contextuel. La construction du dataset repose sur un pipeline en plusieurs étapes combinant génération guidée par la taxonomie, validation automatique par juge LLM, révision itérative et évaluation humaine. Six modèles vision-langage ont été benchmarkés : LLaVA-NeXT-8B, Prismatic-7B, MiniCPM-V-4.5-8B, Qwen3-VL (7B et 32B), RoboRefer-8B et RoboBrain2.5-8B. Le meilleur score global est atteint par Qwen3-VL-32B avec 83,4 % de précision et un score SBERT de 61,4, ce dernier mesurant la similarité sémantique des réponses générées. Le chiffre de 83,4 % masque des déficiences structurelles que l'analyse par catégorie révèle clairement : les modèles testés échouent de manière persistante sur le raisonnement spatial, le raisonnement procédural, la prédiction d'événements et l'inférence d'intentions. C'est précisément le problème que ce benchmark cherche à exposer : les évaluations globales permettent à des modèles d'obtenir des scores élevés en exploitant des raccourcis statistiques visuels ou linguistiques, sans raisonnement incarné réel. Pour les équipes qui développent des VLA (vision-language-action models) destinés à des robots industriels ou de service, ERQA-Plus fournit un outil de diagnostic granulaire qui distingue ce qu'un modèle sait réellement faire dans un environnement situé de ce qu'il devine correctement par coïncidence de distribution. Les benchmarks existants pour l'embodied AI comme ScanQA, EQA ou OpenEQA souffrent d'un contrôle insuffisant sur les dépendances de raisonnement testées, ce qui rend difficile l'attribution des performances à des capacités spécifiques. ERQA-Plus s'inscrit dans un effort de structuration plus rigoureux de l'évaluation, comparable à ce que BIG-Bench a représenté pour les LLM textuels. Dans le paysage concurrentiel, les modèles spécialisés robotique comme RoboRefer et RoboBrain2.5 n'ont pas surpassé les modèles généralistes comme Qwen3-VL, ce qui soulève des questions sur la valeur ajoutée du fine-tuning robotique pour le raisonnement de haut niveau. Le dataset est disponible sur HuggingFace (huggingdas/erqa-plus) et le projet sur GitHub ; aucun déploiement industriel n'est annoncé, il s'agit d'une contribution de recherche sous forme de preprint arXiv.

RecherchePaper
1 source
SafeBranch : alignement de sécurité par paires de branches pour agents incarnés
4arXiv cs.RO 

SafeBranch : alignement de sécurité par paires de branches pour agents incarnés

Un article intitulé "SafeBranch: Branch-Pair Safety Alignment for Embodied Agents" (arXiv:2608.19729), publié en août 2026, s'attaque au problème de la "sécurité interactive" chez les agents incarnés pilotés par des modèles vision-langage (VLA). Ces agents accomplissent les tâches demandées mais violent souvent des contraintes de sécurité en cours d'exécution. La méthode proposée, SafeBranch, construit des paires de branches à partir des propres trajectoires non sûres de l'agent, via un rollback de l'environnement: le système reprend une trajectoire dangereuse, revient exactement à l'étape critique où la violation s'est produite, interroge l'agent pour obtenir une action alternative sûre à ce même point, puis entraîne le modèle en comparant les deux branches, qui ne diffèrent que sur cette unique action. L'agent entraîné agit ensuite de façon sûre au déploiement, sans module de supervision externe actif en boucle. Testée sur les benchmarks IS-Bench et SafetyALFRED, ainsi que sur des variantes hors distribution avec tâches et objets inédits, la méthode obtient environ dix fois plus de réussites sûres que la base non entraînée sur la variante à objets inconnus, sans dégrader le taux de réussite des tâches. Ce travail cible un point de friction central pour l'industrie robotique qui mise sur les modèles VLA pour piloter humanoïdes et bras manipulateurs en environnement humain: la sécurité ne s'obtient ni par simple imitation de trajectoires sûres, qui n'explique pas pourquoi une action est risquée, ni par contraste brut entre trajectoires sûres et non sûres, qui mélange le signal de sécurité à des différences non pertinentes. En isolant précisément l'étape critique où bascule une trajectoire, SafeBranch fournit un signal d'apprentissage plus propre, sans nécessiter de vérificateur externe à l'inférence, ce qui allège la latence et l'intégration côté industriels. Pour des décideurs B2B évaluant le risque d'un déploiement robotique en usine ou en environnement partagé avec des humains, cela répond à une inquiétude concrète: les démonstrations impressionnantes de modèles VLA masquent souvent des comportements dangereux non filtrés hors des scénarios testés. Le gain rapporté sur objets inédits suggère une meilleure généralisation de la sécurité, point faible connu des approches antérieures. Ce résultat s'inscrit dans une littérature émergente sur la sécurité interactive des agents incarnés, née du constat que les benchmarks classiques de réussite de tâche ne capturent pas les violations de contraintes survenant en cours d'exécution, à distinguer des évaluations de sécurité statique utilisées pour les grands modèles de langage généralistes. IS-Bench et SafetyALFRED, employés pour valider SafeBranch, comptent parmi les outils récents conçus pour mesurer ce compromis entre sécurité et performance. Classé comme publication croisée sur arXiv, l'article ne précise ni affiliation institutionnelle ni calendrier de mise en œuvre industrielle: il s'agit à ce stade d'une contribution méthodologique de recherche, sans produit ni déploiement commercial annoncé, à distinguer des piles de sécurité propriétaires intégrées par des acteurs commerciaux de robots humanoïdes. Les suites attendues pour ce type de travaux incluent généralement l'extension à des environnements réels au-delà des simulateurs, et une comparaison directe avec les mécanismes de sécurité déjà déployés dans l'industrie.

RecherchePaper
1 source