Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
SafeRelBench : un benchmark sensible aux relations spatiales pour la sécurité au niveau des processus dans les agents incarnés pilotés par VLM
RecherchearXiv cs.RO 

SafeRelBench : un benchmark sensible aux relations spatiales pour la sécurité au niveau des processus dans les agents incarnés pilotés par VLM

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent SafeRelBench, un nouveau benchmark évaluant la sécurité des agents robotiques pilotés par des modèles vision-langage (VLM), avec un focus sur les relations spatiales entre objets plutôt que sur la simple reconnaissance de risques statiques. Le jeu de données comprend 507 échantillons d'évaluation exécutables, répartis entre 248 échantillons centrés sur des relations spatiales (support, confinement, proximité) et 259 échantillons de contrôle non spatiaux. L'équipe a testé sept agents robotiques différents, combinant des VLM open-source et propriétaires, pour mesurer non seulement s'ils accomplissent une tâche demandée, mais s'ils respectent des contraintes de sécurité tout au long du processus d'exécution, avant même que des actions risquées ne soient entreprises.

Le résultat principal est préoccupant pour l'industrie : les chercheurs observent un écart important entre la réussite d'une tâche et la conformité en matière de sécurité au niveau du processus. Concrètement, les agents testés parviennent souvent à terminer la tâche demandée tout en violant des règles de sécurité intermédiaires, par exemple en manipulant un objet posé de façon instable ou en ignorant un risque de renversement pendant le mouvement. Ce constat remet en question l'hypothèse répandue dans le secteur selon laquelle un modèle VLA qui réussit une tâche a nécessairement raisonné correctement sur les risques physiques associés. Pour les intégrateurs et décideurs B2B déployant des robots domestiques ou humanoïdes en environnement réel, cela signifie que les métriques de succès de tâche classiques ne suffisent pas à garantir un déploiement sûr, et que l'évaluation doit désormais intégrer explicitement le raisonnement sur les relations spatiales entre objets.

Ce travail s'inscrit dans un mouvement plus large de recherche sur la sécurité des agents incarnés (embodied AI), où les benchmarks existants se limitaient jusqu'ici à la reconnaissance de dangers statiques, au refus d'instructions dangereuses, ou à la vérification de l'état final d'une tâche, sans examiner la trajectoire du processus. SafeRelBench se distingue en testant explicitement si les conditions de sécurité sont respectées avant l'exécution d'actions à risque, plaçant les relations spatiales au cœur de l'évaluation. Les auteurs concluent qu'une intelligence incarnée véritablement sûre nécessite, au-delà de meilleures capacités de perception et de planification, un raisonnement fiable sur la manière dont les relations entre objets façonnent le risque pendant l'interaction, un axe de recherche qui devrait gagner en importance à mesure que les déploiements de robots humanoïdes et domestiques s'accélèrent.

Dans nos dossiers

IA physique & VLA

À lire aussi

SafeBranch : alignement de sécurité par paires de branches pour agents incarnés
1arXiv cs.RO 

SafeBranch : alignement de sécurité par paires de branches pour agents incarnés

Un article intitulé "SafeBranch: Branch-Pair Safety Alignment for Embodied Agents" (arXiv:2608.19729), publié en août 2026, s'attaque au problème de la "sécurité interactive" chez les agents incarnés pilotés par des modèles vision-langage (VLA). Ces agents accomplissent les tâches demandées mais violent souvent des contraintes de sécurité en cours d'exécution. La méthode proposée, SafeBranch, construit des paires de branches à partir des propres trajectoires non sûres de l'agent, via un rollback de l'environnement: le système reprend une trajectoire dangereuse, revient exactement à l'étape critique où la violation s'est produite, interroge l'agent pour obtenir une action alternative sûre à ce même point, puis entraîne le modèle en comparant les deux branches, qui ne diffèrent que sur cette unique action. L'agent entraîné agit ensuite de façon sûre au déploiement, sans module de supervision externe actif en boucle. Testée sur les benchmarks IS-Bench et SafetyALFRED, ainsi que sur des variantes hors distribution avec tâches et objets inédits, la méthode obtient environ dix fois plus de réussites sûres que la base non entraînée sur la variante à objets inconnus, sans dégrader le taux de réussite des tâches. Ce travail cible un point de friction central pour l'industrie robotique qui mise sur les modèles VLA pour piloter humanoïdes et bras manipulateurs en environnement humain: la sécurité ne s'obtient ni par simple imitation de trajectoires sûres, qui n'explique pas pourquoi une action est risquée, ni par contraste brut entre trajectoires sûres et non sûres, qui mélange le signal de sécurité à des différences non pertinentes. En isolant précisément l'étape critique où bascule une trajectoire, SafeBranch fournit un signal d'apprentissage plus propre, sans nécessiter de vérificateur externe à l'inférence, ce qui allège la latence et l'intégration côté industriels. Pour des décideurs B2B évaluant le risque d'un déploiement robotique en usine ou en environnement partagé avec des humains, cela répond à une inquiétude concrète: les démonstrations impressionnantes de modèles VLA masquent souvent des comportements dangereux non filtrés hors des scénarios testés. Le gain rapporté sur objets inédits suggère une meilleure généralisation de la sécurité, point faible connu des approches antérieures. Ce résultat s'inscrit dans une littérature émergente sur la sécurité interactive des agents incarnés, née du constat que les benchmarks classiques de réussite de tâche ne capturent pas les violations de contraintes survenant en cours d'exécution, à distinguer des évaluations de sécurité statique utilisées pour les grands modèles de langage généralistes. IS-Bench et SafetyALFRED, employés pour valider SafeBranch, comptent parmi les outils récents conçus pour mesurer ce compromis entre sécurité et performance. Classé comme publication croisée sur arXiv, l'article ne précise ni affiliation institutionnelle ni calendrier de mise en œuvre industrielle: il s'agit à ce stade d'une contribution méthodologique de recherche, sans produit ni déploiement commercial annoncé, à distinguer des piles de sécurité propriétaires intégrées par des acteurs commerciaux de robots humanoïdes. Les suites attendues pour ce type de travaux incluent généralement l'extension à des environnements réels au-delà des simulateurs, et une comparaison directe avec les mécanismes de sécurité déjà déployés dans l'industrie.

RecherchePaper
1 source
CoCoBench : un benchmark de coordination coopérative pour la planification de tâches multi-agents incarnés
2arXiv cs.RO 

CoCoBench : un benchmark de coordination coopérative pour la planification de tâches multi-agents incarnés

Des chercheurs ont présenté CoCoBench, un benchmark conçu pour évaluer la coordination entre agents dans des tâches domestiques exécutables pilotées par des modèles de langage multimodaux (MLLM). L'ensemble comprend 897 instances validées par un oracle, organisées autour de quatre constructions récurrentes de coordination : l'allocation des tâches, l'ordonnancement séquentiel, l'exclusion mutuelle et la coordination des transferts (handoff) entre agents. Au-delà du taux de réussite global des tâches, CoCoBench introduit des scores par construction, qui mesurent précisément si les agents coordonnent effectivement leurs actions plutôt que de simplement atteindre l'objectif final. Les auteurs ont évalué 11 MLLM de premier plan selon différents modes de coordination, types d'observations et nombres d'agents engagés. Le papier a été publié sur arXiv fin août 2026 et s'inscrit dans le champ des agents incarnés multi-robots pour l'environnement domestique. L'apport principal de ce travail est de démontrer que les benchmarks existants, qui résument la performance multi-agent à un simple taux de réussite global, masquent des défaillances de coordination bien réelles : travail dupliqué entre agents, violations des contraintes d'ordre, conflits d'accès aux ressources partagées et désynchronisation lors des transferts de tâches. Les résultats montrent que la capacité de coordination est fortement spécifique à chaque construction : un modèle affichant un bon score global peut échouer nettement sur un type précis de coordination, comme l'exclusion mutuelle, tout en excellant sur un autre. Ce constat contredit l'hypothèse implicite de nombreux acteurs du secteur selon laquelle un haut taux de succès agrégé traduit une compétence de coordination équilibrée. Pour les intégrateurs et décideurs qui envisagent des flottes de robots collaboratifs pilotés par des architectures VLA ou MLLM, ce diagnostic granulaire signale que les métriques usuelles ne suffisent pas à qualifier la fiabilité opérationnelle en environnement partagé. Ce travail s'inscrit dans la progression rapide des systèmes d'agents fondés sur les MLLM ces dernières années, un domaine où l'évaluation a longtemps privilégié soit l'accomplissement de tâches par un agent unique, soit des métriques agrégées peu diagnostiques pour les scénarios multi-agents. CoCoBench cherche à combler ce vide en proposant une évaluation au niveau des mécanismes de coordination eux-mêmes plutôt que du seul résultat final. Les auteurs positionnent leurs conclusions comme une piste concrète pour orienter la conception de futures architectures de modèles et améliorer spécifiquement les capacités de coordination multi-agent, plutôt que d'optimiser uniquement le taux de réussite agrégé. Aucun calendrier de déploiement industriel ni partenariat commercial n'est mentionné : il s'agit à ce stade d'une contribution de recherche et d'un outil de benchmark, destiné à la communauté académique et aux équipes développant des systèmes multi-robots embodied.

RecherchePaper
1 source
SafeVLA-Bench : un benchmark pour mesurer l'écart entre performance et sécurité dans les modèles VLA
3arXiv cs.RO 

SafeVLA-Bench : un benchmark pour mesurer l'écart entre performance et sécurité dans les modèles VLA

Une équipe de recherche a publié en juin 2026 SafeVLA-Bench (arXiv:2606.00773), un cadre d'évaluation de la sécurité conçu spécifiquement pour les modèles vision-langage-action (VLA). Contrairement aux benchmarks existants qui se limitent à mesurer si une tâche de manipulation a été accomplie ou non, SafeVLA-Bench évalue ce qui se passe pendant la trajectoire d'exécution : contact excessif avec l'environnement, perturbation d'objets adjacents, déstabilisation de l'objet tenu, ou auto-contact du robot. Le framework formalise ces critères sous forme de spécifications Signal Temporal Logic (STL) et introduit deux métriques complémentaires : SBU (Succ-But-Unsafe), la fraction des séquences d'exécution qui réussissent la tâche tout en violant une contrainte de sécurité, et VSI (Violation Severity Index), un score de profondeur de violation borné. Appliqué à deux environnements de simulation, LIBERO (manipulation sur table) et RoboCasa-365 (cuisine), sur neuf entrées politique-benchmark, le framework révèle des chiffres préoccupants : les meilleures baselines tabletop affichent encore 13 à 15 % d'épisodes non sécurisés, et 36 à 56 % des rollouts réussis de RoboCasa-365 violent au moins une clause de sécurité active. Ce travail met en évidence un angle mort systémique dans l'évaluation des VLA : un taux de succès élevé ne garantit pas une exécution sûre. Pour les intégrateurs industriels et les équipes qui envisagent de déployer des politiques VLA en environnement réel, cela signifie que les benchmarks habituels surestiment structurellement la maturité des modèles. La distinction que pose SafeVLA-Bench entre "tâche accomplie" et "accomplie de façon acceptable" est exactement le type de critère qui sépare une démo convaincante d'un déploiement industriellement viable. Il faut noter que l'ensemble des résultats repose sur des simulations, ce qui laisse entière la question du transfert sim-to-real pour les violations de sécurité elles-mêmes. L'initiative s'inscrit dans une dynamique plus large de maturation de l'évaluation des VLA, portée notamment par des modèles comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et Helix (Figure), dont les capacités de manipulation généraliste progressent plus vite que les outils pour les qualifier rigoureusement. Jusqu'ici, la communauté s'appuyait sur des métriques de succès binaires héritées de l'ère pré-VLA, insuffisantes dès lors que les politiques sont intégrées dans des chaînes de production ou à proximité d'opérateurs humains. SafeVLA-Bench se positionne comme un outil post-hoc, applicable aux benchmarks existants sans refaire les évaluations depuis zéro. Les prochaines étapes naturelles incluent l'extension à des environnements physiques réels et l'intégration dans les pipelines de certification des systèmes cobotiques. Le projet est documenté sur safevla.org.

UESafeVLA-Bench pourrait alimenter les cadres de certification des systèmes cobotiques en Europe, notamment dans le contexte de l'AI Act qui impose des évaluations de sécurité rigoureuses pour les systèmes IA à haut risque déployés à proximité d'opérateurs humains.

RechercheOpinion
1 source
ROBOSHACKLES : un jeu de données de sécurité pour la prévention des blessures humaines dans les modèles fondation incarnés
4arXiv cs.RO 

ROBOSHACKLES : un jeu de données de sécurité pour la prévention des blessures humaines dans les modèles fondation incarnés

Une équipe de chercheurs publie ROBOSHACKLES, un jeu de données de 10 000 clips vidéo robotiques conçu pour évaluer la sécurité des modèles de fondation embarqués (EFMs, Embodied Foundation Models) face aux risques de blessures humaines. Disponible sur HuggingFace, le dataset est construit à partir d'observations réelles du corpus DROID, un jeu de téléopération robotique existant. Le pipeline suit quatre étapes : compréhension de scène, édition d'image orientée dangers, génération de prompts temporels décrivant l'évolution attendue, puis synthèse en un seul passage via le modèle vidéo Wan2.7. Les clips couvrent six catégories de risques : deux de dommages directs (contact physique avec un humain) et quatre de dommages indirects (situations domestiques dangereuses créées par le robot). L'évaluation de six EFMs représentatifs selon un critère de refus d'action donne un résultat sans équivoque : 100% de taux de génération d'actions dangereuses dans tous les scénarios testés. Ce chiffre interpelle directement les intégrateurs et décideurs industriels envisageant le déploiement de robots à base d'EFMs en environnements mixtes. Il expose un angle mort structurel : contrairement aux LLMs textuels, les EFMs ne disposent pas encore de mécanismes d'alignement de sécurité pour anticiper les séquences d'actions dangereuses avant leur exécution physique. La difficulté est méthodologique : collecter des données réelles de robots blessant des humains est éthiquement et légalement impossible, ce qui explique l'absence de benchmarks dans ce domaine jusqu'ici. ROBOSHACKLES propose une voie scalable via la synthèse vidéo, pour entraîner des modèles à refuser des actions à risque et à anticiper les dangers en amont de l'exécution. Les EFMs sont au cœur d'une compétition intense entre les principaux acteurs : Physical Intelligence avec π0, Google DeepMind avec RT-2, NVIDIA avec GR00T N2, et plusieurs implémentations open-source comme OpenVLA. Ces modèles combinent compréhension multimodale, raisonnement sur les états futurs et génération d'actions directement exécutables sur le robot, un paradigme qui accélère la commercialisation mais expose à des risques que le RLHF classique ne couvre pas. ROBOSHACKLES s'inscrit dans un effort émergent de safety spécifique à la robotique physique, avec pour suites logiques son intégration dans des pipelines de refusal learning et son extension à des scénarios industriels à plus haute énergie cinétique.

UELe résultat (100% de taux de génération d'actions dangereuses) soulève un enjeu de certification directement pertinent pour les déploiements industriels européens soumis aux exigences de sécurité de l'AI Act, notamment pour les systèmes robotiques opérant en environnements mixtes humain-robot.

RechercheOpinion
1 source