RecherchearXiv cs.RO 19 juin 2026

Raisonnement robuste sur l'état d'assemblage par reconnaissance d'actions pour la collaboration homme-robot

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude publiée sur arXiv (identifiant 2606.20150) en juin 2026 évalue de manière systématique cinq méthodes de suivi d'état d'assemblage à partir de la reconnaissance d'actions humaines (HAR), dans le cadre de la collaboration homme-robot (HRC). Les chercheurs ont testé des approches à base de règles logiques, de modèles de Markov cachés (HMM) et de réseaux de neurones (NN) sur deux jeux de données aux caractéristiques différentes. Les tests combinent des entrées simulées avec différents niveaux de bruit et des entrées réalistes issues d'un modèle HAR opérationnel. L'objectif est de déterminer quelle méthode permet de suivre fidèlement l'état d'une tâche d'assemblage coopérative, étape par étape, à partir de la seule reconnaissance des gestes humains.

Les résultats contredisent l'hypothèse dominante selon laquelle les approches par réseaux de neurones surpassent systématiquement les méthodes classiques. Les NN et HMM affichent de bonnes performances sur des tâches à faible variabilité, mais se révèlent fragiles face à des séquences atypiques ou bruitées. Les méthodes logiques, bien que moins sophistiquées, se montrent plus robustes dans les scénarios à haute variabilité. Par ailleurs, la modélisation de la durée attendue des actions s'avère critique pour les tâches comportant des actions répétées, notamment lorsqu'aucun capteur complémentaire ne fournit de signal de confirmation. Ce constat a des implications directes pour les intégrateurs industriels qui déploient des cellules HRC sur des lignes d'assemblage réelles : choisir un modèle d'inférence d'état inadapté au profil de la tâche peut entraîner des erreurs de synchronisation robot-opérateur difficiles à diagnostiquer.

Ce travail s'inscrit dans un domaine de recherche en pleine effervescence, porté par l'essor des robots collaboratifs (cobots) dans les environnements manufacturiers. Des acteurs comme Universal Robots, FANUC ou encore des laboratoires européens tels que ceux du LAAS-CNRS et de Fraunhofer travaillent sur des pipelines HAR similaires pour des applications d'assistance à l'assemblage. La difficulté centrale, le "demo-to-reality gap" entre conditions de laboratoire et déploiement en usine, reste entière. Cette étude ne propose pas de solution universelle mais établit une carte comparative utile, à condition que les praticiens caractérisent d'abord la variabilité réelle de leur tâche avant de sélectionner une architecture de suivi d'état.

Impact France/UE

Le LAAS-CNRS et Fraunhofer sont explicitement cités comme acteurs travaillant sur des pipelines HAR similaires, et les conclusions comparatives offrent une grille de décision directement utilisable par les intégrateurs européens qui déploient des cellules cobot sur des lignes d'assemblage réelles.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

SASI : exploiter la sémantique des sous-actions pour une reconnaissance précoce et robuste en interaction homme-robot

Des chercheurs présentent SASI (Sub-Action Semantics Integrated cross-modal fusion), un cadre de reconnaissance d'actions humaines publié en préprint sur arXiv (réf. 2604.27508). L'objectif est d'améliorer la reconnaissance précoce des gestes dans le contexte de l'interaction homme-robot (HRI) : identifier une action avant qu'elle soit complètement exécutée, à partir d'une séquence incomplète. SASI combine un réseau de convolution sur graphe (GCN) basé sur le squelette humain avec un modèle de segmentation de sous-actions, fusionnant des features spatiotemporelles et la sémantique des sous-actions via une fusion cross-modale. Le système fonctionne en temps réel à 29 Hz. Les évaluations sont conduites sur le dataset BABEL, un jeu de données squelettiques avec annotations au niveau de la frame, et montrent une amélioration de la précision de reconnaissance précoce par rapport aux approches conventionnelles. La capacité à reconnaître une action avant sa complétion est décisive pour les robots collaboratifs qui doivent anticiper et répondre de manière proactive. Les approches existantes traitent l'action comme un tout holiste et ignorent la structure hiérarchique inhérente aux mouvements humains : un "saisir un objet" se décompose en approche, préhension et retrait, avec des indices sémantiques distincts à chaque sous-étape. En exploitant ces sous-actions comme unités d'analyse, SASI permet au robot de prendre des décisions à partir d'observations partielles. Pour un intégrateur de robots industriels ou un opérateur d'AMR en entrepôt, cela se traduit concrètement par des systèmes capables d'adapter leur trajectoire avant qu'un opérateur humain ait terminé son geste, réduisant les temps d'attente et les risques de collision. La reconnaissance d'actions par squelette s'appuie depuis 2018 sur les GCN spatio-temporels (ST-GCN, puis CTR-GCN, MS-G3D), devenus le backbone standard du domaine. BABEL, le dataset utilisé ici, est construit sur AMASS, une collection motion-capture multi-sujets avec étiquetage sémantique fin. Il n'y a pas, à ce stade, d'entreprise ou de partenaire industriel mentionné : SASI est un travail académique en préprint, soumis de façon anonyme (dépôt de code temporaire sur anonymous.4open.science), ce qui en limite pour l'instant la reproductibilité indépendante. Les auteurs indiquent que des gains supplémentaires sont attendus avec l'amélioration de la segmentation des sous-actions, une dépendance critique non résolue pour un déploiement réel. Aucune timeline de productisation ni partenaire industriel ne sont mentionnés.

RecherchePaper

1 source

2arXiv cs.RO

Repenser les implications du retour humain pour l'apprentissage des préférences dans la collaboration homme-robot

Une équipe de recherche en interaction homme-robot publie sur arXiv (2609.13982) une remise en cause de la méthode standard d'apprentissage des préférences pour le comportement des robots collaboratifs. Cette méthode standard fonctionne en trois étapes : le robot collecte un feedback humain direct limité, généralement binaire (positif ou négatif) ; il en déduit ensuite des étiquettes "acceptée" ou "rejetée" pour des actions faisables mais non choisies, via des règles d'implication fixes préétablies ; puis il met à jour son modèle de récompense avec l'ensemble de ces données. Une étude utilisateur menée sur deux environnements de simulation collaboratifs montre que les étiquettes d'implication réellement données par les humains divergent souvent de ce que prédit la règle fixe, et que l'usage des étiquettes humaines réelles améliore nettement l'apprentissage de récompense avec l'algorithme PIE (Preference Learning from Implicit and Explicit Feedback). Les chercheurs proposent en réponse IMPLIED, une méthode qui utilise la règle fixe comme simple point de départ tout en apprenant à inférer et corriger les étiquettes au fil des interactions. Testée sur des trajectoires d'interaction homme-robot enregistrées ainsi que sur une étude avec un robot physique préparant des pizzas, IMPLIED prédit les implications humaines plus fidèlement que la règle fixe et que des références basées sur des LLM, en se rapprochant des performances d'un oracle utilisant directement des étiquettes humaines. Ce résultat questionne une hypothèse implicite largement répandue dans la conception des systèmes de robots collaboratifs : que des règles logiques figées suffisent à extrapoler les préférences humaines au-delà du feedback explicite donné. Pour les concepteurs de robots d'assistance ou de cobots industriels, cela signifie que les modèles de récompense actuels risquent de mal interpréter systématiquement l'intention des opérateurs sur les actions non directement évaluées, ce qui peut se traduire par un comportement robotique perçu comme irrationnel ou mal aligné en situation réelle de collaboration. En réduisant l'erreur d'estimation des préférences, IMPLIED promet des robots capables de s'adapter plus vite et plus fidèlement à un opérateur humain sans multiplier les sollicitations de feedback, un enjeu direct pour l'efficacité des déploiements en environnement partagé homme-robot. Le travail s'inscrit dans la lignée des approches d'apprentissage de préférences par renforcement inverse appliquées à la robotique collaborative, où l'algorithme PIE sert de référence pour combiner feedback explicite et implicite. En comparant IMPLIED à la fois à la règle fixe classique et à des références utilisant des grands modèles de langage, les auteurs positionnent leur méthode comme une alternative apprise et adaptative aux heuristiques statiques du domaine. La validation combine environnements simulés et un cas d'usage physique concret de fabrication culinaire, suggérant une voie vers une intégration future dans des architectures de robots collaboratifs déployés en usine ou en environnement de service.

RecherchePaper

1 source

3arXiv cs.RO

Échantillonnage génératif par blocs d'actions pour un contrôle adaptatif de la rigidité en collaboration homme-robot physique

Une équipe de recherche a publié sur arXiv (2608.25284, août 2026) une méthode de contrôle adaptatif de raideur articulaire pour la collaboration physique homme-robot, basée sur l'échantillonnage génératif de séquences d'actions. À partir d'une image RGB et d'estimations de couple externe aux articulations, la politique générative tire plusieurs séquences d'actions futures ; leur variance pilote en continu la raideur et l'amortissement du robot, une forte dispersion le rendant plus compliant, une faible dispersion plus ferme. Sur une tâche réelle de transport collaboratif à quatre directions possibles, la méthode atteint un taux de réussite de 0,95, contre 0,83 pour une raideur fixe et 0,69 pour une politique déterministe, la variance grimpant précisément quand la direction voulue par l'humain reste ambiguë. Le résultat s'adresse aux intégrateurs de cobots, bras d'assistance et exosquelettes confrontés à l'arbitrage entre un robot trop rigide, qui impose sa trajectoire, et un robot trop compliant, sans assistance utile. Utiliser la dispersion d'un modèle génératif comme proxy d'incertitude sur l'intention humaine, sans reconnaissance de geste explicite, offre un signal de contrôle peu coûteux ; l'écart avec la politique déterministe (0,95 contre 0,69) confirme l'intérêt d'une modélisation stochastique de l'action, alors que le secteur cherche à rendre les politiques VLA exploitables au-delà du laboratoire. Le résultat reste toutefois obtenu sur une seule tâche à quatre directions, avec un volume d'essais limité typique d'un preprint, et sa transposition à des manipulations plus complexes n'est pas démontrée. Ce travail prolonge les recherches sur le contrôle d'impédance variable en interaction physique homme-robot, en détournant l'échantillonnage de séquences d'actions, technique popularisée par les politiques récentes de type action chunking (dans la veine des approches diffusion policy ou des modèles VLA comme Pi-0 ou GR00T N2), pour en extraire un signal d'incertitude plutôt qu'une action à exécuter. La comparaison se limite à deux références internes, raideur fixe et politique déterministe, sans confrontation à un système commercial : une contribution académique en preprint, non un produit ou un pilote industriel. Aucune entreprise ni calendrier de déploiement n'est mentionné dans l'article ; les suites évoquées porteraient sur des tâches de manipulation plus riches et une validation auprès de davantage de participants.

RecherchePaper

1 source

4arXiv cs.RO

HRIBench : évaluation de la collaboration homme-robot centrée sur l'interaction

Ce papier arXiv (2607.13056v1) présente HRIBench, un benchmark diagnostique conçu pour évaluer la collaboration homme-robot centrée sur l'interaction, plutôt que la seule manipulation isolée. Contrairement aux benchmarks VLA (vision-language-action) existants, qui testent des compétences de manipulation déconnectées de toute interaction humaine, HRIBench modélise les tâches collaboratives sous forme de scénarios structurés intégrant rôles des agents, dépendances temporelles, contraintes de coordination et distributions de comportement humain. Trois rôles sont définis : Instructeur, Collaborateur et Intrus, couvrant respectivement la communication d'intention, la coordination conjointe et la robustesse face à une intervention humaine imprévue. Le benchmark comprend 13 tâches conditionnées par rôle et plus de 650 épisodes d'évaluation générés à partir de trajectoires d'interaction et de variations de scène diverses. Les chercheurs ont testé des politiques adaptées à partir de GR00T, pi0.5 et ACT selon un protocole unifié, avec des métriques allant au-delà du simple taux de réussite : synchronisation, réactivité, respect du protocole et sécurité. Les résultats montrent que les politiques robotiques actuelles, malgré de bonnes capacités de manipulation pure, peinent nettement dès qu'il s'agit de coordination temporelle et de comportement sensible à l'intention humaine, un angle mort largement ignoré par les benchmarks existants. Ce constat vient nuancer l'idée que les modèles VLA généralistes seraient déjà prêts pour une collaboration homme-robot fluide en environnement partagé, un enjeu central pour tout déploiement industriel où humains et robots opèrent côte à côte. Fait notable, un fine-tuning sur les données HRIBench améliore systématiquement les performances collaboratives, et en conditions réelles, les données de simulation générées par le benchmark font passer le taux de réussite de GR00T N1.5 sur une tâche physique de 0,10 à 0,43. HRIBench s'inscrit dans une dynamique de recherche cherchant à combler l'écart entre benchmarks de manipulation pure et exigences réelles de la cohabitation homme-robot, à mesure que des politiques comme GR00T (NVIDIA), pi0.5 (Physical Intelligence) ou ACT gagnent en usage comme bases pour l'apprentissage robotique généraliste. Les auteurs positionnent leur travail comme un outil diagnostique réutilisable, avec des pistes explicites de fine-tuning ciblé pour renforcer la coordination et la sécurité, plutôt qu'un simple classement de performances brutes.

RecherchePaper

1 source