Aller au contenu principal
Un paradigme de contrôle avec humain dans la boucle pour la robotique de construction : de la téléopération guidée par réalité virtuelle à l'opération semi-autonome à deux brasIllustration générée par IA
RecherchearXiv cs.RO 

Un paradigme de contrôle avec humain dans la boucle pour la robotique de construction : de la téléopération guidée par réalité virtuelle à l'opération semi-autonome à deux bras

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de recherche publie sur arXiv (2611.14062) un paradigme de contrôle « human-in-the-loop » pour la robotique de construction, destiné aux tâches à fort contact réalisées par un robot à deux bras. Le système permet de passer de manière structurée entre trois modes : téléopération guidée par réalité virtuelle, contrôle partagé semi-autonome et exécution autonome fondée sur des règles. Il repose sur un guidage VR immersif, une bibliothèque de primitives de compétences réutilisables définies manuellement, et un cadre d'autonomie partagée qui fixe explicitement la répartition des rôles entre humain et robot ainsi que des règles de priorité des commandes. L'opérateur garde l'autorité de supervision et de correction, tandis que le robot prend en charge les gestes répétitifs ou exigeant de la précision. La validation a été faite sur une plateforme bi-bras, sur des tâches représentatives de pose de façade. L'autonomie donne les meilleures performances en conditions nominales bien calibrées, le mode semi-autonome résiste mieux lorsque les perturbations dépassent la capacité de correction du pipeline autonome, et la charge de travail subjective de l'opérateur baisse nettement par rapport à la téléopération complète.

Pour les intégrateurs et les décideurs du BTP, le résultat est moins spectaculaire qu'utile : il contredit l'idée d'un choix binaire entre téléopération et autonomie, et suggère que le bon niveau d'implication humaine doit varier avec l'incertitude de la tâche et du chantier. L'autonomie sert aux opérations répétables, le contrôle partagé à la reprise sur perturbation. C'est un argument pour des déploiements progressifs, où l'opérateur réduit son effort sans disparaître de la boucle. Une réserve : le résumé ne fournit aucun chiffre (temps de cycle, taux de réussite, taille de l'échantillon d'opérateurs), et la validation se limite à une plateforme et à des tâches de façade choisies. Le passage à l'échelle et la robustesse en chantier réel restent donc à démontrer.

Ces travaux s'inscrivent dans un mouvement plus large vers l'autonomie partagée, où la manipulation apprise (politiques VLA, apprentissage par démonstration) coexiste avec des approches à base de compétences explicites. Le choix ici d'une bibliothèque de primitives définies à la main et d'une exécution à règles privilégie la prévisibilité et la certifiabilité plutôt que la généralité, ce qui peut séduire dans un secteur à fortes contraintes de sécurité. Il s'agit d'une recherche académique, sans pilote industriel ni calendrier annoncés. Les suites logiques seraient des essais sur chantier, davantage de tâches et une quantification plus rigoureuse des gains face aux alternatives entièrement autonomes ou apprises.

Dans nos dossiers

À lire aussi

MR-GLi : superpositions en réalité mixte liées à la pince pour la téléopération d'un bras robotique sous-marin par contrôle bilatéral
Illustration générée par IA
1arXiv cs.RO 

MR-GLi : superpositions en réalité mixte liées à la pince pour la téléopération d'un bras robotique sous-marin par contrôle bilatéral

Un article publié sur arXiv le 16 septembre 2026 (arXiv:2609.16041v1) présente MR-GLi, une interface de réalité mixte pour la téléopération bilatérale de bras robotiques sous-marins, qui superpose sur la pince du robot un indicateur de couple de réaction et l'image de la caméra du poignet. Vingt participants ont testé le système sur des tâches de levage et de préhension-dépose avec des objets rigides et souples, en comparaison intra-sujet contrebalancée face à un moniteur 2D classique, avec un contenu visuel identique et un contrôle bilatéral à quatre canaux. MR-GLi a maintenu une régulation du couple équivalente à celle obtenue avec l'écran 2D, sans perte de performance, tout en réduisant, selon l'évaluation subjective des participants, la charge perçue liée aux changements d'attention entre l'espace de travail et l'affichage du retour visuel. Le matériel complémentaire est en ligne sur mertcookimg.github.io/mr-gli. L'enjeu est concret pour les opérateurs de bras robotiques sous-marins, inspection de pipelines, maintenance offshore, intervention subsea, qui alternent aujourd'hui leur regard entre la scène de travail et un écran séparé, ce qui alourdit la charge cognitive lors de manipulations fines sur des objets fragiles. En montrant qu'un overlay lié à la pince ne dégrade pas la performance de régulation du couple, l'étude, menée sur un échantillon de vingt participants, apporte une validation empirique à l'idée que l'accès à l'information compte autant que la précision brute de la tâche. C'est un signal utile pour les intégrateurs de ROV et d'AUV à bras manipulateur qui envisagent d'ajouter des casques de réalité mixte à leurs postes de commande: le gain attendu n'est pas une précision mesurable supérieure, mais une charge mentale réduite pour l'opérateur lors de sessions d'intervention longues. L'étude reste toutefois un test en environnement contrôlé de laboratoire, et non un déploiement en mer, ce qui limite la portée immédiate des résultats. MR-GLi repose sur le contrôle bilatéral à quatre canaux, une technique établie de téléopération à retour de force qui transmet position et force dans les deux sens entre opérateur et robot distant, ici appliquée au contexte sous-marin où visibilité réduite et latence des capteurs compliquent la tâche. Cette recherche s'inscrit dans une tendance plus large de diffusion des interfaces de réalité augmentée et mixte en téléopération à distance, déjà observée en robotique chirurgicale et en robotique spatiale, où superposer l'information dans le champ de vision de l'opérateur réduit les changements de focus. Aucun acteur industriel ni fabricant de bras sous-marin n'est cité dans l'étude, qui reste à ce stade une contribution académique en prépublication plutôt qu'un produit commercialisé. Les auteurs n'annoncent ni calendrier ni partenariat industriel; les suites évoquées portent sur l'élargissement des scénarios de tâches et une validation en conditions réelles d'intervention sous-marine, au-delà du cadre expérimental contrôlé utilisé pour cette comparaison.

RecherchePaper
1 source
Vers des robots humanoïdes dans la construction : étude de faisabilité de la téléopération
Illustration générée par IA
2arXiv cs.RO 

Vers des robots humanoïdes dans la construction : étude de faisabilité de la téléopération

Une équipe de chercheurs présente sur arXiv un système de téléopération permettant à un seul opérateur d'exécuter des tâches de chantier avec un Unitree G1, humanoïde d'entrée de gamme très répandu dans les laboratoires. L'architecture sépare le haut et le bas du corps. Le haut du corps (bras et mains) est piloté par un dispositif de réalité étendue (XR) qui reproduit les mouvements de l'opérateur. La locomotion est commandée au pédalier, ce qui libère les mains et permet de manipuler et de marcher en même temps. Deux tâches tirées de la base de données professionnelle O*NET ont servi de test : le transport d'outils et la peinture de surface. Le système a atteint 100 % de réussite sur le transport d'outils et 80 % sur la peinture. Les auteurs ne précisent pas dans le résumé le nombre d'essais, mais ces taux, établis sur un échantillon visiblement restreint, relèvent de l'étude de faisabilité et non de la validation statistique. Surtout, la téléopération demande nettement plus de temps que l'exécution manuelle par un humain, sans que le résumé chiffre l'écart. L'intérêt tient moins aux performances brutes qu'à la posture adoptée. Plutôt que d'attendre une autonomie complète, que les modèles vision-langage-action (VLA) n'ont pas encore démontrée sur des environnements de chantier non structurés, les auteurs défendent la téléopération comme solution à court terme. Elle répond à la pénurie de main-d'œuvre et aux conditions dangereuses, en éloignant l'ouvrier des tâches les plus pénibles. Elle produit aussi des démonstrations de qualité pour entraîner les futures politiques d'apprentissage. Le résultat nuance le discours de certains acteurs du secteur : un humanoïde commandé à distance reste plus lent qu'un travailleur, ce qui pèse sur la rentabilité immédiate. Pour un intégrateur ou un décideur du BTP, la valeur à court terme se situe donc dans la sécurité et la collecte de données, pas dans la productivité. Ce travail s'inscrit dans une dynamique où la téléopération sert de passerelle vers l'autonomie. Le recueil de démonstrations par casque XR est devenu courant pour alimenter des modèles comme Pi-0 ou GR00T, et le G1, vendu à un prix bien inférieur à celui des humanoïdes industriels, s'impose comme plateforme de recherche. Face à lui, Figure, Tesla avec Optimus ou Agility visent d'abord la logistique et l'usine, plus structurées que le chantier. Le BTP reste un terrain peu exploré pour les humanoïdes, et aucun pilote ni calendrier de déploiement n'est annoncé ici. Il s'agit d'une publication préliminaire (v1), sans produit ni client, dont la suite logique serait des essais plus nombreux, des tâches plus variées et une comparaison chiffrée des temps d'exécution.

RecherchePaper
1 source
Recova : récupération sur échec guidée par des agents pour la manipulation robotique autonome
Illustration générée par IA
3arXiv cs.RO 

Recova : récupération sur échec guidée par des agents pour la manipulation robotique autonome

Des chercheurs présentent sur arXiv Recova, un cadre logiciel piloté par un agent qui traite les échecs de manipulation robotique, ces situations où la scène se retrouve dans un état dont la politique de tâche ne peut plus sortir. Le système développe conjointement l'exécution de la tâche et la récupération dans un jumeau numérique reconstruit de la scène. L'agent y diagnostique les pannes, teste des programmes correctifs et collecte des trajectoires réussies, pour la tâche comme pour la récupération, destinées à entraîner deux politiques distinctes. En déploiement, il surveille la progression, déclenche une récupération apprise ou programmée, vérifie que la scène est restaurée, puis reprend la tâche. Si aucune récupération adaptée n'existe, une démonstration humaine règle le cas et alimente la boucle d'apprentissage. Les essais réels et les démonstrations sont routés vers la politique concernée pour un entraînement DAgger. Sur six configurations LIBERO-Pro et quatre catégories MolmoSpaces, Recova atteint 78,8 % et 64,9 % de succès moyen, contre 71,7 % et 38,0 % pour les meilleures méthodes de référence. Sur quatre postes robotisés réels collectant en parallèle, le fine-tuning DAgger fait passer le succès moyen de 23,8 % à 77,5 %, et les compétences de récupération le portent à 87,5 %. Sur une tâche donnée, l'intervention humaine observée tombe de 87,5 % à 0 % en quatre cycles de collecte. L'enjeu dépasse la robustesse brute. La plupart des politiques VLA et des pipelines d'imitation sont évalués sur des trajectoires nominales, alors que le coût opérationnel d'un robot en production tient largement à ce qui se passe après l'échec : objet tombé, scène désordonnée, nécessité d'un opérateur. Recova propose de transformer chaque panne en capacité réutilisable et de réduire progressivement la supervision humaine, ce qui répond directement à la question du coût de téléopération et d'assistance à distance pour les intégrateurs et les exploitants. Le résultat le plus parlant est l'écart sur MolmoSpaces (64,9 % contre 38,0 %), plus marqué que sur LIBERO-Pro. Des réserves s'imposent toutefois : l'évaluation réelle repose sur peu de postes et de tâches, la baisse de l'intervention à 0 % ne concerne qu'une seule tâche, et rien n'est dit sur les temps de cycle, les coûts de reconstruction du jumeau numérique ou la généralisation à des scènes très différentes. Il s'agit d'un travail de recherche, sans produit livré ni déploiement industriel. Le travail s'inscrit dans la convergence entre agents LLM de planification, jumeaux numériques pour la génération de données et apprentissage par correction de type DAgger, une voie explorée pour limiter la dépendance à la collecte massive de démonstrations. Il se positionne face aux approches de fine-tuning de VLA et de simulation à grande échelle que poursuivent des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix), qui misent surtout sur davantage de données plutôt que sur une récupération explicite des échecs. LIBERO-Pro et MolmoSpaces servent ici de bancs d'essai standardisés. La suite logique serait de valider l'approche sur davantage de tâches, de postes et de durées d'exploitation, et de mesurer ses gains en conditions de production, ce que la page projet de l'équipe, liuisabella.com/Recova, ne détaille pas à ce stade.

RecherchePaper
1 source
IA en Réalité étendue : une couche de médiation pour le contrôle humain situé dans la collaboration homme-robot
Illustration générée par IA
4arXiv cs.RO 

IA en Réalité étendue : une couche de médiation pour le contrôle humain situé dans la collaboration homme-robot

Des chercheurs proposent, dans un article publié sur arXiv (2607.25047v1, catégorie cross-listing), un cadre conceptuel pour repenser le rôle de la réalité étendue (XR) dans la collaboration homme-robot. Plutôt que de limiter la XR à l'affichage d'intentions ou de trajectoires planifiées, les auteurs avancent qu'elle doit devenir une véritable couche de médiation pour ce qu'ils nomment le "contrôle humain situé" : la capacité d'un opérateur à comprendre, orienter, autoriser ou interrompre l'action d'un robot dans le contexte physique, social et temporel précis où elle se déroule. Le raisonnement s'appuie sur trois scénarios concrets : l'assistance robotique au chevet de patients en soins infirmiers, la supervision de bras robotiques multiples, et l'assemblage collaboratif sous attention divisée. À partir de ces cas, l'équipe identifie quatre fonctions de médiation (entre intention humaine et autonomie du robot, entre plans du robot et jugement humain, entre niveaux de contrôle partagé, et entre rôles d'équipe, passations et récupération d'erreurs), puis en déduit six dimensions de conception : possibilités d'action conjointe, contraintes socio-physiques, gestion de l'incertitude et de la validité des plans, contrôle et correction multimodaux, répartition des rôles avec traçabilité, et anticipation de la récupération après incident. L'enjeu dépasse la simple interface homme-machine. Dans les environnements industriels ou de soin où les robots gagnent en autonomie, le déficit d'inspectabilité reste un frein majeur à l'adoption : un opérateur qui ne peut pas anticiper ni corriger une décision robotique en temps réel perd la confiance nécessaire à une collaboration fluide, surtout quand les objectifs changent, que la perception du robot est incomplète, ou que les rôles entre humain et machine évoluent en cours de tâche. Ce travail rappelle que la robustesse d'un système collaboratif ne se joue pas seulement dans l'algorithme de planification, mais dans la capacité de l'humain à rester "dans la boucle" de façon actionnable, un enjeu direct pour les intégrateurs qui déploient des cobots ou des systèmes supervisés en environnement partagé. Il s'agit ici d'un article de position et non d'un système déployé ou d'un produit commercialisé : aucun prototype XR complet n'est présenté, l'apport est une grille d'analyse destinée à orienter la recherche future. Le texte s'inscrit dans la continuité des travaux sur le contrôle partagé et l'autonomie ajustable en robotique collaborative, et propose un agenda de recherche pour concevoir des systèmes XR qui rendraient l'autonomie robotique plus lisible et plus redevable dans des environnements dynamiques, sans préciser à ce stade de calendrier ni de partenaires industriels associés.

RecherchePaper
1 source