Aller au contenu principal
RecherchearXiv cs.RO 

Cadre de perception à couplage sémantique pour le contrôle autonome du laparoscope

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv un cadre de commande autonome de laparoscope en boucle fermée, destiné à la chirurgie mini-invasive. Il couple la reconnaissance en temps réel de la phase chirurgicale (par exemple dissection ou clippage) avec une perception visuelle compensée du mouvement de la caméra. Les approches classiques traitent le suivi visuel et la reconnaissance de phase séparément, ce qui les fragilise en cas d'occlusion, de chevauchement d'entités (instrument devant un organe, par exemple) ou de déplacement de l'endoscope. Ici, les relations entre entités chirurgicales, qui dépendent de la phase, servent à affiner l'estimation de l'état de la cible, puis à piloter le champ de vision (FoV). L'évaluation repose sur des jeux de données de référence pour la reconnaissance de phase et le suivi, y compris des scénarios d'occlusion et de chevauchement, puis sur des essais sur fantôme. Le résumé ne donne aucune métrique chiffrée, ni précision, ni latence, ni taille d'échantillon. Seule une amélioration de la visibilité de la cible et de l'exécution de la tâche par rapport à un champ de vision fixe est affirmée.

L'enjeu est de savoir si la sémantique de la tâche peut stabiliser la perception là où les trackers purement géométriques ou d'apparence décrochent. Pour un fabricant de robots chirurgicaux ou un intégrateur, un porte-endoscope qui anticipe ce que le chirurgien regarde à chaque étape réduirait la charge d'un assistant humain ou du chirurgien lui-même. La comparaison avec un FoV fixe est toutefois une référence peu exigeante. Elle ne mesure ni le gain face à un opérateur humain ni face aux méthodes autonomes existantes. Les essais sur fantôme restent aussi loin des conditions cliniques : fumée, saignement, reflets, déformation des tissus. La démonstration reste donc au stade de la faisabilité.

Le contrôle autonome du laparoscope est un sujet de recherche ancien, depuis les porte-endoscopes robotisés commandés à la voix ou au suivi d'instruments. En pratique, la caméra reste le plus souvent pilotée manuellement, y compris sur les plateformes robotisées dominantes comme le da Vinci d'Intuitive. La tendance actuelle consiste à injecter des modèles de compréhension de scène et de phase, issus des jeux de données chirurgicaux, dans la boucle de commande. Aucune validation sur animal ou en clinique, aucun partenaire industriel et aucun calendrier ne sont annoncés. Les prochaines étapes probables sont des essais ex vivo ou in vivo et des comparaisons directes avec des méthodes autonomes concurrentes.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

À lire aussi

De la sélection de cible au creusement : un cadre par apprentissage pour l'excavation autonome continue
1arXiv cs.RO 

De la sélection de cible au creusement : un cadre par apprentissage pour l'excavation autonome continue

Un article publié en septembre 2026 sur arXiv (2609.29750) présente un système d'excavation autonome continue combinant apprentissage par renforcement et apprentissage par imitation. Une politique RL partagée pilote l'approche guidée par points de passage (waypoints) et le transport de charge, tandis qu'une politique IL, entraînée sur des démonstrations expertes, gère le creusement et le levage à partir de données visuelles. Les cibles de creusement sont extraites de cartes d'élévation LiDAR et converties en trajectoires pour la pointe du godet. Testé sur un excavateur hydraulique à échelle réduite équipé de capteurs multimodaux, le système atteint une charge utile moyenne de 6,52 kg par cycle complet, contre 2,68 kg pour la méthode de référence "Fixed Dig", sur trois séries de cinq pelletées consécutives. Ce travail cible une limite fréquente des démonstrations d'excavation autonome, généralement testées sur un cycle isolé et un tas figé, loin de la réalité d'un chantier où la géométrie du terrain change à chaque pelletée. En séparant la navigation et le transport, confiés au RL plus robuste aux variations, du geste de creusement fin, confié à l'IL plus fidèle au savoir-faire expert, l'approche répond à l'écart classique entre démonstration ponctuelle et usage répété en conditions changeantes. Le gain de charge utile, plus du double de la baseline, constitue un indicateur économique parlant pour les intégrateurs de machines de BTP et de mines, secteurs où la productivité se mesure en tonnes déplacées par heure. Les chiffres restent toutefois issus d'un banc d'essai réduit en laboratoire, pas d'un engin grandeur nature en conditions de chantier réelles. Le projet s'inscrit dans une évolution académique de l'excavation autonome, qui remplace progressivement les commandes scriptées rigides des premiers systèmes par des politiques apprises combinant RL, IL et, plus récemment, des approches vision-langage-action. Il se distingue d'acteurs industriels comme Built Robotics ou SafeAI, qui automatisent des engins de chantier grandeur nature en conditions réelles : ce travail reste au stade de la recherche, validé sur une plateforme réduite en environnement contrôlé. L'article ne mentionne ni partenaire industriel ni calendrier de commercialisation. La suite logique, non précisée dans le résumé, serait un passage à l'échelle sur un excavateur de taille réelle et des essais en conditions de chantier non contrôlées, où la variabilité du sol et des matériaux dépasse largement celle reproduite en laboratoire.

RecherchePaper
1 source
Arbitrage tenant compte des capacités pour le contrôle partagé basé sur l'intention sémantique
2arXiv cs.RO 

Arbitrage tenant compte des capacités pour le contrôle partagé basé sur l'intention sémantique

Un article déposé sur arXiv (2609.25369v1) présente un cadre de contrôle partagé homme-robot conscient des capacités. Un modèle vision-langage (VLM) infère l'intention humaine et produit une confiance sémantique, tandis qu'une politique vision-langage-action (VLA) génère les actions autonomes du robot ; la fiabilité de cette dernière est estimée en ligne à partir de la dispersion et de l'instabilité locale des trajectoires stochastiques qu'elle produit. Un arbitrage non linéaire combine ces deux signaux, filtrés par une approche bayésienne, via une fonction sigmoïde, pour ajuster dynamiquement le niveau d'autorité laissé au robot. Le système a été testé auprès de 12 participants sur des tâches de préhension-dépôt et d'empilement bidirectionnel, en conditions connues et en conditions inédites (hors distribution d'entraînement). La méthode proposée atteint un taux de réussite de 92%, contre 83% en téléopération manuelle pure, 44% pour un arbitrage basé sur la seule intention, et seulement 10% pour un mélange à poids fixes et égaux entre humain et robot. Ce travail cible un défaut connu des systèmes de contrôle partagé actuels : allouer l'autorité au robot sur la seule confiance dans l'intention détectée suppose implicitement que l'exécution autonome sera fiable, ce qui pousse le système à trop aider quand ce n'est pas le cas. En ajoutant une estimation indépendante et continue de la fiabilité réelle de la politique VLA, l'étude s'attaque à un problème central du déploiement de ces modèles en conditions réelles : une confiance élevée affichée par un modèle n'implique pas une exécution correcte, en particulier hors distribution. Pour les intégrateurs qui déploient des architectures VLA en téléopération assistée ou en cobotique industrielle, cette approche fournit une piste concrète pour réduire les échecs silencieux, sans dépendre uniquement de la compréhension du langage par le robot. Cette publication s'inscrit dans la lignée des recherches récentes sur le contrôle partagé appuyé sur des politiques VLA génériques, dans l'esprit de Pi-0, GR00T N2 ou Helix, déployées en téléopération comme en autonomie complète. Contrairement à ces architectures orientées produit, il s'agit ici d'une contribution académique déposée sur arXiv, sans fabricant de robots, partenaire industriel ni acteur français ou européen cité dans le texte, et reposant sur un échantillon modeste de 12 participants, typique de ce stade de recherche en robotique interactive. L'article ne mentionne ni robot cible ni calendrier de transfert vers un produit commercial ; les suites logiques attendues seraient une validation à plus grande échelle et des tests sur des tâches de manipulation plus complexes ou des plateformes robotiques réelles.

RecherchePaper
1 source
De la perception à l'assistance : autonomie partagée à vocabulaire ouvert pour la manipulation robotique
3arXiv cs.RO 

De la perception à l'assistance : autonomie partagée à vocabulaire ouvert pour la manipulation robotique

Des chercheurs présentent un système d'autonomie partagée pour la téléopération de bras manipulateurs en environnement industriel, publié le 24 juillet 2026 sur arXiv (référence 2607.17323). Le dispositif repose sur une seule caméra RGB-D qui capture les mouvements du bras et les gestes de la main de l'opérateur, sans combinaison connectée, marqueur fiduciaire ni étape de calibration préalable. La cible à saisir est désignée par une simple consigne textuelle en langage libre, interprétée par un modèle vision-langage via la caméra embarquée sur le préhenseur, puis suivie en continu par un modèle de segmentation vidéo promptable sur les caméras du robot, ce qui isole en permanence un repère de saisie de la carte des obstacles. Un contrôleur prédictif (MPC) accéléré par GPU exécute chaque commande tout en évitant les collisions avec l'environnement et avec le robot lui même, grâce à une reconstruction volumétrique calculée en temps réel, pendant qu'un champ de potentiel corrige la trajectoire de l'opérateur lors de l'approche finale. Testé sur un manipulateur mobile quadrupède, le système atteint une précision de positionnement de 59 mm d'erreur quadratique moyenne par rapport à une référence de capture de mouvement, et maintient le bras à au moins 18 cm des obstacles même lorsque l'opérateur tente délibérément une collision de 6 cm. Sur une tâche de manipulation de vanne industrielle et une tâche de prise dépose, le framework complet réussit tous les essais, tandis que le mode entièrement autonome, déclenché par geste, réussit quatre essais sur cinq par tâche. L'intérêt pour l'industrie robotique tient au problème visé: en téléopération classique, aligner précisément un effecteur avec une cible en environnement encombré, avec une perception de profondeur limitée par caméra, reste une source d'erreurs et de collisions coûteuses. En retirant marqueurs et calibration tout en gardant l'opérateur dans la boucle de décision, le système promet un déploiement plus rapide sur des cellules industrielles existantes. Le fait que retirer soit le module de collision, soit le module d'assistance provoque des échecs par des mécanismes différents montre que les deux briques sont complémentaires et non redondantes, un signal utile pour les intégrateurs qui évaluent la robustesse réelle de ces architectures avant tout achat. Le travail s'inscrit dans la convergence actuelle entre modèles vision-langage et téléopération assistée, où l'ancrage d'instructions textuelles dans la perception robotique gagne du terrain face aux interfaces manuelles pures. Les auteurs positionnent leur contribution comme une alternative légère aux pipelines nécessitant équipement dédié ou calibration lourde, et annoncent la possibilité de basculer vers une exécution autonome sur la même cible sans pipeline de perception séparé, ouvrant la voie à des essais plus poussés sur d'autres plateformes et tâches industrielles.

RecherchePaper
1 source
Au-delà du support de politique : apprentissage par renforcement hors ligne sous contrainte d'interaction pour la conduite autonome
4arXiv cs.RO 

Au-delà du support de politique : apprentissage par renforcement hors ligne sous contrainte d'interaction pour la conduite autonome

Des chercheurs proposent ICDP (Interaction-Constrained Drive Policy), un cadre d'apprentissage par renforcement hors ligne pour la conduite autonome, qui cible un défaut peu traité : le décalage de distribution au niveau des interactions. Le problème de base est classique. En RL hors ligne, la politique s'entraîne sur un jeu de données figé, sans exploration en ligne, et l'optimisation tend à choisir des actions peu représentées dans ces données, ce qui rend les estimations de valeur peu fiables. Les méthodes existantes contrôlent ce décalage dans l'espace d'actions de la politique elle-même. Les auteurs montrent que cela ne suffit pas en conduite : une trajectoire candidate du véhicule ego peut être bien couverte par la distribution marginale des comportements enregistrés, tout en étant très mal couverte conjointement avec le comportement des agents environnants observé dans le même log. Ils nomment cette dégradation « interaction distribution shift » (IDS). Techniquement, ils décomposent exactement la perte de support conjoint en une composante propre à l'ego et une composante résiduelle d'interaction. Cette dernière est estimée par des ratios de densité contrastifs, ce qui évite de modéliser explicitement la densité conjointe, de prédire les autres agents, ou de lancer des rollouts dans un simulateur réactif ou un modèle du monde pendant l'optimisation. Les évaluations en boucle fermée portent sur nuPlan et Interplan, ainsi que sur des essais réels avec un camion. Selon les auteurs, ICDP supprime la sélection de trajectoires à forte valeur estimée mais non soutenues par les interactions observées, et améliore les résultats dans les scénarios où l'interaction est critique. Les chiffres détaillés ne figurent pas dans le résumé. L'intérêt pratique tient à l'angle d'attaque. Beaucoup de planificateurs appris échouent précisément dans les situations denses (insertions, croisements, négociation de priorité), où une trajectoire isolément plausible devient dangereuse face à la réaction réelle des autres usagers. Traiter ce problème par une contrainte de support apprise, sans simulateur réactif ni prédicteur d'agents dans la boucle d'entraînement, réduit le coût de calcul et évite d'injecter les erreurs d'un modèle du monde dans l'optimisation. C'est un argument pour les équipes qui veulent exploiter de gros volumes de logs de flotte sans exploration risquée. La présence d'essais sur camion suggère aussi une préoccupation de transfert vers le poids lourd, même si le résumé ne précise ni l'ampleur ni les conditions de ces tests, et si les gains annoncés restent à valider sur des benchmarks indépendants. Il s'agit d'un résultat de recherche, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la lignée du RL hors ligne appliqué à la conduite, où les approches dominantes limitent l'écart à la politique de comportement (contraintes de support ou pénalités de type conservateur) et où nuPlan sert de banc d'essai standard pour la planification en boucle fermée. Interplan, centré sur des scénarios interactifs, complète cette évaluation. Les concurrents directs sont les planificateurs fondés sur l'imitation, les méthodes de RL hors ligne conservatrices et les approches adossées à des simulateurs réactifs ou des modèles du monde appris. La suite logique serait une validation plus large, avec des comparaisons chiffrées face à ces références et des essais réels étendus. Une page projet accompagne la publication (mahmoud-selim.github.io/ICDP).

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source