Aller au contenu principal
Cadre de contrôle par vision monoculaire pour la préhensionIllustration générée par IA
RecherchearXiv cs.RO 

Cadre de contrôle par vision monoculaire pour la préhension

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs présentent un système de préhension robotique piloté uniquement par une caméra RGB monoculaire, capable de manipuler aussi bien des objets rigides que déformables avec un seul pipeline de contrôle, sans capteur tactile ni pince spécialisée. Le framework combine détection d'objets en vocabulaire ouvert, segmentation d'image, assignation de points sensible aux contours, suivi de points en temps réel et estimation de profondeur monoculaire pour reconstruire la géométrie et le mouvement des objets à partir de la seule vision. Son élément central est un modèle qui estime la raideur attendue d'un objet à partir de sa description sémantique, fournissant un a priori pour choisir la stratégie de préhension avant tout contact. Pour les objets déformables, l'adaptation de la prise s'appuie sur une mesure de dissimilarité de type Procrustes calculée sur des points-clés suivis, utilisée comme indicateur visuel de déformation. Pour les objets rigides, l'écartement de la pince est réglé par la mise à l'échelle des distances entre points suivis. Le système a été testé sur un bras Franka Emika Research 3, en conditions réelles de prise et dépose, sur de la salade, de la mozzarella fraîche, des croissants, du papier essuie-tout et des bouteilles en plastique rigide.

L'intérêt pratique tient à l'unification: la plupart des approches existantes traitent séparément le rigide et le souple, en s'appuyant souvent sur des capteurs tactiles, des modèles spécifiques par objet ou des pinces dédiées. Démontrer une préhension stable sur les deux catégories avec une seule pipeline vision, sans tactile, ouvre une piste économique et généralisable pour la manutention alimentaire et la manipulation domestique, deux domaines où la variabilité des objets rend coûteuse toute solution sur mesure.

Le travail s'inscrit dans la lignée des recherches en préhension robotique cherchant à réduire la dépendance au capteur tactile au profit de la vision seule, à l'heure où les modèles vision-langage-action gagnent en popularité pour la manipulation généraliste. Les auteurs positionnent leur approche comme une alternative sensor-efficient à ces pipelines multimodaux plus lourds, la validation restant pour l'instant limitée à un jeu restreint d'objets en laboratoire.

Dans nos dossiers

À lire aussi

Traçage du flux d'énergie : un contrôle de la force de préhension par retour tactile pour réduire le glissement
Illustration générée par IA
1arXiv cs.RO 

Traçage du flux d'énergie : un contrôle de la force de préhension par retour tactile pour réduire le glissement

Des chercheurs en robotique proposent une méthode de contrôle tactile de la force de préhension destinée à réduire le glissement d'objets pendant une manipulation dynamique, dans un article intitulé "Tracing Energy Flow: Learning Tactile-based Grasping Force Control to Reduce Slippage in Dynamic Object Interaction", publié sur arXiv (identifiant 2512.21043v2, version révisée d'un dépôt initial). Le système modélise l'objet saisi comme un conteneur d'énergie virtuel : l'écart entre la puissance appliquée par les doigts et l'énergie effectivement retenue par l'objet sert de signal physique pour détecter un début de glissement, sans caméra ni capteur externe.

RecherchePaper
1 source
Contrôle de trajectoire par vision pour robots mobiles via un cadre d'apprentissage hiérarchique
Illustration générée par IA
2arXiv cs.RO 

Contrôle de trajectoire par vision pour robots mobiles via un cadre d'apprentissage hiérarchique

Une équipe de recherche propose un nouveau cadre hiérarchique pour piloter des robots mobiles lourds vers un objectif de navigation, en combinant localisation visuelle, apprentissage par renforcement et contrôle adaptatif robuste. Le système repose sur quatre couches : une estimation de pose par vision stéréo en temps réel (avec fermeture de boucle, fusion de cartes et relocalisation), un planificateur de mouvement entraîné par apprentissage par renforcement (RL) sous contraintes, un contrôle adaptatif robuste (RAC) au niveau des actionneurs, et une logique de supervision de sécurité avec retour automatique.

RecherchePaper
1 source
Modèle vision-langage-action partagé et modulaire pour le contrôle universel de la morphologie en MDP contextuels
Illustration générée par IA
3arXiv cs.RO 

Modèle vision-langage-action partagé et modulaire pour le contrôle universel de la morphologie en MDP contextuels

Une équipe de recherche propose une nouvelle architecture pour piloter des robots de morphologies très différentes avec un seul contrôleur, dans un article intitulé "Shared Modular Recurrence in Contextual MDPs for Universal Morphology Control" (arXiv:2506.08630, version 3, republiée en cross-listing début juillet 2026). Le système repose sur une architecture transformer combinée à une récurrence modulaire partagée entre les composants du robot (bras, jambes, articulations), conçue pour reconstruire des informations contextuelles sur les propriétés physiques d'un robot même quand ces données ne sont que partiellement disponibles au départ. Les chercheurs l'ont testé sur un large ensemble de robots simulés dans MuJoCo, le moteur physique open source largement utilisé en apprentissage par renforcement, à travers quatre environnements distincts.

RecherchePaper
1 source
Robot Trajectron V3 : un cadre de contrôle partagé probabiliste pour la manipulation SE(3)
Illustration générée par IA
4arXiv cs.RO 

Robot Trajectron V3 : un cadre de contrôle partagé probabiliste pour la manipulation SE(3)

Un nouveau cadre de contrôle partagé pour la téléopération de bras robotiques à haut degré de liberté, baptisé Robot Trajectron V3 (RT-V3), a été publié sur arXiv (référence 2607.09315). Il cible les tâches de préhension en SE(3), c'est-à-dire combinant translation et rotation dans l'espace. RT-V3 formule l'assistance comme une inférence bayésienne : un modèle transformer génératif apprend un a priori sur l'intention de l'utilisateur à partir de nuages de points, de poses de préhension candidates et de la dynamique passée du robot, puis le combine en temps réel aux commandes de l'opérateur pour estimer la trajectoire future la plus probable. Une représentation factorisée translation-rotation améliore l'apprentissage dans ces espaces d'action de haute dimension.

RecherchePaper
1 source