RecherchearXiv cs.RO 28 octobre 2026

Étude de l'échantillonnage actif pour la classification de la dureté avec des capteurs tactiles basés sur la vision

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (référence 2505.13231, version 2) une étude sur l'échantillonnage actif appliqué à la classification de la dureté des objets avec des capteurs tactiles à base de vision (VBTS, pour vision-based tactile sensors). Ces capteurs filment la déformation d'une surface souple au contact d'un objet. Les auteurs comparent trois modèles de classification probabilistes, deux stratégies d'échantillonnage actif (pilotées respectivement par la variance et par l'entropie, deux mesures d'incertitude du modèle) et une base de référence en échantillonnage aléatoire. Les tests portent sur un jeu de données maison, collecté par un robot, et sur un jeu de données publié antérieurement. Une étude humaine sur les mêmes objets complète le dispositif. Les approches actives atteignent jusqu'à 90 % de précision, contre 48 % pour les participants humains.

L'intérêt pour l'industrie tient surtout à l'efficacité en échantillons. Chaque contact physique coûte du temps robot, et choisir les prochains points de palpation en fonction de l'incertitude du modèle réduit le nombre de touches nécessaires pour atteindre une bonne précision. C'est pertinent pour l'inspection qualité, le tri de produits déformables (fruits, emballages, pièces en élastomère) ou la manipulation d'objets fragiles, où la dureté conditionne la force de préhension. Le chiffre de 90 % contre 48 % doit toutefois être lu avec prudence. La comparaison avec l'humain dépend de la tâche choisie, du nombre de classes de dureté et des objets retenus, et rien n'indique une validation en conditions de production. Il s'agit de résultats de laboratoire sur des jeux de données limités, sans cadence, temps de cycle ni coût communiqués, et sans lien avec un produit commercial.

Ce travail s'inscrit dans la montée en puissance du toucher robotique. Les capteurs de type GelSight ont popularisé l'approche visuo-tactile, et le sujet attire de plus en plus de laboratoires. La perception de la dureté a surtout été traitée avec des jeux de données collectés passivement ou avec des protocoles fixes, ce qui laisse de la place à des stratégies actives. Cette version 2 est une révision d'une prépublication de mai 2025, et les auteurs renvoient vers une page de projet pour le code et les données. La suite logique serait d'étendre l'approche à davantage de matériaux, à des objets non vus à l'entraînement et à des plateformes de manipulation complètes. Rien n'est annoncé sur ce point, ni sur un transfert industriel.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Planification cinodynamique par échantillonnage avec des modèles du monde

Des chercheurs proposent d'abandonner les optimiseurs habituels (CEM, MPPI) au profit d'une planification de mouvement par échantillonnage cinématique et dynamique appliquée aux modèles du monde visuels. Leur méthode utilise le modèle appris comme propagateur d'un arbre de recherche dans l'espace latent. Deux stratégies d'exploration y sont déclinées : un RRT guidé par plus proches voisins et un KPIECE fondé sur des projections. L'expansion de l'arbre est calculée par lots, nativement sur GPU, pour bien exploiter le matériel. L'évaluation s'appuie sur un DINO-WM standard, sans réentraînement spécifique, testé sur quatre domaines simulés et sur une tâche réelle de poussée de bloc avec un robot. En simulation, les deux approches égalent ou dépassent le taux de succès de CEM et MPPI, avec un temps de planification jusqu'à 13,8 fois inférieur. Sur le robot réel, le taux de succès gagne 20 %. Le papier ne détaille pas, dans son résumé, l'ampleur absolue des taux de succès ni la taille des échantillons de test. L'enjeu dépasse l'optimisation de vitesse. Les modèles du monde visuels prédisent les conséquences d'actions à partir d'images, mais les optimiseurs qui les pilotent sont myopes : ils échouent dès que la progression exige un mouvement que la fonction objectif ne récompense pas, comme contourner un bloc avant de le pousser. Les auteurs montrent que les stratégies d'échantillonnage conçues pour la recherche en haute dimension dans l'espace de configuration se transposent directement à l'espace latent. L'arbre traverse ainsi des états intermédiaires que CEM et MPPI ne tirent jamais. Pour les intégrateurs et les équipes qui visent des tâches de manipulation à horizon long, le message est que le goulot d'étranglement tient autant à l'algorithme de planification qu'à la qualité du modèle du monde. Il faut toutefois rester prudent : quatre environnements simulés et une seule tâche réelle, très proche de la simulation, ne disent rien de la robustesse sur des scènes industrielles encombrées, déformables ou à contacts riches. Le gain de 20 % sur robot réel reste modeste et son intervalle de confiance n'est pas indiqué. Ce travail s'inscrit dans la montée des modèles du monde latents, dont DINO-WM, qui s'appuie sur des représentations visuelles DINO pré-entraînées pour prédire l'évolution des scènes sans reconstruction de pixels. La planification par échantillonnage de trajectoires (CEM, MPPI) est devenue la norme dans ce cadre, au prix des limites décrites plus haut. Les auteurs ramènent à ce domaine un héritage de la robotique classique : RRT et KPIECE, utilisés de longue date dans les planificateurs de mouvement de type OMPL. Il s'agit d'une publication académique (arXiv, version 1, octobre 2026), sans produit ni déploiement annoncé. Les suites naturelles sont des tests sur des tâches plus longues et plus variées, sur d'autres modèles du monde, et une comparaison avec les approches de politiques VLA apprises de bout en bout, qui évitent la planification explicite.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

3D Cal : une bibliothèque logicielle open source pour la reconstruction de profondeur sur capteurs tactiles basés sur la vision

Des chercheurs publient 3D Cal, une bibliothèque open source qui transforme une imprimante 3D bas coût en dispositif de sondage automatisé pour calibrer les capteurs tactiles à base de vision. Le système génère de grands volumes de données d'entraînement labellisées puis entraîne des réseaux convolutifs personnalisés pour produire des reconstructions de profondeur à partir des images captées par ces capteurs. Les auteurs testent leur méthode sur deux capteurs commerciaux largement utilisés en robotique, DIGIT et GelSight Mini, et établissent des lignes directrices empiriques sur le volume de données nécessaire pour une calibration de qualité. Les résultats obtenus atteignent une erreur moyenne de reconstruction de 156 micromètres pour DIGIT et 205 micromètres pour GelSight Mini sur des objets non vus pendant l'entraînement, des performances jugées comparables à l'état de l'art. Pour l'industrie de la manipulation robotique, cette avancée s'attaque à un goulot d'étranglement rarement mis en avant mais bien réel: la calibration des capteurs tactiles reste aujourd'hui artisanale, chronophage et peu reproductible d'un laboratoire à l'autre, ce qui freine leur adoption en dehors de la recherche académique. En automatisant ce processus avec un matériel accessible, 3D Cal réduit la barrière à l'entrée pour les équipes qui veulent intégrer du retour tactile fin dans leurs systèmes de préhension, un enjeu central pour la manipulation dextre, l'inspection de pièces fragiles ou les tâches d'assemblage fin où la seule vision globale ne suffit pas. C'est aussi un signal que la standardisation des outils de calibration progresse, condition nécessaire avant tout déploiement tactile à l'échelle industrielle. Le sondage tactile par vision, popularisé par des capteurs comme GelSight puis DIGIT (ce dernier co-développé par Meta et poussé comme standard bas coût et open source), souffre depuis ses débuts d'un manque d'outils de calibration partagés et reproductibles. 3D Cal s'inscrit dans cette lignée de travaux visant à démocratiser le tactile en robotique, aux côtés d'efforts comme les capteurs GelSight Mini ou les librairies de traitement associées. Publié en open source, l'outil devrait accélérer les travaux de recherche sur la perception tactile et faciliter son intégration dans des plateformes robotiques réelles, sans toutefois constituer encore un produit prêt à l'emploi pour l'industrie.

RecherchePaper

1 source

3arXiv cs.RO

FASA : adaptation de l'échantillonnage sensible au retour pour des modèles VLA à diffusion efficaces

Un article publié le 18 septembre 2026 sur arXiv (référence 2609.19475v1) présente FASA (Feedback-Aware Sampling Adaptation), une méthode d'accélération pour les modèles Vision-Language-Action (VLA) fondés sur la diffusion. Ces modèles, utilisés pour piloter des robots à partir d'images et de langage naturel, souffrent d'un défaut connu : leur processus de génération d'action repose sur un échantillonnage itératif coûteux en calcul et en accès mémoire, ce qui empêche leur exécution en temps réel sur du matériel embarqué limité. FASA fonctionne sans entraînement supplémentaire et agit directement au moment de l'inférence : un premier module, l'adaptateur de plage piloté par l'interaction, ajuste dynamiquement le nombre global d'étapes de débruitage en fonction du retour visuel et de la force mesurée par la pince du robot ; un second module, l'adaptateur d'étape sensible à la proprioception, choisit précisément l'étape optimale à l'intérieur de cette plage. Les auteurs annoncent des gains de vitesse d'inférence allant jusqu'à 1,45 fois par rapport aux méthodes existantes, avec des taux de réussite jugés comparables sur plusieurs bancs d'essai (benchmarks) non détaillés dans le résumé. Cette approche cible un point de friction central pour l'industrialisation des VLA : les méthodes d'accélération existantes imposent soit un réentraînement coûteux (distillation, flow matching), soit un élagage ou un système de cache programmé de façon statique, qui dégrade la perception en ignorant la variabilité réelle de la charge de travail robotique. En traitant le retour multimodal comme signal de contrôle du pipeline de débruitage, FASA propose une troisième voie, sans coût d'entraînement, potentiellement pertinente pour les intégrateurs cherchant à déployer des modèles génératifs lourds sur des plateformes de calcul contraintes, comme les contrôleurs embarqués de robots manipulateurs. Il s'agit toutefois d'un prépublication arXiv, non encore validée par relecture par les pairs, sans identification des auteurs ni de laboratoire dans le résumé disponible, et sans précision sur le matériel de test ni sur les modèles VLA de référence utilisés pour la comparaison. Le gain de 1,45x reste à situer par rapport aux architectures concurrentes d'accélération de l'inférence robotique, un axe de recherche actif à mesure que les modèles VLA gagnent en taille et en ambition d'usage industriel.

RechercheActu

1 source

4arXiv cs.RO

FibVLA : un modèle vision-langage-action temporel efficace avec échantillonnage de Fibonacci

FibVLA, un nouveau modèle vision-langage-action (VLA) présenté dans un article publié sur arXiv (2607.29596v1), s'attaque à un problème central des architectures actuelles: la difficulté à exploiter l'historique temporel sans sacrifier la vitesse d'inférence en temps réel. Les VLA classiques se contentent généralement de la perception du moment présent; ceux qui tentent d'intégrer un contexte long souffrent d'une chute de performance liée à l'encodage de séquences étendues. FibVLA propose deux mécanismes pour résoudre ce compromis: un échantillonnage rétrospectif logarithmique (logarithmic hindsight sampling) appliqué aux états proprioceptifs et aux images, qui capture les dépendances temporelles longue durée avec un minimum de redondance, et un module d'action reposant sur le flow matching couplé à une stratégie d'inférence récurrente dite "Fibonacci", générant des plans d'action sur un horizon étendu à partir d'un retour en boucle fermée en temps réel. Les auteurs rapportent une amélioration nette de la fluidité des mouvements et des taux de réussite, sans avoir besoin de réentraîner les encodeurs visuels de grande taille. Cette approche répond à une tension concrète pour l'industrie robotique: les intégrateurs veulent des robots capables de raisonner sur une séquence d'actions passées, pas seulement sur l'image instantanée, mais chaque milliseconde d'inférence compte pour un contrôle en boucle fermée. Si les résultats se confirment à plus grande échelle, FibVLA illustrerait qu'il est possible d'obtenir un raisonnement temporel étoffé sans payer le prix habituel en latence, un point sensible dans le débat sur l'écart entre démonstrations impressionnantes et déploiement industriel réel. FibVLA s'inscrit dans une lignée de modèles VLA qui cherche à généraliser l'IA incarnée, aux côtés d'approches comme RT-2, OpenVLA, Pi-0 ou GR00T N2, où la gestion efficace du contexte temporel reste un défi ouvert. L'article ne précise pas de partenariat industriel ni de calendrier de déploiement; il s'agit à ce stade d'un travail de recherche évalué en conditions réelles limitées, dont la prochaine étape logique serait une validation sur des plateformes robotiques plus variées et des tâches de manipulation plus complexes.

RechercheActu

1 source