Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Détection multimodale relaxation-consciente pour pince souple pilotée par structure-perception-apprentissage
RecherchearXiv cs.RO 

Détection multimodale relaxation-consciente pour pince souple pilotée par structure-perception-apprentissage

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article publié sur arXiv (arXiv:2608.26622v1, août 2026) présente une pince robotique souple à raideur variable qui combine caméra et thermographie infrarouge embarquées pour suivre en temps réel sa déformation et le champ de température au point de contact. Ces mesures alimentent un modèle d'apprentissage informé par la physique, qui reconstruit et compense la décroissance de force due à la relaxation viscoélastique des polymères pendant la tenue d'un objet. Lors d'un test de préhension et maintien de 280 secondes à force contrôlée, le système conserve la force cible avec une erreur absolue moyenne de 0,066 newton, contre des résultats inférieurs de 80% pour une pince à ouverture fixe et de 95% pour une méthode fondée sur la seule mesure instantanée.

L'enjeu est concret pour les intégrateurs qui manipulent des objets fragiles ou irréguliers : la compliance des matériaux souples assure un contact sûr, mais leur viscoélasticité fait chuter la force de serrage au fil du temps, un défaut connu qui limite la fiabilité des pinces souples au-delà de quelques secondes de préhension. En associant perception optique et thermique continue à une compensation par apprentissage, l'étude illustre une co-conception mécanisme-IA où le matériel fixe les interactions possibles et le logiciel absorbe l'incertitude résiduelle, sans recourir à des capteurs de force dédiés et coûteux. Il s'agit néanmoins d'un résultat de laboratoire validé sur une seule tâche, et non d'une pince commercialisée.

La démarche s'inspire de la préhension humaine, qui associe régulation de raideur selon la phase de saisie et retour sensoriel continu, un mécanisme que la robotique souple cherche à reproduire pour dépasser les limites des pinces rigides classiques. La relaxation de contrainte des matériaux viscoélastiques reste un frein connu à l'adoption des grippers souples en logistique et en manipulation fine, où les approches existantes se limitent le plus souvent à une ouverture fixe ou à une mesure de force instantanée, les deux baselines dépassées ici. L'article ne mentionne aucune affiliation industrielle ni calendrier de transfert produit : il s'agit d'une contribution de recherche fondamentale, sans pilote ni déploiement annoncé à ce stade.

Dans nos dossiers

Manipulation robotiquearXiv cs.RO

À lire aussi

OctoSense : apprentissage auto-supervisé pour la perception multimodale des robots
1arXiv cs.RO 

OctoSense : apprentissage auto-supervisé pour la perception multimodale des robots

Une équipe de recherche a publié sur arXiv (arXiv:2606.17317) OctoSense, une plateforme matérielle open-source de perception multimodale accompagnée d'un dataset de 59 heures de données embarquées synchronisées. Le rig intègre une paire de caméras RGB stéréo, une caméra à événements, un LiDAR, une caméra thermique, une centrale inertielle (IMU), un GPS RTK et des données de proprioception issues d'un bus CAN automobile et d'un robot quadrupède. Les données ont été collectées dans des environnements variés, à différentes heures du jour et de la nuit, y compris en conditions de dégradation sensorielle sévère. Sur ce dataset, les auteurs démontrent une architecture de foundation model baptisée "late-fusion masked autoencoder" : des tokeniseurs spécifiques par modalité gèrent les différences de résolution spatiotemporelle, de fréquence et de latence entre capteurs, puis les tokens sont mis en cache à l'inférence pour traiter les nouvelles mesures au fil de leur arrivée. Le temps de calcul de représentation atteint 6,68 ms sur GPU NVIDIA RTX 5090 et 112 ms sur module embarqué Jetson Orin NX. Ce résultat est notable pour les intégrateurs robotiques car il démontre qu'un modèle auto-supervisé entraîné sur des données réelles hétérogènes surpasse les foundation models vision-only (entraînés sur images seules) sur quatre tâches critiques : estimation du flot optique, reconstruction de profondeur, segmentation sémantique et estimation de l'ego-motion (translation, rotation, angle de braquage). L'absence de labels supervisés dans le pipeline d'entraînement réduit significativement le coût de constitution des datasets pour les équipes qui déploient sur des plateformes mobiles. La robustesse nocturne et en conditions dégradées adresse directement un point de friction récurrent dans les déploiements AMR en entrepôts logistiques et en robotique outdoor. OctoSense s'inscrit dans la tendance des foundation models perceptifs pour la robotique, un espace très actif depuis les travaux de type CLIP/DINOv2 et plus récemment les VLA (Vision-Language-Action models) poussés par Physical Intelligence (Pi-0) et NVIDIA (GR00T). Contrairement à ces approches centrées sur la manipulation ou la navigation en langage naturel, OctoSense cible la représentation sensorielle bas-niveau sur plateforme embarquée contrainte. Le projet est entièrement open-source (code, dataset et vidéos supplémentaires disponibles), ce qui le distingue des stacks propriétaires des acteurs commerciaux. Aucun déploiement industriel ni partenariat n'est annoncé à ce stade ; il s'agit d'un preprint de recherche sans validation externe. La prochaine étape naturelle serait une évaluation sur des benchmarks robotiques standardisés (OpenX-Embodiment, CARLA) pour confirmer la généralisation hors-distribution.

RecherchePaper
1 source
Navigation multimodale par apprentissage par renforcement multi-agents
2arXiv cs.RO 

Navigation multimodale par apprentissage par renforcement multi-agents

Des chercheurs ont publié CRONA (Cross-Modal Navigation), un framework basé sur l'apprentissage par renforcement multi-agent (MARL), disponible en préprint sur arXiv (identifiant 2605.06595). Plutôt que d'entraîner un modèle monolithique fusionnant simultanément plusieurs flux sensoriels, ce qui génère des espaces de représentation complexes et élargit considérablement l'espace de politiques à explorer, CRONA déploie des agents légers spécialisés par modalité, coordonnés par un critique centralisé multi-modal disposant d'un état global partagé et de représentations auxiliaires orientées contrôle. Les expériences portent sur des tâches de navigation visuo-acoustique : CRONA surpasse les baselines à agent unique en performance et en efficacité. Les auteurs identifient trois régimes distincts : la collaboration homogène (agents de même modalité) suffit pour la navigation courte portée avec indices saillants ; la collaboration hétérogène (modalités complémentaires) est généralement efficace ; les grands environnements complexes réclament une perception plus riche et une capacité modèle accrue. L'enjeu industriel est la modularité. Fusionner vision, audio et autres capteurs dans un seul réseau reste un obstacle majeur pour les robots incarnés opérant en milieux non contrôlés, entrepôts, espaces publics, bâtiments industriels. En découplant les modalités en agents parallèles indépendants, CRONA simplifie l'acquisition de données (chaque modalité peut être entraînée séparément) et permet de remplacer ou affiner un capteur sans réentraîner l'ensemble du système. Pour les intégrateurs B2B, la taxonomie des trois régimes de navigation constitue une heuristique pratique pour dimensionner les architectures embarquées selon la complexité des scénarios cibles. La navigation audio-visuelle incarnée s'appuie sur des environnements de référence établis comme SoundSpaces et Matterport3D. L'originalité de CRONA réside dans l'application du MARL à ce problème, là où la littérature récente privilégie les architectures Transformer multi-modales de type VLA (Vision-Language-Action). Aucun partenariat industriel ni calendrier de déploiement n'est mentionné : il s'agit d'un preprint sans validation sur hardware réel, ce qui laisse ouverte la question du sim-to-real gap, particulièrement critique pour les signaux acoustiques en environnement non contrôlé. La prochaine étape logique serait une validation sur plateforme robotique physique.

RecherchePaper
1 source
Mono-shot d'apprentissage multimodal par démonstration avec cartes élastiques à contrainte de force
3arXiv cs.RO 

Mono-shot d'apprentissage multimodal par démonstration avec cartes élastiques à contrainte de force

Une équipe de robotique publie sur arXiv (2607.09515v1) une méthode d'apprentissage par démonstration capable d'encoder simultanément le mouvement et les forces de contact à partir d'une seule démonstration. Le système repose sur deux briques techniques : un algorithme de segmentation probabiliste multimodale qui pondère dynamiquement les signaux spatiaux et les signaux de force pour extraire automatiquement des primitives de mouvement conscientes du contact, et une extension de la représentation dite "elastic maps" intégrant des contraintes de force externes, résolue via une optimisation convexe pour produire des trajectoires cohérentes avec les forces démontrées. Les auteurs valident l'approche sur cinq tâches de manipulation réelles et deux configurations matérielles distinctes : un bras UR5e équipé d'une pince Robotiq 2f-85 avec capteur de force au poignet, et un Kinova Gen3 avec une pince Openhand Model O dotée de capteurs de force aux doigts. Les résultats montrent une segmentation multimodale robuste, une reproduction fidèle des profils de force, et une généralité constatée sur les deux plateformes. L'enjeu dépasse la curiosité académique. La plupart des méthodes de Learning from Demonstration actuelles ne modélisent que la trajectoire spatiale, ignorant les forces de contact, ce qui pose problème dès qu'un robot doit insérer, essuyer, polir ou assembler des pièces avec un contact physique contraint. Pour les intégrateurs industriels, cette lacune se traduit par des gestes appris en simulation ou en démonstration pure qui deviennent dangereux ou inconsistants une fois transposés à des tâches de contact réel. Une méthode qui apprend le bon profil de force dès la première démonstration, sans réglage manuel ni multiples essais, réduirait le coût de programmation des cobots pour des tâches d'assemblage fin, un frein connu à l'adoption du LfD en production. Le travail s'inscrit dans la lignée des elastic maps, une représentation déjà utilisée pour encoder des trajectoires à partir de démonstrations, ici étendue aux contraintes physiques plutôt que purement géométriques. Il se positionne comme alternative aux approches classiques de type DMP ou GMM/GMR, généralement limitées au domaine spatial. Aucun calendrier de transfert industriel n'est annoncé ; il s'agit à ce stade d'une validation en laboratoire sur bras collaboratifs standards du marché.

RecherchePaper
1 source
Apprentissage de la traversée agile de structures 3D éparses par des humanoïdes grâce à la perception
4arXiv cs.RO 

Apprentissage de la traversée agile de structures 3D éparses par des humanoïdes grâce à la perception

Les chercheurs à l'origine de la publication arXiv 2608.29769, mise en ligne fin août 2026, présentent un système de contrôle perceptif pour robot humanoïde capable de traverser des structures 3D éparses de type barres de singe (monkey bars). Le robot doit sauter pour agripper la structure, se déplacer de barre en barre par brachiation, puis atterrir en sécurité. La politique de contrôle, entraînée par apprentissage par renforcement, exploite directement les données brutes d'un lidar solid-state monté sur la tête, traitées par un encodeur à mécanisme d'attention couplé à une mémoire récurrente pour extraire la géométrie utile de retours lidar clairsemés. L'entraînement suit un pipeline enseignant-élève séquencé par phases, combinant des experts privilégiés spécialisés pour le saut initial, la brachiation et l'atterrissage. Le transfert vers le matériel réel intègre la modélisation du bruit lidar, de la chute de tension de la batterie et des limites thermiques des actionneurs, le robot étant équipé de crochets passifs en guise d'effecteurs pour une prise fiable sur les barres. Sur le matériel, la politique complète la séquence saut-brachiation-atterrissage dans 14 essais sur 15, sur trois configurations de barres différentes, avec des vitesses de brachiation atteignant 0,5 m/s. Le même socle de perception permet aussi d'entraîner séparément une politique capable de se baisser sous des obstacles suspendus fins, avec des sections de seulement 2 cm. Ce travail illustre un déplacement du curseur dans la recherche en robotique humanoïde: au-delà de la marche sur sol plat, l'enjeu devient la traversée de terrains épars et suspendus, difficiles à percevoir avec un lidar dont les retours sont peu denses sur des géométries fines. Le taux de réussite de 14/15, bien que sur seulement trois configurations testées et non en environnement réel diversifié, constitue une preuve tangible que le transfert simulation-vers-réel peut fonctionner pour du contrôle dynamique du corps entier conditionné par la perception, y compris en tenant compte de contraintes matérielles concrètes comme la dérive de tension batterie ou l'échauffement des actionneurs. Pour les intégrateurs et décideurs du secteur, ce résultat reste un signal de recherche plutôt qu'une brique produit: il valide une approche technique (RL perceptif basé lidar avec encodeur attentionnel) mais ne dit rien des coûts, de la robustesse en conditions non contrôlées, ni d'un calendrier de commercialisation. Le papier s'inscrit dans une dynamique plus large de la recherche en locomotion agile pour humanoïdes, où les capacités testées glissent progressivement de la marche et de la course vers des compétences proches du parkour: sauts précis, franchissement d'obstacles suspendus, préhension dynamique. Le résumé ne précise pas l'affiliation des auteurs ni de partenariat industriel, et aucun acteur français ou européen n'est mentionné dans cette publication. Les prochaines étapes attendues pour ce type de travaux incluent l'élargissement à des configurations de barres plus variées et des tests en environnements moins contrôlés, avant d'envisager une application à des scénarios concrets comme l'inspection ou la navigation en environnement encombré.

RecherchePaper
1 source