Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
SUNSET : un exemple de segmentation sémantique par fusion de capteurs pour l'auto-adaptation basée sur ROS
RecherchearXiv cs.RO 

SUNSET : un exemple de segmentation sémantique par fusion de capteurs pour l'auto-adaptation basée sur ROS

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié SUNSET, un exemplar open source basé sur ROS2 destiné à évaluer de façon rigoureuse et reproductible les approches d'auto-adaptation logicielle en robotique. Le système implémente un pipeline de segmentation sémantique par fusion de capteurs, piloté par un modèle de machine learning entraîné dont le prétraitement des entrées peut être perturbé pour provoquer des dégradations de performance réalistes. L'exemplar expose cinq défaillances observables, chacune pouvant résulter de causes racines différentes, et permet de simuler des pannes concurrentes touchant à la fois l'auto-guérison (self-healing) et l'auto-optimisation (self-optimisation) du système. Le package publié comprend le pipeline de segmentation complet, le modèle ML entraîné, des scripts d'injection de fautes, un contrôleur de référence pour comparaisons, ainsi qu'une documentation détaillée d'intégration et d'évaluation. Le code est disponible sur GitHub, sous le dépôt XITASO/sunset.

L'intérêt pour la communauté robotique dépasse le simple cas d'usage technique. Les systèmes logiciels embarqués dans les robots gagnent en complexité à mesure que les déploiements se multiplient en environnements dynamiques, où les symptômes de panne sont souvent visibles mais les causes racines restent ambiguës, voire multiples et simultanées. Faute de bancs d'essai standardisés, la recherche en auto-adaptation architecturale peine à comparer objectivement différentes approches de détection et de correction de défaillances. En fournissant un exemplar ouvert, reproductible et doté d'un contrôleur de référence, SUNSET vise à combler ce manque méthodologique et à faciliter des études comparatives rigoureuses entre équipes de recherche.

Le projet est porté par XITASO, société allemande spécialisée en ingénierie logicielle, dans la lignée d'une tradition d'exemplars dédiés à la recherche en systèmes auto-adaptatifs, un domaine qui manque historiquement de bancs d'essai partagés et réalistes. La publication, classée comme une version révisée (replace) sur arXiv, s'adresse aux équipes académiques et industrielles travaillant sur la robustesse logicielle des robots déployés en conditions réelles, avec pour prochaine étape l'adoption de l'outil par d'autres laboratoires pour des études comparatives.

Impact France/UE

Le projet est porte par XITASO, entreprise allemande, ce qui renforce la contribution europeenne a la recherche en robotique logicielle auto-adaptative, sans impact direct sur la France ou une legislation europeenne.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Adaptation cinématique basée sur la force et le couple pour les tâches de manipulation robotique
1arXiv cs.RO 

Adaptation cinématique basée sur la force et le couple pour les tâches de manipulation robotique

Publié sur arXiv le 21 août 2026 (arXiv:2608.21592v1), l'article présente une méthode d'adaptation cinématique en ligne pour la manipulation robotique en contact riche, où la relation entre les articulations d'un robot et l'outil qu'il tient change à chaque prise, parfois presque instantanément lors des changements de mode de contact, notamment pour les mains multi-doigts dont les points de contact ne sont pas fixés à l'avance. Les auteurs dérivent une loi de mise à jour dont la stabilité est démontrée mathématiquement: elle identifie la cinématique d'un outil inconnu à partir des seules mesures articulaires et d'un capteur de force/couple monté au poignet, sans aucune mesure extéroceptive de la pointe de l'outil, aussi bien en rigide qu'avec un contrôleur de compliance en boucle interne. L'identification ne porte que sur les directions excitées par le mouvement: la longueur d'un outil reste inobservable lors d'une insertion rigide en ligne droite, mais devient partiellement observable via le relâchement passif d'une boucle compliante. Une formulation alternative en programme quadratique reproduit le terme de prédiction de cette loi mais échoue à reproduire son terme de suivi. La validation reste, pour l'instant, une simulation d'insertion cheville-trou. Ce travail cible un verrou concret pour l'industrie: la plupart des systèmes de manipulation supposent une cinématique outil-effecteur fixe et connue, ce qui impose de recalibrer le robot à chaque changement d'outil ou de préhenseur, un frein à la polyvalence recherchée par les intégrateurs et les concepteurs de mains robotiques multi-doigts. En rendant l'estimation purement proprioceptive, sans caméra ni capteur tactile dédié, l'approche réduit l'instrumentation nécessaire pour des tâches de prise pleine main où les points de contact varient à chaque saisie. Elle s'inscrit aussi dans un débat plus large de la recherche en robotique: découpler l'apprentissage de la politique de tâche, par exemple via apprentissage par renforcement, de l'adaptation aux spécificités physiques d'un robot, d'une main ou d'un outil donné, dans l'idée de faciliter le transfert de politiques apprises vers d'autres configurations matérielles sans réentraînement complet. Les auteurs présentent ce travail comme une première étape d'un programme de recherche plus large, et non comme une solution aboutie: aucune validation sur robot physique n'est rapportée, seulement une simulation simple d'insertion, ce qui laisse ouverte la question du passage à l'échelle sur des prises complexes et sur du matériel réel. Le résumé public n'identifie ni laboratoire ni entreprise, et aucun lien n'est établi avec des plateformes commerciales comme Figure ou Tesla Optimus, ni avec des modèles vision-langage-action tels que Pi-0 ou GR00T N2. La démarche s'inscrit dans la lignée des recherches sur la manipulation dextre adaptative et l'estimation en ligne de paramètres physiques, un axe exploré en parallèle par plusieurs laboratoires de robotique pour réduire la dépendance des politiques de manipulation à une calibration extéroceptive précise.

RecherchePaper
1 source
SegDiff : diffusion de trajectoires segmentées pour une manipulation robotique cohérente et adaptative
2arXiv cs.RO 

SegDiff : diffusion de trajectoires segmentées pour une manipulation robotique cohérente et adaptative

SegDiff, présenté dans un article déposé sur arXiv (2607.11027v1), est une nouvelle politique visuomotrice en boucle fermée pour l'apprentissage par imitation en robotique manipulation. La méthode découpe les démonstrations humaines en segments de mouvement délimités par des keyposes (poses clés), puis apprend à prédire la trajectoire continue reliant l'état courant à la prochaine keypose. Elle s'appuie sur des modèles de diffusion combinés à l'inversion DDIM pour introduire un mécanisme appelé Dynamic Temporal Ensembling, conçu pour répondre efficacement aux environnements dynamiques et lisser les discontinuités provoquées par un échantillonnage multi-modal incohérent. Les auteurs rapportent des gains de performance significatifs par rapport aux approches existantes, testés à la fois en simulation et sur des scénarios réels de manipulation robotique. L'enjeu technique visé est concret : les méthodes actuelles d'apprentissage par imitation doivent choisir entre deux limites. La prédiction continue à court horizon accumule des erreurs qui se propagent au fil de l'exécution et gère mal les distributions d'actions multi-modales (plusieurs façons valides d'atteindre un objectif). Les méthodes par keyposes évitent ce problème mais nécessitent un planificateur externe pour relier les points clés, ce qui casse le temps réel. SegDiff prétend combiner les deux avantages, hypothèse centrale pour l'industrie : produire une politique robotique capable de raisonner sur des horizons temporels longs tout en restant réactive et stable, sans dépendance à un module de planification séparé, un point clé pour les intégrateurs qui cherchent des politiques déployables directement sur du matériel. Le travail s'inscrit dans la lignée des politiques de diffusion appliquées à la robotique (type Diffusion Policy), déjà largement adoptées comme alternative aux transformeurs d'action classiques. Il ne s'agit pas ici d'un produit commercial ni d'un déploiement industriel : c'est un article de recherche fraîchement publié, sans affiliation industrielle mentionnée dans l'abstract, et ses résultats restent à confirmer par la communauté et par des essais indépendants avant toute reprise en conditions de production.

RecherchePaper
1 source
Ancrage sémantique tenant compte des risques pour une planification robotique fiable basée sur les LLM
3arXiv cs.RO 

Ancrage sémantique tenant compte des risques pour une planification robotique fiable basée sur les LLM

Des chercheurs proposent un cadre de « Risk-Aware Semantic Grounding » (ancrage sémantique sensible au risque) pour fiabiliser les robots de navigation pilotés par un grand modèle de langage (LLM), et publient sur arXiv (2609.37554v1) un banc d'essai associé, TRUST-NAV. Le problème visé est connu : lorsqu'un LLM sert de planificateur de haut niveau, ses sorties deviennent peu fiables si l'instruction est ambiguë, sans support dans l'environnement ou incohérente sur le plan sémantique. L'architecture estime donc, avant toute planification, trois risques distincts : l'ambiguïté, l'hallucination et le conflit sémantique. Selon ce score, le système choisit entre trois issues : exécuter l'instruction, demander une clarification ou la rejeter. TRUST-NAV réunit des tâches de navigation standard et des scénarios d'instructions volontairement piégées. Les résultats rapportés indiquent que les planificateurs LLM classiques performent bien sur les tâches valides, alors que le cadre proposé améliore nettement la détection d'ambiguïté et le rejet des conflits sémantiques. Le résumé ne fournit ni chiffres, ni modèles testés, ni robot réel : il s'agit d'un travail académique évalué sur benchmark, sans déploiement ni produit. L'intérêt tient au déplacement de la métrique. Jusqu'ici, la plupart des travaux sur les planificateurs LLM et les modèles vision-langage-action (VLA) optimisent la génération de plans et se jugent sur le taux de réussite des tâches. Les auteurs soutiennent qu'un robot fiable se mesure aussi à sa capacité à reconnaître qu'il ne doit pas agir. Pour un intégrateur ou un responsable d'exploitation, c'est un critère de sécurité concret : un AMR ou un humanoïde qui exécute avec assurance une consigne ambiguë ou impossible est un risque opérationnel, pas seulement une erreur de performance. L'approche est aussi modulaire, puisque le filtrage précède la planification et pourrait en principe se greffer sur des planificateurs existants. Il faut toutefois rester prudent : l'absence de chiffres publiés, l'évaluation sur un benchmark créé par les mêmes auteurs et l'écart habituel entre simulation et terrain limitent la portée des conclusions, en particulier sur le coût en fausses alertes, c'est-à-dire les refus ou demandes de clarification inutiles qui ralentissent une exploitation. Ce travail s'inscrit dans la vague des LLM employés comme planificateurs de haut niveau en navigation et en manipulation, où les hallucinations et l'ancrage dans l'environnement restent des points faibles reconnus. Les approches concurrentes reposent sur l'estimation d'incertitude, la prédiction conforme pour déclencher des demandes d'aide, ou des couches de vérification et de garde-fous, tandis que les grands modèles fondation robotiques cherchent surtout à augmenter le taux de réussite. La suite dépendra de la disponibilité de TRUST-NAV pour la communauté, de la reproduction des résultats par des tiers et d'un test sur robot physique, étape que la version 1 du préprint ne mentionne pas.

RecherchePaper
1 source
Édition flexible de représentations guidée par le langage pour un comportement robotique adaptatif
4arXiv cs.RO 

Édition flexible de représentations guidée par le langage pour un comportement robotique adaptatif

Des chercheurs du laboratoire CLEAR du MIT proposent FLEX (Flexible Feature Editing Pipeline), une méthode qui permet de corriger la représentation interne des caractéristiques d'une tâche chez un robot à partir de corrections formulées en langage naturel. Le système s'appuie sur des modèles de langage pour affiner itérativement cette représentation grâce à trois opérations complémentaires: ajouter une caractéristique manquante, généraliser une caractéristique trop spécifique, et masquer une caractéristique non pertinente. L'évaluation couvre trois cadres: des scénarios de navigation 2D, des tâches de manipulation sur table avec un bras Franka à 7 degrés de liberté, et une étude en conditions réelles avec des corrections humaines spontanées et des démonstrations sur robot physique. Les auteurs rapportent une récompense normalisée systématiquement supérieure à celle des autres approches d'édition de caractéristiques, tout en conservant des représentations compactes et transférables. Le travail est publié sur arXiv (v1) avec une page de projet dédiée. L'enjeu touche à une faiblesse connue de l'apprentissage par démonstration: une trajectoire montre ce que le robot doit faire, mais pas pourquoi. Le robot doit donc deviner quelles caractéristiques de la scène comptent, et une mauvaise hypothèse produit une représentation désalignée, puis un comportement erroné. Les méthodes d'édition par langage existantes n'autorisent que des ajouts, ce qui conduit à des ensembles de caractéristiques surspécifiés ou trop étroits, surtout lorsque les corrections s'enchaînent. Les ablations de FLEX indiquent que les trois opérations sont nécessaires en contexte interactif, ce qui plaide pour une correction par langage plus fine que le simple empilement de règles. Pour un intégrateur, c'est une piste vers des robots reconfigurables sur site par un opérateur non spécialiste, sans collecte massive de nouvelles démonstrations. Il faut toutefois tempérer: il s'agit d'une preuve de concept académique. Les tâches restent simples (navigation 2D, manipulation sur table), l'étude réelle n'est décrite que de façon qualitative dans le résumé, et aucun chiffre précis, ni taille d'échantillon, ni temps de cycle n'est fourni. La dépendance à un modèle de langage pose aussi des questions de robustesse et de latence que l'article ne tranche pas dans son résumé. FLEX s'inscrit dans le courant de l'alignement des préférences et des représentations robotiques par feedback humain, en concurrence avec les approches de modèles vision-langage-action (VLA) qui internalisent le langage de bout en bout. Ici, le langage sert plutôt à éditer une représentation explicite et interprétable. Les prochaines étapes probables sont des tests sur des tâches plus longues, davantage de participants, et une intégration avec des politiques généralistes.

RecherchePaper
1 source