Thor : vers des réactions corporelles globales de…

1arXiv cs.RO

Hallucinations dans les affordances : vers une compréhension globale à 360° des environnements intérieurs

Voici la traduction/résumé demandé. PanoAffordanceNet cible une lacune précise de la perception robotique : la détection d'affordances (les zones d'une scène où une action est possible, comme s'asseoir ou saisir) reste aujourd'hui limitée aux vues perspective classiques et centrée sur des objets isolés. Une équipe de recherche propose donc une nouvelle tâche, l'ancrage holistique d'affordances en environnements intérieurs à 360 degrés, et un framework dédié pour la traiter. Le système combine deux modules techniques : un Distortion-Aware Spectral Modulator (DASM), qui corrige les déformations géométriques propres à la projection équirectangulaire selon la latitude, et une Omni-Spherical Densification Head (OSDH), chargée de restaurer la continuité topologique à partir d'activations éparses. L'entraînement s'appuie sur des contraintes multi-niveaux (pixel, distribution, contraste région-texte) pour limiter la dérive sémantique en contexte de faible supervision. Les auteurs publient également 360-AGD, présenté comme le premier jeu de données de haute qualité pour l'ancrage d'affordances panoramiques, ainsi que le code source, promis en accès libre sur GitHub. Pour les agents robotiques embarqués, la perception à 360 degrés est un prérequis pour naviguer et interagir dans des environnements réels sans multiplier les capteurs ou les prises de vue successives. Les méthodes d'affordance actuelles, conçues pour des images perspective standard, échouent face aux distorsions extrêmes des projections omnidirectionnelles, ce qui limite leur usage en navigation autonome ou en manipulation mobile. En démontrant des gains significatifs par rapport aux approches existantes, ce travail pose une référence pour la perception au niveau de la scène entière, plutôt qu'objet par objet, un enjeu clé pour les systèmes d'intelligence embarquée devant raisonner sur un espace complet plutôt que sur des fragments de champ visuel. Ce travail s'inscrit dans une double lignée de recherche : d'une part la vision omnidirectionnelle, qui peine historiquement avec la dispersion sémantique et l'alignement multi-échelle propres aux images équirectangulaires ; d'autre part l'affordance grounding, jusqu'ici cantonné aux benchmarks perspective centrés objet. En les combinant, les auteurs positionnent PanoAffordanceNet comme un jalon plutôt qu'un produit fini : il s'agit d'une publication de recherche (arXiv, version 2, catégorie replace-cross) sans déploiement industriel annoncé. La mise à disposition prévue du dataset 360-AGD et du code sur GitHub devrait permettre à la communauté de reproduire et d'étendre ces résultats, notamment vers des applications robotiques concrètes en navigation et manipulation dans des scènes complexes.

RecherchePaper

1 source

2arXiv cs.RO

HINT-Plan : planification de tâches robotiques tenant compte de l'intention humaine dans des environnements riches en contexte, via des modèles vision-langage

Des chercheurs ont présenté HINT-Plan, un système de planification de tâches robotiques qui intègre la prédiction des intentions humaines dans la prise de décision, selon un article publié sur arXiv (référence 2609.17771v1, catégorie "new") en septembre 2026. Le système utilise des modèles vision-langage (VLM) pour anticiper les intentions humaines de haut niveau à partir d'observations d'images à la troisième personne, puis convertit ces intentions en états-objectifs exploitables pour résoudre des problèmes de planification conjointe homme-robot. Pour représenter l'environnement, HINT-Plan s'appuie sur des graphes de scène hiérarchiques (Scene Graphs) qui traduisent la topologie des lieux et les connaissances actionnables en un langage de planification formel garantissant des plans exécutables. Évalué dans un environnement de simulation photoréaliste, le système atteint un taux de réussite global de 69,71 % en planification conjointe homme-robot, dépassant les méthodes de référence de jusqu'à 35,29 points, tout en réduisant les conflits fonctionnels entre agents humain et robotique. Ce travail s'attaque à un angle mort documenté du secteur de la robotique mobile: la quasi-totalité des approches dites "conscientes de l'humain" se limitent aujourd'hui à l'évitement de collision au niveau de la planification de mouvement bas niveau, sans anticiper le comportement humain à un niveau décisionnel supérieur. En démontrant qu'un VLM peut inférer des intentions humaines exploitables pour une planification multi-agents formelle, l'étude apporte un argument empirique en faveur des architectures VLA appliquées non plus seulement au contrôle moteur, mais à la coordination stratégique entre humains et robots dans des espaces partagés, un enjeu direct pour les AMR et robots collaboratifs en entrepôt ou en environnement domestique. Il s'agit toutefois d'une validation en simulation uniquement, sans déploiement matériel ni test en conditions réelles, ce qui limite la portée immédiate des résultats. Le papier s'inscrit dans la lignée des travaux combinant graphes de scène et planification symbolique, en réponse aux limites des baselines existantes qui ignorent l'anticipation comportementale. Les auteurs ne précisent pas de calendrier de transfert vers le réel ni de partenariat industriel; la validation sur robot physique reste l'étape logique suivante pour confirmer la robustesse de l'approche hors simulation.

RecherchePaper

1 source

3arXiv cs.RO

Fusion tactile-proprioceptive pour estimer les forces de contact dans l'interaction physique humain-robot en corps entier

Des chercheurs ont publié sur arXiv (2605.28412) un framework de fusion sensorielle tactile-proprioceptive destiné à améliorer l'interaction physique entre humains et robots. L'approche combine des capteurs de peau pneumatiques, des coussins souples disposés sur la surface du bras robotique, avec la proprioception basée sur le courant moteur, afin de reconstruire des forces de contact multi-axes en temps réel. Le point clé : les signaux tactiles servent d'indicateurs de contact binaires, permettant de contourner l'ambiguïté classique entre les résidus de frottement et les forces externes appliquées. Pour corriger la dérive due à l'hystérésis de frottement lors des transitions stick-slip (adhérence/glissement), les auteurs intègrent un réseau de convolutions temporelles (TCN). Le système est validé sur un bras robotique équipé de cette peau artificielle, dans deux scénarios : reconstruction stationnaire des forces multi-axes et enseignement cinesthésique simultané, c'est-à-dire guider le robot à la main pendant qu'il enregistre la trajectoire. Ce travail adresse un goulot d'étranglement concret dans le déploiement de robots collaboratifs : la difficulté à distinguer un contact intentionnel d'un contact perturbateur sans modéliser explicitement le frottement. La fusion tactile-proprioceptive proposée améliore la sensibilité et la réactivité par rapport aux approches uniquement tactiles ou uniquement proprioceptives, ce qui a des implications directes pour la programmation par démonstration (LfD) et les environnements de coproduction humain-robot. Le TCN est un choix pragmatique, il gère la non-linéarité dynamique sans forcer une identification de friction au préalable, ce qui réduit la complexité de mise en service pour les intégrateurs industriels. Ce type de "peau robotique" fait l'objet de recherches intensives depuis une décennie, mais les résultats ont longtemps souffert du fossé simulation-réalité et d'une fragile généralisation à la manipulation en mouvement. Des acteurs comme Wandercraft (France), qui développe des exosquelettes à interaction physique, ou des laboratoires comme le DLR et l'IIT travaillent sur des problématiques similaires. La publication reste une preuve de concept sur bras isolé, sans données de cycle time, de robustesse sur durée ni de coût de fabrication de la peau pneumatique, des paramètres déterminants avant tout transfert industriel. Les prochaines étapes naturelles seraient une validation sur robot humanoïde complet et des tests en conditions d'usine.

UEDes laboratoires européens comme le DLR et l'IIT, ainsi que Wandercraft en France pour ses exosquelettes, travaillent sur des problématiques similaires et pourraient s'appuyer sur ce framework de fusion sensorielle, mais l'impact reste indirect à ce stade de preuve de concept.

RecherchePaper

1 source

4arXiv cs.RO

IA incarnée et environnement : vers des robots de soins physiques sûrs et sensibles au contexte

Des chercheurs du laboratoire EMPRISE de l'université Cornell ont publié E²-CARE (arXiv:2606.28592), un cadre de contrôle pour robots d'assistance physique capables de s'adapter à la fois aux environnements variables et aux différentes morphologies robotiques sans reprogrammation. L'architecture représente l'espace de soins dans un graphe de scène 3D dynamique unifié qui modélise explicitement l'environnement, le robot et l'humain assisté. Ce graphe sert à synthétiser des contraintes spécifiques à chaque tâche, injectées en temps réel pour piloter l'exécution de gabarits d'interaction (interaction templates) prédéfinis. Le système a été évalué sur quatre activités de la vie quotidienne (ADL) dans des centaines d'environnements domestiques simulés, puis validé par des études utilisateurs portant sur deux tâches de soin avec deux robots distincts dans des environnements réels. La démonstration centrale d'E²-CARE est que les mêmes primitives de mouvement peuvent être réutilisées en zero-shot sur des robots de morphologies différentes et dans des environnements non vus à l'entraînement, sans dégradation de sécurité. C'est une réponse directe à l'un des verrous majeurs du secteur : le couplage fort entre un système de soin et son environnement ou son hardware d'origine. La contrainte de sécurité autour des humains, souvent absente des démonstrateurs existants, est ici modélisée comme une couche de contraintes d'exécution. Pour un intégrateur ou un acheteur B2B dans l'aide à la personne, c'est un argument de fond : un pipeline logiciel unique potentiellement déployable sur plusieurs plateformes matérielles, ce qui réduit substantiellement le coût d'intégration multi-hardware. EMPRISE (Enabling Manipulation and Physical Robot Interaction with Sensing and Embodiment) travaille depuis plusieurs années sur les robots d'assistance physique en contexte de vie quotidienne. Ce domaine reste très fragmenté : Diligent Robotics (Moxi, logistique hospitalière), 1X Technologies, et les plateformes académiques comme PR2 ou HSR de Toyota traitent chacun des sous-espaces étroits. E²-CARE n'est pas un produit commercial annoncé : il s'agit d'une contribution académique, sans prototype industriel ni timeline de commercialisation. Les étapes suivantes logiques impliquent des évaluations sur un plus grand nombre de morphologies physiques réelles et des scénarios d'interaction plus complexes, notamment avec des utilisateurs à mobilité fortement réduite ou en situation de dépendance avancée.

RecherchePaper

1 source

Thor : vers des réactions corporelles globales de niveau humain dans des environnements intenses à fort contact

À lire aussi

Hallucinations dans les affordances : vers une compréhension globale à 360° des environnements intérieurs

HINT-Plan : planification de tâches robotiques tenant compte de l'intention humaine dans des environnements riches en contexte, via des modèles vision-langage

Fusion tactile-proprioceptive pour estimer les forces de contact dans l'interaction physique humain-robot en corps entier

IA incarnée et environnement : vers des robots de soins physiques sûrs et sensibles au contexte