PHANES AI lance SeePhys Hub, un kit portable qui enregistre la vision, le toucher et le mouvement du corps entier

PHANES AI a lancé le 14 octobre SeePhys Hub, un système de capture de données multimodales du corps entier destiné à transformer l'activité humaine quotidienne en données d'entraînement pour robots. Selon QbitAI, le produit est une co-sortie avec Tinno Mobile, qui apporte son expérience en maîtrise des coûts, chaîne d'approvisionnement et assurance qualité, tandis que PHANES AI se charge de la conception produit et des algorithmes. Le kit comprend un bandeau frontal à quatre caméras, deux bracelets de poignet, trois capteurs de mouvement portés à la taille et au bas des jambes, et une paire de gants tactiles. L'ensemble enregistre la vision à la première personne sur 360 degrés, la pose des mains, le toucher à haute densité, ainsi que la pose et les forces du corps entier. Le bandeau pèse au plus 220 grammes, chaque bracelet au plus 75 grammes, avec 24 heures d'enregistrement continu. L'erreur de synchronisation entre caméras, IMU et UWB du bandeau reste inférieure à 0,5 milliseconde. Les trois capteurs combinent signaux inertiels (IMU) et mesure de distance ultra large bande (UWB) entre nœuds, fusionnés avec la vision de la tête et des poignets pour estimer la pose complète.

L'enjeu tient à une limite connue des données égocentriques. Les caméras montées sur la tête passent à l'échelle facilement, ce qui en a fait une source majeure pour l'apprentissage robotique, mais elles voient mal les coudes et les jambes et ne disent rien de la force exercée sur un objet. Or marcher, se pencher ou coordonner deux mains exige précisément ces informations. PHANES AI vise donc une couche intermédiaire entre la vidéo internet, abondante mais pauvre, et la capture de mouvement de haute précision ou les données sur robot réel, fidèles mais coûteuses. Le choix de rendre les gants optionnels est révélateur : les opérateurs de collecte ont demandé de ne pas imposer de gants à leurs équipes, car ils gênent les tâches délicates comme la vaisselle et ajoutent du bruit capteur. Les clients choisissent donc leur configuration selon la tâche, et l'équipe étudie l'estimation du toucher à partir de la seule vision. Il faut toutefois noter que l'annonce ne fournit ni prix, ni volumes de production, ni client nommé, ni mesure de précision de la pose estimée, et que le gain réel pour l'entraînement de politiques robotiques n'est pas démontré.

Le produit s'inscrit dans une course à la donnée humaine, qui cherche à contourner le coût de la téléopération sur robot réel. La plateforme associée assure l'analyse, le nettoyage, la segmentation et l'annotation sémantique, et se relie à la reconstruction de scène, à l'estimation de pose, au suivi des mains et au retargeting de mouvement vers des morphologies robotiques. Le fondateur et PDG Yang Shuo, devenu professeur titulaire à l'Institut de technologie de Harbin (Shenzhen) à 26 ans, positionne l'outil face aux solutions de capture existantes. L'alliance avec un fabricant de téléphones comme Tinno suggère une ambition de production à coût maîtrisé, condition nécessaire pour déployer des centaines de kits chez des opérateurs de collecte. Les prochaines étapes à surveiller sont la publication de benchmarks comparant des politiques entraînées avec et sans ces données, les premiers clients nommés et l'avancée de l'estimation du toucher sans gants.