RechercheMarkTechPost1h

Meta FAIR publie NeuralSet : un package Python pour la neuro-IA compatible fMRI, M/EEG, signaux neuronaux et embeddings HuggingFace

1 source couvre ce sujet·Source originale ↗·

Le laboratoire FAIR de Meta a publié NeuralSet, un framework Python destiné à la recherche en Neuro-IA, dont l'objectif est de résoudre l'un des obstacles les plus tenaces du domaine : l'intégration des données cérébrales dans les pipelines d'apprentissage profond. Le projet s'appuie sur cinq abstractions centrales, Events, Extractors, Segments, Batch Data et une couche Backend, pour représenter toute expérience neuroscientifique sous forme de métadonnées légères et pilotées par événements, entièrement dissociées des signaux bruts, volumineux et coûteux en mémoire. Chaque enregistrement, qu'il s'agisse d'une session fMRI, d'un mot prononcé lors d'une tâche cognitive ou d'un stimulus vidéo, est modélisé comme un dictionnaire Python léger contenant un type, un temps de début, une durée et un identifiant de session. L'ensemble d'une étude est compilé dans un DataFrame pandas unique, ce qui permet de filtrer et de recombiner des jeux de données massifs sans charger un seul octet de signal en mémoire. Au moment du calcul effectif, des Extractors font le lien avec les bibliothèques spécialisées existantes : FmriExtractor délègue à Nilearn, tandis que MegExtractor et EegExtractor s'appuient sur MNE-Python. L'intégration native de l'écosystème HuggingFace permet d'aligner automatiquement les signaux neuronaux avec des embeddings issus de modèles comme DINOv2, CLIP, Wav2Vec, Whisper, GPT-2 ou LLaMA.

L'enjeu est considérable pour la communauté scientifique. Jusqu'à présent, les chercheurs en Neuro-IA devaient construire des pipelines ad hoc pour chaque expérience, avec manipulation manuelle des données, mise en cache artisanale et configurations backend complexes. NeuralSet rend ce travail d'infrastructure partageable et reproductible via des objets Chain chaînables et cachables. Pour les laboratoires qui travaillent avec les jeux de données publics d'OpenNeuro, désormais à l'échelle du téraoctet, ou avec des protocoles expérimentaux intégrant de la parole continue et de la vidéo, ce gain de temps représente des semaines de développement économisées par projet. Cela ouvre également la voie à des comparaisons directes entre modalités cérébrales différentes, fMRI, EEG, iEEG, fNIRS, EMG, spikes, en ne changeant qu'un paramètre de configuration.

La sortie de NeuralSet s'inscrit dans un mouvement plus large d'industrialisation des outils Neuro-IA, un champ à l'intersection des neurosciences computationnelles et des grands modèles de langage. Les outils historiques comme MNE-Python, Nilearn ou fMRIPrep, conçus avant l'ère du deep learning, n'étaient pas pensés pour l'alignement temporel avec des embeddings haute dimension ni pour le chargement paresseux de datasets massifs. FAIR, qui mène depuis plusieurs années des travaux sur la correspondance entre activité cérébrale et représentations de modèles d'IA, positionne NeuralSet comme une infrastructure commune pour accélérer cette recherche. Le framework est compatible avec les datasets au format BIDS, standard ouvert dominant en neuroimagerie, ce qui facilite son adoption immédiate sur les grandes bases publiques existantes.

À lire aussi

1arXiv cs.RO

BEVal : étude d'évaluation comparative des modèles de segmentation BEV pour la conduite autonome

Une équipe de chercheurs a publié BEVal, une étude comparative sur les modèles de segmentation en vue aérienne (Bird's Eye View, ou BEV) appliqués à la conduite autonome. Contrairement aux travaux habituels, qui entraînent et évaluent les modèles sur un seul jeu de données, généralement nuScenes, les auteurs ont testé les performances de plusieurs modèles de l'état de l'art sur des combinaisons croisées de jeux de données : entraînement sur l'un, évaluation sur un autre. L'étude examine également l'influence du type de capteur utilisé, caméras ou LiDAR, sur la capacité des modèles à s'adapter à des environnements variés et à des catégories sémantiques différentes. Le code de l'étude est disponible en open source sur GitHub. Les résultats mettent en évidence un problème structurel dans la recherche actuelle : les modèles de segmentation BEV, très performants sur leurs données d'entraînement, chutent significativement lorsqu'ils sont confrontés à un nouvel environnement ou à une configuration de capteurs différente, un phénomène connu sous le nom de décalage de domaine. Pour les constructeurs automobiles et les entreprises de conduite autonome, cela signifie que des modèles optimisés en laboratoire peuvent se révéler peu fiables dans des conditions réelles variées. Les expériences d'entraînement sur plusieurs jeux de données menées en parallèle ont toutefois montré des améliorations notables des performances par rapport à l'entraînement sur un seul jeu, ouvrant la voie à des approches plus robustes. La segmentation BEV est une technologie clé pour la conduite autonome : elle permet aux véhicules de construire une représentation plane de leur environnement immédiat à partir de capteurs embarqués, facilitant la détection de routes, véhicules, piétons et obstacles. Le standard quasi universel de la recherche repose aujourd'hui sur nuScenes, un jeu de données développé par Motional, ce qui crée un biais de spécialisation problématique à l'échelle du secteur entier. En exposant cette fragilité et en proposant une méthodologie d'évaluation croisée rigoureuse, BEVal pousse la communauté scientifique vers des pratiques plus exigeantes, une condition indispensable avant tout déploiement massif de véhicules autonomes sur des routes réelles.

UELes constructeurs automobiles européens (Stellantis, Volkswagen, Renault) et les acteurs de la conduite autonome opérant en Europe sont concernés par cette fragilité structurelle des modèles BEV, qui remet en question la fiabilité des systèmes avant tout déploiement sur routes européennes aux conditions variées.

RecherchePaper

1 source

2arXiv cs.RO

MotionBricks : mouvements temps réel évolutifs via modèle génératif latent modulaire et primitives intelligentes

Des chercheurs ont présenté MotionBricks, un nouveau cadre de génération de mouvements en temps réel capable de modéliser plus de 350 000 clips d'animation avec un seul modèle unifié. Publié sur arXiv, le système repose sur deux composants centraux : un backbone génératif modulaire à espace latent, conçu pour fonctionner sous contraintes de calcul sévères, et des "smart primitives", une interface unifiée permettant de contrôler navigation et interactions avec les objets. Les performances annoncées sont remarquables : 15 000 images par seconde à une latence de 2 millisecondes, sur des jeux de données open source et propriétaires de tailles variées. Le système a également été déployé sur le robot humanoïde Unitree G1, démontrant son applicabilité au contrôle robotique en temps réel. L'enjeu principal de MotionBricks est de combler le fossé persistant entre la recherche en synthèse de mouvement et les contraintes de production industrielle. Jusqu'ici, les méthodes génératives modernes, pourtant puissantes, se dégradaient fortement dès qu'elles devaient opérer en temps réel avec un large répertoire de compétences de mouvement. MotionBricks résout ce problème en permettant à des applications de se construire en mode "plug-and-play", comme assembler des briques, sans nécessiter de connaissances expertes en animation. Le contrôle multimodal fin, commandes de vitesse, sélection de style, keyframes précis, que les modèles existants pilotés par texte ou tags ne pouvaient pas offrir, devient ici accessible de manière intuitive. La synthèse de mouvements procédurale et les arbres d'animation traditionnels dominent encore les moteurs de jeux et la production 3D temps réel, faute d'alternatives génératives assez rapides et flexibles. Des projets comme Motion Diffusion Model ou MDM ont démontré la qualité des approches diffusion, mais butaient précisément sur les contraintes de latence. MotionBricks s'inscrit dans un courant plus large visant à rendre les modèles génératifs opérationnels en production, avec des implications directes pour l'industrie du jeu vidéo, les studios d'animation et la robotique humanoïde, un secteur en pleine accélération avec des acteurs comme Boston Dynamics, Figure AI ou Unitree.

UELes studios d'animation et développeurs de jeux vidéo européens pourraient à terme bénéficier de cette technologie pour produire des personnages animés en temps réel sans expertise spécialisée en animation.

RecherchePaper

1 source

3arXiv cs.RO

DIAL : découpler intention et action par modélisation latente du monde pour les VLA de bout en bout

Des chercheurs ont publié DIAL (Decoupling Intent and Action via Latent World Modeling), un nouveau cadre d'apprentissage pour les modèles Vision-Langage-Action (VLA) dédiés à la robotique. Le principe repose sur une séparation explicite entre l'intention de haut niveau et l'exécution motrice, via un goulot d'étranglement d'intention latente différentiable. Un module System-2, basé sur un grand modèle de langage visuel (VLM), génère une représentation interne de ce que le robot devrait percevoir dans le futur, une prévision visuelle latente qui encode l'intention. Un module léger System-1 traduit ensuite cette intention en actions motrices précises grâce à une dynamique inverse latente. L'entraînement se déroule en deux phases: un échauffement découplé pour stabiliser chaque module séparément, puis une optimisation conjointe de bout en bout. Sur le benchmark RoboCasa GR1 Tabletop, DIAL établit un nouvel état de l'art en nécessitant dix fois moins de démonstrations que les méthodes concurrentes. Ce gain d'efficacité est décisif dans un domaine où la collecte de données de démonstration reste coûteuse et chronophage. Réduire d'un ordre de grandeur le nombre d'exemples nécessaires change l'équation économique du déploiement de robots autonomes en environnements industriels ou domestiques. DIAL démontre également une généralisation zero-shot robuste: lors de déploiements réels sur un robot humanoïde, le système parvient à manipuler des objets et des configurations jamais rencontrés à l'entraînement, sans données supplémentaires. Cette capacité de transfert constitue l'un des verrous les plus difficiles de la robotique moderne. Le développement des VLA s'est accéléré ces deux dernières années avec l'essor des grands modèles multimodaux. La plupart des approches existantes utilisent toutefois le VLM comme simple encodeur, le connectant directement à une couche d'action, ce qui dégrade ses représentations sémantiques et introduit une instabilité à l'entraînement. DIAL corrige cette limite structurelle en exploitant pleinement les capacités de raisonnement du VLM pour la planification, tout en préservant ses connaissances pré-entraînées grâce au découplage. L'approche s'inscrit dans une tendance plus large visant à doter les robots d'une capacité à planifier avant d'agir, et pourrait accélérer l'adoption de systèmes capables de s'adapter à de nouveaux environnements sans réentraînement coûteux.

RecherchePaper

1 source

4arXiv cs.RO

KinDER : un benchmark de raisonnement physique pour l'apprentissage et la planification robotique

Une équipe de chercheurs en robotique vient de publier KinDER (Kinematic and Dynamic Embodied Reasoning), un nouveau benchmark conçu pour évaluer la capacité des systèmes robotiques à raisonner sur les contraintes physiques du monde réel. Présenté sur arXiv, le projet propose 25 environnements générés de façon procédurale, une bibliothèque Python compatible avec l'interface Gymnasium, et une suite d'évaluation standardisée incluant 13 méthodes de référence. Ces méthodes couvrent quatre grandes familles d'approches : la planification de tâches et de mouvements, l'apprentissage par imitation, le reinforcement learning et les systèmes basés sur des modèles de fondation comme les grands modèles de langage. Les environnements ciblent cinq défis spécifiques : les relations spatiales de base, la manipulation d'objets sans préhension directe, l'utilisation d'outils, les contraintes géométriques combinatoires et les contraintes dynamiques. Les résultats empiriques sont sans appel : les méthodes actuelles échouent sur une grande partie des environnements proposés, révélant des lacunes profondes dans la façon dont les robots comprennent et anticipent les interactions physiques. C'est un signal fort pour la communauté, car la plupart des benchmarks existants mélangent raisonnement physique, compréhension du langage et perception visuelle, rendant difficile l'identification précise des points de blocage. KinDER isole délibérément ces cinq dimensions pour mesurer séparément chaque capacité. Les chercheurs ont également mené des expériences de transfert simulation-réalité sur un robot manipulateur mobile, confirmant que les comportements observés en simulation correspondent bien à ceux du monde physique. La robotique souffre depuis longtemps d'un manque de benchmarks rigoureux et comparables entre paradigmes d'apprentissage. Le succès des grands modèles de langage a relancé l'intérêt pour les agents physiques capables de raisonner sur leur environnement, mais les outils d'évaluation n'ont pas suivi le rythme. KinDER vient combler ce vide en offrant un terrain de jeu commun, entièrement open-source, qui permet enfin de comparer équitablement des approches aussi différentes que le reinforcement learning classique et les modèles de fondation multimodaux. À mesure que la robotique généraliste monte en puissance, ce type d'infrastructure d'évaluation deviendra un outil central pour orienter les investissements de recherche et repérer les vrais progrès.

RecherchePaper

1 source