RecherchePandaily 21 octobre 2026

SenseTime met en open source SenseNova-RoboRSI, un cadre d'IA incarnée, et un modèle « cerveau » de robot de 27 milliards de paramètres

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

SenseTime a mis en open source SenseNova-RoboRSI, un cadre d'évaluation pour systèmes d'IA incarnée, ainsi qu'un modèle embarqué de 27 milliards de paramètres, SenseNova-RoboRSI-27B-Preview. Cette publication fait suite à une étude où l'entreprise a testé le grand modèle GPT-6-Astra sur 12 benchmarks de robotique en simulation et sur 8 robots physiques. Selon SenseTime, en donnant au modèle accès à des démonstrations d'entraînement et en relevant les limites de pas jusqu'à 10 fois les réglages officiels, GPT-6-Astra sature les benchmarks LIBERO et SIMPLE et atteint 81,9 % de réussite sur RoboDojo. Neuf tâches RoboDojo ratées lors des cinq essais ont toutes été réussies cinq fois sur cinq dès lors que le modèle pouvait continuer à interagir. Le coût est lourd : empiler des bols a demandé environ 131 minutes et 19 dollars d'inférence estimés, et placer un stylo dans un pot 263 minutes et environ 55 dollars. Le modèle reste faible sur les tâches à long horizon, transfère mal ses compétences d'une tâche à l'autre et peine avec les objets déformables et le contrôle fin sur robot réel. Le meilleur couplage testé, un modèle de raisonnement lent associé à un modèle d'action rapide, atteint 54 % de réussite sur 42 tâches RoboDojo avec une boucle fermée vérifiant chaque résultat. Côté outillage, chaque benchmark est empaqueté avec ses dépendances dans une image Docker distincte, accessible via une API HTTP unifiée qui expose l'interaction avec l'environnement et le scoring natif. Une évaluation de bout en bout se lance depuis un fichier de configuration, sans installer chaque simulateur à la main. Le modèle 27B affiche 26,13 sur RoboDojo (20,83 % de réussite), plus de 90 sur LIBERO-Pro, et fait passer RoboCasa365 de 26,0 % à 46,5 % tout en réduisant de 73 % la consommation de tokens.

Pour les intégrateurs et décideurs, l'intérêt tient moins au modèle qu'à ce que l'étude révèle sur l'écart entre démonstration et réalité. Un modèle généraliste peut résoudre des benchmarks saturés si on lui laisse du temps, des essais et des exemples, mais au prix de plusieurs heures et de dizaines de dollars par tâche élémentaire, ce qui est incompatible avec un temps de cycle industriel. Les points faibles identifiés (horizon long, objets déformables, précision fine) correspondent précisément aux cas d'usage d'assemblage et de manutention qui comptent en production. Le résultat de 54 % en architecture hybride lent/rapide, proche des approches à deux systèmes déjà explorées dans le secteur, suggère que la fiabilité vient de la boucle de vérification autant que du modèle lui-même. L'argument de SenseTime, selon lequel le temps de réflexion doit compter comme du temps réel (une poêle continue de chauffer pendant que le modèle délibère), est pertinent pour les futurs benchmarks. Il faut toutefois rester prudent : tous les chiffres proviennent des tests internes de SenseTime et aucun n'a été vérifié de façon indépendante. Le facteur de coût annoncé, un cinquantième de celui de GPT-6-Astra, compare un modèle spécialisé à un modèle généraliste sous budget étendu, et le score de 20,83 % sur RoboDojo reste modeste.

Cette publication s'inscrit dans la montée en puissance des acteurs chinois de l'IA incarnée, qui multiplient les ouvertures de modèles et d'outils d'évaluation face aux approches de Physical Intelligence (Pi-0), de NVIDIA (GR00T) ou de Figure (Helix). SenseTime, déjà connu pour sa famille SenseNova, a récemment présenté SenseNova U1.5 en 8B-MoT pour la vision unifiée native, tandis qu'Infinigence AI a ouvert APXInf pour l'inférence embarquée en périphérie, signe d'un écosystème qui se structure autour de l'évaluation reproductible et de l'efficacité. Le modèle est publié en préversion et aucun déploiement industriel ni calendrier de pilotes n'a été annoncé. Pour les équipes de recherche, la valeur immédiate réside dans l'infrastructure Docker et API unifiée, qui peut réduire le coût de comparaison entre modèles, y compris pour les laboratoires européens.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Conditionnement géométrique dans un SLM incarné : contrôles d'entraînement et diagnostics de robustesse d'un modèle hybride 0,8 milliard de paramètres

Une étude publiée sur arXiv (2609.09213) teste un modèle de langage hybride de 0,8 milliard de paramètres adapté à la manipulation robotique, avec 6,2 millions de paramètres entraînés. Six configurations de conditionnement géométrique sont comparées sur trois tâches du benchmark LIBERO-Spatial, sur trois graines aléatoires et 540 essais de validation. Conditionner les portes de décroissance récurrentes avec des incréments géométriques réels donne 28,9% de réussite, contre 36,7% quand ces mêmes incréments sont mélangés à l'entraînement et 24,4% sans géométrie explicite ; un adaptateur par jetons utilisant les mêmes incréments obtient 27,8% (résultat non concluant selon les graines) et un conditionnement par horloge de jetons chute à 11,1%, une graine ne convergeant même pas. Une politique fondée sur des coordonnées relatives à l'état conserve par ailleurs 7 réussites sur 10 après un changement de référentiel, contre 3 sur 20 au maximum pour les quatre politiques visuelles testées, après un simple déplacement de 5 centimètres de l'objet. Ce résultat contredit une hypothèse répandue dans la recherche sur les politiques vision-langage-action, où l'ajout de signaux géométriques explicites est censé améliorer la généralisation spatiale des robots manipulateurs, à l'heure de modèles comme GR00T N2, Pi-0 ou Helix. Que des incréments mélangés, donc vidés de leur information, surpassent la version correctement alignée suggère que l'architecture testée n'exploite pas vraiment la géométrie fournie, ou que ce signal agit surtout comme un bruit régularisant plutôt qu'une donnée réellement utilisée. Le contraste entre la résistance au changement de référentiel et l'effondrement quasi total des politiques visuelles dès qu'un objet bouge de 5 cm rappelle aux intégrateurs et décideurs qu'un bon score de benchmark ne garantit en rien la robustesse d'une politique de manipulation en conditions réelles. LIBERO-Spatial est un benchmark académique de référence pour évaluer le raisonnement spatial des politiques de manipulation, et les 6,2 millions de paramètres entraînés sur un socle de 0,8 milliard situent cette étude dans une logique d'adaptation légère plutôt que dans la course aux modèles fondation de plusieurs milliards de paramètres. Aucune entreprise ni déploiement industriel n'est associé à ces travaux : il s'agit d'une soumission académique nouvelle sur arXiv, sans produit commercialisé ni pilote terrain annoncé. Les auteurs publient les enregistrements d'épisodes, les analyses détaillées par graine et le code de génération des figures, et présentent l'écart entre invariance aux coordonnées et généralisation à un agencement physique réel comme un problème encore ouvert, appelant à de nouveaux travaux plutôt qu'à un déploiement immédiat.

RecherchePaper

1 source

2arXiv cs.RO

AhaRobot : un manipulateur mobile bimanuel open source à faible coût pour l'IA incarnée

Une équipe de recherche a publié en mars 2025 sur arXiv les spécifications complètes d'AhaRobot, un manipulateur mobile bimanuel open-source dont le coût matériel total s'élève à 1 000 dollars. Le système repose sur une architecture à deux bras de type SCARA, conçue pour réduire les couples moteurs nécessaires tout en maintenant un large espace de travail vertical. La précision annoncée est de 0,7 mm en répétabilité, obtenue grâce à une compensation de jeu mécanique par double moteur et à une technique de dithering pour neutraliser le frottement statique. L'interface de téléopération associée, RoboPilot, intègre une poignée marqueur à 26 faces qui réduit l'erreur de suivi de 80 % par rapport à une poignée à 6 faces et améliore l'efficacité de collecte de données de 30 %. L'ensemble du code, des fichiers CAO et de la documentation est mis à disposition en accès libre sur aha-robot.github.io. L'enjeu central est l'entraînement des modèles VLA (Vision-Language-Action), tels que pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, qui exigent des volumes massifs de données de manipulation réelles et diversifiées. Les plates-formes commerciales équivalentes coûtent généralement entre 20 000 et 100 000 dollars, ce qui limite mécaniquement l'échelle de collecte. À 1 000 dollars par unité, AhaRobot rend théoriquement possible le déploiement de flottes de collecte à faible coût. Les auteurs affirment que la qualité des données est comparable à celle produite par des systèmes de téléopération VR haute gamme, une assertion non encore validée sur des benchmarks standardisés indépendants. La précision de 0,7 mm reste cependant un chiffre solide pour ce niveau de coût. Le projet s'inscrit dans un mouvement plus large de démocratisation du hardware robotique open-source, aux côtés de LeRobot, l'initiative de la société française HuggingFace, et du Low Cost Robot d'Alexander Koch. La conception SCARA bimanuelle fait un compromis délibéré entre dextérité et coût, en abaissant les exigences en couple pour utiliser des actionneurs moins chers. À ce stade, il s'agit d'un preprint de recherche sans déploiement industriel ni pilote commercial annoncé : la prochaine étape naturelle serait une reprise par des laboratoires académiques pour valider l'imitation learning sur des tâches bimanuelles complexes en conditions réelles, et mesurer si l'avantage coût se maintient à l'échelle.

UELa démocratisation du hardware robotique open-source profite aux laboratoires académiques européens aux budgets contraints, dans la continuité de l'initiative LeRobot portée par HuggingFace, entreprise française, qui milite pour les mêmes standards ouverts de collecte de données pour les modèles VLA.

RecherchePaper

1 source

3arXiv cs.RO

RoboBench : un benchmark d'évaluation complet pour les grands modèles multimodaux comme cerveau incarné

La robotique humanoïde et manipulatrice s'appuie de plus en plus sur une architecture a deux niveaux: un "System 1" qui gère le contrôle moteur bas niveau et un "System 2", le cerveau incarne, charge du raisonnement et de la prise de décision. Un article mis a jour sur arXiv présente RoboBench, un benchmark conçu pour évaluer spécifiquement ce cerveau incarne lorsqu'il est implémenté par un modèle multimodal de grande taille (MLLM). Le benchmark couvre cinq dimensions: compréhension des instructions, raisonnement perceptif, planification généralisée, prédiction d'affordances et analyse d'échecs, reparties en 14 capacités, 25 taches et 6 092 paires question réponse. Les données combinent des jeux de données robotiques réels a grande échelle et des collectes internes couvrant plusieurs types de robots, des objets aux attributs varies, des scenes multi vues et des taches de navigation dépendantes de la mémoire. Dix huit MLLMs de pointe ont été testes sur ce benchmark. L'enjeu dépasse la simple mesure de performance: la plupart des benchmarks existants évaluent surtout le succès final d'exécution, sans isoler la qualité du raisonnement de haut niveau qui précède l'action, ni la réalité des taches proposées. RoboBench cherche a combler cet écart en testant directement si un modèle comprend une consigne implicite, raisonne correctement sur l'espace et le temps, ou diagnostique un échec, indépendamment de la couche de contrôle moteur. Les résultats montrent des limites persistantes sur la compréhension d'instructions implicites, le raisonnement spatio-temporel, la planification inter scenarios, la compréhension fine des affordances et le diagnostic d'échecs, ce qui questionne la maturité réelle des MLLMs actuels comme cerveaux de robots, au delà des démonstrations souvent mises en avant par les laboratoires. Pour l'évaluation de la planification, les auteurs introduisent un cadre inédit dit "MLLM comme simulateur du monde", qui vérifie si un plan prédit peut effectivement produire les changements d'état critiques d'un objet sous contraintes physiques et visuelles, plutôt que de se contenter d'un simple appariement symbolique avec un plan de référence. Cette approche vise une évaluation plus fidèle du raisonnement a long horizon. Les chercheurs analysent également le lien entre ces capacités cognitives incarnées et la performance réelle en contrôle robotique, positionnant RoboBench comme un outil de référence pour orienter la prochaine génération de MLLMs vers une intelligence robotique plus robuste.

RecherchePaper

1 source

4arXiv cs.RO

Politique du modèle : IA incarnée et robotique

Traduction et synthèse en français, sans titre ni tirets cadratins : Une équipe de recherche publie sur arXiv (2606.07386v2, version remaniée) une nouvelle représentation pour les politiques d'imitation appliquées à la manipulation robotique, baptisée Spline Policy (SP). Le principe : remplacer les "chunks" d'actions à résolution fixe, format standard des politiques d'apprentissage par imitation, par des paramètres de spline. Le squelette du réseau reste inchangé, seule la sortie change de nature. La trajectoire prédite devient une courbe continue et compacte, interrogeable à différentes résolutions temporelles, éditable directement dans l'espace des paramètres, et transmissible telle quelle à un contrôleur en aval. Pour les splines quadratiques, les auteurs montrent aussi qu'on peut convertir cette sortie en champ de vecteurs dépendant de l'état, via une construction analytique de champ de distance. Le dispositif a été testé avec quatre types de backbones : diffusion, flow-matching, transformeurs classiques et modèles vision-langage-action (VLA), sur des tâches allant de l'apprentissage de mouvements basse dimension à la manipulation dextre, en simulation comme sur robot réel. L'intérêt pour l'industrie tient à ce que le format "action chunk" fixe, dominant depuis les politiques de type diffusion policy ou ACT, limite la structure géométrique et temporelle exploitable avant exécution. SP propose un mécanisme de correction locale : sous certaines conditions de régularité, la dynamique induite ne s'éloigne jamais de la spline générée, ce qui offre une garantie de robustesse proche du mouvement appris. Le papier montre aussi qu'on peut propager l'incertitude des observations jusqu'aux trajectoires et champs de flux, et coupler la politique à des mécanismes de contrôle classiques comme l'évitement de collision en espace nul, sans réentraîner le modèle. C'est un pont concret entre politiques VLA en boîte noire et piles de contrôle robotique traditionnelles, un enjeu réel pour les intégrateurs qui cherchent à certifier ou sécuriser des comportements appris. Il s'agit d'une contribution académique, sans déploiement produit ni acteur industriel annoncé. Elle s'inscrit dans la lignée des architectures VLA récentes (de type Pi-0 ou GR00T) et pourrait, si validée plus largement, influencer la conception des futures piles de contrôle combinant apprentissage et robotique classique.

RecherchePaper

1 source