Aller au contenu principal

IA physique

50 sur 721 articles

Modèles vision-langage-action (VLA) et IA physique : NVIDIA GR00T, Figure Helix, Physical Intelligence π0, Gemini Robotics, OpenVLA, world models Cosmos/Genie.

NexCOBOT évoque les obstacles du marché de l'IA physique et son accélération
1Robotics Business Review IA physiqueActu

NexCOBOT évoque les obstacles du marché de l'IA physique et son accélération

NexCOBOT, fournisseur taïwanais de contrôleurs pour la robotique basé à New Taipei City, a présenté sa gamme de contrôleurs de mouvement lors du Robotics Summit & Expo. Sa directrice générale, Jenny Shern, a détaillé l'évolution du marché de l'IA physique dans un entretien avec The Robot Report. Elle cite trois rachats survenus cette année : Mobileye a acquis Mentee Robotics pour 900 millions de dollars en janvier, Amazon a racheté Fauna Robotics en mars, et Meta a absorbé Assured Robot Intelligence en mai. Depuis 2025, NexCOBOT reçoit un afflux de demandes de la part de fabricants de robots à pattes, quadrupèdes et humanoïdes, ainsi que de manipulateurs mobiles, cherchant des contrôleurs adaptés à ces nouvelles architectures. L'entreprise, issue en 2018 d'une scission de l'unité IoT Automation Solutions du groupe NEXCOM, fournit des contrôleurs de mouvement, des contrôleurs de sécurité fonctionnelle, des composants périphériques et des services de conseil en vérification de conception. Shern indique que NexCOBOT reste dans une position financière stable, sans divulguer de chiffres précis, et concentre ses efforts sur le passage à la production de masse pour honorer un carnet de commandes mondial important. Ces rachats par les géants technologiques illustrent une stratégie claire : acheter l'expertise en apprentissage robotique, perception et contrôle autonome plutôt que la développer en interne, pour accélérer l'accès à ce que Shern qualifie de prochaine phase des systèmes intelligents. Pour les intégrateurs et décideurs industriels, ce mouvement de consolidation coïncide avec un resserrement du capital-risque en amorçage : si les levées géantes se multiplient, le financement des jeunes pousses en phase précoce a reculé aux Etats-Unis, ce qui impose une pression accrue pour démontrer rapidement un modèle économique viable. Shern anticipe davantage de collaborations entre startups, industriels et grandes entreprises technologiques pour compenser ce resserrement. Elle introduit aussi la notion de robots natifs IA, conçus dès l'origine pour percevoir, décider et s'adapter à leur environnement plutôt que suivre des instructions figées, à la différence des robots industriels traditionnels. Si les progrès en perception, planification de mouvement et interaction homme-robot sont rapides, elle souligne que la fiabilité et la sécurité restent les conditions déterminantes avant une adoption industrielle à grande échelle, l'intégration se faisant par étapes plutôt que par bascule immédiate. Ce positionnement s'inscrit dans l'histoire de NexCOBOT, née en 2018 d'une séparation de l'activité IoT Automation Solutions de NEXCOM Group, et construite comme fournisseur neutre de contrôleurs aussi bien pour la robotique traditionnelle que pour les nouvelles générations de machines à pattes ou mobiles. Sans citer de partenariat ni de pilote nommé, Shern situe son entreprise en position d'infrastructure plutôt qu'en concurrente directe des fabricants de robots humanoïdes eux-mêmes rachetés par Mobileye, Amazon ou Meta, un marché qui reste ici dominé par des acteurs nord-américains sans mention d'acteur français ou européen. La suite annoncée par NexCOBOT relève de l'exécution plutôt que du produit nouveau : honorer un carnet de commandes mondial déjà constitué et basculer vers la production de masse de ses contrôleurs de sécurité fonctionnelle ouverts, signe que, selon elle, la demande dépasse déjà la phase de prototypage chez les intégrateurs de robotique de nouvelle génération.

1 source
Pourquoi l'alimentation est le défi le plus difficile de l'IA physique, selon RoboBusiness
2Robotics Business Review 

Pourquoi l'alimentation est le défi le plus difficile de l'IA physique, selon RoboBusiness

Chef Robotics, entreprise de robotique alimentaire basée à San Francisco, annonce que son fondateur et CEO Rajat Bhageria interviendra à RoboBusiness 2026, qui se tiendra les 20 et 21 octobre à Santa Clara, en Californie. Sa conférence, intitulée "Why Food is Physical AI's Hardest Problem and Most Promising Catalyst", portera sur l'automatisation de la préparation alimentaire à grande échelle. L'entreprise affirme avoir réalisé plus de 118 millions de portions en conditions de production réparties sur plus d'une douzaine d'usines agroalimentaires en Amérique du Nord et en Europe. Ces données constitueraient, selon Chef Robotics, le plus grand jeu de données réel de manipulation de matériaux déformables jamais constitué, et alimentent son modèle propriétaire, le Food Foundation Model (FFM), censé permettre à ses robots de généraliser à de nouveaux ingrédients avec un minimum de réentraînement. La session doit détailler les défis de fusion de capteurs pour saisir des objets mous et imprévisibles, ainsi que le contrôle de force nécessaire pour distinguer matériaux fragiles et denses. L'argument de fond dépasse la seule restauration collective. La plupart des modèles fondation en robotique physique sont aujourd'hui entraînés sur des objets rigides, plus faciles à modéliser et à simuler; la nourriture, déformable, variable en poids, en texture et en sensibilité thermique, constitue un test autrement plus exigeant. Si les techniques développées par Chef Robotics (préhension adaptative, retour tactile, entraînement sur distributions à forte variance) se transfèrent effectivement aux dispositifs médicaux, à l'emballage souple ou à l'agriculture, cela renforcerait l'idée que la donnée réelle à l'échelle, plutôt que la simulation ou les démonstrations en laboratoire, reste le facteur limitant des systèmes physiques déployables. Ces chiffres proviennent toutefois exclusivement de l'entreprise, sans audit indépendant, et le terme de "plus grand jeu de données" reste invérifiable de l'extérieur; il s'agit d'une présentation de conférence destinée à valoriser une thèse commerciale, pas d'une publication scientifique évaluée par des pairs. Chef Robotics n'est pas un nouvel entrant: avant de fonder l'entreprise, Bhageria avait dirigé Prototype Capital, un fonds de capital-risque en amorçage investissant dans des fondateurs appliquant des technologies nouvelles à des secteurs anciens, après avoir créé ThirdEye, une technologie d'assistance pour malvoyants, finalement rachetée. Il est titulaire d'un master en robotique et apprentissage automatique et d'une licence d'économie de l'université de Pennsylvanie. La démonstration s'inscrit dans une course plus large de l'IA physique où la plupart des acteurs valorisent la polyvalence de modèles vision-langage-action génériques; Chef Robotics défend au contraire une spécialisation verticale sur un problème de manipulation jugé particulièrement dur. Aucune nouvelle étape produit n'est annoncée au-delà de cette intervention: il s'agit d'une session de conférence, pas d'un lancement, dans le cadre de RoboBusiness 2026, événement organisé par The Robot Report à destination des développeurs de robotique commerciale.

UEChef Robotics affirme déjà opérer des robots dans plusieurs usines agroalimentaires en Europe, mais sans qu'aucune entreprise, pays ou régulation européenne ne soit nommé précisément.

IA physiqueActu
1 source
Le rêve du robot majordome ne tient pas debout
3The Verge 

Le rêve du robot majordome ne tient pas debout

LG a dévoilé CLOiD, un robot domestique équipé de roues plutôt que de jambes. L'entreprise coréenne indique entraîner un modèle de fondation robotique en déployant plusieurs centaines d'unités CLOiD dans de véritables environnements domestiques, misant sur la collecte de données réelles plutôt que sur la seule démonstration. L'annonce intervient dans une année marquée par la multiplication des humanoïdes : au CES, des dizaines de robots à forme humaine ont été exposés, dont plusieurs destinés au foyer. Aux Etats-Unis, 1X Robotics a déjà placé son robot Neo, facturé 20 000 dollars, dans des maisons pour effectuer des tâches ménagères, avec toutefois une assistance humaine à distance encore substantielle. Cette semaine, au salon IFA de Berlin, une demi-douzaine d'humanoïdes, en majorité chinois, doivent défiler pour illustrer les progrès du secteur. Le choix de roues plutôt que de jambes tranche avec l'obsession actuelle pour la bipédie et traduit un pari pragmatique : pour la plupart des tâches ménagères, une base roulante fiable coûte moins cher à développer qu'une locomotion humanoïde complexe. Pour les intégrateurs et décideurs industriels, cela questionne l'idée selon laquelle la forme humaine serait indispensable pour opérer dans des environnements pensés pour l'humain. Le cas de Neo illustre aussi l'écart persistant entre démonstration et autonomie réelle : le robot dépend encore largement de téléopérateurs, preuve que l'autonomie complète en environnement domestique demeure un défi non résolu. Le défilé prévu à l'IFA, pensé comme vitrine commerciale plutôt que comme validation technique, invite à distinguer les démonstrations chorégraphiées d'un déploiement opérationnel réellement vérifié. Ce mouvement s'inscrit dans une accélération plus large de la robotique humanoïde en 2026, portée par des acteurs chinois de plus en plus présents sur les salons occidentaux, aux côtés d'entreprises américaines comme 1X. LG, historiquement fabricant d'électronique grand public et d'électroménager, cherche ainsi à se positionner sur le marché naissant du robot domestique en misant sur l'apprentissage par la donnée plutôt que sur la prouesse mécanique. Aucune date de commercialisation ni aucun prix n'ont été communiqués pour CLOiD, l'entreprise se concentrant pour l'instant sur la collecte de données via ses déploiements pilotes. Malgré l'engouement médiatique entourant les humanoïdes bipèdes, le robot majordome capable de gérer seul une maison reste, à ce stade, davantage une promesse qu'une réalité commerciale.

IA physiqueOpinion
1 source
Facet-0 : un modèle fondation robotique pour la manipulation précise en contact riche
4arXiv cs.RO 

Facet-0 : un modèle fondation robotique pour la manipulation précise en contact riche

Un preprint publié sur arXiv (2609.01596) présente Facet-0, un modèle de fondation robotique pour l'assemblage de précision à tolérance sous-millimétrique, capable de prédire et d'évaluer les conséquences de contact de ses actions. Par flow matching, il génère chaque segment de mouvement avec le profil de force au poignet attendu, aligné sur l'historique des forces, la sémantique vision-langage et l'état cinématique, puis affine sa politique grâce à un critique distributionnel entraîné sur les déploiements réels et des récompenses ciblant les interactions de contact décisives. Entraîné sur ManuFacet-1K, un corpus de 1 000 heures synchronisées avec des données de force sur trois embodiments et plusieurs cellules de fabrication, le système atteint 82% de réussite moyenne sur cinq tâches d'assemblage informatique sous-millimétrique, contre 15% pour la meilleure référence, avec 0,5 mm de précision de placement et 50 ms de latence de commande. Ce résultat cible un angle mort des modèles vision-langage-action actuels, à l'aise pour saisir et déplacer des objets mais peu fiables dès qu'une tâche exige un contact fin, comme l'insertion de connecteurs ou le vissage. En traitant le retour de force comme signal d'apprentissage plutôt que garde-fou de sécurité, Facet-0 s'attaque à l'écart entre démonstrations impressionnantes et fiabilité réelle en ligne d'assemblage électronique, un enjeu concret pour les intégrateurs qui évaluent des bras génériques au-delà du tri ou de la manutention. Si l'écart revendiqué entre 82% et 15% se confirme dans des évaluations indépendantes, la modélisation explicite du contact pourrait devenir un prérequis pour les modèles de fondation visant l'industrie manufacturière exigeante. Facet-0 s'inscrit dans la vague des modèles de fondation robotique généralistes lancée par des systèmes comme Pi-0, GR00T N2 ou Helix, qui unifient perception, langage et contrôle moteur mais brillent surtout sur des tâches de manipulation grossière. En couplant une tête de prédiction de force à un critique dédié aux conséquences du contact, ses auteurs cherchent à combler ce manque sans abandonner l'architecture VLA générale. Le travail reste à ce stade une publication de recherche, sans annonce de déploiement industriel ni de mise à disposition du code ou du jeu de données ManuFacet-1K, les prochaines étapes attendues étant la revue par les pairs et des comparaisons indépendantes.

IA physiqueActu
1 source
Évaluation des LLM multimodaux comme agents généralistes VLA pour le contrôle de drones : commande, approche, suivi et recherche
5arXiv cs.RO 

Évaluation des LLM multimodaux comme agents généralistes VLA pour le contrôle de drones : commande, approche, suivi et recherche

Un article publié sur arXiv le 2 septembre 2026 (arXiv:2609.01404) présente DroneCATS-Agent, une architecture où un grand modèle multimodal (MLLM) est directement placé dans la boucle de commande d'un drone, avec tout son espace d'action décrit uniquement dans le prompt, sans fine-tuning ni schéma de function-calling. Les auteurs introduisent aussi DroneCATS, un benchmark qui traite le choix du modèle comme variable indépendante et évalue quatre capacités : approcher une cible visible, suivre une cible mobile, chercher hors du champ de vision initial, et commander une flotte de plusieurs drones simultanément. La batterie de tests couvre des modèles allant des systèmes de pointe jusqu'à des modèles ouverts de seulement 2 milliards de paramètres. Résultat central : les petits modèles ouverts atteignent le rayon de succès autour de la cible plus souvent que les modèles de pointe, mais perdent l'épisode en déclarant leur arrivée trop tôt, ou en ne la déclarant jamais. Sur la commande multi-drones, l'écart se creuse encore : les petits modèles échouent en recopiant aveuglément une même coordonnée sur des vues pourtant différentes. Ce résultat inverse une hypothèse répandue dans le secteur des agents vision-langage-action : la difficulté ne vient pas de la perception spatiale ni de la navigation elle-même, mais de la discipline à respecter un protocole d'action déclaré et à émettre le bon signal de fin de tâche. Pour les intégrateurs et équipes robotique qui envisagent de piloter des drones avec un MLLM générique sans entraînement dédié, l'étude montre qu'un modèle frontière plus puissant n'est pas automatiquement plus fiable qu'un modèle compact taillé pour l'embarqué. Elle éclaire aussi un écart réel entre démonstrations de vol et comportement robuste en usage répété, un point rarement quantifié aussi finement dans la littérature sur les VLA appliqués aux drones plutôt qu'aux bras robotiques ou humanoïdes. Le travail s'inscrit dans une tendance récente consistant à confier le pilotage de robots à des modèles de langage multimodaux généralistes, mais en réaction à des systèmes qui restreignent de plus en plus les décisions du modèle ; DroneCATS élargit au contraire volontairement cette liberté de décision pour observer ce qui casse en premier. Il s'agit d'un travail de recherche publiant un benchmark, pas d'un produit commercial ni d'un déploiement opérationnel : aucun site, aucun partenaire industriel ni aucune date de mise en service n'est annoncé. Les auteurs présentent la fermeture de cet écart à coût de calcul embarqué, soit obtenir un modèle rapide capable de planifier durablement et de savoir précisément quand s'arrêter, comme le problème ouvert que DroneCATS est conçu pour mesurer.

IA physiqueActu
1 source
EmbodiedSkills : un cadre unifié pour orchestrer, entraîner et déployer des agents VLA
6arXiv cs.RO 

EmbodiedSkills : un cadre unifié pour orchestrer, entraîner et déployer des agents VLA

EmbodiedSkills, un framework présenté sur arXiv en septembre 2026 (arXiv:2609.01281), orchestre, entraîne et déploie des agents robotiques fondés sur des modèles vision-langage-action (VLA). Le système traite chaque décision de compétence comme une proposition d'exécution : une interface de compétences exécutables partagée vérifie les prérequis avant l'action, exécute une politique VLA bornée, puis contrôle le résultat, le tout dans une seule boucle d'agent. Cette interface fixe permet de remplacer les politiques de bas niveau sans la modifier. Les auteurs l'instancient avec le modèle vision-langage Qwen3-VL et la politique d'action pi0.5 de Physical Intelligence, diffusée via OpenPI. L'ensemble est testé en simulation sur RoboTwin 2.0 (50 tâches) et LIBERO (quatre suites), où les politiques adaptées à la tâche atteignent 86,20% et 97,40% de réussite moyenne respectivement. Sur RMBench, quatre tâches exigeant de la mémoire à long terme, ce taux chute à 12,5%. Cet effondrement sur les tâches à mémoire longue est le résultat le plus significatif : il montre qu'un modèle VLA dépassant 85 à 97% de réussite sur des benchmarks d'action courte ne résout pas pour autant le raisonnement séquentiel sur un état qui évolue dans le temps, un écart largement soupçonné mais rarement chiffré aussi explicitement. Pour les intégrateurs et les équipes de recherche, l'intérêt tient moins à la performance brute qu'à l'architecture : en séparant vérification, planification et exécution, EmbodiedSkills rend auditable la cause d'un échec plutôt que de traiter le VLA comme une boîte noire. Le travail s'inscrit dans la vague de frameworks agentiques cherchant à combler l'écart entre modèles VLA génériques, tels que pi-0 et pi0.5 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, et des tâches industrielles longues nécessitant coordination et récupération d'erreur ; EmbodiedSkills se positionne comme une couche d'orchestration entraînable au-dessus de ces politiques plutôt que comme un nouveau modèle de fondation concurrent. Il s'agit à ce stade d'une publication de recherche testée uniquement en simulation, sans déploiement matériel ni partenaire industriel annoncé, les auteurs présentant la vérification comme la brique manquante avant l'extension à des tâches à mémoire plus longue et le transfert vers du matériel réel.

IA physiqueOpinion
1 source
TacVLA : fusion tactile consciente du contact pour une manipulation VLA robuste
7arXiv cs.RO 

TacVLA : fusion tactile consciente du contact pour une manipulation VLA robuste

Une équipe de recherche présente TacVLA, un modèle Vision-Language-Action (VLA) affiné en ajoutant une modalité tactile aux flux visuels et linguistiques habituels de ce type de politique robotique. Décrit dans la troisième version d'un article publié sur arXiv (2603.12665), le système repose sur un mécanisme de gating conditionné au contact : les tokens tactiles ne s'activent que lorsqu'un contact physique est détecté, évitant de polluer la fusion multimodale le reste du temps. Les tokens visuels, linguistiques et tactiles sont ensuite traités conjointement par le transformer pour renforcer l'ancrage cross-modal durant la manipulation en contact. Sur des tâches de démontage de pièces verrouillées mécaniquement et de picking en boîte, TacVLA améliore le taux de réussite moyen de 20% en démontage et de 60% en picking face aux méthodes de référence, avec un gain de 2,1 fois sous occlusion visuelle et une capacité de récupération face aux perturbations manuelles. Ces résultats ciblent une limite connue des VLA purement visio-linguistiques, dont les performances chutent dès que la caméra est partiellement masquée ou que la tâche exige une manipulation fine avec contact prolongé, deux situations courantes en assemblage et démontage industriels. Pour les intégrateurs et équipes robotique en usine, un canal tactile activé seulement au contact ouvre une piste pour fiabiliser le bin picking et le désassemblage sans capteur tactile actif en permanence. Ces chiffres restent toutefois issus d'un article de recherche non encore publié en conférence, avec des vidéos choisies par les auteurs et sans précision sur le robot ni l'échelle de déploiement : une preuve de concept en laboratoire, pas un produit industriel déployé. TacVLA s'inscrit dans la vague des modèles VLA (Pi-0, GR00T N2, Helix, entre autres) qui transforment perception et langage en actions robotiques continues, un domaine où l'intégration du toucher reste largement un chantier ouvert malgré son rôle central dans la manipulation fine humaine. L'article ne mentionne aucune affiliation industrielle ni partenariat avec un fabricant de bras ou d'humanoïdes : il s'agit d'une contribution académique testée en conditions contrôlées. Aucun pilote industriel, calendrier de transfert vers un robot commercial ou suite opérationnelle n'est annoncé ; les auteurs renvoient aux vidéos publiées pour illustrer le comportement du système.

IA physiqueOpinion
1 source
Comment l'IA physique s'illustre par des applications concrètes au salon RoboBusiness
8Robotics Business Review 

Comment l'IA physique s'illustre par des applications concrètes au salon RoboBusiness

RoboBusiness 2026 se tiendra les 20 et 21 octobre à Santa Clara, en Californie, avec en clôture de la première journée, à 16h30 heure du Pacifique, un panel keynote intitulé "Beyond the Demo: AI in Production Robots". Trois intervenants y partageront leur retour d'expérience sur le déploiement d'IA physique en environnement client réel. Bhavana Chandrashekhar, senior manager applied science chez Amazon Robotics à Seattle, dirige une équipe de scientifiques appliqués travaillant sur des manipulateurs autonomes pour les entrepôts du groupe ; elle a notamment porté Robin, un bras robotique qui a trié plusieurs milliards de colis, et Vulcan Stow, qui a rangé plus d'un million d'articles. James Davidson, chief AI officer de Teradyne Robotics, pilote l'intégration de l'IA à travers les gammes de cobots et de robots mobiles autonomes (AMR) du groupe, notamment Universal Robots et Mobile Industrial Robots, fort de plus de vingt ans d'expérience en recherche IA et robotique. Michael Vogelsong dirige l'équipe Foundation Models AI de Cobot, centrée sur la manipulation robotique ; il a auparavant lancé l'équipe Deep Learning Technologies d'Amazon (recherche, recherche visuelle, Alexa, manipulation robotique) et occupé le poste de chief ML engineer chez Groundlight. L'événement pose frontalement la question que l'industrie élude souvent : au-delà des vidéos de démonstration et des levées de fonds à neuf chiffres qui affluent vers l'IA physique, que fait-elle réellement en production aujourd'hui ? Les chiffres avancés par Amazon Robotics, des milliards de colis triés par Robin, plus d'un million d'articles rangés par Vulcan Stow, comptent parmi les rares indicateurs publics et vérifiables d'un déploiement d'IA robotique à grande échelle, hors laboratoire. Le positionnement du panel, qui associe un géant logistique intégré verticalement, un fournisseur historique de cobots et d'AMR vendus à des tiers, et une startup spécialisée en modèles fondation de manipulation vendus comme couche logicielle, illustre la diversité des stratégies actuelles du secteur pour passer de la démo à l'exploitation réelle. Pour les intégrateurs et décideurs B2B, l'intérêt tient moins à une annonce technologique qu'à la promesse de retours concrets sur la fiabilité, la maintenance et la mise à l'échelle de flottes pilotées par IA. Le panel clôt la première journée de RoboBusiness 2026, salon de référence pour la robotique commerciale organisé par The Robot Report, qui couvre entre autres la fabrication, la santé, l'agriculture et la logistique. Il s'agit à ce stade d'une annonce de programme de conférence et non d'un lancement produit ou d'un nouveau déploiement : aucune date de mise en production, aucun chiffre inédit ni pilote client n'est dévoilé dans cette communication. Le profil de Michael Vogelsong illustre la porosité entre IA physique et autres applications d'apprentissage automatique : avant Cobot, il a aussi dirigé le développement ML d'un traitement personnalisé du cancer désormais entré en essai clinique de phase I. Chandrashekhar interviendra par ailleurs au déjeuner Women in Robotics du salon. Aucun acteur français ou européen, type Wandercraft, Exotec, Pollen Robotics ou Enchanted Tools, ne figure dans cette annonce centrée sur l'écosystème nord-américain. Les inscriptions à RoboBusiness 2026 sont ouvertes, avec tarifs réduits pour le monde académique, les associations et les groupes d'entreprises.

IA physiqueActu
1 source
La couche manquante dans l'assurance de sécurité des robots
9Robotics Business Review 

La couche manquante dans l'assurance de sécurité des robots

Plusieurs recherches récentes révèlent que le comportement d'un robot d'IA physique peut être détourné sans prise de contrôle directe de la machine. Dès 2017, l'attaque BadNets avait montré qu'un modèle de vision pouvait fonctionner normalement tout en échouant face à un déclencheur caché, par exemple en classant un panneau stop comme un panneau de limitation de vitesse. Présentée à NeurIPS 2025, BadVLA étend ce principe aux modèles Vision-Language-Action (VLA), qui traduisent perception et instructions en mouvements robotiques : en présence d'un déclencheur, le modèle dévie de sa trajectoire tout en gardant des performances normales après transfert de tâche ou fine-tuning. Une autre étude de 2025, GoBA, montre qu'un objet aussi banal qu'une tasse à café peut servir de déclencheur fiable, avec 97% de réussite d'attaque sans dégrader les performances sur des entrées propres. En septembre 2025, la faille Bluetooth UniPwn, qualifiée de « vermifère », a été divulguée sur des robots quadrupèdes et humanoïdes d'un grand fabricant non identifié dans l'article : clés cryptographiques codées en dur, authentification contournée, exécution de code avec des droits root. Une démonstration de VicOne Lab R7 a montré qu'enchaîner trois exploits sans fil suffit à provoquer un comportement robotique incontrôlé en moins de 60 secondes. Ces résultats mettent en lumière un angle mort dans la validation des modèles : un système peut réussir toute sa qualification et pourtant produire un comportement corrompu en opération, dès qu'un déclencheur caché apparaît. Pour les intégrateurs qui déploient des modèles VLA comme couche de contrôle générique de robots, la sécurité ne peut plus se limiter à la robustesse mécanique ou logicielle classique : elle doit couvrir toute la chaîne, de l'entraînement du modèle au middleware embarqué. Des vulnérabilités dans des piles comme ROS 2 ou les systèmes DDS peuvent en effet permettre l'exécution de code arbitraire ou l'envoi de commandes non authentifiées, jusqu'à remplacer les poids d'un modèle sans même toucher à son architecture. Le risque n'est donc plus seulement la panne visible, mais un robot qui continue d'opérer en apparence normalement tout en exécutant des commandes dont l'intégrité a été compromise, un enjeu qui prend du poids à mesure que les flottes de robots humanoïdes et quadrupèdes connectés se multiplient sur le terrain. Ces travaux prolongent une lignée de recherche sur les portes dérobées en apprentissage automatique ouverte par BadNets en 2017, désormais étendue à la robotique physique à mesure que les modèles VLA se généralisent dans l'industrie. La démonstration UniPwn et les outils de test cités proviennent de VicOne, éditeur spécialisé en cybersécurité des systèmes physiques, dont l'outil de validation Radeis s'appuie sur la plateforme de simulation NVIDIA Isaac Sim pour tester l'effet d'entrées visuelles manipulées avant le déploiement réel d'un robot, un discours qui sert aussi à mettre en avant ses propres solutions. Ni le fabricant touché par UniPwn ni un calendrier de correctifs ne sont précisés dans l'article, qui plaide surtout pour une gestion des vulnérabilités étendue à chaque couche du système, de l'entraînement du modèle jusqu'à l'infrastructure réseau, alors que le secteur commence tout juste à structurer cette approche.

IA physiqueOpinion
1 source
La transmission directe mise sur les robots à roues-pattes pour franchir le premier obstacle de l'IA incarnée : se lever
10Pandaily 

La transmission directe mise sur les robots à roues-pattes pour franchir le premier obstacle de l'IA incarnée : se lever

Direct Drive, entreprise chinoise basée à Dongguan, développe une famille de robots à roues-pattes conçus pour franchir les obstacles que les robots mobiles classiques ne savent pas gérer. Lancé en 2021, Xingtian est présenté par la société comme le premier robot bipède à roues entièrement à entraînement direct au monde, combinant la vitesse du roulage et la capacité de saut des pattes. En 2023, le modèle TITA a ajouté huit degrés de liberté ainsi que des interfaces modulaires pour accueillir capteurs et calculateurs d'IA embarqués. En 2025, la troisième génération modulaire, baptisée D1, franchit des rebords de 70 centimètres et transporte jusqu'à 100 kilogrammes en mode reptation à quatre roues, tout en se combinant à d'autres modules pour former des configurations multiples. Direct Drive affirme avoir déjà livré plusieurs milliers d'unités dans le monde, déployées dans l'inspection industrielle, la logistique et la gestion de parcs intelligents. Cette approche déplace le débat central de l'IA incarnée : plutôt que de se demander si le "cerveau" d'un robot est assez intelligent, Direct Drive pose que le vrai verrou est l'accès physique à l'environnement. De nombreux robots qui impressionnent en démonstration peinent à passer à l'échelle une fois déployés sur un site réel, et certains clients doivent aménager leur environnement (rampes dédiées, marqueurs de positionnement visuel, couloirs de circulation contraints) pour accueillir la machine, ce qui alourdit le coût unitaire de déploiement et compromet la rentabilité. Les robots purement à roues sont efficaces sur de longues distances mais bloqués par une marche ou un trottoir cassé ; les robots purement à pattes franchissent les obstacles mais consomment beaucoup d'énergie pour maintenir leur équilibre, au détriment de la charge utile et de l'autonomie. En misant sur une architecture hybride, Direct Drive cherche à répondre concrètement à l'écart bien identifié entre démonstration scénique et usage industriel réel, un argument qui parle directement aux intégrateurs et décideurs B2B confrontés à des sols mixtes : bitume, pierre, rampes, ascenseurs, escaliers, terrain boueux. La technologie repose sur le remplacement des réducteurs classiques par des moteurs à entraînement direct, qui font aussi office de moyeux de roue et d'articulations, une architecture censée simplifier la mécanique plutôt que de compenser ses limites par du logiciel. Ce choix structure toute la gamme de l'entreprise depuis Xingtian jusqu'à D1, dans un secteur où d'autres acteurs misent en parallèle sur des humanoïdes bipèdes ou sur des modèles fondation vision-langage-action pour piloter la manipulation. Direct Drive ne communique pas de calendrier précis de nouveaux déploiements pilotes, mais revendique une doctrine claire : les roues restent plus efficaces que les pattes, et les pattes permettent de franchir ce que les roues ne peuvent pas, une combinaison jugée nécessaire avant même d'envisager l'entrée des robots dans les foyers, que l'entreprise voit arriver "en roulant" plutôt "qu'en marchant".

IA physiqueActu
1 source
LightNav-0 : révéler l'intelligence spatiale des VLM pour la navigation incarnée généraliste
11arXiv cs.RO 

LightNav-0 : révéler l'intelligence spatiale des VLM pour la navigation incarnée généraliste

Publié sur arXiv le 30 août 2026 (référence 2608.30935), LightNav-0 est un modèle compact et généraliste de navigation robotique qui exploite directement les capacités spatiales des modèles vision-langage pré-entraînés, sans tête de prédiction propre à chaque tâche. Il unifie suivi d'instructions, navigation vers un objet en vocabulaire ouvert et suivi visuel via un pointage spatial à double canal, converti en trajectoires par un tokenizer d'action à quantification vectorielle résiduelle propre à chaque robot. Entraîné sur plus de 2 000 scènes et 4 000 heures de données, via un pré-entraînement au raisonnement embarqué (checkpoint LightNav-ER), un fine-tuning supervisé puis du renforcement, il revendique la meilleure moyenne sur 8 benchmarks de raisonnement embarqué et des scores état de l'art en monoculaire sur les 10 environnements de simulation testés, avec généralisation zero-shot en conditions réelles sur plusieurs robots. Cette approche compte car elle traite la navigation comme une capacité transférable plutôt qu'un empilement de modules dédiés par tâche et par robot, une fragmentation qui limite aujourd'hui la portabilité entre plateformes. En s'appuyant sur un VLM générique, LightNav-0 rejoint la tendance des modèles vision-langage-action comme Pi-0 ou GR00T N2, qui visent à unifier perception, raisonnement et contrôle moteur. Pour les intégrateurs, l'intérêt tient à la promesse d'un backbone unique redéployable sur des robots variés sans réentraînement complet. Il s'agit toutefois à ce stade d'un résultat de recherche en preprint, mesuré sur benchmarks et en simulation, non d'un produit commercialisé. LightNav-0 s'inscrit dans la course aux modèles de fondation généralistes pour la robotique, aux côtés de systèmes VLA comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI), tous conçus pour transférer une même intelligence spatiale à plusieurs tâches et plateformes. L'article ne mentionne aucune affiliation industrielle, aucun partenaire de déploiement ni acteur français ou européen. Les auteurs présentent leurs résultats comme une preuve que des VLM compacts peuvent servir de socle transférable pour la navigation embarquée généraliste, sans annoncer de calendrier de déploiement commercial au-delà des essais réels décrits dans l'étude.

IA physiqueActu
1 source
AnyWorld : des modèles du monde égocentriques factorisés pour généraliser entre différents robots
12arXiv cs.RO 

AnyWorld : des modèles du monde égocentriques factorisés pour généraliser entre différents robots

Des chercheurs ont publié le 29 août 2026 sur arXiv (2608.29242v1) un système baptisé AnyWorld, un modèle de « world modeling » conçu pour transférer l'expérience physique captée dans des vidéos humaines égocentriques vers des robots de morphologies différentes. Le principe consiste à décomposer chaque interaction humaine en trois axes contrôlables séparément : le mouvement, la trajectoire de caméra, et le corps agissant (l'embodiment), afin de régénérer, à partir d'une seule vidéo humaine, de multiples séquences vidéo-action « robot-natives » sans démonstrations appariées homme-robot. Le modèle est entraîné en deux temps : un pré-entraînement à grande échelle sur des vidéos d'interactions humaines, suivi d'un fine-tuning sur données mixtes multi-embodiment. Les auteurs valident l'approche sur deux terrains, le benchmark de manipulation de table RoboCasa avec le robot simulé GR1, et un robot humanoïde réel nommé IRON, sur lequel les données générées par AnyWorld améliorent les performances de manipulation. Cette contribution vise directement le goulot d'étranglement le plus cité en apprentissage robotique : la collecte à l'échelle d'expériences de manipulation riches en contacts physiques, coûteuse en téléopération et limitée en diversité d'environnements, de points de vue et de corps robotiques. En démontrant qu'une seule vidéo humaine peut être recomposée en données d'entraînement pour plusieurs embodiments et scènes tout en préservant la dynamique physique et les interactions avec les objets, AnyWorld s'attaque à un maillon faible des politiques VLA (vision-language-action) : la rareté de données réelles multi-robots. Le résultat le plus notable pour le secteur n'est pas le gain agrégé de performance mais une expérience contrôlée sur IRON, montrant que corriger un biais de complétion prématurée du modèle et ancrer la sélection spatiale de cible dans le langage nécessite à la fois un recalibrage de l'action et une recomposition visuelle ; une intervention limitée à l'action seule échoue à apprendre ce second comportement de façon fiable. Cela nuance l'hypothèse répandue selon laquelle corriger l'action suffit à combler un écart de politique. AnyWorld s'inscrit dans la lignée des modèles du monde vidéo appliqués à la robotique, un courant de recherche qui exploite la masse de vidéos humaines disponibles en ligne pour compenser la pénurie de données de téléopération, dans le sillage d'efforts autour de politiques VLA généralistes comme Pi-0 ou GR00T N2. Contrairement à ces systèmes orientés contrôle direct, AnyWorld se positionne en amont, comme une brique de génération de données capable d'alimenter l'entraînement de plusieurs types de robots à partir d'un même corpus vidéo humain. Il s'agit à ce stade d'une publication de recherche déposée sur arXiv, sans annonce de produit, de partenaire industriel ni de calendrier de déploiement commercial : les résultats reposent sur un seul robot humanoïde réel et un benchmark simulé, sans essai pilote à plus grande échelle annoncé pour l'instant. Les auteurs évoquent comme suite logique l'extension du nombre d'embodiments couverts et la validation sur des tâches de manipulation plus complexes.

IA physiquePaper
1 source
AdaVLA : accélération sans entraînement des modèles vision-langage-action par flow matching adaptatif
13arXiv cs.RO 

AdaVLA : accélération sans entraînement des modèles vision-langage-action par flow matching adaptatif

Des chercheurs ont publié fin août 2026 sur arXiv (référence 2608.29208v1) une méthode d'accélération sans réentraînement pour les modèles Vision-Language-Action (VLA) reposant sur le flow matching, baptisée AdaVLA. Les VLA, construits à partir de modèles vision-langage (VLM), souffrent d'un coût de calcul élevé qui freine leur déploiement embarqué et empêche des réponses en temps réel aux changements d'environnement. Contrairement aux techniques d'accélération existantes, qui nécessitent souvent un fine-tuning ou un accès aux données d'entraînement, rarement disponibles pour des raisons de confidentialité ou de propriété industrielle, AdaVLA fonctionne en ligne et sans données d'entraînement. La méthode introduit une métrique dérivée de la courbure de la trajectoire de flow matching pour estimer la confiance du modèle dans la génération d'action à chaque étape d'inférence. Cette métrique permet de réduire dynamiquement le nombre d'étapes d'inférence et d'ajuster le taux d'élagage des couches MLP via une évaluation d'importance calculée efficacement. Testée sur le benchmark LIBERO avec un module embarqué Jetson AGX Orin, la méthode obtient une accélération de 1,87x pour le modèle pi-0.5 et de 2,24x pour X-VLA, avec une dégradation jugée négligeable des taux de réussite des tâches. Les auteurs indiquent avoir aussi validé la robustesse de leur approche sur des tâches robotiques réelles avec SmolVLA, un modèle VLA compact développé par Hugging Face. Pour les intégrateurs et les équipes robotique, ce travail cible un goulot d'étranglement précis et jusqu'ici peu traité : la plupart des efforts d'accélération des VLA portent sur le coût d'inférence du VLM, la partie perception et raisonnement, et non sur le processus itératif de résolution d'équation différentielle propre au flow matching, qui génère les actions du robot. Si ces résultats se confirment à plus grande échelle, une méthode sans réentraînement ni accès aux données change la donne pour le déploiement en production, car elle peut s'appliquer à des modèles propriétaires sans toucher au pipeline d'entraînement, un frein courant chez les fournisseurs commerciaux de VLA. Cela conforte aussi l'idée que le flow matching, déjà présenté comme alternative plus légère aux modèles de diffusion classiques pour le contrôle robotique, peut être compressé davantage sans réentraînement lourd, un argument clé pour l'embarqué face aux contraintes de latence et d'énergie des humanoïdes et bras robotiques actuels. AdaVLA s'inscrit dans la vague de modèles VLA apparue avec des architectures comme pi-0 et sa variante pi-0.5, développées par Physical Intelligence, X-VLA, ou SmolVLA, conçu par Hugging Face, qui exploitent des VLM pré-entraînés à l'échelle d'internet pour doter les robots de capacités de raisonnement multimodal. Le flow matching s'est imposé ces derniers mois comme alternative aux processus de diffusion standards pour générer des trajectoires d'action, mais restait coûteux en inférence du fait des multiples étapes de résolution ODE. L'article, encore un simple dépôt arXiv non revu par les pairs à ce stade, ne précise ni calendrier d'intégration industrielle ni partenariat annoncé avec un fabricant de robots, et ses résultats reposent sur un seul jeu de benchmarks simulés complété par des essais réels limités sur SmolVLA. La suite logique, non détaillée dans le résumé des auteurs, serait une validation sur des VLA plus volumineux ou multi-tâches et sur du matériel robotique commercial plus large que le seul Jetson AGX Orin utilisé pour les tests.

IA physiqueOpinion
1 source
CometVLA : co-entraînement sur une pyramide de données incarnées pour la compréhension physique
14arXiv cs.RO 

CometVLA : co-entraînement sur une pyramide de données incarnées pour la compréhension physique

Un article publié sur arXiv (2608.30289v1) fin août 2026 présente CometVLA, un nouveau modèle vision-langage-action (VLA) pour la manipulation robotique. Le constat de départ : les jeux de données de question-réponse visuelle (VQA) physique sont désincarnés, mal alignés avec les données d'action réelles des robots, et les vidéos égocentriques ne servent qu'à un pré-entraînement auxiliaire, sans preuve claire que la compréhension physique du VLM améliore la génération d'actions en aval. Les auteurs construisent donc CometData et CometBench, un corpus et un benchmark de VQA physique alignés sur l'embodiment et les données d'action du robot, puis introduisent les "Global Action Prior" (GAP), des tokens formant un goulot d'étranglement appris qui isole les régularités de mouvement indépendantes de la tâche pour nourrir la tête d'action sans corrompre le backbone VLM pré-entraîné. Co-entraîné sur une "pyramide de données incarnées" (téléopération, simulation, trajectoires égocentriques, VQA), CometVLA surpasse de façon constante des baselines VLA solides sur des tâches de manipulation réelle et sur le simulateur RoboTwin. Le résultat clé est une corrélation directe entre les scores sur CometBench et le taux de succès en manipulation réelle : la compréhension physique du VLM se traduit en de meilleures actions, et non en un simple gain cosmétique sur des benchmarks de langage déconnectés du terrain. Pour les laboratoires et intégrateurs qui bâtissent des modèles fondation pour la manipulation, ce travail suggère que l'alignement strict entre données perception-langage et données d'action pèse plus lourd que le volume de VQA générique ajouté au pré-entraînement, une piste transposable à des architectures comme Pi-0, GR00T ou Helix. Ce travail prolonge la lignée des VLA qui, depuis RT-2 et OpenVLA, cherchent à fusionner compréhension visuelle et génération de mouvements, avec pour écueil récurrent la désynchronisation entre corpus de pré-entraînement et données de téléopération réelles. En s'appuyant sur RoboTwin, benchmark de simulation déjà établi pour la manipulation bimanuelle, et en publiant CometData et CometBench comme ressources réutilisables, les auteurs présentent CometVLA comme une contribution de recherche méthodologique, sans déploiement industriel, partenaire intégrateur ni date de mise sur le marché annoncés. La suite logique serait une extension à d'autres embodiments et une validation indépendante avant toute adoption commerciale.

IA physiqueActu
1 source
SMILE : un mouvement fluide pour améliorer l'exécution VLA sur les tâches longues
15arXiv cs.RO 

SMILE : un mouvement fluide pour améliorer l'exécution VLA sur les tâches longues

Une équipe de recherche publie sur arXiv (papier 2608.29432v1, catégorie "new") un travail intitulé SMILE, pour Smooth Motion for Improved Long-Horizon VLA Execution. Les modèles vision-langage-action (VLA) réduisent le coût d'inférence en exécutant plusieurs actions par appel du modèle, mais les chunks d'actions bruts contiennent du jitter et des valeurs aberrantes qui dégradent la précision sur les horizons longs. SMILE propose une interface qui préserve l'architecture existante : elle fait prédire au modèle des coefficients de spline B-spline, ensuite décodés en séquences d'actions lissées, sans toucher au backbone ni à la taille du modèle. Les auteurs l'appliquent à quatre modèles de référence, SmolVLA, Evo1, VPP et DAWN, et les testent sur les bancs d'essai LIBERO et CALVIN ainsi qu'en conditions réelles sur un bras robotique xArm. Les chiffres rapportés : SMILE-Evo1 atteint 98,0% de réussite sur LIBERO avec une accélération d'inférence de 1,1x ; SMILE-VPP atteint une longueur moyenne de tâche de 4,42 sur CALVIN avec un gain de 1,5x ; à horizon d'exécution égal (10), SMILE-SmolVLA réduit l'accélération hors limites de 78,6% et le taux de changement de signe de la vitesse de 42,3%. Sur xArm, les tests réels montrent plus de succès, moins de chutes d'objets et moins de contacts non désirés. L'intérêt pour l'industrie robotique tient au fait que SMILE ne propose pas un nouveau modèle fondation mais une simple représentation d'action alternative, réutilisable sur des politiques VLA existantes sans réentraînement complet ni changement d'échelle. Cela s'attaque directement à un compromis central pour le déploiement industriel des VLA : exécuter plusieurs actions par inférence fait gagner en vitesse mais coûte en précision, un problème critique pour tout intégrateur cherchant à faire tourner ces modèles en production plutôt qu'en démonstration contrôlée. Le gain simultané en efficacité et en fiabilité, avec moins de chutes et de contacts en conditions réelles, va dans le sens d'une meilleure exploitabilité concrète des politiques génératives à long horizon, un point encore fragile dans le secteur. Il s'agit toutefois d'un article de recherche académique déposé sur arXiv, pas d'un produit commercialisé ni d'un déploiement industriel annoncé. Les modèles de comparaison utilisés (SmolVLA, Evo1, VPP, DAWN) sont des bases de recherche open, pas les grands modèles VLA propriétaires du secteur. Les auteurs mettent à disposition une page projet (jongwoopark7978.github.io/smilevla), signe d'une volonté de reproductibilité, mais aucun calendrier de pilote industriel ni de partenariat n'est mentionné à ce stade.

IA physiqueActu
1 source
Motus2 : un modèle du monde général auto-évolutif pour la manipulation dextérique
16arXiv cs.RO 

Motus2 : un modèle du monde général auto-évolutif pour la manipulation dextérique

Un article déposé sur arXiv fin août 2026 (arXiv:2608.30237) présente Motus2, un modèle du monde pour la manipulation dextre. Plutôt que d'ajouter une simple tête d'action à un simulateur, il repose sur un seul réseau à poids partagés exposant trois interfaces : une politique qui propose des séquences d'actions, un simulateur qui en prédit les conséquences visuelles, et un évaluateur qui juge ces prédictions, le tout formant une boucle fermée de décision et d'apprentissage. L'entraînement combine démonstrations expertes triées et interactions ratées, réutilisées comme signal pour la dynamique et la valeur. Les données montent en échelle, de vidéos égocentriques monoculaires vers des données stéréo puis des trajectoires robotiques réelles, avec retour tactile et instanciation sur une plateforme biomimétique à deux bras et deux mains dextres. Aucun chiffre de charge utile, de temps de cycle ou de taux de réussite n'est fourni. L'enjeu est de dépasser un défaut classique des modèles du monde robotiques, la déconnexion entre prédiction et apprentissage utile. En unifiant politique, simulateur et évaluateur, Motus2 vise une boucle d'auto-amélioration où le robot apprend aussi de ses échecs, non plus seulement de démonstrations humaines coûteuses à collecter à grande échelle, un frein connu pour les modèles vision-langage-action comme Pi-0 ou GR00T N2. Si l'approche se confirme au-delà du papier, elle réduirait la dépendance à la téléopération massive. L'absence de métriques chiffrées dans le résumé invite toutefois à la prudence, il s'agit d'une proposition architecturale, non d'un résultat comparé publiquement à l'état de l'art. Ce travail s'inscrit dans la vague des modèles du monde appliqués à la robotique généraliste, où les laboratoires opposent depuis 2025 approches génératives pures et architectures hybrides combinant simulation et politique. Motus2 se distingue par le partage total des poids entre ses trois fonctions et l'usage explicite des échecs comme signal d'apprentissage. Le choix d'une plateforme bimanuelle à mains dextres et retour tactile vise la manipulation fine plutôt que la seule locomotion humanoïde. L'article ne précise ni laboratoire d'origine ni calendrier de déploiement pilote, à ce stade Motus2 reste un jalon de recherche en préprint, dont la validation empirique reste à documenter.

IA physiquePaper
1 source
DriftingVLA : génération vision-langage-action native en une étape par dérive temporelle par dimension
17arXiv cs.RO 

DriftingVLA : génération vision-langage-action native en une étape par dérive temporelle par dimension

Des chercheurs présentent DriftingVLA, un modèle vision-langage-action (VLA) capable de générer un chunk d'action complet en une seule passe avant du réseau expert, sans les itérations multiples typiques des modèles à flux continus. Plutôt que d'apprendre un champ de flux nécessitant une intégration pas à pas à l'inférence, le système utilise un objectif de "distribution drifting" pour apprendre directement une correspondance entre bruit et séquence d'actions. Une innovation clé, le Per-Dimension Temporal Drifting (PDTD), traite chaque dimension de contrôle du robot comme une unité de dérive distincte durant l'entraînement, tout en laissant le modèle générer le chunk d'action de façon jointe pour préserver les dépendances entre dimensions. Sur les bancs d'essai, DriftingVLA atteint 98,32% de réussite sur LIBERO, 81,09% sur RoboTwin 2.0 et 77,67% sur six tâches réelles à bras simple et double, tout en offrant une génération 3,36 fois plus rapide que les approches multi-étapes. Pour les intégrateurs et ingénieurs en robotique, ce travail s'attaque à un goulot d'étranglement bien identifié du contrôle robotique en ligne : les modèles VLA à flux continu, malgré leur expressivité, imposent un raffinement multi-étapes qui alourdit la latence à chaque cycle de décision. En démontrant qu'un modèle "one-step" natif peut égaler voire dépasser des baselines multi-étapes et d'autres approches one-step existantes sur des tâches simulées et réelles, DriftingVLA apporte un élément de preuve empirique que la vitesse d'inférence n'a pas nécessairement à se payer en performance de contrôle. Ce résultat compte pour la course actuelle à l'exécution temps réel des modèles fondation robotiques, où la latence conditionne directement la viabilité industrielle d'un VLA sur une chaîne de production ou un bras manipulateur. Cette publication s'inscrit dans la lignée des modèles VLA à flux qui ont établi la génération d'action continue mais restent pénalisés par leur coût d'inférence itératif. Les auteurs comparent explicitement DriftingVLA à des baselines de flux multi-étapes ainsi qu'à d'autres modèles one-step existants, qu'il surpasse sur l'ensemble des bancs d'essai testés. Il s'agit à ce stade d'un travail de recherche évalué en simulation (LIBERO, RoboTwin 2.0) et sur un nombre restreint de tâches réelles, sans indication d'intégration commerciale ou de déploiement industriel annoncé ; la suite logique consisterait en une validation sur un éventail plus large de plateformes robotiques et de tâches de manipulation avant toute adoption par des intégrateurs.

IA physiqueOpinion
1 source
Skild AI dévoile S1, son modèle fondation phare pour la robotique
18Robotics Business Review 

Skild AI dévoile S1, son modèle fondation phare pour la robotique

Skild AI a dévoilé S1, son modèle de fondation robotique phare, conçu pour l'apprentissage en contexte : une vidéo d'un humain réalisant une tâche, ajoutée au prompt, suffit au robot pour la reproduire sans réentraînement, explique le cofondateur et PDG Deepak Pathak. Fondée en 2023, la start-up a levé près de 1,7 milliard de dollars pour bâtir ce "cerveau" robotique généraliste. S1 cible des tâches longues, jusqu'à dix minutes, comme rempoter une plante, préparer un café ou cuisiner des pancakes, plutôt que les gestes de quelques secondes habituellement démontrés. Il combine quatre sources de données d'entraînement, téléopération, vidéos humaines, simulation et gants de capture de mouvement, chacune compensant les limites des autres. Pathak affirme que le robot a improvisé le retournement d'une crêpe à la spatule sans aucun exemple de ce geste dans ses millions d'heures de données d'entraînement, en généralisant à partir de la seule vidéo du prompt. Le modèle est dit "omni-corps", fonctionnant sur bras fixes, quadrupèdes et humanoïdes. Cette annonce s'inscrit dans le débat sur un éventuel "moment ChatGPT" de la robotique, où un modèle de fondation unique remplacerait le post-entraînement tâche par tâche qui freine aujourd'hui le passage à l'échelle des déploiements. Si ces résultats se confirment sur des tâches longues et non scriptées, ils contrediraient l'idée que l'apprentissage en contexte ne fonctionne que sur des gestes courts déjà vus en simulation. Pour les intégrateurs, un modèle apprenant par une seule vidéo démonstrative réduirait le coût de reconfiguration des robots face à de nouvelles lignes ou de nouvelles références produits. Skild AI n'a toutefois publié ni protocole de test indépendant, ni taux de réussite chiffré, ni durée de cycle précise : ces démonstrations restent une vitrine contrôlée plutôt qu'un produit validé en conditions industrielles. L'entreprise reconnaît elle-même que ses résultats sur humanoïdes, capables de continuer une tâche après la perte d'un membre, proviennent d'une version antérieure du modèle, pas encore mise à l'échelle. Skild AI a été cofondée en 2023 par Deepak Pathak et Abhinav Gupta, chercheurs issus de Carnegie Mellon, avec l'ambition de vendre un modèle de fondation indépendant du matériel plutôt que de construire son propre robot. Ses près de 1,7 milliard de dollars levés en font l'un des acteurs les mieux capitalisés du secteur, aux côtés de rivaux développant leurs propres modèles vision-langage-action, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, tandis que des humanoïdes comme Optimus ou Figure 03 restent pilotés par des piles logicielles propriétaires intégrées verticalement. Contrairement à ces approches liées à un matériel spécifique, Skild positionne S1 comme une couche logicielle tierce, applicable à des plateformes existantes. L'entreprise dit vouloir concentrer ses prochains efforts sur l'amélioration de S1 sur humanoïdes, sans donner de calendrier de déploiement pilote ni de client industriel nommé à ce stade.

IA physiqueActu
1 source
Comment de meilleures pinces peuvent libérer le potentiel de l'IA physique
19Robotics Business Review 

Comment de meilleures pinces peuvent libérer le potentiel de l'IA physique

OnRobot, fabricant danois d'outillage pour bras robotiques et cobots, publie une analyse sur le rôle des préhenseurs dans le développement de la "physical AI", cette approche où des modèles d'IA entraînés sur de vastes jeux de données permettent aux robots de percevoir, d'agir et de s'adapter avec moins d'ingénierie spécifique à chaque tâche. Le texte identifie trois exigences critiques pour l'outillage en bout de bras, ou end-of-arm tooling (EOAT) : la capacité à absorber la variabilité réelle des pièces en taille, forme, matériau et positionnement, une couche d'exécution fiable capable de confirmer par retour de force qu'une prise a bien été réalisée, et l'importance de données riches en contact, force, friction, glissement, déformation, que la simulation et la vision seules ne peuvent reproduire. En exemple, OnRobot cite son propre préhenseur RG2-FT, déjà à son catalogue, qui combine une pince avec des capteurs de force/couple et de proximité intégrés au bout des doigts, utilisé pour la manipulation délicate, les transferts de pièces, l'insertion et l'alignement en conditions incertaines. L'argument central est que l'intelligence d'un modèle ne vaut que ce que vaut le matériel qui l'exécute : un système peut inférer qu'un objet doit être saisi, mais c'est le préhenseur physique qui doit établir le contact, appliquer la bonne force et détecter un échec de prise, à chaque cycle. Venant d'un fabricant de grippers, cette prise de position vise à recentrer un débat souvent focalisé sur les modèles fondation et les architectures VLA, à l'image de Pi-0, GR00T N2 ou Helix, vers une couche d'exécution mécanique trop souvent négligée. Elle pointe un angle mort réel du secteur : simulation et vision, sur lesquelles repose l'essentiel de l'entraînement actuel des politiques robotiques, ne capturent pas la dynamique de contact, ce qui explique une partie de l'écart persistant entre démonstrations en laboratoire et fiabilité en production. Pour les intégrateurs et décideurs industriels, le message revient à dire que le choix du gripper et de ses capteurs pèse autant que celui du modèle embarqué. OnRobot évolue sur le marché des cobots aux côtés d'acteurs comme Schunk, Robotiq ou Zimmer Group, et ce texte s'inscrit dans une opération de communication autour du salon nord-américain RoboBusiness 2026. Contrairement aux annonces de déploiement de robots humanoïdes complets telles que Figure 03 ou Optimus Gen 3 de Tesla, il ne s'agit ici ni d'un nouveau produit ni d'une date de lancement, mais d'un contenu de positionnement destiné à faire valoir l'expertise historique d'OnRobot en préhension face à des startups de physical AI davantage centrées sur le logiciel. Aucun acteur français ou européen, tel Wandercraft, Exotec, Pollen Robotics ou Enchanted Tools, n'est mentionné dans cet article.

UEOnRobot est une entreprise danoise dont les préhenseurs équipent des cobots utilisés dans l'industrie européenne, mais cet article de positionnement ne comporte aucune annonce, déploiement ou impact réglementaire concret pour la France/UE.

IA physiqueActu
1 source
Au-delà du passage à l'échelle des données : le pré-entraînement continu centré sur la représentation pour les modèles vision-langage-action
20arXiv cs.RO 

Au-delà du passage à l'échelle des données : le pré-entraînement continu centré sur la représentation pour les modèles vision-langage-action

Des chercheurs ont publie sur arXiv le modèle VLAct, un système vision-langage-action (VLA) fonde sur un pré-entrainement continu qui privilégié la qualité de représentation plutôt que le seul volume de données robotiques. Le backbone VLM généraliste est étendu sur des trajectoires multi-robots hétérogènes, en préservant le prior du VLM et en unifiant partiellement les actions entre morphologies avant un fine-tuning par tache. Sur LIBERO-Plus et RoboTwin 2.0, VLAct devance les systèmes industriels ABot-M0 et LingBot-VLA avec 82,6% et 92,5% de réussite, et se classe sixième sur RoboDojo devant toutes les entrées "world-action model". Sur la morphologie humanoïde inédite RoboCasa-GR1, il bat le GR00T-N1.6 entraine sur 100% des données en n'en utilisant que 20%, le tout avec des données open-source et seulement 16 GPU d'entrainement. Ce résultat nuance l'hypothèse dominante selon laquelle la performance des VLA dépend surtout du volume de trajectoires collectées, sur le modèle du scaling des grands modèles de langage. En rivalisant avec des systèmes industriels grâce a seulement 16 GPU et des données publiques, les auteurs montrent que la qualité du transfert entre morphologies pèse davantage que la taille brute des données, un axe accessible a des équipes aux moyens plus modestes. Le résultat sur RoboCasa-GR1, ou une morphologie jamais vue est généralisée avec un cinquième des données habituelles, s'attaque directement au frein du transfert cross-embodiment. Ces résultats restent toutefois obtenus sur des bancs d'essai simules, sans déploiement industriel réel documente: une contribution de recherche, pas un produit commercialise. Les références choisies, les systèmes chinois ABot-M0 et LingBot-VLA et le GR00T-N1.6 de NVIDIA, situent VLAct dans une compétition dense entre modèles VLA généralistes, aux cotes d'acteurs comme Physical Intelligence (Pi-0) ou Figure AI (Helix), absents toutefois des baselines testées ici. Le modèle se positionne comme une alternative sobre en calcul face a la course a l'échelle des données menée par les grands laboratoires. Publie pour l'instant en preprint, l'article ne mentionne ni partenariat industriel ni calendrier de déploiement; les étapes attendues restent la revue par les pairs et, le cas échéant, la publication du code et des poids, les données d'entrainement étant déjà open-source.

IA physiqueOpinion
1 source
FlowCorrect : correction interactive et efficace de politiques de flux génératif pour la manipulation robotique
21arXiv cs.RO 

FlowCorrect : correction interactive et efficace de politiques de flux génératif pour la manipulation robotique

Des chercheurs ont publié sur arXiv (arXiv:2602.22056, version 3) une méthode baptisée FlowCorrect, destinée à corriger en temps réel les politiques de manipulation robotique génératives basées sur le flow matching, sans réentraînement. Le système s'appuie sur de brèves corrections humaines de trajectoire, transmises via une interface VR légère, pour ajuster localement la politique lorsque le robot rate une prise ou une pose de justesse. L'équipe a testé FlowCorrect sur un robot réel, sur quatre tâches de manipulation sur table : prise-et-dépose, versement de liquide, redressement d'une tasse et insertion. Avec un budget de corrections faible, la méthode atteint un taux de réussite de 80% sur des cas d'échec précédemment observés, tout en préservant les performances sur les scénarios déjà maîtrisés. Le résultat cible un problème concret pour les intégrateurs industriels : les politiques génératives de type VLA ou flow-matching, entraînées par imitation, échouent souvent lors du déploiement à cause de déplacements de distribution entre l'entraînement et le terrain, un écart bien documenté entre démonstrations impressionnantes et robustesse réelle. Plutôt que de réentraîner l'ensemble du modèle, coûteux et lent, FlowCorrect propose une correction incrémentale et locale à partir de très peu de démonstrations, ce qui intéresse directement les équipes cherchant à fiabiliser des déploiements sans cycle complet de réentraînement. Le chiffre de 80% doit toutefois être lu avec prudence : il porte sur seulement quatre tâches de laboratoire et un nombre limité d'essais, loin des volumes de déploiement industriel évoqués par des acteurs commerciaux du secteur humanoïde. FlowCorrect s'inscrit dans la lignée des politiques visuomotrices génératives (flow matching, diffusion) qui sous-tendent des modèles comme Pi-0 ou GR00T N2, et dans un courant de recherche en apprentissage par imitation interactif visant à corriger les robots en boucle avec l'humain plutôt que de tout réentraîner depuis zéro. Le papier, marqué comme une mise à jour ("replace") sur arXiv, correspond à une révision d'un travail déjà soumis plutôt qu'à une première annonce. Aucune entreprise ni site de déploiement industriel n'est cité : il s'agit d'un travail de recherche académique, testé en conditions de laboratoire, sans indication de pilote commercial ni de calendrier de mise sur le marché. Sa portée reste donc celle d'une preuve de concept méthodologique, à confirmer sur des tâches plus variées et des volumes plus importants avant toute intégration industrielle.

IA physiquePaper
1 source
Le mur de l'IA embarquée : pourquoi l'IA incarnée exige de nouvelles mathématiques
22Robotics Business Review 

Le mur de l'IA embarquée : pourquoi l'IA incarnée exige de nouvelles mathématiques

Wandercraft, Exotec, Pollen ou Enchanted Tools ne sont pas mentionnés dans cet article, il s'agit d'un texte d'opinion technique et non d'une annonce produit. Dans un article publié sur The Robot Report, l'ingénieur Zhengis Tileubay développe le concept du "mur de l'IA embarquée" (edge AI wall), une limite qu'il juge propre à l'ensemble des systèmes d'IA physique. Ce texte prolonge une précédente publication, "Phase stability regulator based on two dynamic parameters for autonomous mobile robots", consacrée à l'instabilité computationnelle des robots mobiles autonomes (AMR) évoluant dans des environnements complexes et changeants. Son constat initial : même lorsque capteurs, actionneurs et logiciels fonctionnent normalement, la qualité de décision d'un robot se dégrade quand son planificateur doit évaluer en temps réel un nombre croissant de trajectoires alternatives, un phénomène de surcharge informationnelle plutôt qu'une panne matérielle. Tileubay affirme désormais que ce problème, observé localement dans la navigation, traverse toute la pile technologique de l'IA incarnée (embodied AI), qu'il s'agisse d'assistants robotiques humanoïdes, de systèmes de livraison autonome ou de véhicules autonomes. Il pointe une hypothèse largement partagée dans l'industrie, celle d'une loi d'échelle linéaire : si l'augmentation de la puissance de calcul et des volumes de données a permis les progrès de l'IA dans le cloud, la même stratégie devrait fonctionner pour le contrôle de corps physiques. L'article ne présente ni produit ni déploiement chiffré, c'est une réflexion prospective relayée par un média spécialisé qui organise par ailleurs une session dédiée à l'IA physique lors de RoboBusiness 2026, les 20 et 21 octobre à Santa Clara, en Californie. Cette mise en garde vise directement les intégrateurs et décideurs qui misent sur la simple augmentation de puissance de calcul embarquée pour faire progresser leurs robots. Contrairement au cloud, où un manque de mémoire ou de puissance se compense en ajoutant des serveurs et où une latence de quelques secondes reste tolérable, l'IA physique subit des contraintes matérielles rigides : chaque watt supplémentaire consommé par un ordinateur embarqué impose une batterie plus grosse et plus lourde, et la chaleur générée complique le refroidissement. Dans les systèmes temps réel, la latence de décision devient critique à la milliseconde : un robot qui ne traite pas la scène assez vite réagit à un état obsolète de son environnement, ce qui provoque instabilité, oscillations comportementales et risques d'accident. L'argument remet en question l'hypothèse dominante selon laquelle le scaling qui a fonctionné pour les grands modèles de langage se transposerait sans adaptation au contrôle physique. Pour Tileubay, plus les tâches confiées aux robots deviennent complexes, plus l'explosion combinatoire des espaces de solutions à évaluer se manifestera fréquemment, posant une question architecturale de fond : existe-t-il un seuil au-delà duquel ajouter de la puissance de calcul embarquée cesse d'être une stratégie viable, physiquement et économiquement, pour faire progresser l'IA incarnée. Cette réflexion prolonge les travaux antérieurs de l'auteur sur la stabilité de phase des robots mobiles autonomes, initialement perçus comme un problème circonscrit à la navigation locale. L'accélération de l'IA générative au cours de l'année écoulée, portée par les grands modèles de langage et les modèles fondation multimodaux, a poussé une vague de projets ambitieux, robots humanoïdes polyvalents, systèmes de livraison de nouvelle génération, véhicules autonomes, à transposer directement ces architectures lourdes dans le monde physique. C'est cette généralisation rapide que Tileubay interroge, sans citer de plateforme ou de laboratoire en particulier, préférant une critique de fond de l'hypothèse de scaling à une comparaison entre acteurs. L'article ne fournit ni pilote annoncé ni calendrier de déploiement, il fonctionne comme un signal d'alerte académique destiné à la communauté robotique, publié en amont de RoboBusiness 2026, où l'IA physique fera l'objet d'un parcours de sessions dédié les 20 et 21 octobre à Santa Clara.

IA physiquePaper
1 source
CLAP : les modèles du monde vidéo à embodiment croisé, des simulateurs physiques sans apprentissage spécifique
23arXiv cs.RO 

CLAP : les modèles du monde vidéo à embodiment croisé, des simulateurs physiques sans apprentissage spécifique

Une nouvelle prépublication arXiv décrit CLAP, un framework de génération vidéo conditionnée par l'action capable d'apprendre simultanément sur des vidéos humaines et robotiques hétérogènes à l'échelle d'internet, plutôt que de rester cantonné à une seule plateforme comme la plupart des modèles existants. Il unifie les espaces d'action, incompatibles entre robots et absents des vidéos humaines, via trois représentations combinées : poses de l'effecteur terminal, instructions en langage naturel et actions latentes apprises automatiquement. L'entraînement suit un curriculum en deux temps, acquérant d'abord des a priori physiques génériques sur des vidéos non annotées avant de les ancrer dans l'espace des poses d'effecteur pour un déploiement zero-shot sur des tâches réelles. Sur le benchmark DROID, CLAP égale voire dépasse les modèles vidéo spécialisés à une seule plateforme, et a aussi été évalué sur Bridge, des robots bimanuels YAM et des humanoïdes G1 ; code et modèles sont publiés en open source sur omni-clap.github.io. L'enjeu dépasse la performance sur un benchmark : la plupart des modèles vidéo servant de simulateurs physiques pour entraîner ou évaluer des politiques robotiques restent liés à une seule plateforme, obligeant à recollecter des données coûteuses à chaque nouveau robot. En montrant qu'un modèle entraîné sur un corpus mixte humains et robots peut égaler des modèles spécialisés puis les dépasser via un fine-tuning few-shot, CLAP esquisse un paradigme où un modèle de monde générique s'adapte à moindre coût à chaque nouvel embodiment, un argument pertinent pour les intégrateurs qui multiplient bras bimanuels et humanoïdes. La promesse d'un simulateur physique « zero-shot » reste néanmoins à nuancer, les résultats portant sur des benchmarks académiques contrôlés plutôt que sur un déploiement industriel. Ce travail s'inscrit dans la multiplication des modèles de monde vidéo appliqués à la robotique, où la génération vidéo sert de plus en plus de proxy de simulation pour entraîner des politiques d'action sans multiplier les essais réels, un usage jusque-là limité par l'incompatibilité des espaces d'action et par l'absence de labels dans les vidéos humaines, qui composent pourtant l'essentiel des données disponibles à l'échelle d'internet. Les bancs d'essai (DROID, Bridge) et plateformes testées (bras bimanuels YAM, humanoïde G1) sont des références standard de la recherche en apprentissage robotique, ce qui situe CLAP comme un travail académique plutôt qu'un produit commercial. Les auteurs, qui publient l'ensemble du code et des modèles, présentent le fine-tuning few-shot comme la piste principale pour étendre ce paradigme à de nouvelles plateformes, sans calendrier de déploiement industriel annoncé.

IA physiqueOpinion
1 source
Riemann-1.0 : un modèle d'action du monde incarné pour l'IA physique
24arXiv cs.RO 

Riemann-1.0 : un modèle d'action du monde incarné pour l'IA physique

Un preprint publie sur arXiv (2608.27033) présente Riemann-1.0, un "World Action Model" causal et autoregressif qui unifie, dans une seule séquence, observations visuelles multi-vues, états du robot et actions spécifiques a chaque embodiment. Le modèle est pré-entraine sur plus de 200 000 heures de données hétérogènes: vidéos humaines a la première personne, démonstrations avec pinces portables et trajectoires de robots varies. Il atteint 94,3% de réussite sur RoboTwin2.0, 99,0% sur LIBERO et 62,6% sur le benchmark compositionnel long-horizon RoboCasa-365, soit 8,4 points de plus que la meilleure méthode antérieure. Sur des taches réelles de manipulation longue durée, il obtient 85,0% de réussite (SR) et 94,4% de progression (PSR), soit 15 points de plus que le meilleur système open source de référence. Le résultat notable n'est pas seulement le score, mais l'architecture: un seul modèle fait a la fois office de politique de contrôle exécutable et de simulateur du monde conditionne par l'action, la ou la plupart des approches séparent prédiction vidéo et génération d'actions. Cela alimente le débat sur le passage a l'échelle des modèles vision-langage-action, en suggérant que des sources bon marche comme la vidéo humaine peuvent compléter des données robotiques rares pour améliorer la généralisation. Pour les intégrateurs, la prudence reste de mise: ces résultats proviennent d'un preprint non relu par les pairs, obtenus sur des benchmarks contrôles et des taches réelles décrites de façon générique, sans précision sur le site de test ni sur un déploiement en production. Riemann-1.0 se positionne contre trois familles de "world models" robotiques existantes, génération conjointe d'actions et d'images, prédiction vidéo suivie d'une politique séparée, ou architectures découplées, jugées limitantes par ses auteurs face a la fragmentation entre simulation du monde et contrôle du robot. L'article ne mentionne ni organisation commerciale a l'origine du projet, ni plateforme robotique associée, ni date de pilote ou de déploiement: il se presente comme un jalon de recherche plutôt que comme un produit livre. Les suites logiques, non confirmées dans le texte, porteraient sur l'extension a davantage d'embodiments et sur des essais en conditions réelles hors laboratoire, dans la lignée des travaux parallèles menés par d'autres laboratoires sur les modèles fondation pour la manipulation robotique.

IA physiqueActu
1 source
WALL-SS : le passage à l'échelle des modèles du monde à long terme via l'autorégression multi-échelle
25arXiv cs.RO 

WALL-SS : le passage à l'échelle des modèles du monde à long terme via l'autorégression multi-échelle

Publié fin aout 2026 sur arXiv (2608.26239), WALL-SS est un "world model" conçu pour générer des futurs visuels pilotables par l'action sur de longs horizons, via une autorégression à échelles multiples ("next-scale autoregression"). Les trajectoires du robot y sont représentées comme des séquences causales entrelaçant observations et actions, ce qui rend explicite le lien action-conséquence. Le système génère chaque image future du grossier au fin et combine trois briques : une prédiction "next-scale" conditionnée par l'action, une mémoire longue durée compressée par échelle (interactions récentes en haute résolution, passé compressé) renforcée par un mécanisme de "dream forcing" par échelle pour résister au bruit auto-généré, et un alignement on-policy optimisant des récompenses de suivi d'action et de cohérence long terme sans dériver de la distribution visuelle pré-entraînée. Résultat annoncé : rollouts cohérents sur plusieurs minutes en flux continu, sous mémoire bornée, avec une dérive d'action réduite. Pour l'industrie robotique, l'enjeu est concret : la plupart des modèles du monde génératifs décrochent au-delà de quelques secondes, produisant des trajectoires visuellement plausibles mais physiquement incohérentes dès que l'horizon s'allonge. Une simulation stable sur plusieurs minutes, à mémoire bornée, intéresse directement les équipes qui entraînent des politiques vision-langage-action (VLA) du type Pi-0, GR00T ou Helix, en offrant une boucle d'évaluation et d'entraînement moins coûteuse que la collecte de données réelles, y compris pour tester des scénarios d'échec sans risquer de matériel. C'est aussi un aveu implicite que le "sim-to-real gap" reste un chantier ouvert : la dérive d'action et l'incohérence long terme sont ici corrigées par un alignement a posteriori, pas éliminées par construction dès le départ. WALL-SS s'inscrit dans la vague de modèles du monde génératifs nourrie par les progrès de la génération vidéo et leur transposition à la prédiction d'états robotiques, aux côtés d'efforts comme GR00T N2 chez Nvidia ou Pi-0 chez Physical Intelligence sur le versant politiques VLA. Sa contribution est architecturale : remplacer la génération clip par clip par une autorégression à échelles multiples censée mieux gérer les horizons variables et le streaming continu. Publié comme simple preprint arXiv, sans laboratoire ni entreprise identifiés nommément dans le résumé, et sans code ni benchmark public annoncés, le travail reste à ce stade une contribution de recherche destinée à être validée par la communauté, et non un produit ou un déploiement industriel.

IA physiquePaper
1 source
GRAFT : adaptation par renforcement en ligne, ancrée et efficace, pour une manipulation robotique de précision
26arXiv cs.RO 

GRAFT : adaptation par renforcement en ligne, ancrée et efficace, pour une manipulation robotique de précision

Un article déposé sur arXiv (2608.27079v1) présente GRAFT (Grounded Reinforcement Adaptation for Fast Task Learning), un cadre d'adaptation en ligne par renforcement de politiques vision-langage-action (VLA) pré-entraînées à des tâches de manipulation robotique fine en biomédical. La méthode apprend des ancrages visuels propres à chaque point de vue via une supervision au niveau des régions de l'image, sans exiger de propositions de régions au déploiement, et combine génération d'action en une seule étape avec réutilisation en cache du préfixe visuo-linguistique pour accélérer l'apprentissage. Sur quatre tâches de manipulation biomédicale, les auteurs annoncent un gain de 25 points de pourcentage de réussite à budget d'adaptation égal, avec un coût de calcul réduit pour les mises à jour. Le travail cible un verrou concret des VLA : entraînés sur de larges corpus de démonstrations, ils offrent de bons a priori généraux mais peinent sur des tâches où la réussite dépend d'indices visuels subtils et dépendants du point de vue, alors que la récompense de tâche ne dit rien des régions qui comptent. Le coût de calcul de l'inférence VLA et des mises à jour par rejeu limite l'apprentissage en ligne sur robot réel. En réduisant interactions nécessaires et coût par mise à jour, GRAFT plaide pour une adaptation en ligne plutôt que pour le seul réglage fin hors ligne ou la collecte massive de démonstrations, débat suivi autour de modèles comme Pi-0, GR00T N2 ou Helix. Le gain de 25 points annoncé n'est pas contextualisé : ni taux de référence ni détail des quatre tâches ne sont précisés. Classé comme nouveau dépôt sur arXiv, le document ne cite ni laboratoire ni entreprise porteuse, ni plateforme robotique précise, ce qui le situe côté recherche académique plutôt que produit commercialisé. Il s'inscrit dans la lignée des modèles VLA généralistes récents tels Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, conçus pour des a priori de manipulation transférables mais nécessitant une adaptation spécifique avant usage réel. GRAFT vise l'adaptation par renforcement en ligne, voie moins explorée que le réglage fin hors ligne. Aucune publication de code ni de pilote avec un partenaire biomédical n'est annoncée.

IA physiqueActu
1 source
FlashVLA : décodage d'actions en flux pour une inférence VLA rapide et asynchrone
27arXiv cs.RO 

FlashVLA : décodage d'actions en flux pour une inférence VLA rapide et asynchrone

FlashVLA est un nouveau framework de décodage d'actions en streaming pour les modèles Vision-Language-Action (VLA), décrit dans une preprint publiée sur arXiv le 27 aout 2026 (référence 2608.27384v1). Il cible les VLA fondes sur le flow matching, dont le décodage exige plusieurs étapes itératives de debruitage conditionnées par le contexte du modèle vision-langage, ce qui dégradé la fréquence de contrôle et la stabilité de l'exécution asynchrone. La méthode maintient un buffer d'actions compose de plusieurs chunks a des niveaux de bruit différents, décodés via une attention causale chunk par chunk, produisant un chunk exécutable a chaque étape d'inférence et préservant la continuité du mouvement. Les auteurs rapportent une fréquence de contrôle supérieure ou égale a 30 Hz sur un seul GPU, avec une inférence asynchrone fluide en conditions réelles. Ce travail s'attaque a un goulot d'étranglement connu de la manipulation robotique : les politiques d'action par flow matching ou diffusion produisent des mouvements de haute qualité mais au prix d'un cout de calcul itératif qui plafonne la fréquence de contrôle en boucle fermée, tandis que les méthodes d'exécution asynchrone censées combler les temps morts introduisent souvent des a-coups temporels. En traitant conjointement la latence et la cohérence asynchrone dans une seule formulation, FlashVLA conteste l'idée répandue selon laquelle accélérer un VLA se fait nécessairement au détriment de la fluidité ou de la précision de la tache. Pour les intégrateurs en manipulation robotique, atteindre 30 Hz sur un seul GPU représente un seuil praticable pour du contrôle temps réel sans infrastructure dédiée couteuse ; l'article ne précise toutefois ni le modèle de GPU utilise, ni les baselines comparées, ce qui limite pour l'instant la portée des chiffres avances. FlashVLA s'inscrit dans la lignée des politiques d'action génératives par flow matching ou diffusion, une famille de modèles qui a gagne du terrain en manipulation robotique pour sa capacité a produire des trajectoires riches et multimodales, au prix d'un debruitage itératif plus lent que les approches de régression directe. La littérature récente traitait jusque-la séparément la vitesse d'inférence et la stabilité asynchrone ; FlashVLA revendique être la première formulation a unifier les deux via un unique buffer de streaming. Publiee comme soumission nouvelle sur arXiv, la contribution n'a pas encore été revue par les pairs et ne s'accompagne, pour l'instant, d'aucune annonce de code ouvert, de partenariat industriel ou de déploiement chez un fabricant de robots. Les prochaines étapes attendues sont une publication en conférence et une comparaison directe avec des politiques VLA de référence pour confirmer la généralité des gains annonces.

IA physiqueActu
1 source
Nouveau framework NVIDIA pour aider les robots à s'orienter dans des lieux inconnus
28Interesting Engineering 

Nouveau framework NVIDIA pour aider les robots à s'orienter dans des lieux inconnus

NVIDIA a présenté COMPASS (Cross-Embodiment Mobility Policy via Residual RL and Skill Synthesis), un framework qui combine agents IA, simulation et apprentissage par renforcement pour accélérer l'adaptation des systèmes de navigation robotique à de nouveaux robots ou environnements. Plutôt que de reconstruire une pile de navigation complète à chaque changement, COMPASS part de la politique préentraînée X-Mobility de NVIDIA et entraîne par renforcement un module correctif spécialisé pour le robot et le lieu ciblés. La démonstration s'appuie sur le quadrupède Spot de Boston Dynamics, testé d'abord dans un entrepôt simulé intégré, puis sur des scènes issues de SAGE-10K, un jeu de 10 000 environnements intérieurs générés par NVIDIA couvrant 50 types de pièces, et sur des lieux réels reconstruits via Omniverse NuRec. Les modèles entraînés sont jugés sur le taux d'atteinte de l'objectif, la fréquence de chute et le temps de parcours, tandis que des agents de codage automatisent la préparation des scènes, les tests et le lancement des entraînements, sous validation humaine à chaque étape clé (scène prête, test initial concluant, modèle promu). Une fois approuvée, une politique pilote le robot à partir d'images caméra, d'odométrie et d'un objectif de navigation, avec l'option cuVSLAM de NVIDIA pour l'odométrie visuelle si besoin. Ce travail cible un problème concret pour l'industrie : chaque changement de robot ou de site oblige aujourd'hui les intégrateurs à recollecter des données, reconstruire des environnements de simulation et retester des interfaces logicielles, un cycle coûteux et difficile à reproduire. En gardant l'humain dans la boucle pour valider les scènes, les tests initiaux et la promotion des modèles, NVIDIA positionne COMPASS comme un outil de productivité pour les équipes de R&D plutôt qu'une promesse d'autonomie totale, une nuance qui compte alors que le secteur de la robotique mobile et humanoïde multiplie les annonces de généralisation instantanée entre plateformes. Il s'agit pour l'instant d'un framework de recherche démontré sur une seule plateforme, sans chiffre de déploiement en production ni comparaison publiée face à des approches concurrentes de navigation cross-embodiment. COMPASS s'appuie sur X-Mobility, politique de navigation que NVIDIA avait déjà développée, et s'inscrit dans son écosystème Omniverse et Isaac, aux côtés de NuRec pour la reconstruction de scènes réelles et de cuVSLAM pour la localisation visuelle. La démarche recoupe une tendance plus large de la recherche en robotique mobile, où plusieurs laboratoires cherchent à réduire le travail de portage d'une politique d'un robot à l'autre plutôt que de repartir de zéro à chaque nouvelle plateforme. NVIDIA ne communique aucun calendrier de pilote ni de partenaire robot commercial au-delà de Spot, choisi comme plateforme de référence pour valider le workflow ; les suites évoquées portent sur l'extension à d'autres robots et environnements via les mêmes outils de simulation et d'automatisation par agents.

IA physiquePaper
1 source
GaussianDream++ : modélisation 3D gaussienne efficace du monde pour la manipulation robotique
29arXiv cs.RO 

GaussianDream++ : modélisation 3D gaussienne efficace du monde pour la manipulation robotique

GaussianDream++, décrite dans un article publié en août 2026 sur arXiv (2608.25659), est une méthode d'entraînement pour les politiques Vision-Language-Action (VLA) de manipulation robotique. Elle succède à GaussianDream, dont la reconstruction 3D en Gaussiennes mélangeait état, dynamique et action dans un pipeline dense (VGGT/TGE) coûteux. La nouvelle version insère seulement 20 "World State Tokens" et "World Prediction Tokens" dans le backbone VLA ; une tête dédiée, active seulement à l'entraînement, les décode en scène courante et prédiction future partageant les mêmes primitives Gaussiennes, avec une factorisation statique/dynamique isolant le mouvement pertinent. À l'inférence, cette tête et le pipeline lourd disparaissent : ne restent que les 20 tokens. Résultat : 98,6% de réussite sur LIBERO, 87,8% sur LIBERO-Plus, et sur robot réel un taux de succès moyen porté de 29,2% à 52,5% face à une politique pi_0.5 reproduite. Ce résultat répond à une limite connue des politiques VLA : l'imitation d'actions seule supervise mal la structure 3D métrique et la dynamique physique à court terme, tandis que les approches prédictives en RGB ou en espace latent alourdissent le déploiement. En montrant qu'une supervision géométrique riche à l'entraînement peut être totalement retirée à l'inférence sans perte de performance, GaussianDream++ répond au compromis coût/richesse qui freine l'adoption des politiques géométriques par les intégrateurs devant faire tourner ces modèles en boucle fermée sur du matériel embarqué. Le quasi-doublement du taux de succès sur robot réel suggère que cette supervision comble une partie de l'écart simulation-vers-réel, plutôt que d'apporter un simple gain en simulation. GaussianDream++ corrige la principale faiblesse de GaussianDream, sa dépendance à un pipeline VGGT/TGE mêlant plusieurs signaux dans un même préfixe. Elle s'inscrit dans un paysage de politiques VLA concurrentes, comme les modèles pi0 et pi0.5 de Physical Intelligence utilisés ici comme référence, GR00T N2 de NVIDIA ou Helix de Figure AI, chacune arbitrant différemment entre richesse de représentation et coût d'inférence temps réel. L'article ne précise ni partenaire industriel ni calendrier de déploiement : à ce stade, il s'agit d'un résultat de recherche évalué sur des bancs d'essai standards et un nombre limité d'expériences sur robot réel, sans détail sur les plateformes utilisées.

IA physiqueOpinion
1 source
LM-X : modélisation explicable des actions par prédiction de progression, d'événements et d'incertitude pour la manipulation robotique généraliste
30arXiv cs.RO 

LM-X : modélisation explicable des actions par prédiction de progression, d'événements et d'incertitude pour la manipulation robotique généraliste

Un nouveau preprint arXiv (2608.25757, aout 2026) présente LM-X, un modèle vision-langage-action (VLA) pour la manipulation robotique généraliste. Contrairement aux politiques VLA classiques qui ne prédisent que l'action a court terme, LM-X génère en continu trois signaux explicites pendant l'exécution: le "return-to-go" (RTG), qui mesure la progression visible de la tache, l'"évent-to-go" (ETG), qui anticipe la prochaine transition sémantique, et un flux d'action heteroscedastique, qui estime la fiabilité locale via une variance propagée. Avant de lancer un preentrainement couteux de 20 jours sur 64 GPU Nvidia B200, les auteurs ont valide l'architecture sur un test contrôle a cinq taches: le modèle complet améliore le taux de réussite de 16,0 points par rapport a un backbone action seule, et de 10,8 points par rapport a la meilleure variante a une seule tête de prédiction. Le modèle final a ensuite été entraine sur plus de 20 000 heures de trajectoires robot réelles, dont plus de 1 000 heures d'échecs de politiques antérieures. Sur 50 taches durcies et randomisées du benchmark RoboTwin2.0, LM-X atteint 74,1% de réussite contre 55,4% pour GR00T N1.7 de Nvidia, et 68,6% contre 50,7% sur sept taches exécutées en robot réel. L'intérêt ne tient pas qu'au score brut face a GR00T N1.7: LM-X expose des états internes normalement caches dans les politiques VLA, ou une seule cible d'action doit implicitement porter la progression, l'intention et la fiabilité du geste. Le RTG suit la progression sémantique et détecte les régressions visibles, tandis que la variance grimpe pendant les hésitations ou les oscillations de commande. Pour un intégrateur ou un responsable fiabilité, ce type de signal pourrait permettre de détecter un échec avant qu'il ne se produise plutôt que de le constater après coup, un argument concret pour la supervision et la sécurité en environnement industriel. Le travail s'inscrit dans la compétition croissante autour des politiques de manipulation généralistes, aux cotes de familles comme GR00T de Nvidia, Pi-0 de Physical Intelligence ou Helix de Figure. L'abstract ne précise ni l'institution ni l'entreprise porteuse du projet, et il s'agit a ce stade d'un preprint de recherche, sans produit commercialise ni déploiement industriel annonce: la comparaison reste limitée a GR00T N1.7 et aux benchmarks présentes par les auteurs eux-mêmes, ce qui appelle une lecture prudente en attendant une évaluation indépendante.

IA physiqueOpinion
1 source
Comment entraîner une politique de navigation à cross-embodiment pour robots avec des agents IA
31NVIDIA Developer Blog 

Comment entraîner une politique de navigation à cross-embodiment pour robots avec des agents IA

Un article technique intitulé « How to Train a Cross-Embodiment Robot Navigation Policy with AI Agents » présente une méthode pour entraîner des politiques de navigation robotique capables de fonctionner sur plusieurs types de robots, une approche dite « cross-embodiment » reposant sur des agents IA. Le texte distingue navigation et locomotion : la locomotion assure un mouvement stable comme la marche ou l'équilibre, tandis que la navigation doit en continu localiser le robot, interpréter un environnement changeant, choisir un itinéraire et éviter les obstacles pour atteindre un objectif en sécurité. Selon l'article, transférer cette capacité vers un nouveau robot ou un nouvel environnement exige généralement de nouvelles données d'entraînement, de nouveaux assets de simulation et de nouvelles interfaces robot spécifiques, un goulot d'étranglement que la méthode proposée cherche à réduire en confiant à des agents IA la génération ou l'adaptation automatique de ces éléments. Cette approche vise un problème central pour les intégrateurs et laboratoires de robotique : la difficulté de porter une politique de navigation d'un robot ou d'un environnement à un autre sans tout recréer manuellement. Si la génération assistée par IA des données de simulation et des interfaces tient ses promesses, elle pourrait réduire le temps et le coût de déploiement d'un même système de navigation sur des flottes hétérogènes, mobiles ou humanoïdes, un enjeu alors que le secteur cherche à généraliser les modèles vision-langage-action au-delà de la manipulation vers la mobilité autonome. L'article, cependant, ne fournit aucune métrique chiffrée, taux de réussite, temps de cycle, nombre de robots ou de scènes testées, ni de date de disponibilité, ce qui en fait pour l'instant une démonstration méthodologique plutôt qu'un produit prêt à déployer. Cette publication s'inscrit dans la tendance sectorielle à découpler les compétences robotiques, perception, locomotion, navigation, manipulation, de la plateforme matérielle, dans la lignée des efforts autour des modèles génériques de type VLA et de l'entraînement massif en simulation. Le texte source ne précise ni l'organisme à l'origine de la méthode au-delà du titre, ni les robots ou environnements utilisés pour la valider, ni de calendrier de publication d'outils ou de suite associée, laissant ouvertes les questions de reproductibilité et de disponibilité pratique de cette approche.

IA physiquePaper
1 source
L'action latente comme intention permet une imagination efficace du futur pour les modèles d'action du monde
32arXiv cs.RO 

L'action latente comme intention permet une imagination efficace du futur pour les modèles d'action du monde

La modélisation prédictive de l'action robotique franchit une étape avec LAWA, une architecture présentée dans un article publié sur arXiv fin août 2026 sous la référence 2608.24882. Les modèles dits "world action models" (WAM) améliorent le contrôle des robots en simulant l'évolution future des observations visuelles, mais cette génération d'images futures coûte cher en latence au moment de l'exécution. Une variante rapide, Fast-WAM, supprime cette étape pour gagner en vitesse, au prix d'une généralisation nettement plus faible, en particulier lorsque les démonstrations robotiques sont rares ou dans des scénarios hors distribution. LAWA propose un compromis: au lieu de générer des vidéos futures complètes, il encode l'intention future sous forme d'actions latentes compactes, produites par un tokenizer discret pré-entraîné sans action, qui génère des cibles de codebook centrées sur la manipulation. Le modèle débruite conjointement un état latent continu ancré sur ces cibles avec des blocs d'actions exécutables, tout en omettant la branche vidéo future à l'inférence. Sur le benchmark RoboCasa, LAWA atteint des taux de succès moyens de 65,6% en few-shot et 80,8% en données complètes, dépassant Fast-WAM de 9,6 et 4,5 points respectivement, tout en réduisant la latence d'inférence de 42,9% par rapport à la variante Joint-WAM de référence. Ces résultats remettent en question l'idée reçue selon laquelle il faudrait sacrifier l'imagination du futur pour gagner en rapidité d'exécution. Pour les équipes qui développent des politiques de contrôle basées sur des modèles VLA (vision-language-action), le message est clair: la vitesse et la généralisation ne sont pas nécessairement antagonistes si l'information future est compressée intelligemment plutôt que supprimée. C'est un enjeu concret pour l'industrialisation des robots manipulateurs, où le temps de cycle et la robustesse hors distribution conditionnent directement la viabilité en usine ou en entrepôt. Un modèle capable de conserver la qualité de généralisation d'un WAM complet tout en réduisant drastiquement la latence rapproche ces architectures d'un déploiement temps réel réaliste, plutôt que d'un simple exercice de recherche en laboratoire. Le travail s'inscrit dans la lignée des architectures WAM et de leurs déclinaisons rapides, dont Fast-WAM sert ici de point de comparaison direct sur des implémentations appariées. Les auteurs testent aussi LAWA en zero-shot sur LIBERO-Plus, où il affiche une robustesse compétitive, ainsi que sur des tâches réelles où il surpasse les approches concurrentes. Le code et les modèles doivent être publiés, ce qui permettra une vérification indépendante des chiffres annoncés, une précaution utile puisque les métriques de succès en manipulation robotique restent souvent sensibles au choix des tâches et des conditions d'évaluation.

IA physiqueActu
1 source
Représentation continue des trajectoires pour la manipulation robotique
33arXiv cs.RO 

Représentation continue des trajectoires pour la manipulation robotique

Une équipe de recherche publie sur arXiv (arXiv:2608.24111v1, soumis en août 2026) un nouveau framework baptisé CAT, pour "trajectory-level continuous Action representation", destiné aux politiques de manipulation robotique visuomotrices. Le principe consiste à encoder les trajectoires d'action sur un intervalle temporel fixe en un ensemble de tokens latents continus, plutôt que de lier la représentation à la fréquence de contrôle du robot ou à des paramétrisations temporelles prédéfinies, comme le font la plupart des systèmes actuels. Les auteurs ajoutent un positional encoding "frequency-aware" qui crée un système de coordonnées temporelles partagé, quelle que soit la cadence de contrôle, ainsi qu'une régularisation au niveau trajectoire pour stabiliser l'espace latent. Les évaluations ont porté sur les benchmarks de simulation LIBERO et MimicGen, ainsi que sur des tâches réelles de manipulation à long horizon. Résultat annoncé: les politiques basées sur CAT surpassent de façon constante les baselines par quantification vectorielle (VQ) et les baselines visuomotrices continues concurrentes, à conditions d'entraînement identiques, sur plusieurs backbones de modèle et plusieurs fréquences de contrôle. Le papier cible un problème concret pour les politiques vision-langage-action: coupler la représentation d'action à la fréquence d'échantillonnage produit soit de la redondance à haute cadence, soit une perte de finesse sur les mouvements critiques à basse cadence. En découplant les deux, CAT ouvre une piste pour rendre un même modèle de manipulation plus facilement transférable entre plateformes robotiques opérant à des cadences différentes, un enjeu direct pour les intégrateurs qui doivent déployer une politique sur des bras, mains ou humanoïdes hétérogènes. Dans la course aux modèles fondation pour la robotique, aux côtés de Pi-0, GR00T N2 ou Helix, ce travail confirme que l'architecture de la tête d'action devient un terrain de différenciation aussi disputé que le backbone vision-langage. Reste que les gains sont mesurés surtout en simulation (LIBERO, MimicGen), les résultats réels n'étant pas quantifiés dans le résumé, ce qui appelle une lecture prudente avant extrapolation. Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage par imitation en robotique, où s'opposaient jusqu'ici la quantification vectorielle des trajectoires et les représentations continues à fenêtre fixe type Action Chunking Transformer ou politiques de diffusion. Aucun industriel ni partenariat commercial n'est cité: il s'agit d'une contribution académique, sans calendrier de déploiement annoncé. Sa diffusion suivra vraisemblablement la voie classique de ce type de recherche, adoption dans des frameworks open-source de politiques robotiques, puis, en cas de confirmation des gains, intégration possible dans des piles VLA commerciales.

IA physiqueActu
1 source
ROS2SmolVLA : intégrer de petits modèles vision-langage-action dans des robots légers industriels
34arXiv cs.RO 

ROS2SmolVLA : intégrer de petits modèles vision-langage-action dans des robots légers industriels

Une équipe de recherche publie ROS2SmolVLA, un dépôt open source reliant le middleware ROS 2 au modèle SmolVLA développé par Hugging Face, adapté aux bras collaboratifs légers de Universal Robots. Le système, décrit dans un article mis en ligne sur arXiv (référence 2608.23320), est validé sur un cobot UR10e, bras à six axes affichant une charge utile de 12,5 kg, à travers une tâche de prise et dépose (pick-and-place). L'objectif est de permettre à un modèle vision-langage-action (VLA) de taille réduite de générer des actions robotiques directement à partir de l'état observé du système, sans dépendre d'une infrastructure cloud. Le code et les consignes d'implémentation sont publiés en accès libre, pour faciliter l'adoption aussi bien en laboratoire qu'en environnement industriel. L'intérêt du travail tient moins à la performance brute qu'au vide qu'il comble. La recherche sur les VLA oscille généralement entre deux extrêmes : des modèles massifs nécessitant un calcul externalisé, ce qui pose des problèmes de conformité et de sécurité des données pour les usines, et des démonstrations réalisées sur du matériel de laboratoire éloigné des contraintes du terrain industriel. En faisant tourner SmolVLA localement sur un bras Universal Robots réellement déployé en production, les auteurs apportent une preuve de concept pour l'automatisation adaptative que réclament les fabricants confrontés à des lots plus petits et des références produits plus nombreuses. Les auteurs restent toutefois prudents : leurs propres conclusions limitent l'usage de SmolVLA à des tâches de petite échelle calculables en local, pas à une automatisation industrielle généralisée, une seule tâche ayant été testée. SmolVLA, le modèle de base développé par Hugging Face, se positionne comme une alternative compacte face à des modèles VLA plus lourds tels que Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, généralement pensés pour un calcul déporté sur le cloud ou des clusters dédiés. Universal Robots, fabricant danois de cobots leader sur le segment industriel léger, et ROS 2, middleware robotique standard du secteur, fournissent la base matérielle et logicielle de l'intégration. Publié comme un travail académique open source plutôt que comme un produit commercial, le projet ne s'accompagne d'aucun pilote industriel annoncé ni de calendrier de déploiement, mais ouvre une piste que d'autres laboratoires et intégrateurs pourront reprendre pour tester des tâches similaires sur d'autres cobots.

UELe système est valide sur un cobot Universal Robots, fabricant danois leader du segment industriel léger en Europe, offrant aux industriels européens une piste d'automatisation adaptative sans dépendance au cloud.

IA physiqueOpinion
1 source
Pointing-VLA : interfaces d'ancrage spatial typées pour la manipulation vision-langage-action
35arXiv cs.RO 

Pointing-VLA : interfaces d'ancrage spatial typées pour la manipulation vision-langage-action

Des chercheurs ont publié le 23 août 2026 sur arXiv (2608.23138) Pointing-VLA, une architecture bâtie sur Embodied-R1 qui remplace les coordonnées textuelles et les jetons d'action opaques par des têtes de réseau dédiées prédisant directement des points normalisés, des cartes d'ancrage fonctionnel des objets (OFG) et des trajectoires visuelles ; un contrat d'exécution assigne la prise (PICK) à l'OFG et la dépose (PLACE) au pointage. Sur le banc Bridge/WidowX, sous exécution CuRobo avec gestion des collisions, le système atteint un score état de l'art de 72,9% de réussite moyenne sur quatre tâches, sans réglage spécifique. Transféré à NORA-1.5, il réduit de plus de 20 fois le temps de contrôleur en préservant la performance, avec des têtes typées 6,68 à 6,90 fois plus rapides que le décodage textuel d'Embodied-R1. Couplé à une politique π0.5, il porte le taux de réussite autonome sur robot réel de 52,7% à 80,7% sur trois contextes visuels. Le résultat vise un point de friction connu des modèles VLA : la plupart expriment encore les cibles spatiales via des coordonnées textuelles générées token par token, une interface lente et fragile entre raisonnement multimodal et exécution robotique. En la remplaçant par des têtes géométriques inspectables, Pointing-VLA promet aux intégrateurs un gain de latence important sans perte de fiabilité. Le saut de 52,7% à 80,7% en conditions réelles touche directement l'écart persistant entre démonstrations en environnement contrôlé et déploiement effectif, un enjeu central pour qui veut commercialiser des politiques VLA plutôt que les montrer en vidéo ; ces chiffres restent issus des propres bancs d'essai des auteurs et demandent confirmation sur des scénarios industriels plus variés. Le travail s'inscrit dans la lignée des modèles vision-langage-action comme GR00T N2, Helix ou Pi-0, qui traduisent des instructions en langage naturel en commandes motrices pour bras et humanoïdes. Pointing-VLA se positionne en alternative aux interfaces par coordonnées textuelles héritées des grands modèles de langage, s'appuyant sur Embodied-R1 et démontrant sa portabilité vers NORA-1.5 et son intégration comme guidage pour π0.5. Il s'agit à ce stade d'une contribution de recherche publiée sur arXiv, validée sur Bridge/WidowX et sur des déploiements physiques de prise-dépose, sans annonce de partenariat industriel ni de calendrier de commercialisation, mais ouvrant la voie à des évaluations sur d'autres politiques et plateformes robotiques.

IA physiqueActu
1 source
Inférence de l'action à partir de l'état latent futur pour la manipulation robotique
36arXiv cs.RO 

Inférence de l'action à partir de l'état latent futur pour la manipulation robotique

Une équipe de recherche a publié sur arXiv, le 25 août 2026 (référence 2608.22067v1), un article intitulé « Inferring Action from Future Latent State for Robotic Manipulation », présentant DELE-w0.5, un nouveau modèle de contrôle robotique. Contrairement aux World-Action Models existants, qui s'appuient sur des backbones de génération vidéo pour prédire conjointement les images futures et les actions du robot, DELE-w0.5 se passe de la génération vidéo : il infère directement la séquence d'actions à partir d'un état latent futur compact, qui capture le résultat physique de l'interaction sans reconstruire l'apparence visuelle intermédiaire. Testé sur 480 essais réels couvrant quatre tâches de manipulation à long horizon, le système atteint un taux de réussite complet de 62,5 % et une progression macro par étapes ordonnées de 81,3 %, soit respectivement 47,5 et 30,7 points de pourcentage de mieux que la meilleure baseline comparée. Cette approche remet en question un postulat courant chez les VLA (vision-language-action) et les world models robotiques, celui voulant que prédire l'image future soit nécessaire pour ancrer un modèle de contrôle dans la physique réelle, une logique suivie par des systèmes comme GR00T N2, Pi-0 ou Helix. En supprimant cette étape coûteuse en calcul, DELE-w0.5 promet un entraînement moins cher et une inférence plus rapide, un enjeu concret pour les intégrateurs visant du contrôle temps réel sur du matériel embarqué limité. Si ces gains se confirment au-delà de ce papier, ils pourraient orienter la recherche vers des architectures plus légères fondées sur la prédiction d'états latents plutôt que sur la vidéo dense. Il s'agit d'un travail de recherche en preprint, sans laboratoire ni entreprise nommés dans le résumé, et sans déploiement, partenariat ou pilote commercial annoncé. L'article s'inscrit dans la vague actuelle des World-Action Models combinant génération vidéo et prédiction d'action, un terrain disputé par des acteurs comme Figure (Helix), NVIDIA (GR00T N2) ou Physical Intelligence (Pi-0). Le taux de réussite de 62,5 % reste loin d'un niveau de fiabilité industrielle, même s'il dépasse nettement les références testées, et ces chiffres proviennent des auteurs eux-mêmes, sans validation indépendante ni revue par les pairs à ce jour. Aucune suite, aucun pilote ni intégration produit n'est mentionné dans l'article.

IA physiqueActu
1 source
Ludi₀.₁ : un système à base d'agents pour des robots socialement intelligents
37arXiv cs.RO 

Ludi₀.₁ : un système à base d'agents pour des robots socialement intelligents

Des chercheurs ont publié le 25 août 2026 sur arXiv (identifiant 2608.22035v1) un article décrivant Ludi 0.1, un système agentique visant à doter les robots d'une intelligence sociale, au-delà de la simple exécution de commandes isolées. Le système combine parole interactive, raisonnement multimodal, mémoire, navigation et manipulation apprise dans une architecture unique. Son cœur décisionnel est un modèle vision-langage affiné sur des traces d'interaction multi-tours : requêtes ambiguës, demandes de clarification, corrections, interruptions, dialogue mêlant social et tâches à plusieurs étapes. Un harnais logiciel dédié orchestre la boucle d'interaction entre ce modèle et ses outils, pendant que des politiques spécialisées de navigation et de manipulation exécutent les compétences physiques sur le robot. Pour les intégrateurs et décideurs de la robotique humanoïde, ce travail marque un déplacement de priorité : après des années focalisées sur les benchmarks de perception et de contrôle bas niveau (préhension, locomotion, déplacement d'objets), l'enjeu se porte désormais sur la robustesse conversationnelle et la capacité à réviser un comportement en cours quand l'intention de l'utilisateur change. L'hypothèse testée est qu'affiner un modèle vision-langage-action sur des traces d'interaction réelles, plutôt que sur des démonstrations de tâches isolées, peut réduire l'écart souvent constaté entre démonstrations impressionnantes et fiabilité en usage réel. Les auteurs présentent Ludi 0.1 comme une étape intermédiaire, non comme un modèle fondation abouti : le système sert avant tout à générer les traces multimodales nécessaires pour entraîner un futur modèle plus intégré. Cette publication s'inscrit dans le sillage des modèles vision-langage-action déjà démontrés pour la manipulation, comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, et des plateformes humanoïdes commerciales telles qu'Optimus Gen 3 de Tesla ou Figure 03, dont les démonstrations restent centrées sur l'exécution de tâches plutôt que sur l'interaction sociale prolongée. Ludi 0.1 se distingue en ciblant explicitement la collaboration homme-robot en dialogue continu, un axe encore peu couvert par les annonces commerciales du secteur. L'article ne mentionne aucun déploiement industriel, ni volume de production, ni prix : il s'agit d'une contribution de recherche publiée sur arXiv, dont la suite annoncée est d'exploiter les traces collectées pour entraîner un futur modèle fondation combinant plus étroitement raisonnement social et compétences physiques.

IA physiqueOpinion
1 source
Un cadre sensible à la latence pour l'apprentissage de politiques visuomotrices sur robots industriels
38arXiv cs.RO 

Un cadre sensible à la latence pour l'apprentissage de politiques visuomotrices sur robots industriels

Un article publié sur arXiv (identifiant 2602.14255, version 2) présente un cadre logiciel pour déployer des politiques visuomotrices de bout en bout sur des bras robotiques industriels, où le décalage entre observation et exécution, causé par les latences d'observation, d'inférence et d'exécution, est amplifié par les interfaces de contrôle haut niveau et la dynamique de boucle fermée plus lente de ce matériel. Le système combine perception multimodale calibrée en latence, synchronisation des données, pipeline de communication unifié et interface de téléopération pour collecter des démonstrations expertes. Son mécanisme central horodate chaque séquence d'actions prédite et n'exécute que celles encore réalisables au moment prévu, permettant une inférence et une exécution asynchrones sans modifier l'architecture ni l'entraînement de la politique. Sur une tâche d'assemblage à contacts riches, avec une latence d'inférence variant de 100 à 500 millisecondes, cette approche maintient la durée de tâche et la fluidité du mouvement à 13% et 9% près de la référence de démonstration humaine, tout en évitant le ralentissement progressif du mode bloquant et les dépassements de force de contact importants de l'exécution asynchrone naïve. Ce travail vise un angle mort du déploiement industriel des politiques vision-langage-action (VLA) : les démonstrations de manipulation les plus spectaculaires sont réalisées sur des bras de recherche rapides, alors que les bras industriels, aux boucles de contrôle nettement plus lentes, exposent frontalement le problème de latence que les vitrines commerciales masquent souvent. Pour les intégrateurs et décideurs industriels, la leçon pratique est qu'une politique validée en laboratoire peut se dégrader, voire devenir dangereuse en contexte de contact riche, une fois transposée sur un robot industriel réel sans traitement explicite du délai d'inférence, et qu'un simple étage d'ordonnancement temporel des actions, sans retouche de l'architecture ni ré-entraînement, suffit à corriger ce comportement. L'étude part du constat que les robots industriels sont de plus en plus utilisés en construction et en fabrication avec des politiques apprises par imitation, généralement testées sur du matériel de laboratoire aux dynamiques plus rapides que les bras industriels réels. Contrairement aux annonces produit très médiatisées dans l'humanoïde, il s'agit ici d'une contribution de recherche méthodologique publiée en preprint, sans partenaire industriel ni calendrier de déploiement commercial mentionnés. La suite logique serait d'étendre ce cadre à d'autres tâches de manipulation à contacts riches et à des politiques VLA plus larges, afin de vérifier si la stratégie d'ordonnancement temporel se généralise au-delà du cas d'assemblage testé.

IA physiqueOpinion
1 source
Planification LLM ancrée dans un modèle du monde pour la navigation d'AUV et d'ASV près des parcs éoliens offshore
39arXiv cs.RO 

Planification LLM ancrée dans un modèle du monde pour la navigation d'AUV et d'ASV près des parcs éoliens offshore

Un preprint publié sur arXiv (2608.19661v1) décrit une méthode qui associe modèle de langage et modèle du monde pour piloter des véhicules marins autonomes près de parcs éoliens offshore. Trois briques la composent : un modèle du monde neuronal ancré dans la physique, un optimiseur de trajectoire en trois phases, et un replanificateur en boucle fermée de type MPC avec garde-fou "trust région" ; le LLM choisit la tâche, le modèle du monde calcule durée et amplitude des commandes. Sur un véhicule sous-marin à 6 degrés de liberté (huit propulseurs) et un véhicule de surface à 3 degrés de liberté (propulsion différentielle), le système atteint chaque objectif sans collision prédite sur cinq missions par plateforme, même transféré dans le simulateur GazeboSim avec courants, vagues et dynamique réaliste des propulseurs. L'erreur de position finale baisse de 70 à 82% pour l'ASV et d'environ 93% pour l'AUV face à une base non ancrée ; un module vision-langage extrayant les obstacles depuis images satellite, cartes nautiques et prévisions météo-marines atteint 96% de précision de navigabilité pour l'ASV. L'enjeu est de combler l'écart entre planification en langage naturel et physique réelle : un LLM décide quoi faire mais ignore combien de temps ou jusqu'où exécuter une commande, au risque de faire dériver l'engin dans un obstacle. Pour l'inspection des câbles, fondations et structures des parcs éoliens offshore, où la surveillance humaine par navires et plongeurs coûte cher, une planification fiable intéresse directement opérateurs et intégrateurs. Les résultats, obtenus uniquement en simulation, appuient l'idée qu'ancrer un LLM dans un modèle physique réduit l'écart démonstration/réalité typique des systèmes vision-langage-action, sans toutefois valider d'essai en mer. Cette approche prolonge, pour la robotique marine, une logique déjà explorée pour les humanoïdes et manipulateurs par des modèles vision-langage-action tels que Pi-0, GR00T N2 ou Helix, qui relient décision de haut niveau et exécution physique. L'expansion des parcs éoliens offshore, notamment en mer du Nord et sur d'autres façades européennes, nourrit la demande d'inspection autonome par AUV et ASV. Il s'agit d'un travail de recherche académique sans acteur industriel nommé ; aucun essai réel en mer n'est rapporté, la suite logique étant une validation hors simulateur sur un site éolien réel.

UELa méthode cible l'inspection autonome des parcs éoliens offshore, un enjeu direct pour la mer du Nord et les façades maritimes européennes, bien qu'aucun acteur industriel européen ne soit nommé.

IA physiquePaper
1 source
Fine-tuning des modèles VLA par contrôle génératif auto-démontré pour la manipulation multitâche
40arXiv cs.RO 

Fine-tuning des modèles VLA par contrôle génératif auto-démontré pour la manipulation multitâche

Un article publié sur arXiv fin août 2026 (référence 2608.19490) présente une méthode de finetuning pour les modèles vision-langage-action (VLA), ces politiques robotiques qui combinent perception, langage et contrôle moteur. Le constat de départ : des modèles VLA de pointe comme π0.5, entraînés sur de larges corpus multi-robots, voient leurs performances chuter dès qu'ils sont déployés sur un nouveau robot dont la configuration matérielle diffère de celle de l'entraînement. Le finetuning classique sur des données expertes du nouveau robot corrige la tâche ciblée mais efface la capacité du modèle à suivre des instructions génériques, un oubli catastrophique. Les auteurs proposent que le VLA zero-shot génère lui-même, en ligne, des trajectoires d'interaction supplémentaires pour enrichir ses données de finetuning, sans démonstration humaine additionnelle. La méthode est validée sur un robot bimanuel ALOHA réel et un nouveau benchmark de simulation baptisé RoboTwin, avec des vidéos publiées sur self-supervised-control.pages.dev. Le travail cible un vrai goulot d'étranglement pour l'industrialisation des VLA : spécialiser un modèle fondation sur un robot précis sans sacrifier la polyvalence qui justifie son usage. Pour les intégrateurs, c'est le compromis qui freine aujourd'hui le déploiement de politiques comme π0, GR00T N2 ou Helix sur des lignes hétérogènes, où chaque nouvelle géométrie de bras impose de re-collecter des démonstrations coûteuses, au risque d'effacer les acquis génériques du modèle de base. Si l'approche tient au-delà d'ALOHA et RoboTwin, elle réduirait le coût marginal d'ajout d'un robot ou d'une compétence, en s'appuyant sur les rollouts du modèle plutôt que sur davantage de téléopération humaine. La démarche s'inscrit dans la lignée des VLA ouverte par RT-2 puis consolidée par π0 et π0.5 de Physical Intelligence, OpenVLA, GR00T N2 de NVIDIA ou Helix de Figure AI, tous conçus pour généraliser au-delà d'un seul robot. Le choix d'ALOHA, plateforme bimanuelle open source popularisée par Stanford, ancre l'évaluation dans un cadre reproductible plutôt que dans une démonstration propriétaire, et RoboTwin vise à combler l'absence de benchmark standard pour la généralisation multi-tâches. Aucun partenaire industriel ni calendrier de transfert vers un robot commercial n'est évoqué : il s'agit pour l'instant d'une preuve de concept académique, publiée en preprint et non encore relue par les pairs.

IA physiqueOpinion
1 source
Un nouveau modèle robotique apprend des compétences physiques à partir d'une seule démonstration de 3 à 12 secondes
41Interesting Engineering 

Un nouveau modèle robotique apprend des compétences physiques à partir d'une seule démonstration de 3 à 12 secondes

Generalist AI a présenté GEN-1.5, un modèle de fondation pour robots capable d'apprendre une tâche physique à partir d'une seule démonstration de 3 à 12 secondes, sans mise à jour de gradient ni fine-tuning préalable. Testé sur dix tâches de manipulation courtes et simples (dévisser le couvercle d'un bocal en verre, récupérer de l'argent dans un sac à main, empiler des gobelets, balayer des déchets, ouvrir un livre, dézipper une trousse à crayons, retirer un embout d'aspirateur), le modèle atteint un taux de réussite moyen de 59% avec une seule démonstration. Ce taux monte à 83% avec cinq minutes de données spécifiques à la tâche et dix étapes de gradient, soit l'équivalent de 10 à 50 démonstrations. GEN-1.5 est un modèle multimodal traitant vidéo, données de capteurs, langage et proprioception, qui conserve 30 secondes de contexte et génère des trajectoires d'action à 100 Hz. La démonstration, capturée via des pinces tenues à la main ou exécutée par le robot lui-même, sert de "prompt physique" placé dans la fenêtre de contexte du modèle. Cette approche s'oppose à l'entraînement robotique classique, où chaque nouvelle tâche exige habituellement des données spécifiques abondantes et des cycles d'optimisation répétés. Generalist AI affirme ne pas avoir spécifiquement entraîné GEN-1.5 à l'apprentissage en contexte, ni ajouté de boucles de méta-apprentissage ou de modifications architecturales dédiées, ce qui rend le résultat notable dans le champ des modèles vision-langage-action (VLA). Pour les intégrateurs industriels, la promesse est une baisse du coût de déploiement: montrer un geste une fois plutôt que réentraîner un robot pour chaque nouvelle référence. Le modèle a aussi enchaîné deux prompts physiques distincts, dézipper une trousse puis en extraire de l'argent, en générant lui-même les mouvements de transition absents des démonstrations, et a transféré un geste appris en simulation vers un robot réel sans données simulées dans son pré-entraînement, ce qui va dans le sens d'un fossé sim-to-real partiellement comblé. Les taux annoncés (59% à 83%) restent toutefois loin des standards de fiabilité industrielle, et l'évaluation, menée en interne sur des tâches volontairement simples, n'a pas été validée de façon indépendante. Generalist AI s'inscrit dans la vague de laboratoires développant des modèles de fondation généralistes pour la robotique, aux côtés d'acteurs comme Physical Intelligence ou NVIDIA, qui poursuivent des objectifs similaires de réduction de l'entraînement tâche par tâche. Le modèle a montré des comportements improvisés: après avoir appris à balayer un bloc vers un bol avec une brosse, il a utilisé une banane en substitut, puis développé une stratégie différente (soulever et verser) avec une pelle à poussière. Un test a montré le robot reproduire, avec ses propres mains, un geste démontré par un humain visible via ses caméras. Ces résultats relèvent pour l'instant de la démonstration de recherche, sans date de disponibilité, pilote industriel ni déploiement en usine annoncé. L'entreprise les présente comme une étape vers une reprogrammation des robots par simple démonstration plutôt que par instructions codées, un pari qui reste à confirmer hors des tests contrôlés en laboratoire.

IA physiqueActu
1 source
GigaBrain-WBC-0.5 : un modèle du monde comportemental pour un contrôle corporel robuste avec interaction environnementale
42arXiv cs.RO 

GigaBrain-WBC-0.5 : un modèle du monde comportemental pour un contrôle corporel robuste avec interaction environnementale

Des chercheurs ont publié le 20 août 2026 (arXiv:2608.18234v1) GigaBrain-WBC-0.5, présenté comme le premier "Behavior World Model" (BWM) pour le contrôle corps entier de robots humanoïdes. Contrairement aux trackers de mouvement classiques, entraînés sur sol plat et incapables d'apprendre comment le contact avec le terrain ou des objets modifie leur dynamique, ce système repose sur un Transformer causal qui prédit simultanément sa prochaine action, son prochain état et la distribution de ses prochaines commandes comportementales latentes. Un pipeline d'annotation automatique reconstruit la géométrie de contact 3D à partir de mouvements retargetés, permettant d'annoter des jeux de données de mouvement à grande échelle sans travail manuel. Cette distribution prédite sert aussi en déploiement à détecter les commandes jugées implausibles et à les ramener vers des comportements appris, pour une exécution en mode "best effort". Face à trois trackers de référence à grande échelle, GigaBrain-WBC-0.5 obtient les meilleurs taux de réussite sur les quatre régimes testés: 81,3% en interaction avec le terrain (4,3 fois le meilleur concurrent), 83,1% sous commandes implausibles et 99,3% en récupération après chute (16,8 fois le meilleur concurrent). Des essais matériels montrent une robustesse face aux appuis manquants et aux perturbations; le modèle entraîné sur le Unitree G1 se transfère au robot Maker L01 avec un simple fine-tuning. Pour l'industrie robotique, ce travail s'attaque à un angle mort récurrent: la plupart des trackers actuels fonctionnent bien en démo sur sol lisse mais s'effondrent dès que le terrain devient irrégulier ou que des objets entrent en jeu, un écart entre démonstration et déploiement réel que le secteur peine encore à combler. En modélisant explicitement comment l'environnement contraint les comportements possibles, plutôt qu'en empilant des corpus de mouvements toujours plus vastes, l'approche ouvre une piste pour rendre les humanoïdes plus fiables hors des environnements contrôlés, entrepôts encombrés ou chantiers compris. Le taux de récupération après chute à 99,3% pèse particulièrement pour les intégrateurs, chaque chute non gérée interrompant généralement une tâche. La portabilité démontrée entre le Unitree G1 et le Maker L01 suggère par ailleurs une indépendance vis-à-vis du matériel, un enjeu commercial pour les fournisseurs de "cerveaux" robotiques. Ce travail s'inscrit dans la lignée des modèles vision-langage-action et des "world models" appliqués à la robotique, aux côtés d'approches comme GR00T N2 de NVIDIA, Helix de Figure AI ou Pi-0 de Physical Intelligence, qui visent toutes une couche de contrôle plus généraliste que les trackers traditionnels. GigaBrain-WBC-0.5 cible spécifiquement le contrôle bas niveau corps entier, un maillon souvent traité comme un simple suivi de trajectoire dans les piles logicielles concurrentes. Les trois trackers de référence comparés ne sont pas nommés dans le résumé, ce qui limite la comparaison directe avec des systèmes commerciaux connus. Aucun calendrier de déploiement industriel n'est mentionné: il s'agit d'une publication de recherche accompagnée d'essais matériels limités, pas d'un produit commercialisé.

IA physiquePaper
1 source
RoboEdit : transformer des vidéos de manipulation humaine en expérience robotique à grande échelle
43arXiv cs.RO 

RoboEdit : transformer des vidéos de manipulation humaine en expérience robotique à grande échelle

Un preprint arXiv publie en aout 2026 (2608.18948) présente RoboEdit, une suite logicielle qui convertit des vidéos de manipulation humaine en vidéos robotiques exploitables pour l'entrainement de politiques de contrôle. Son pipeline automatique, RoboEdit-ADC, reconstruit et retarget des interactions 3D main-objet a partir de simples vidéos RGB, et a génère RoboEdit-14M : 174 000 paires de vidéos alignées, soit 14 millions de frames, couvrant sept embodiments robotiques et des scènes variées. Le moteur d'édition, RoboEdit-Trans, applique des modules d'adaptation cross-embodiment pour préserver la cohérence temporelle en changeant apparence et mouvement, tandis qu'un décodeur d'état 3D reconstruit image par image la position de la main pour une supervision structurée. Les auteurs rapportent une qualité d'édition supérieure aux méthodes existantes et des politiques de contrôle entraînées sur ces vidéos, testées avec succès en manipulation réelle. La collecte de données robot-objet reste couteuse et spécifique a chaque plateforme matérielle, un goulot d'étranglement central pour l'entrainement de modèles vision-langage-action généralistes de type GR00T N2, Pi-0 ou Helix. En transformant la masse de vidéos humaines disponibles, jusqu'ici inutilisables a cause du décalage d'embodiment, en données synthétiques alignées sur sept morphologies robotiques, RoboEdit propose une alternative directe a la téléopération massive. Si les gains se confirment hors des benchmarks des auteurs, l'approche pourrait réduire la dépendance des laboratoires et intégrateurs a la collecte manuelle. Il s'agit toutefois d'un résultat de recherche en preprint, évalué par ses propres auteurs, sans validation industrielle indépendante a ce stade. Cette publication s'inscrit dans une tendance de deux ans ou plusieurs équipes cherchent a réutiliser les vidéos humaines abondantes plutôt que de multiplier les collectes téléopérées embodiment par embodiment. RoboEdit se distingue par un pipeline entièrement automatique de reconstruction et de retargeting 3D et par l'échelle de son jeu de données, RoboEdit-14M, pense pour sept embodiments simultanément plutôt qu'un seul robot cible. Le résume ne précise ni l'institution porteuse ni de calendrier de publication du code, ni de partenariat industriel. La suite logique attendue est la publication des données et des évaluations indépendantes sur des plateformes tierces, pour vérifier que ces gains se traduisent hors du cadre expérimental des auteurs.

IA physiquePaper
1 source
Post-entraîner NVIDIA Cosmos 3 Edge pour le contrôle de robots embarqué
44NVIDIA Developer Blog 

Post-entraîner NVIDIA Cosmos 3 Edge pour le contrôle de robots embarqué

NVIDIA a présenté Cosmos 3 Edge, une version allégée de sa famille de modèles du monde Cosmos 3, taillée pour tourner sur le calculateur embarqué des robots plutôt que dans le cloud. Le modèle associe un omni-modèle de 4 milliards de paramètres à un module de raisonnement de 2 milliards de paramètres bâti sur l'architecture Nemotron. NVIDIA a publié un guide de post-entraînement pour ce modèle, sans communiquer de tarif ni de benchmarks chiffrés de temps de cycle ou de charge utile. Cette démarche s'inscrit dans une tendance: réduire la taille des modèles VLA (vision-language-action) et des world models pour les faire tenir sur des puces embarquées sans sacrifier leur capacité à généraliser. Pour les intégrateurs et fabricants de robots, un modèle du monde compact et ajustable en local réduit la dépendance au cloud, la latence, et permet d'affiner le modèle sur des données propres à un site industriel. NVIDIA renforce ainsi sa présence dans la couche logicielle du contrôle robotique, au-delà de son rôle de fournisseur de calculateurs Jetson. Cosmos, la plateforme de modèles du monde de NVIDIA pour la simulation et l'entraînement de politiques robotiques, s'est élargie en une famille de tailles variées, dont Cosmos 3 Edge est la déclinaison pensée pour l'inférence embarquée. Elle se positionne face à des modèles de contrôle généralistes comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI. Le document ne mentionne ni partenaire robotique ni calendrier: il s'agit pour l'instant d'un outil pour développeurs, en amont d'un déploiement produit.

IA physiqueActu
1 source
Prism-GRPO : accélérer l'optimisation des politiques VLA en scindant les groupes à résultat identique
45arXiv cs.RO 

Prism-GRPO : accélérer l'optimisation des politiques VLA en scindant les groupes à résultat identique

Un preprint arXiv (2608.17423v1, août 2026) présente Prism-GRPO, une méthode destinée à accélérer l'entraînement par renforcement des politiques vision-langage-action (VLA) en robotique. Elle s'appuie sur GRPO, technique prisée car elle évite d'entraîner un réseau critique contrairement à PPO, mais qui gaspille une grande partie du budget de rollouts dès qu'un groupe d'essais réussit ou échoue en bloc. Prism-GRPO ajoute à la récompense binaire un score de qualité d'exécution, tiré des contacts simulateur, des actions ou des observations visuelles, qui scinde ces groupes en spectre de qualité sans jamais classer un échec devant un succès. Sur quatre tâches du benchmark RoboTwin, la méthode améliore le taux de succès à budget égal et atteint les objectifs visés avec jusqu'à 56% de rollouts en moins. Ce travail cible un goulot d'étranglement connu : chaque rollout robotique, simulé ou réel, coûte cher en temps et en calcul, et les méthodes de type GRPO en gaspillent une part importante dès le début de l'entraînement. Les auteurs démontrent formellement que Prism-GRPO ne peut jamais augmenter la probabilité qu'un groupe soit écarté, une garantie théorique rare face aux méthodes empiriques de reward shaping, souvent sujettes au reward hacking. La méthode supprime aussi un raccourci de triche observé en simulation, et ce comportement plus propre se transfère lors d'un déploiement sur robot réel, répondant à la critique récurrente sur l'écart entre simulation et monde réel, un enjeu économique pour les équipes qui entraînent des VLA à grande échelle. Prism-GRPO prolonge GRPO, méthode de renforcement popularisée pour les grands modèles de langage avant d'être adaptée aux politiques VLA robotiques, qui transforment observations visuelles et instructions en actions motrices. L'évaluation repose sur RoboTwin, benchmark de manipulation bimanuelle simulée. Des ablations montrent des gains cohérents avec des signaux de qualité basés sur les contacts, la fluidité des trajectoires ou des jugements de modèles vision-langage. Il s'agit à ce stade d'une contribution de recherche validée surtout en simulation, avec une première confirmation sur robot réel, et non d'un produit déployé ; sa portée dépendra de l'adoption par les laboratoires entraînant les prochaines générations de VLA.

IA physiquePaper
1 source
VLCP : réplanification de code en boucle fermée par politique de contrôle vision-langage pour la manipulation robotique
46arXiv cs.RO 

VLCP : réplanification de code en boucle fermée par politique de contrôle vision-langage pour la manipulation robotique

Des chercheurs publient sur arXiv (2608.16978, mis en ligne le 19 août 2026) VLCP, pour Vision Language Control Policy, une méthode qui transforme un modèle vision-langage (VLM) figé en politique de contrôle robotique sans fine-tuning ni démonstrations. Au lieu de réentraîner le modèle pour qu'il produise une représentation d'action inédite, VLCP le fait écrire directement une courte fonction de contrôle en Python, puis referme la boucle au niveau du code lui-même : toutes les K étapes, le VLM réobserve la scène via des flux RGB multi-vues, l'état proprioceptif et un delta d'état, et réécrit la fonction de contrôle si nécessaire, avant qu'un échec ne se propage jusqu'à la fin de l'épisode. Testée sur un ensemble de 57 tâches en simulation MuJoCo/RoboVerse, cette politique sans entraînement atteint un taux de succès combiné de 35,1 %, contre seulement 3,5 % pour le même système interrogé une seule fois par épisode en boucle ouverte, soit un écart d'un facteur dix confirmé par des intervalles de confiance non chevauchants sur toutes les familles de scènes. Le système affiche aussi un taux de récupération intra-épisode de 27,3 % sur les préhensions ratées, un coût de calcul limité (environ 10 requêtes compactes par épisode, 84 % des tokens en cache) et une bibliothèque de compétences réutilisée d'un épisode à l'autre. Le résultat cible directement l'écart entre démonstration et réalité qui pèse sur les politiques VLA (vision-language-action) actuelles : plutôt que de retenter une politique figée ou de basculer vers une autre sous-tâche en cas d'échec, comme le font les méthodes en boucle fermée existantes, VLCP corrige la cause réelle de l'échec, le code de contrôle lui-même. Pour les intégrateurs et équipes de recherche en robotique manipulatrice, cela suggère qu'un VLM générique, sans adaptation coûteuse à un robot ou une tâche spécifique, peut produire des politiques nettement plus robustes simplement en fermant la boucle au bon niveau d'abstraction, celui du code plutôt que de l'action bas niveau. Le gain de robustesse provient moins de la puissance brute du modèle que de la fréquence et du niveau auquel il est autorisé à se corriger, un point qui interroge les architectures de contrôle en boucle ouverte encore courantes dans les démonstrations commerciales du secteur. Cette approche s'inscrit dans la lignée des travaux qui exploitent les VLM frontières comme cerveaux de raisonnement plutôt que comme modèles à réentraîner pour produire des trajectoires, une piste alternative aux politiques VLA de bout en bout comme Pi-0 ou GR00T N2. Les auteurs ne précisent pas de déploiement sur robot physique ni de partenariat industriel : il s'agit à ce stade d'une preuve de concept en simulation, publiée en prépublication, sans date de mise en œuvre réelle annoncée. Les prochaines étapes attendues porteraient sur la validation sur du matériel physique et sur des tâches de manipulation plus complexes que celles du benchmark RoboVerse utilisé ici.

IA physiquePaper
1 source
UniReflex : contrôle de force plug-and-play pour politiques génératives préentraînées via réflexe rapide-lent
47arXiv cs.RO 

UniReflex : contrôle de force plug-and-play pour politiques génératives préentraînées via réflexe rapide-lent

UniReflex, décrit dans un preprint arXiv publié mi-août 2026 (2608.17432v1), ajoute un contrôle de force en boucle fermée à des politiques d'imitation générative déjà entraînées, sans réentraîner leur réseau principal. En interceptant les représentations latentes de la tête d'action, il pilote un réseau réflexe rapide qui sépare l'exercice actif de force de la réponse aux interactions externes, prédit des directions de rigidité anisotrope pour un contrôle d'impédance variable (VIC) directionnel, et bascule via un gating adaptatif entre planification en position et exécution en force. Sur des essais réels bimanuels, la méthode améliore la stabilité de contact et le taux de réussite tout en préservant la précision de position, avec une latence de rétropropagation par pas 25 à 66 fois plus faible que l'entraînement conjoint. L'enjeu est concret : les politiques génératives récentes, de type diffusion ou VLA, planifient bien les trajectoires mais ne régulent pas la force de contact, un manque critique pour l'assemblage, l'insertion ou la manipulation d'objets déformables. Jusqu'ici, ajouter cette modalité imposait de redesigner ou réentraîner tout le réseau, opération coûteuse et incompatible avec la logique des modèles fondation préentraînés à grande échelle. En figeant le backbone et en ne branchant qu'un module réflexe léger, UniReflex ouvre une voie pour équiper des politiques déjà entraînées d'un contrôle de force sans casser leur compatibilité, un point de friction réel pour les intégrateurs visant l'industrialisation de la manipulation en contact ; les résultats restent toutefois des démonstrations de laboratoire, et le gain de latence n'est vérifié que sur les backbones testés par les auteurs. Ce travail s'inscrit dans une tendance où les modèles VLA et les politiques par diffusion dominent désormais la manipulation robotique, au détriment du contrôle d'impédance classique de la robotique industrielle, plus précis en force mais moins généraliste. Les approches concurrentes exigent généralement de reconcevoir l'architecture ou de réentraîner tout le backbone pour intégrer la force ; UniReflex se distingue en se déclarant compatible avec tout backbone génératif figé, testé sur plusieurs architectures en configuration bimanuelle. Simple preprint non encore relu par les pairs, le travail devra être validé sur davantage de plateformes et comparé aux références établies du contrôle de force en dehors des benchmarks internes des auteurs.

IA physiqueOpinion
1 source
GigaBrain-0.7 : faire passer à l'échelle les modèles fondation incarnés grâce à une architecture à trois systèmes
48arXiv cs.RO 

GigaBrain-0.7 : faire passer à l'échelle les modèles fondation incarnés grâce à une architecture à trois systèmes

Publié en août 2026 sur arXiv sous la référence 2608.15875, l'article présente GigaBrain-0.7, un modèle de fondation vision-langage-action (VLA) pour robots généralistes. Son architecture à trois systèmes unifie compréhension, prédiction et génération d'action dans un seul réseau. Le préentraînement s'appuie sur plus de 37 000 heures de données robotiques hétérogènes, complété par un entraînement d'alignement en une seule étape qui optimise conjointement la compréhension vision-langage et la génération d'actions multi-embodiment. Le modèle a été évalué sur la plateforme maison Maker H01 et sur des embodiments robotiques courants, en environnements domestiques et industriels, avec des gains revendiqués face à la série précédente GigaBrain-0 et au modèle π0.5 de Physical Intelligence, en généralisation zero-shot, suivi d'instructions et taux de réussite après post-entraînement. Le code et les poids préentraînés seront publiés en open source, sans date précisée. Cette publication illustre la course à l'échelle des données dans les modèles de fondation robotiques, où le volume d'heures d'entraînement devient un argument compétitif au même titre que l'architecture. Le choix d'une architecture à trois systèmes, couplant prédiction du monde et génération d'action plutôt qu'un VLA purement réactif, reflète une tendance de fond du secteur. Pour les intégrateurs, la généralisation multi-embodiment revendiquée promet de réduire le réentraînement spécifique à chaque plateforme. La comparaison directe avec π0.5 positionne GigaBrain comme concurrent frontal des laboratoires de référence en VLA généralistes, même si les chiffres avancés restent auto-rapportés, sans benchmark indépendant ni valeurs absolues détaillées. GigaBrain-0.7 prolonge directement la série GigaBrain-0, avec un accent renouvelé sur l'hétérogénéité des données d'entraînement et l'alignement conjoint vision-langage-action. Le positionnement face à π0.5 s'inscrit dans une compétition plus large entre laboratoires développant des modèles de fondation pour robots généralistes, où l'échelle des données et la diversité des embodiments testés servent de critères de différenciation. À ce stade, il s'agit d'une publication de recherche assortie d'une promesse de publication du code et des poids, non d'un produit commercialisé ni d'un déploiement en conditions réelles : la validation indépendante des performances annoncées dépendra de leur disponibilité effective.

IA physiqueOpinion
1 source
PACE : gestion du crédit selon la progression de phase pour la manipulation incarnée à long terme
49arXiv cs.RO 

PACE : gestion du crédit selon la progression de phase pour la manipulation incarnée à long terme

Un article publié sur arXiv le 18 août 2026 (arXiv:2608.15026v1) présente PACE, un cadre d'attribution de crédit pour post-entraîner des modèles vision-langage-action (VLA) sur des tâches de manipulation longue durée, où un épisode compte souvent plusieurs centaines de pas de contrôle et où le succès n'est connu qu'à la fin. Le système repose sur deux modules. GLC-Critic infère, via des indices visuels et des différences de mouvement locales, la phase et la progression de chaque pas, puis corrige une estimation de coût restant pour produire un crédit pas-à-pas. PPD convertit ensuite ce crédit en signaux positifs et négatifs par seuils propres à chaque tâche, entraîne une politique d'action conditionnée qui protège d'abord les comportements à haut crédit avant d'intégrer tous les signaux, et amplifie ces comportements à l'inférence. Les auteurs rapportent des gains constants en simulation et sur bras robotiques réels face à la meilleure base de comparaison, sans chiffres précis dans le résumé. Le problème visé touche une limite connue des modèles VLA généralistes tels que Pi-0, GR00T N2 ou Helix, post-entraînés sur des démonstrations d'experts mais souvent incapables de corriger les erreurs qui s'accumulent faute de signal intermédiaire sur des séquences longues. Un crédit au niveau du pas, confirmé à plus grande échelle, donnerait aux laboratoires et intégrateurs un moyen de post-entraîner des politiques sans dépendre uniquement de récompenses éparses ou de volumes massifs de téléopération coûteuse, un enjeu clé pour fiabiliser les robots au-delà de la démonstration en laboratoire. L'attribution de crédit sur horizon long est un obstacle classique en apprentissage par renforcement, redevenu central avec des politiques VLA visant des tâches multi-étapes réelles plutôt que des mouvements isolés. PACE se positionne comme une alternative aux méthodes existantes de correction de valeur et de distillation, sans partenariat industriel ni calendrier de déploiement mentionnés : c'est à ce stade un travail de recherche validé en simulation et sur bras de laboratoire, pas un produit commercial. La suite logique serait la publication du code et de benchmarks détaillés face aux méthodes de référence.

IA physiqueActu
1 source
Imaginer la récupération : réalignement contrefactuel à l'inférence pour les modèles VLA
50arXiv cs.RO 

Imaginer la récupération : réalignement contrefactuel à l'inférence pour les modèles VLA

Une équipe de recherche publie sur arXiv (2608.14822, prépublication non revue par les pairs) un nouveau cadre baptisé CoRe, pour Counterfactual Realignment, destiné aux modèles vision-langage-action (VLA) utilisés en manipulation robotique. Le problème ciblé est la fragilité de ces modèles face aux perturbations en cours d'exécution : changement d'objectif de tâche, modification de la scène, ou déviation de l'état du robot. Contrairement aux méthodes existantes qui nécessitent des données d'échec, un réentraînement de la politique ou un agent correcteur externe, CoRe fonctionne à l'inférence, sans entraînement supplémentaire, sur un VLA figé (frozen). Son mécanisme : dès qu'une déviation est détectée, le système imagine, via des observations synthétisées plutôt que par exécution physique réelle, comment la politique aurait continué vers l'objectif depuis un état récent encore viable, puis réaligne minimalement le robot et la scène pour rejoindre cette trajectoire imaginée avant de rendre la main à la politique d'origine. Testé sur plusieurs simulateurs, plusieurs architectures VLA différentes et des configurations réelles, CoRe améliore le taux de réussite jusqu'à 85 points de pourcentage, ramenant les performances à un niveau proche du nominal, tout en réduisant de 42,2 % le nombre de restaurations physiques nécessaires, sans réglage fin de la politique ni entraînement spécifique à la récupération d'échec. L'enjeu pour l'industrie robotique dépasse la simple amélioration technique : il touche à l'écart persistant entre les démonstrations soignées de modèles VLA généralistes et leur robustesse réelle une fois déployés sur des tâches où les objectifs ou l'environnement changent en cours de route. Pour les intégrateurs, la promesse d'un correctif purement inférentiel, applicable à une politique déjà entraînée et gelée, sans pipeline de réentraînement ni collecte de données d'échec, réduit le coût opérationnel et le risque associé aux essais-erreurs physiques sur du matériel réel. La baisse de 42,2 % des restaurations physiques a un impact direct sur les temps de cycle et l'usure mécanique dans des contextes industriels comme la préparation de commandes ou l'assemblage. Ce résultat rappelle aussi que la généralisation des modèles VLA grand public, souvent mise en avant par des acteurs comme Pi-0, GR00T N2 ou Helix, reste un problème ouvert dès qu'il s'agit de gérer l'imprévu. CoRe s'inscrit dans la vague récente de modèles fondation vision-langage-action conçus pour la manipulation généraliste, dont la robustesse aux changements de contexte est régulièrement mise à l'épreuve derrière les démonstrations. Le cadre se positionne explicitement contre les approches concurrentes de récupération d'échec basées sur le réentraînement ou sur des agents correcteurs externes, en misant sur sa compatibilité avec plusieurs architectures VLA testées dans l'étude, ce qui suggère un usage potentiellement agnostique du fournisseur de modèle. L'abstract ne précise ni l'affiliation des auteurs ni de calendrier de déploiement industriel : il s'agit à ce stade d'une contribution de recherche en préimpression, pas d'un produit commercialisé ni d'un pilote annoncé.

IA physiqueActu
1 source