Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Sensibilisation bimanuelle avec 8 Go de mémoire : détection à copie nulle et ACT quantifié sur un Jetson d'entrée de gamme
RecherchearXiv cs.RO 

Sensibilisation bimanuelle avec 8 Go de mémoire : détection à copie nulle et ACT quantifié sur un Jetson d'entrée de gamme

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un système de manipulation bimanuelle SO-101 fonctionne intégralement sur un NVIDIA Jetson Orin Nano Super (8 Go), l'entrée de gamme de la ligne embarquée de Nvidia, une RTX 3070 de bureau ne servant qu'à l'entraînement hors ligne, sur une tâche de préhension-dépôt d'un sac à billes déformable. Un pipeline GStreamer à buffers NVMM supprime les copies redondantes des trois flux caméra ; contre l'hypothèse de départ, la mémoire n'était pas le facteur limitant, mais le zero-copy réduit l'utilisation crête d'un cœur CPU de 98,0% à 77,0% et la latence pire-cas de 117,31 ms à 101,52 ms. Sur les mêmes démonstrations, ACT (100 000 pas d'entraînement) atteint 19 succès sur 20 essais, contre 0 sur 10 pour Diffusion Policy (200 000 pas). Converti en TensorRT, ACT passe de 114,02 ms à 17,93 ms en FP16 (6,4x) puis 12,65 ms en INT8 (9,0x), sans perte de réussite (19/20, 18/20, 19/20).

Ces résultats déplacent le vrai goulot d'étranglement du déploiement embarqué : pas la mémoire, mais le calcul CPU et la latence pire-cas, un critère central pour les intégrateurs visant du matériel bas coût plutôt que des GPU de datacenter. L'écart net entre ACT et Diffusion Policy, à budget d'entraînement comparable, questionne la préférence actuelle du secteur pour les politiques de diffusion et pourrait orienter les équipes robotiques vers des architectures plus simples pour un déploiement rapide. La quantification INT8 sans perte de fiabilité démontre qu'une politique de type VLA peut tourner en temps réel sur du matériel d'entrée de gamme, un argument concret contre le scepticisme habituel sur l'écart entre démonstration en labo et usage réel.

Ce travail comble un manque documenté : les politiques bimanuelles sont presque toujours évaluées sur des postes de travail ou des GPU de datacenter, laissant le coût réel du portage embarqué largement inconnu, un angle mort face aux communications des fabricants de robots humanoïdes comme Figure ou Optimus, peu diserts sur leurs contraintes de calcul embarqué. Les auteurs documentent aussi deux résultats inédits sur ACT : la calibration INT8 générique de TensorRT quantifie le squelette ResNet18 mais n'accepte aucune des 145 couches du transformer, ce qui explique un gain de taille négligeable (0,9%) malgré 28% de latence en moins ; et le besoin de quantification dépend du chunking d'action, une politique restant utilisable en pleine précision à 100 pas d'action mais pas avec un ré-échantillonnage à chaque pas (temporal ensembling).

À lire aussi

CAAT : mise à l'échelle de l'attention sensible au contact et masquage tactile pour la manipulation riche en contacts, économe en données
1arXiv cs.RO 

CAAT : mise à l'échelle de l'attention sensible au contact et masquage tactile pour la manipulation riche en contacts, économe en données

Résumé des faits établis en trois paragraphes, sans traitement d'outil nécessaire ici. Une équipe de recherche présente CAAT (Contact-Aware Attention scaling and Tactile masking), un framework léger conçu pour améliorer les politiques d'apprentissage visuo-tactile dans la manipulation robotique impliquant des contacts physiques. Le principe repose sur deux mécanismes explicites : une pondération dynamique de l'attention qui privilégie les informations visuelles avant le contact et bascule vers les informations tactiles pendant le contact, ainsi qu'un masquage qui supprime les tokens tactiles statiques de fond en comparant l'observation courante à une référence sans contact. CAAT s'intègre directement aux politiques Transformer existantes sans modifier leur décodeur d'action. En simulation, son association avec ACT (Action Chunking Transformer) améliore le taux de réussite moyen de 18,0 points de pourcentage par rapport à une fusion visuo-tactile directe, et de 10,0 points par rapport à un gating appris classique. En conditions réelles, sur une plateforme UMI visuo-tactile, CAAT atteint un taux de réussite moyen de 60,0% combiné à trois architectures différentes, ACT, Diffusion Policy et $\pi0$ (Pi-0), dépassant la meilleure référence de 21,1 points en moyenne. Ce résultat s'attaque à un problème concret pour les intégrateurs et chercheurs en manipulation robotique: les politiques Transformer actuelles traitent le signal tactile de façon peu efficace, soit en le concaténant brutalement aux tokens visuels, soit via un gating appris qui manque de prior explicite sur la physique du contact. En injectant une connaissance a priori simple, mais structurante, sur le moment où le tactile devient pertinent, CAAT permet d'apprendre des représentations plus efficaces à partir de moins de démonstrations, un enjeu central pour la manipulation contact-riche (insertion, assemblage, préhension délicate) où les données d'entraînement réelles restent coûteuses à collecter. Le fait que le gain se maintienne à travers trois architectures de politique différentes, y compris un modèle VLA comme $\pi0$, suggère que le mécanisme est généralisable plutôt que spécifique à une architecture, ce qui renforce sa valeur pratique pour les équipes qui expérimentent déjà avec différents backbones de politique. Le travail s'inscrit dans la lignée des recherches sur la fusion multimodale pour la manipulation robotique, où l'intégration du tactile aux pipelines visuo-moteurs reste un chantier actif depuis l'essor des politiques basées sur l'imitation (ACT, Diffusion Policy) et plus récemment des modèles vision-langage-action comme $\pi_0$. Les auteurs positionnent CAAT comme une brique modulaire, "plug-and-play", plutôt qu'une nouvelle architecture de politique concurrente, ce qui facilite son adoption par des équipes déjà investies dans ACT ou Diffusion Policy. L'article, disponible sur arXiv (2608.01102v1) avec une page de projet dédiée, ne mentionne pas de déploiement industriel ni de partenariat commercial à ce stade: il s'agit d'un travail de recherche validé en simulation et sur un banc de test UMI en laboratoire, sans indication de calendrier vers une intégration produit.

RecherchePaper
1 source
UniMPA : un modèle unifié mémoire-prédiction-action via modélisation de transition ancrée dans l'action
2arXiv cs.RO 

UniMPA : un modèle unifié mémoire-prédiction-action via modélisation de transition ancrée dans l'action

Un preprint publié sur arXiv (référence 2609.11875, catégorie "new") présente UniMPA, un modèle unifiant mémoire, prédiction et action pour la manipulation robotique. Ses auteurs ciblent ce qu'ils appellent l'écart de réalisabilité des transitions dans les modèles Vision-Language-Action (VLA) actuels. Trois problèmes sont identifiés: une même observation visuelle peut correspondre à des phases de tâche différentes, une image future prédite peut sembler plausible sans être physiquement exécutable, et un geste déjà réussi par le passé peut échouer dans une nouvelle scène. UniMPA y répond par une prédiction du futur dite "persistante et sélective", où un flux latent suit la progression globale de la tâche pendant qu'un flux pixel isole les changements d'interaction critiques. Une "Visual-Action Memory Bank" vérifie ensuite la faisabilité physique de la transition anticipée en l'interrogeant contre un historique d'expériences visuelles et motrices réellement exécutées. Une seconde mémoire, l'"Action-Visual Memory Bank", couplée à un mécanisme baptisé Prototype-Biased Flow, réoriente enfin l'action vers des schémas moteurs déjà validés dans des situations similaires. Cette approche s'attaque à un point de friction connu des intégrateurs qui déploient des piles VLA génératives: qu'un modèle imagine une image future crédible ne garantit pas qu'un bras ou une pince réels puissent l'atteindre, un écart entre démonstration et fiabilité que la simple augmentation des données ou des paramètres ne résout pas. En ancrant systématiquement prédiction et action dans des transitions déjà exécutées, UniMPA illustre un déplacement dans la course robotique actuelle: au-delà de la taille des modèles, la robustesse dépend de plus en plus de la manière dont mémoire et perception sont couplées à la faisabilité physique du geste. Le travail s'inscrit dans la lignée des modèles VLA génératifs qui, depuis l'essor de politiques combinant langage, vision et action continue, cherchent à prédire puis exécuter des séquences de manipulation, un champ où laboratoires et startups robotiques publient régulièrement des architectures concurrentes fondées sur la diffusion ou l'autorégression. L'abstract ne fournit toutefois aucun chiffre de taux de réussite, aucun benchmark ni détail sur le matériel robotique utilisé: il s'agit à ce stade d'un simple preprint tout juste annoncé, sans évaluation par les pairs ni code public mentionné. Les prochaines étapes attendues sont la publication de résultats chiffrés comparés aux modèles VLA existants, pour vérifier si le gain revendiqué en robustesse se confirme réellement sur du matériel physique.

RechercheActu
1 source
BridgeVLA++ : un cadre vision-langage-action économe en données, généralisable et à mémoire augmentée pour la manipulation en 3D
3arXiv cs.RO 

BridgeVLA++ : un cadre vision-langage-action économe en données, généralisable et à mémoire augmentée pour la manipulation en 3D

BridgeVLA++, une évolution du framework vision-langage-action (VLA) BridgeVLA pour la manipulation robotique en 3D, fait l'objet d'un nouveau papier de recherche publié sur arXiv (référence 2608.05042v1). La méthode d'origine projette les nuages de points en images multi-vues et prédit des cartes de chaleur intermédiaires avant de générer les actions du robot, en préservant l'alignement entrée-sortie d'un modèle vision-langage pré-entraîné afin de limiter le besoin en données d'entraînement. BridgeVLA++ y ajoute une architecture de mémoire spatio-temporelle unifiée, combinant contexte spatial persistant et historique des interactions, permettant au système de raisonner sur des séquences d'observations. Le framework a été testé en manipulation bimanuelle et validé sur une plateforme robotique réelle supplémentaire, en plus des benchmarks de simulation. Ni les auteurs, ni le laboratoire ou l'entreprise à l'origine des travaux, ni de chiffres de performance précis ne figurent dans le résumé ; les détails quantitatifs sont renvoyés vers le site du projet, bridgevla-plus.github.io. Ce travail cible un point faible connu des modèles VLA en manipulation 3D : ils restent gourmands en données, généralisent mal face aux changements de distribution, et surtout n'ont aucune mémoire explicite des observations passées, un manque bloquant pour toute tâche multi-étapes comme éviter de re-saisir un objet déjà placé ou retrouver un objet temporairement occulté. Pour un intégrateur industriel évaluant une pile VLA sur des tâches séquentielles, suivre un état dans le temps sans reconstruire l'intégralité des données d'entraînement est un prérequis pratique plus qu'un raffinement académique. BridgeVLA++ ne démontre pas de déploiement en production, mais suggère qu'une mémoire structurée reste compatible avec l'efficacité en données déjà obtenue par les architectures VLA bâties sur des VLM pré-entraînés, un compromis rarement tenu dans la littérature récente. Le framework prolonge directement les travaux antérieurs sur BridgeVLA, en conservant son passage par des cartes de chaleur intermédiaires plutôt qu'une régression directe d'actions. Il s'inscrit dans un paysage VLA de plus en plus dense, aux côtés de familles comme Pi-0 de Physical Intelligence, GR00T de Nvidia ou Helix de Figure, qui visent chacune à leur manière une politique généraliste robuste aux changements de contexte. Le résumé ne mentionne aucun calendrier de commercialisation ni de partenariat industriel : il s'agit à ce stade d'un travail de recherche, code et résultats détaillés étant promis sur le site dédié du projet. Reste à voir si les benchmarks memory-dépendent utilisés pour la validation seront repris par d'autres équipes pour vérifier objectivement les gains de généralisation annoncés.

RechercheActu
1 source
Méthode reproductible de sensibilisation à la robotique par interaction LLM : résultats d'un défi d'entreprise
4arXiv cs.RO 

Méthode reproductible de sensibilisation à la robotique par interaction LLM : résultats d'un défi d'entreprise

Une équipe de chercheurs a conçu et testé une méthode de sensibilisation à la robotique en milieu industriel réel, en déployant un robot humanoïde contrôlé par un grand modèle de langage (LLM) lors d'un événement interne organisé par AD Ports Group aux Émirats arabes unis. Les employés du groupe portuaire, sans formation préalable en robotique, ont interagi avec le robot via des commandes vocales dans un environnement d'exercice inspiré de la logistique, structuré en équipes avec des rôles attribués. Au terme de l'activité, un questionnaire resté ouvert 16 jours a recueilli 102 réponses. La satisfaction globale atteint 8,46/10, l'intérêt déclaré pour la robotique et l'IA 4,47/5, et la compréhension des nouvelles formes de collaboration homme-robot 4,45/5. Les participants ayant interagi directement avec le robot ont évalué la naturalité de l'échange à 4,37/5 et la progression de la facilité d'interaction à 4,74/5. Les scores concernant la fiabilité et la prédictibilité du robot restent en revanche sensiblement plus bas, ce que les auteurs identifient comme un défi technique à adresser. Ce travail fournit l'une des rares mesures quantitatives issues d'un déploiement en organisation réelle, hors contexte laboratoire, sur l'efficacité des LLM comme interface d'entrée en robotique pour des non-spécialistes. Pour les décideurs industriels et les intégrateurs, il valide un format concret d'onboarding technique : une activité compétitive courte peut suffire à modifier la perception et l'appétence pour la robotique collaborative. La méthode est présentée comme réplicable, ce qui est significatif pour des groupes industriels cherchant à préparer leurs effectifs à des déploiements d'IA incarnée sans passer par une formation longue. L'exploration des LLM comme couche de contrôle en langage naturel pour les robots s'intensifie depuis 2023, portée notamment par des architectures comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI), mais les preuves d'usage en conditions industrielles non contrôlées restent rares. AD Ports Group, opérateur de ports et de zones logistiques parmi les plus importants du Moyen-Orient, constitue un terrain d'expérimentation pertinent. L'étude ne précise pas le modèle de robot humanoïde utilisé ni l'architecture LLM sous-jacente, une limite notable pour qui voudrait reproduire l'approche. Les prochaines étapes annoncées portent sur l'amélioration de la fiabilité perçue et la réplication de la méthode dans d'autres contextes opérationnels industriels.

UELa méthodologie réplicable d'onboarding robotique par interaction LLM peut être directement adoptée par des groupes industriels français et européens pour préparer leurs effectifs aux déploiements de robots collaboratifs sans formation longue.

RecherchePaper
1 source