RecherchearXiv cs.RO 27 octobre 2026

Prédiction de trajectoire humaine en temps réel à partir d'images RGB-D pour robots mobiles avec Bi-Mamba

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent TrajMamba, un modèle léger de prédiction de trajectoire humaine à court terme à partir d'une caméra RGB-D, publié sur arXiv (2610.33916). Il encode une courte fenêtre de vitesses du centre de la hanche d'une personne avec des blocs Mamba bidirectionnels empilés (une architecture de modèle d'état séquentiel, alternative aux RNN et aux transformers). Une tête GRU décode ensuite les vitesses futures. Sur le benchmark ETH/UCY, le modèle atteint une erreur de déplacement moyenne (ADE) de 0,29 m et une erreur de déplacement final (FDE) de 0,51 m. Avec 262 000 paramètres seulement, il tourne en temps réel sur du matériel modeste. Il est déployé sur un robot TIAGo équipé d'un NVIDIA Jetson Orin embarqué. Les auteurs ne donnent pas, dans ce résumé, de latence détaillée ni de durée d'essais sur robot.

Ce travail vise un point faible récurrent de la navigation robotique en milieu peuplé : l'écart entre entraînement et déploiement. Les prédicteurs sont généralement entraînés sur une vérité terrain idéalisée et lissée, puis alimentés en production par des estimations bruitées issues de détecteurs de pose et de capteurs de profondeur. Le modèle est donc évalué sur une distribution d'entrées qu'il n'a jamais vue. TrajMamba répond à ce problème par un chemin de traitement unique et partagé entre entraînement et inférence, qui aligne extraction de pose, rétroprojection de la profondeur et lissage. Pour les intégrateurs de robots mobiles (AMR, robots de service, logistique en zones partagées), l'enjeu est de disposer d'un prédicteur assez frugal pour tourner sur un module embarqué, sans dépendre d'un GPU lourd. Il faut toutefois rester prudent : ETH/UCY est un benchmark de piétons filmés en vue du dessus, éloigné d'une caméra RGB-D embarquée, et un déploiement sur un seul robot de recherche ne prouve pas la robustesse en environnement industriel ou hospitalier.

Les modèles d'état comme Mamba gagnent du terrain face aux transformers, car leur coût de calcul croît de façon linéaire avec la longueur de séquence. Ils sont explorés dans de nombreux domaines, dont la robotique. Le TIAGo, plateforme manipulatrice mobile de PAL Robotics (Barcelone), est très répandu dans les laboratoires européens. Il constitue un banc d'essai crédible pour ce type de travaux. La suite logique serait d'évaluer le modèle sur des scènes denses, avec occultations, dans l'intégration avec un planificateur de mouvement, et de le comparer à des baselines déjà utilisées en production. Tant que ces validations manquent, TrajMamba reste un résultat de recherche prometteur, et non une brique prête à être embarquée en série.

Impact France/UE

Le modèle est testé sur un robot TIAGo de PAL Robotics (Barcelone), plateforme répandue dans les laboratoires européens, mais il s'agit d'un résultat de recherche sans validation industrielle.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

IndoorBEV : un système léger de perception BEV par LiDAR en temps réel pour robots mobiles d'intérieur

Des chercheurs publient sur arXiv (2610.00355) IndoorBEV, un système de perception LiDAR conçu pour les robots mobiles d'intérieur. Le modèle ne compte que 0,6 million de paramètres et occupe 2,3 Mo de stockage. Sur un NVIDIA AGX Orin, il consomme 21,52 Mo de mémoire GPU par inférence et affiche une latence moyenne de 169,6 ms, pour une échéance de perception fixée à 200 ms. Le taux de dépassement de cette échéance est de 1,8 %. Le système produit simultanément des cartes sémantiques en vue de dessus (BEV, bird's-eye view) et des boîtes englobantes orientées pour les objets. Il repose sur une représentation BEV « consciente de la hauteur » : pour chaque cellule, la distribution verticale des points est résumée par des statistiques de hauteur et un encodage multi-fréquence, ce qui permet à de simples convolutions 2D de traiter une information 3D. Un encodeur léger fusionne ces indices géométriques avec des représentations locales multi-échelles et un contexte global compact, puis des têtes de prédiction découplées génèrent les sorties. L'évaluation couvre des scènes simulées, des scans réels de robots et un jeu de données ouvert de nuages de points d'intérieur. L'enjeu est très concret pour les intégrateurs et les équipes qui embarquent de la perception sur des plateformes à budget calcul limité. Les méthodes à base de points ou de voxels restent coûteuses, tandis que les BEV classiques, issus surtout de la conduite autonome, sacrifient la géométrie verticale, un handicap dans des intérieurs encombrés où tables, étagères, suspensions et objets en surplomb comptent. Avec un modèle de 2,3 Mo, IndoorBEV laisse l'essentiel du GPU disponible pour la navigation, la planification ou d'autres réseaux sur la même machine. Les auteurs affirment ainsi qu'encoder explicitement la hauteur dans une représentation 2D compacte est une voie viable. Quelques réserves s'imposent : il s'agit d'une préimpression non relue par les pairs, une latence moyenne de 169,6 ms sous une échéance de 200 ms laisse une marge mince, soit environ 6 images par seconde, ce qui est modeste pour un robot rapide, et le résumé ne donne aucun chiffre de précision, ni comparaison chiffrée avec des modèles concurrents. L'affirmation d'un « compromis favorable » reste donc à vérifier dans l'article complet. Ce travail s'inscrit dans la série des architectures BEV, popularisées par la conduite autonome (PointPillars, BEVFusion) et désormais adaptées aux contraintes de l'embarqué. Le choix de l'AGX Orin, plateforme de référence pour la robotique mobile, rend les résultats comparables à ce que les intégrateurs déploient réellement. Les concurrents sont les réseaux voxel creux et les approches point à point, plus précis mais plus lourds, ainsi que les modèles de fondation de perception 3D, qui visent la généralité plutôt que la frugalité. Aucune annonce de déploiement industriel, de code ou de pilote n'accompagne la publication à ce stade. La suite logique consisterait à publier des benchmarks comparatifs, à tester le système sur des robots en conditions réelles de logistique ou de service, et à vérifier sa tenue face à des environnements dynamiques et à des capteurs LiDAR de résolutions différentes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

ART-TEB : planification adaptative de trajectoire pour robots mobiles en environnements encombrés

Des chercheurs proposent ART-TEB, un algorithme de raffinement adaptatif de trajectoires pour robots mobiles évoluant dans des environnements encombrés, décrit dans la version 2 d'un preprint arXiv (2510.26142). Il s'agit d'une publication académique, validée en simulation et lors d'essais en conditions réelles, mais pas d'un produit commercial ni d'un déploiement industriel. La méthode se déroule en deux étapes. D'abord, un test de collision conservateur, appliqué segment par segment, subdivise récursivement les portions de chemin jugées risquées jusqu'à ce que le risque de collision disparaisse. Ensuite, une correction de chaque pose, fondée sur la direction de séparation par rapport à l'obstacle et sur une recherche linéaire, garantit que chaque pose de la trajectoire est sans collision et aussi dégagée que possible des obstacles. Les auteurs annoncent jusqu'à 3,12 fois plus de réussites et des temps de planification moyens jusqu'à 23,7 fois plus courts que les approches de l'état de l'art. Des essais sur robot réel confirment le passage dans des environnements très contraints, avec une planification rapide. Le sujet est moins spectaculaire que les humanoïdes, mais il touche un point faible bien connu de la robotique mobile en entrepôt, en usine ou en hôpital : les couloirs étroits, les allées encombrées et les zones de manœuvre serrées où les planificateurs locaux échouent ou produisent des trajectoires peu efficaces. Pour les intégrateurs d'AMR, un échec de planification se traduit directement par des arrêts, des interventions humaines et une perte de débit. Un gain de temps de calcul important compte aussi pour les plateformes embarquées à ressources limitées, où le budget de calcul est partagé avec la perception et la localisation. Le nom de l'algorithme indique une filiation avec TEB (Timed Elastic Band), planificateur très répandu dans l'écosystème ROS. Il s'agit donc d'une amélioration potentiellement adoptable, plutôt que d'un changement complet d'architecture. Ces chiffres demandent toutefois de la prudence. Les multiplicateurs « jusqu'à » sont des maxima, et le résumé ne précise ni les méthodes de référence, ni les scénarios, ni la distribution des résultats. Le nombre d'essais réels et les robots utilisés ne sont pas non plus indiqués. Le contexte est celui d'une planification locale qui reste un verrou pratique malgré des décennies de travaux : TEB, les approches par fenêtre dynamique ou les méthodes d'optimisation sous contraintes montrent régulièrement leurs limites dans les espaces confinés. La suite dépendra de la publication du code et de tests indépendants sur des flottes réelles. Le marché de la navigation autonome, des AMR aux robots de service, reste très concurrentiel, et ce type de brique logicielle gagne en valeur lorsqu'elle s'intègre dans des piles existantes.

RecherchePaper

1 source

3arXiv cs.RO

FACT : un modèle fondation multimodal force-action-trajectoire pour la dextérité du robot à partir de l'humain

FACT (Force-Action-Track), un modèle de fondation robotique décrit dans un preprint arXiv (2610.19155), vise un des angles morts de la manipulation dextre: l'absence de mesures de force dans la plupart des jeux de données de démonstrations humaines. Les auteurs introduisent EgoForce, un jeu de données tactile humain à grande échelle qui capture des gestes riches en interaction, combiné à des démonstrations robot pour le pré-entraînement. L'architecture est en cascade et repose sur deux composants entraînés conjointement. Un planificateur grossier guidé par les tracks prédit simultanément les actions, la vidéo future et des trajectoires visuelles de points (tracks). Un raffineur force-action prédit ensuite la force future et corrige l'action grossière, de sorte que force anticipée et action se façonnent mutuellement. L'évaluation porte sur dix tâches exigeant coordination fine et retour d'effort, dont l'usage d'outils, les instruments de musique et des procédures de laboratoire de précision. Avec seulement 10 trajectoires robot et 90 trajectoires humaines pour le fine-tuning, FACT dépasse les deux références testées, avec des gains de taux de réussite allant jusqu'à 60 points face à T-Rex. L'intérêt tient à la question de l'échelle. Collecter des données robot par téléopération reste coûteux et lent, alors que les démonstrations humaines sont bien moins chères, mais elles manquaient jusqu'ici de la dimension force, pourtant décisive pour visser, presser, pipeter ou jouer d'un instrument. Les ablations indiquent que la supervision de force dans les données humaines de pré-entraînement est déterminante pour la performance robot après fine-tuning, tandis que la prédiction de tracks visuels et de force future améliore l'exécution dextre. Les expériences faisant varier le ratio humain/robot suggèrent que FACT apprend des démonstrations humaines presque aussi efficacement que de démonstrations robot. Si cela se confirme, c'est un argument en faveur de pipelines où l'essentiel des données vient d'opérateurs équipés de capteurs plutôt que de flottes de robots. Les réserves sont classiques: il s'agit d'un résultat de laboratoire sur dix tâches, avec peu de détails dans le résumé sur le matériel, le nombre d'essais ou la solidité des deux références, et le chiffre de 60 points est un maximum, non une moyenne. Ce travail s'inscrit dans la course aux modèles vision-langage-action (VLA) et aux approches de co-entraînement humain-robot, où des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) misent surtout sur la vision et la proprioception, la force restant le plus souvent absente. Le transfert entre morphologies via la vidéo future et les tracks relève d'une piste déjà explorée, que FACT complète par une couche tactile. Reste à voir si EgoForce sera publié et si les résultats se reproduiront hors du laboratoire d'origine, sur d'autres mains robotiques et en environnement industriel. Aucun déploiement ni calendrier commercial n'est annoncé: il s'agit d'une contribution de recherche.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

TacPAC : prédiction tactile, correction d'action en temps réel, modèles monde-action pour manipulation à contacts riches

Des chercheurs du Logos Robotics Group ont publié le 7 septembre 2026 sur arXiv (2609.05266) TacPAC, un mécanisme de correction tactile en temps réel pour les modèles monde-action de manipulation robotique. Alors que ces modèles planifient habituellement leurs actions à partir de prédictions purement visuelles des observations futures, TacPAC met en cache le contact prédit lors de la planification, ainsi que la représentation du plan lui-même, puis compare chaque image tactile réellement perçue à ce cache pour corriger, en cours d'exécution, les actions pas encore jouées. Sur cinq tâches réalisées avec un robot réel, insertion de précision, manipulation d'objets fragiles, réorientation d'objets et manipulation à long horizon, le taux de réussite moyen passe de 22% pour le modèle de référence purement visuel à 64% avec TacPAC, pour un coût de correction 20,7 fois inférieur à celui d'une régénération complète du segment d'actions. Le code est publié sur GitHub sous LogosRoboticsGroup/TacPAC. Ce résultat cible une faiblesse connue des modèles vision-langage-action et monde-action: leur cécité aux repères de contact locaux, pourtant déterminants dans les tâches riches en contact comme l'assemblage de précision ou la manipulation d'objets fragiles. Les auteurs montrent surtout qu'ajouter la prédiction tactile comme simple vue supplémentaire ne récupère qu'un tiers du gain possible, à cause d'un décalage temporel entre la prédiction, qui précède l'action, et le retour tactile, qui arrive pendant son exécution. Pour les intégrateurs industriels, la leçon dépasse le simple ajout d'un capteur tactile: sans boucle de correction dédiée exploitant ce que le plan avait anticipé, le tactile apporte peu de gain réel, un point qui tempère l'enthousiasme actuel autour des modèles génératifs multimodaux appliqués à la manipulation fine. Le travail prolonge la lignée des modèles monde-action qui conditionnent la génération d'actions sur des observations futures prédites, une approche jusqu'ici centrée sur la vision et illustrée par des systèmes comme Pi-0, GR00T N2 ou Helix. TacPAC reste un article de recherche déposé sur arXiv, pas un produit commercial ni un déploiement industriel: ses résultats portent sur cinq tâches en laboratoire avec un seul robot, sans précision sur le nombre d'essais ni sur une généralisation à d'autres plateformes ou bras robotiques. Le code source ouvert laisse toutefois la porte à une reprise par d'autres équipes de recherche en manipulation robotique. Aucun acteur français ou européen n'apparaît dans cette publication.

RechercheActu

1 source