Aller au contenu principal

Actualités robotique — page 5

7 308 articles au fil, du plus récent au plus ancien.

Un filtre à fenêtre glissante pour l'estimation d'état en ligne et en temps continu des robots continus
201arXiv cs.RO 

Un filtre à fenêtre glissante pour l'estimation d'état en ligne et en temps continu des robots continus

Des chercheurs proposent un filtre à fenêtre glissante (sliding-window filter, SWF) pour l'estimation d'état en temps continu des robots continuum (CR), ces structures flexibles de type trompe ou cathéter dont la forme se déforme de manière continue plutôt que par articulations discrètes. Le travail, publié sur arXiv (2510.26623, version 2), vise à résoudre un compromis ancien entre précision et coût de calcul. Les auteurs présentent leur méthode comme le premier SWF stochastique conçu spécifiquement pour les CR. Il tourne plus vite que le temps réel, améliore la précision par rapport à une approche de filtrage classique et permet à l'estimation en temps continu de fonctionner en ligne. Le résumé ne donne ni chiffres d'erreur, ni temps de calcul, ni plateforme expérimentale précise. Le verrou levé est triple. Les filtres stochastiques actuels doivent s'exécuter à la cadence des mesures, ce qui limite leur potentiel. Les formulations à fenêtre glissante déjà explorées pour les CR reposent sur des approximations simplifiées en temps discret et ne fournissent pas de représentation stochastique, donc pas d'incertitude associée à l'état estimé. Enfin, les techniques d'estimation en temps continu, plus rigoureuses sur le plan mathématique, restaient jusqu'ici cantonnées au traitement hors ligne. En combinant ces trois propriétés, la méthode rend utilisable en boucle fermée une estimation de forme et de pose avec incertitude, ce qui compte pour la chirurgie mini-invasive, l'inspection en espace confiné ou la manipulation souple, où les capteurs sont bruités et où la dynamique est difficile à modéliser. Il faut cependant relativiser: sans comparaison chiffrée détaillée dans le résumé, l'ampleur du gain de précision reste à vérifier dans l'article complet, et rien n'indique à ce stade de validation sur un robot déployé hors laboratoire. Ce travail s'inscrit dans la recherche académique sur la modélisation des robots continuum, où les filtres de Kalman étendus et leurs variantes dominent depuis longtemps, souvent au prix d'un compromis entre fidélité du modèle et latence. Les approches en temps continu, souvent fondées sur des processus gaussiens ou des représentations de trajectoire sur groupes de Lie, ont montré leur rigueur mais pas leur applicabilité temps réel, d'où l'intérêt de cette fenêtre glissante. Le texte ne nomme aucun concurrent industriel ni produit commercial, et il s'agit d'une contribution méthodologique et non d'un produit livré. Les suites logiques sont une validation expérimentale sur des CR physiques, des comparaisons avec les filtres existants et une intégration dans des chaînes de commande, notamment médicales. Les auteurs parlent eux-mêmes d'une «direction prometteuse pour de futures recherches», ce qui confirme un stade encore amont.

RecherchePaper
1 source
Skill-SLM : des petits modèles de langage pilotés par des compétences d'agent pour une opération robotique fiable
202arXiv cs.RO 

Skill-SLM : des petits modèles de langage pilotés par des compétences d'agent pour une opération robotique fiable

Des chercheurs proposent Skill-SLM, un cadre qui confie à de petits modèles de langage (SLM) embarqués sur le robot la tâche de décomposer une instruction en langage naturel en sous-tâches, de choisir les compétences adaptées dans une bibliothèque, puis de les orchestrer en opérations exécutables. Le travail, publié sur arXiv (2610.10812v1), repose sur trois briques. Une grammaire non contextuelle (CFG) tenant compte des compétences opérationnelles du robot sert à extraire celles qui sont nécessaires et à construire la bibliothèque. Des LLM « enseignants » induisent et synthétisent ensuite les jeux de données d'entraînement des SLM. Enfin, une stratégie d'orchestration progressive vise à fiabiliser l'exécution de chaque compétence et l'opération dans son ensemble. Les tests portent sur des tâches de drones (UAV), puis sur des véhicules terrestres. Le résumé ne donne ni taille de modèle, ni nombre de tâches, ni taux de réussite chiffrés. L'enjeu est de s'attaquer à un point faible des approches actuelles de SLM embarqués, surtout fondées sur la distillation. Elles supposent d'énumérer des paires tâche-solution représentatives, ce qui rend la construction des jeux de données coûteuse et généralise mal, car le nombre de formes de tâches possibles croît très vite. Raisonner en compétences réutilisables plutôt qu'en exemples de tâches complètes déplace le problème vers la composition. Selon les auteurs, cela améliore nettement les résultats face aux références par distillation, surtout sur des tâches inédites. Pour un intégrateur, l'intérêt est de pouvoir faire tourner un modèle léger directement sur la machine, sans dépendre d'un LLM distant, avec un comportement plus prévisible. Il faut toutefois rester prudent. Il s'agit d'une préimpression sans relecture par les pairs. Les gains annoncés sont relatifs à des baselines choisies par les auteurs, et l'essai sur véhicule terrestre sert surtout à illustrer la portabilité, non à prouver un passage à l'échelle. Rien n'indique de test sur robot réel en conditions industrielles, ni de mesure de latence ou de consommation sur matériel embarqué. Cette approche s'inscrit dans le mouvement qui rapproche les modèles de langage de la robotique, avec des planificateurs à base de compétences (dans la lignée de SayCan) et la génération de code par LLM. Elle se démarque des modèles vision-langage-action de bout en bout, qui apprennent directement des actions à partir de démonstrations. Ici, la couche de compétences reste explicite et vérifiable, ce qui peut faciliter l'audit. La limite probable est que la qualité du système dépend de la couverture de la bibliothèque et de la grammaire, et donc d'une ingénierie initiale propre à chaque plateforme. Les prochaines étapes naturelles seraient des validations sur matériel réel, des comparaisons directes avec des politiques VLA et des mesures sur calculateurs embarqués. Le code et les jeux de données ne sont pas mentionnés dans le résumé.

RecherchePaper
1 source
Actionneur pneumatique reconfigurable en tissu, avec modules de contrainte fixés par boutons pour un fonctionnement multimode
203arXiv cs.RO 

Actionneur pneumatique reconfigurable en tissu, avec modules de contrainte fixés par boutons pour un fonctionnement multimode

Des chercheurs décrivent, dans un preprint arXiv (2610.11054v1), un actionneur pneumatique textile reconfigurable qui change de mode de mouvement sans être démonté ni refabriqué. Le dispositif repose sur un manchon textile à boutons, sur lequel on fixe des modules en tissu peu extensible. En repositionnant ces pièces de contrainte sur un seul corps d'actionneur, le système réalise quatre modes: expansion isotrope, contraction, flexion et torsion. Le changement se fait sans outil, rapidement, et les modules sont réutilisables. À 24 kPa, les auteurs mesurent un rapport d'élongation de 1,2, un angle de flexion maximal d'environ 60 degrés et une torsion d'environ 90 degrés, avec des forces de blocage supérieures à 10 N dans tous les modes. Un module de capteur tactile capacitif en tissu, qui se fixe n'importe où sur la surface, complète l'ensemble. Sa capacité augmente de façon monotone avec la force appliquée, avec une hystérésie d'environ 12 % et des réponses cycliques stables sous précharge. Les chercheurs ont aussi assemblé des bras robotiques souples à partir de plusieurs actionneurs et ont reconfiguré en cours d'utilisation le mouvement de saisie en changeant les motifs de contrainte. L'intérêt est d'abord conceptuel. Dans la robotique souple, le mode d'actionnement est généralement figé à la conception, par la géométrie des chambres internes ou par des renforts. Toute évolution du besoin impose donc de refaire ou de démonter l'actionneur. Ici, la fonction passe du matériel interne à des accessoires externes interchangeables. Pour un intégrateur, cela ouvre la voie à des préhenseurs ou à des bras souples adaptables d'une tâche à l'autre avec un seul type d'actionneur, ce qui simplifie le stock et la maintenance. Il faut toutefois rester prudent. Les forces de blocage d'environ 10 N et la pression de 24 kPa placent clairement ce travail du côté de la manipulation d'objets légers, pas de la charge industrielle. Le résumé ne donne ni durée de vie en cycles de reconfiguration, ni vitesse de commutation chiffrée, ni comparaison directe avec des actionneurs à mode fixe. Une hystérésie de 12 % pour le capteur reste acceptable pour du contact qualitatif, mais moins pour de la mesure de force précise. Il s'agit d'une démonstration de laboratoire, sans pilote ni produit annoncé. Ces travaux s'inscrivent dans la lignée des actionneurs pneumatiques textiles, des muscles de type McKibben et des robots souples portables ou d'assistance, où la légèreté et la sécurité au contact comptent plus que la puissance. Les approches concurrentes de reconfiguration passent par des chambres multiples commandées séparément, des structures à rigidité variable ou des actionneurs modulaires assemblés par blocs, souvent plus complexes à piloter ou à fabriquer. La suite logique serait d'automatiser le choix des motifs de contrainte, d'intégrer le capteur à une boucle de commande et d'évaluer la tenue en usage répété, en particulier pour des applications de préhension adaptative ou de dispositifs portables.

RecherchePaper
1 source
Résidus de pose à référence fixe pour mesurer le transfert d'indices entre jeux de données dans l'anticipation de l'interaction homme-robot
204arXiv cs.RO 

Résidus de pose à référence fixe pour mesurer le transfert d'indices entre jeux de données dans l'anticipation de l'interaction homme-robot

Des chercheurs proposent un modèle baptisé FRPR (fixed-référence pose residual) pour mesurer quels indices permettent à un robot social ou de service, évoluant dans un espace public, d'anticiper qu'une personne proche va s'approcher et le toucher. Le principe : un prédicteur géométrique, construit à partir de la boîte englobante et du masque de la personne, est entraîné puis gelé. Un réseau temporel apprend ensuite, à partir de la pose corporelle, une correction additive du logit, de sorte que chaque prédiction se décompose exactement en un terme géométrique et un terme de pose. L'évaluation porte sur deux jeux de données égocentriques publics enregistrés par des robots différents, HUI360 et SSUP-A, tous les choix étant faits sur les données source. De SSUP-A vers HUI360, la correction de pose fait passer la précision moyenne (AP) de 0,277 à 0,321. Dans le sens inverse, le gain n'est pas mesurable. L'asymétrie persiste face à une référence géométrique plus solide, sélectionnée sur la source. Le code et les données traitées sont publiés sur GitHub (WeiZhou96/FRPR-interaction-anticipation). Le point à retenir pour les intégrateurs et les décideurs tient surtout aux limites que les auteurs reconnaissent eux-mêmes. Geler la référence géométrique n'apporte aucun avantage d'AP par rapport à un entraînement conjoint, et de simples bases géométriques ou des ensembles d'arbres restent compétitifs, voire meilleurs. La construction sert donc à mesurer, pas à prédire plus précisément. Surtout, avec des seuils fixés sur la source, les modèles neuronaux exploitant la géométrie ne détectent au mieux que 17 % des interactions cibles. Un modèle d'anticipation entraîné sur un robot et déployé sur un autre, dans un autre site, reste donc loin d'être exploitable en l'état. Cela rappelle que le transfert entre plateformes demeure un problème ouvert pour la robotique sociale, bien plus que ne le laissent croire les résultats obtenus sur un seul jeu de données. Sur le plan des indices, les résultats sont instructifs mais restent à confirmer. Un résidu d'orientation de la tête apporte de petits gains dans les deux sens. Dans une analyse a posteriori, le fait qu'une personne fasse face à la caméra conserve la même direction discriminante d'un jeu de données à l'autre, alors que l'inclinaison de la tête (pitch) s'inverse. Ce dernier point suggère que certains signaux de pose dépendent de la hauteur de la caméra ou du comportement du public sur chaque site, et ne se généralisent pas. Ces conclusions viennent d'une étude académique sur deux jeux de données seulement, sans produit ni déploiement commercial associé. Elles servent surtout aux équipes qui conçoivent des robots d'accueil ou de service : le contact visuel et l'orientation du corps semblent plus fiables que des indices fins de posture, et toute validation devrait se faire sur le site cible plutôt que par transfert direct.

RecherchePaper
1 source
PIER : une interface d'exécution conditionnée par des preuves pour la manipulation robotique
205arXiv cs.RO 

PIER : une interface d'exécution conditionnée par des preuves pour la manipulation robotique

Une équipe de chercheurs publie sur arXiv (2610.12123) PIER, une interface d'autorisation d'exécution pour la manipulation robotique. Son principe : un module déterministe décide si les observations disponibles justifient d'exécuter une action, indépendamment du contrôle matériel. Le point de départ est un constat exploratoire. Des sorties visuelles affichaient une forte confiance alors que la scène était fortement occultée. PIER sépare donc trois fonctions du pilotage moteur : la vérification des preuves, la traçabilité de la décision et la ré-observation limitée à une étape. Le « gâté » évalue les entrées visuelles et tactiles déclarées. L'appelant garde un budget d'une seule ré-observation par étape. L'évaluation repose sur 1 600 cas de grille de seuils et 1 200 traces synthétiques appariées, qui couvrent le bruit de score, l'absence d'entrées tactiles, les observations périmées et les scores faussement rassurants. La grille ne produit aucune violation des invariants déclarés. Avec du bruit de score, la ré-observation fait passer les refus à tort d'états valides de 57/120 à 18/120, mais elle fait aussi monter les autorisations à tort d'états invalides de 5/120 à 7/120. L'intérêt tient moins aux chiffres qu'à la question posée. Les politiques VLA (vision-langage-action) produisent toujours une action plausible, et rien ne garantit que les observations du moment la justifient. Pour un intégrateur ou un responsable de ligne, une couche d'autorisation inspectable, qui journalise pourquoi une action a été autorisée, refusée ou renvoyée vers une nouvelle observation, répond à un besoin d'audit. Les auteurs sont explicites sur les limites. Un référentiel booléen équivalent reproduit toutes les décisions hors récupération, donc PIER ne prouve aucune supériorité sur de simples règles. Les entrées périmées et les scores faussement rassurants échappent à un contrôle par seuils. Le gain de la ré-observation a un coût : plus de proceeds en état invalide. Les enregistrements visuels, tactiles et de montage robot ne sont qu'illustratifs et n'établissent aucune performance physique sur une tâche. Il n'y a ni précision tactile calibrée ni certification de sécurité. Les résultats portent uniquement sur des traces synthétiques, sans déploiement ni produit livré. Ce travail s'inscrit dans le mouvement qui cherche à encadrer les modèles de manipulation appris par des garde-fous vérifiables, alors que les VLA gagnent du terrain et que les décideurs demandent des preuves de fiabilité hors démonstration. Il se place en complément de l'apprentissage de bout en bout, comme couche de contrôle en aval. Aucun partenaire industriel, calendrier de pilote ou validation sur matériel n'est annoncé. La suite logique serait de tester l'interface sur des tâches physiques avec des capteurs tactiles calibrés, et de traiter le contrat d'entrée, notamment la fraîcheur des observations et la fiabilité des scores, que les seuils seuls ne résolvent pas.

RecherchePaper
1 source
De solo à l'ensemble : un cadre hiérarchique pour l'interaction composable entre humains et objets avec plusieurs agents
206arXiv cs.RO 

De solo à l'ensemble : un cadre hiérarchique pour l'interaction composable entre humains et objets avec plusieurs agents

Des chercheurs proposent, dans un preprint arXiv (2610.11722v1), un cadre hiérarchique qui transforme une politique d'interaction humain-objet (HOI) mono-agent en une compétence réutilisable, baptisée Object-oriented Motion Skill. La méthode réinterprète les trajectoires exécutées par des politiques « enseignantes » spécialisées : elle en extrait des mouvements de proxy d'objet à courte portée, qui servent de supervision d'actions centrées sur l'objet. Ces enseignants sont ensuite distillés dans une compétence bas niveau qui opère dans un « espace d'action orienté objet ». Pour les tâches en aval, cette compétence est figée et sert d'exécuteur. Une politique haut niveau coordonne les agents en générant des actions par région de l'objet. Elle se conditionne sur l'objet partagé, l'objectif, les états des agents et les zones de manipulation locales. Le résumé ne donne aucun chiffre de performance, aucun taux de succès et aucun nom de benchmark. L'enjeu est de séparer deux problèmes que les approches actuelles mélangent. Aujourd'hui, on adapte généralement les politiques HOI aux tâches coopératives par un fine-tuning propre à chaque tâche. Cela lie l'exécution fine des contacts à la coordination de haut niveau, et cela freine la réutilisation d'une géométrie d'objet, d'un type d'interaction ou d'une taille d'équipe à l'autre. Ici, l'apprentissage multi-agent ne passe plus par un contrôle du corps entier riche en contacts. Il porte sur la coordination de mouvements de proxy au niveau de l'objet, un espace d'action bien plus compact. Si cela tient à l'échelle, le coût d'entraînement d'un travail d'équipe devrait baisser, et les compétences pourraient se composer sans repartir de zéro. Les auteurs affirment que la compétence distillée permet une exécution robuste et un apprentissage composable selon les types d'interaction, les géométries et les tailles d'équipe. Cette affirmation repose uniquement sur le résumé, sans résultat chiffré visible. Il s'agit d'un travail de simulation sur personnages à base physique. Rien n'indique de transfert vers des robots réels, donc le fossé sim-to-real reste entier. Ce travail s'inscrit dans la lignée de l'animation et du contrôle physique de personnages, où les politiques mono-agent de manipulation d'objets sont désormais assez robustes. Le passage au multi-agent coopératif, comme porter ou déplacer ensemble un objet volumineux, reste le point dur. Ce type de coordination intéresse aussi la robotique humanoïde, notamment pour la manutention à plusieurs et les flottes de robots collaboratifs. Le résumé ne cite ni laboratoire, ni code, ni plan de publication, et ne compare pas son approche à des méthodes concurrentes. La suite logique serait la publication des résultats détaillés, des comparaisons avec les approches par fine-tuning, puis une validation sur du matériel réel, ce que l'article n'annonce pas.

RecherchePaper
1 source
Localisation relative distribuée par ultra-large bande et LiDAR pour des multi-robots à communication limitée
207arXiv cs.RO 

Localisation relative distribuée par ultra-large bande et LiDAR pour des multi-robots à communication limitée

Une équipe de chercheurs propose une méthode entièrement distribuée d'estimation de position relative pour des flottes de robots homogènes, fondée sur deux capteurs embarqués : un LiDAR et des modules Ultra-WideBand (UWB). Le LiDAR détecte la position d'objets anonymes en ligne de vue (LOS), sans pouvoir dire s'il s'agit d'un robot ou d'un obstacle. L'UWB mesure les distances entre robots. Les auteurs construisent deux graphes, un graphe de connexion UWB et un graphe de connexion LiDAR, qui décrivent les relations spatiales entre les objets. L'identification des robots et l'estimation de leur position relative sont formulées comme un problème de mise en correspondance de sous-graphe commun. Une procédure dédiée repère les faux appariements causés par un obstacle qui masque une partie du champ de vision du LiDAR. Les robots concernés sont ensuite localisés à partir des robots correctement appariés et des mesures de distance UWB. Le papier, publié sur arXiv (2610.11141v1), annonce une précision de positionnement « satisfaisante » en mode distribué, avec un échange d'informations limité entre robots. L'intérêt tient au cas d'usage visé : des robots identiques, sans GPS et avec une communication restreinte. C'est le cas des entrepôts denses, des sites souterrains, des tunnels ou des bâtiments en intérieur, où l'exploration et le maintien de formation en essaim exigent que chaque machine sache où sont les autres. Beaucoup de systèmes multi-robots dépendent aujourd'hui d'un serveur central, de marqueurs visuels ou d'une infrastructure d'ancres UWB installée à l'avance. Une approche qui n'exige ni infrastructure fixe ni bande passante importante réduit le coût de déploiement et la fragilité face aux coupures réseau. Le point dur, que les auteurs traitent explicitement, est l'occlusion. Un robot caché par un obstacle produit des appariements erronés, et c'est ce type de cas limite qui fait échouer les démonstrations en conditions réelles. Il faut toutefois lire ce travail pour ce qu'il est : une contribution académique préliminaire (première version), sans produit, sans pilote industriel et sans partenaire commercial annoncé. Le résumé ne donne aucun chiffre d'erreur de position, aucune taille de flotte testée, aucune fréquence de mise à jour ni aucune comparaison chiffrée avec des méthodes existantes. L'adjectif « satisfaisant » ne permet donc pas de juger la robustesse hors laboratoire. Le sujet prolonge une littérature active sur la localisation relative par UWB, par vision ou par LiDAR, où la plupart des solutions imposent soit une identification préalable des robots, soit un échange de données important. La suite logique serait une validation à plus grande échelle, avec davantage de robots, des environnements dynamiques et une mise en regard avec des systèmes de référence. Pour un intégrateur, l'approche est à suivre comme brique de recherche, pas encore comme solution déployable.

RecherchePaper
1 source
Autonomie de population par recensement pour la coordination de robots distribués
208arXiv cs.RO 

Autonomie de population par recensement pour la coordination de robots distribués

Des chercheurs proposent, dans un article déposé sur arXiv (2511.02147, version 2), un modèle en couches de l'autonomie multi-robots qui sépare la décision collective de la décision individuelle. La couche collective repose sur le principe de recensement (« census »), c'est-à-dire un comptage pondéré des signaux reçus des voisins, formalisé par un modèle de dynamique d'opinions non linéaire et utilisé pour décider de la constitution des équipes. La couche individuelle choisit les actions de chaque robot par optimisation comportementale multi-objectifs, résolue par programmation par intervalles. Les auteurs en tirent une nouvelle méthode d'allocation de sous-groupes distribuée. Chaque robot descend le gradient des parties du coût qu'il connaît localement, tandis que les états d'opinion de ses voisins compensent les coûts qu'il n'observe pas. Le groupe exploite ainsi collectivement l'information de la matrice hessienne du coût global. Le modèle est testé sur des flottes de véhicules de surface autonomes, dans trois scénarios : échantillonnage adaptatif, protection d'une unité de haute valeur et partie compétitive de capture du drapeau. L'intérêt tient à la tension entre théorie et exécution réelle. Beaucoup d'algorithmes distribués ne fonctionnent qu'en simulation ou sous hypothèses fortes. Ici, les auteurs affirment que leur modèle se réduit à des algorithmes fondamentaux d'optimisation et de contrôle distribués, tout en autorisant des comportements collectifs inédits. Pour un intégrateur de flottes maritimes, la promesse est une coordination sans nœud central, plus robuste à la perte de communication ou de robots. Les trois scénarios, aux objectifs très différents, suggèrent une certaine généralité. Il faut toutefois rester prudent : le résumé ne donne ni taille de flotte, ni taux de succès, ni comparaison chiffrée avec des méthodes existantes, et il s'agit d'une validation académique, pas d'un produit ni d'un déploiement opérationnel. Ce travail s'inscrit dans la lignée des méthodes de consensus, d'allocation par enchères et d'optimisation distribuée, qui dominent la coordination multi-robots, et dans celle des dynamiques d'opinions non linéaires, récemment importées de la théorie des systèmes dynamiques vers la robotique. La programmation par intervalles est, à notre connaissance, associée à l'écosystème d'autonomie marine open source MOOS-IvP, ce qui explique le choix de véhicules de surface comme banc d'essai. Le résumé ne cite aucun acteur industriel ni calendrier de pilote. La suite logique serait une validation sur des flottes plus grandes, en conditions dégradées de communication, avec des métriques comparatives publiées. Cela permettrait de juger si l'approche tient face aux méthodes concurrentes hors du cadre contrôlé du laboratoire.

RecherchePaper
1 source
Unifier l'apprentissage de politiques et la prédiction d'états grâce à la modélisation spatiale du langage
209arXiv cs.RO 

Unifier l'apprentissage de politiques et la prédiction d'états grâce à la modélisation spatiale du langage

Des chercheurs proposent, dans un preprint arXiv (2610.12172), le « Spatial Language Modeling », une approche qui fait apprendre à un seul Transformer autorégressif à la fois la génération d'actions et la prédiction des états futurs d'une scène. Le principe consiste à représenter les contours de la scène, les objectifs, les cibles d'action et les états futurs avec un vocabulaire commun de coordonnées discrètes et de tokens sémantiques. Une grammaire propre à chaque tâche organise ces éléments en séquences spatiales, de sorte qu'un même objectif de prédiction du token suivant couvre le contrôle et la modélisation de l'état. Le modèle est entraîné de zéro en deux temps : un pré-entraînement sur des transitions issues de jeu aléatoire, puis un entraînement conjoint actions et états sur des démonstrations expertes. Pendant le pré-entraînement, les coordonnées d'action enregistrées servent de condition aux prédictions d'état suivantes, mais sont exclues de la perte. En phase de contrôle, le modèle ne décode que les cibles d'action exécutables et met à jour son historique avec les états réellement observés. L'évaluation porte sur la tâche Push-T, en simulation et sur un robot réel. Les auteurs annoncent des performances compétitives en simulation, et un taux de réussite ainsi qu'une couverture de la cible supérieurs à ceux des politiques de référence testées sur robot réel. Pour les équipes qui travaillent sur les politiques de manipulation, l'intérêt tient à la supervision complémentaire apportée par l'apprentissage des effets géométriques des actions. Les ablations indiquent que l'entraînement sur des séquences conjointes action-état améliore le contrôle, et que le pré-entraînement sur du jeu aléatoire apporte un gain supplémentaire. Ce dernier point est pertinent en pratique : ces données sont bon marché à collecter, sans téléopérateur expert. Le même modèle, alimenté avec des trajectoires d'actions fournies, prédit aussi les états successifs de la scène et reproduit les effets du poussage. Il joue donc à la fois le rôle de politique et de modèle du monde léger. Il faut toutefois rester prudent sur la portée de ces résultats. Push-T est un benchmark de poussage planaire d'un objet en forme de T, relativement simple, et le texte ne chiffre pas, dans son résumé, l'écart avec les baselines ni la taille de l'échantillon d'essais réels. La généralisation à des tâches à contacts riches, à de la 3D ou à des préhenseurs multi-doigts reste à démontrer, de même que le passage à l'échelle d'un vocabulaire de coordonnées discrètes. Ce travail s'inscrit dans un mouvement plus large visant à unifier perception, action et prédiction dans des architectures de type langage. Il se distingue des approches VLA (vision-langage-action) dominantes, qui reposent sur de grands modèles pré-entraînés, par un entraînement de zéro, sans pré-entraînement web, et par une représentation entièrement spatiale. Parmi les références habituelles de Push-T figurent les politiques de diffusion, qui servent souvent de base de comparaison, ainsi que les modèles du monde appris pour la planification. Le résumé ne précise ni l'équipe, ni le code, ni d'éventuelles extensions annoncées. Il s'agit à ce stade d'un preprint non évalué par des pairs, sans déploiement industriel associé. La suite logique sera de tester la méthode sur des tâches plus longues, sur des scènes 3D et sur des manipulations avec contacts complexes.

RecherchePaper
1 source
2DGS-Planner : planification de trajectoire par rasterisation dans une carte en éclaboussures gaussiennes 2D
210arXiv cs.RO 

2DGS-Planner : planification de trajectoire par rasterisation dans une carte en éclaboussures gaussiennes 2D

Des chercheurs proposent 2DGS-Planner, un planificateur de trajectoire pour robots terrestres qui travaille directement sur une carte en 2D Gaussian Splatting (2DGS), une représentation de scène composée de disques gaussiens que l'on peut rendre très rapidement par rastérisation. Le papier, publié sur arXiv (2610.11752), part d'un constat : les primitives gaussiennes sont optimisées conjointement par rendu en composition alpha, à partir d'un nombre fini de vues de reconstruction. Une primitive isolée ne correspond donc pas forcément à un obstacle réel. Plutôt que de traiter chaque gaussienne comme un obstacle, le système interroge la carte par rastérisation. Hors ligne, une attribution multi-vues convertit la dispersion des normales rendues en scores structurels pour les disques « non-sol » étayés par les vues de reconstruction. Ces scores guident un échantillonnage adaptatif des nœuds sur le sol. Des requêtes orthographiques alignées sur le chemin valident les arêtes candidates, et des requêtes cylindriques estiment des champs de dégagement local, mis en cache sur chaque arête. En ligne, une recherche dans le graphe initialise l'itinéraire, puis un raffinement réutilise ces champs en tenant compte des dimensions du robot et des contraintes du sol. Les auteurs annoncent une meilleure connectivité de la feuille de route, une estimation plus précise du dégagement et un taux de réussite de planification plus élevé que les références testées. Le code et les données sont publiés sur le site du projet. L'intérêt tient au fait qu'il s'agit d'un travail de recherche et non d'un produit : aucun déploiement, aucun chiffre de payload ou de temps de cycle n'est annoncé, et les gains ne sont quantifiés que par rapport à des baselines choisies par les auteurs, dont l'abstract ne donne pas le détail. Il traite pourtant un vrai point de friction. Les cartes gaussiennes produisent des rendus photoréalistes, mais les exploiter pour la navigation est délicat, car la géométrie est un sous-produit de l'optimisation visuelle. Des primitives « flottantes » ou mal placées peuvent créer de faux obstacles ou en masquer de vrais. En faisant de la rastérisation l'interface de requête géométrique, l'approche évite de convertir la carte en grille d'occupation ou en nuage de points, et réutilise le moteur de rendu déjà nécessaire à la reconstruction. Pour un intégrateur, cela suggère qu'une même carte pourrait servir à la fois à la visualisation, à la localisation et à la planification. Reste à vérifier la robustesse en environnement dynamique, car la méthode repose sur une carte reconstruite hors ligne. Le travail s'inscrit dans la vague des méthodes de navigation fondées sur le Gaussian Splatting, issues du 3DGS puis du 2DGS, ce dernier offrant des surfaces mieux définies grâce à ses disques orientés. Les planificateurs concurrents s'appuient plutôt sur des champs de distance signés, des grilles d'occupation (type OctoMap) ou des NeRF, souvent plus lourds à interroger. La restriction aux robots terrestres, avec une hypothèse de sol explicite, limite pour l'instant la portée : drones et humanoïdes en sont exclus. Les prochaines étapes probables sont des tests en conditions réelles, l'intégration d'une mise à jour incrémentale de la carte, et une comparaison sur des benchmarks partagés avec les autres planificateurs basés sur le splatting.

RecherchePaper
1 source
Une représentation minimale par flux optique pour classer la rotation tactile par vision en manipulation robotique, sous différentes gravités
211arXiv cs.RO 

Une représentation minimale par flux optique pour classer la rotation tactile par vision en manipulation robotique, sous différentes gravités

Des chercheurs proposent une représentation minimale du mouvement tactile pour classer le sens de rotation d'un objet saisi, en testant sa robustesse face à différentes gravités. Le travail repose sur un capteur tactile optique GelSight Mini simulé. Le flux optique dense est agrégé sur une grille de 7x9 cellules, ce qui donne 126 caractéristiques. Ces caractéristiques servent à classer la direction de la rotation induite par la charge sous quatre gravités : Terre, Mars, Lune et orbite. L'effet de la gravité sur ces caractéristiques est faible mais statistiquement significatif, puisqu'il n'explique que 1,6 % de leur variance (R² = 0,016). Il suffit pourtant à dégrader les modèles entraînés uniquement sur des données terrestres. La précision de XGBoost passe de 94,4 % sur Terre à 75,9 % en orbite. Un modèle unique entraîné sur les quatre domaines atteint 96,3 % de précision globale, et entre 95,1 % et 97,0 % selon le domaine. Il n'utilise pas la gravité comme entrée. La représentation peut être réduite à 40 caractéristiques tout en conservant 95,7 % de précision, avec une inférence de 0,14 ms pour XGBoost. Ces résultats mettent en cause une hypothèse implicite de la perception tactile : une bonne performance sous gravité terrestre ne garantit pas le transfert vers l'espace. Un écart de près de 19 points entre la Terre et l'orbite suffit à rappeler qu'un décalage de domaine peut passer inaperçu quand la variance expliquée est minime. Pour les concepteurs de robots spatiaux, la validation doit donc inclure explicitement les conditions de gravité cibles. L'approche répond aussi à une contrainte de ressources. Une inférence de 0,14 ms sur 40 caractéristiques laisse penser qu'il est possible de se passer du traitement d'images haute résolution sur des plateformes à calcul et énergie limités, comme les robots embarqués en orbite ou sur des surfaces planétaires. Le fait qu'un modèle multi-gravité n'ait pas besoin de connaître la gravité en entrée suggère qu'un entraînement diversifié suffit à absorber le décalage. Ces conclusions restent limitées : tout a été obtenu en simulation, sans validation sur matériel réel, ni mesure en microgravité ou en gravité réduite. Le contexte est celui de la manipulation spatiale, où les capteurs tactiles optiques de type GelSight, très riches en information de contact, sont coûteux à traiter en images brutes. Les travaux d'apprentissage tactile sont en grande majorité menés et validés sous gravité terrestre, ce qui laisse peu de données sur le comportement de ces représentations ailleurs. L'étude s'inscrit dans cette lacune, avec une tâche volontairement étroite : la classification de la direction de rotation, et non le contrôle complet de la préhension. Les prochaines étapes logiques seraient une validation sur capteur physique, par exemple en vol parabolique ou en banc de microgravité, puis une extension à d'autres tâches de manipulation et à des gravités intermédiaires. Aucun partenaire industriel ni calendrier de déploiement n'est mentionné, et la publication relève de la recherche préliminaire sous forme de prépublication arXiv.

RecherchePaper
1 source
Cycles thermodynamiques autonomes grâce à la mobilité et à la perception robotiques
212arXiv cs.RO 

Cycles thermodynamiques autonomes grâce à la mobilité et à la perception robotiques

Des chercheurs décrivent, dans un preprint arXiv (2610.11667), des « cycles thermodynamiques autonomes » réalisés par des robots mobiles capables de percevoir leur environnement. Un cycle thermodynamique classique transforme de la chaleur en travail entre deux réservoirs thermiques fixes, ce qui l'attache à un lieu et à un écart de température donnés. L'équipe renverse ce schéma : le robot se déplace lui-même dans un champ de température qui varie dans l'espace, et c'est son parcours qui referme le cycle. Le dispositif expérimental repose sur des capsules remplies de gaz et multistables, c'est-à-dire capables de basculer entre plusieurs états d'énergie stables. Ces capsules circulent dans le système à travers un gradient thermique. Le modèle des auteurs montre que les transitions rapides de leurs états énergétiques permettent à l'ensemble de fonctionner comme un moteur thermique mobile, qui récolte puis stocke de l'énergie. Le résumé ne donne ni rendement, ni puissance, ni taille de capsule, ni écart de température testé. L'intérêt tient à la manière dont la navigation est traitée. Les auteurs relient la dynamique d'énergie interne à l'échelle de la capsule à la stratégie de déplacement du robot à grande échelle, puis optimisent les trajectoires pour arbitrer entre le coût de la locomotion et l'énergie récoltée. Pour un ingénieur en robotique, cela fait de la planification de trajectoire un levier de conversion d'énergie, et non plus seulement une question de déplacement. La piste concerne surtout des robots autonomes déployés longtemps dans des environnements thermiquement hétérogènes, où il n'existe pas de source de chaleur et de source froide stables à portée. Il faut toutefois rester prudent. Il s'agit d'une preuve de concept de laboratoire, sans chiffre de performance communiqué. Rien ne permet de dire que le bilan énergétique net est favorable une fois le coût de déplacement déduit, ni que l'approche tient hors d'un banc d'essai contrôlé. Aucun produit ni déploiement n'est annoncé. Le travail s'inscrit dans le mouvement qui rapproche robotique molle, matériaux multistables et intelligence incarnée, où une partie du « calcul » ou de la conversion d'énergie est confiée à la structure plutôt qu'à l'électronique. Les auteurs présentent explicitement leur système comme un analogue artificiel des organismes qui cherchent de l'énergie en parcourant des ressources réparties dans l'espace. Cela le distingue des approches habituelles de récupération d'énergie, qui sont fixes (thermoélectricité, par exemple) ou qui reposent sur des batteries et des stations de recharge. Les prochaines étapes probables sont une montée en échelle, une mesure du rendement réel et des essais dans des gradients thermiques non contrôlés. Aucun calendrier ni partenaire industriel n'est cité, et le texte ne mentionne aucun acteur européen.

RecherchePaper
1 source
CAIR présente CARES 4.0, un agent clinique multimodal qui propose des suggestions aux médecins, pas des verdicts
213Pandaily 

CAIR présente CARES 4.0, un agent clinique multimodal qui propose des suggestions aux médecins, pas des verdicts

Le Centre for Artificial Intelligence and Robotics (CAIR), rattaché au Hong Kong Institute of Science & Innovation de l'Académie chinoise des sciences, a dévoilé CARES 4.0, un système d'agent d'IA clinique multimodal. Il a été lancé lors du 4e symposium CREATE sur la robotique clinique et l'IA incarnée, organisé par CAIR avec la Hong Kong Science and Technology Parks Corporation au Hong Kong Science Park. Selon CAIR, le cadre agentique et la boîte à outils générale sont publiés, les outils médicaux sont en cours de déploiement, et les modèles d'échographie et de vidéo chirurgicale rejoindront la plateforme gratuitement. Le système repose sur le framework agentique Harness et sur les modèles de fondation maison de CAIR pour le scanner, l'IRM, l'échographie, l'endoscopie et l'EEG. Il aurait été validé dans plusieurs hôpitaux de premier rang sur trois usages : l'assistance au parcours diagnostique, du motif de consultation à l'imagerie et à l'anatomopathologie ; les questions en langage naturel sur l'activité d'un service, comme la charge des équipements ou la répartition des cas ; et les analyses statistiques ou modèles d'apprentissage simples sur des jeux de données de spécialité. Une fonction est déjà utilisée en clinique : l'alerte de risque spatial pendant les gestes, qui prévient le médecin lorsqu'un instrument approche de vaisseaux ou de nerfs majeurs. En bronchoscopie au Premier hôpital affilié de l'université Sun Yat-sen, elle peut signaler qu'un renflement apparent sur la paroi bronchique est en réalité un vaisseau, là où une biopsie risquerait de léser une artère. Pour le directeur de CAIR, Liu Hongbin, cité par Leiphone, le changement est de nature et non de degré. Les versions 1.0 à 3.0 étaient des modèles répondant à des questions sur des images ou des vidéos, des outils que le médecin devait piloter lui-même. La 4.0 est un agent qui exécute des tâches : un chef de service souhaitant un rapport sur le volume opératoire, les consommables et le profil des patients du mois passé avait besoin d'un assistant travaillant avec CARES 3.0, alors que l'agent peut désormais le produire en demandant quel type d'analyse est attendu. Le positionnement éditorial compte autant que la technique : CARES se présente comme un assistant qui suggère et non comme un système qui tranche. Liu reconnaît que l'IA hallucine parfois et fait de sa réduction la priorité, surtout pour les conseils de type décision. Chaque suggestion est accompagnée de son raisonnement et de ses sources, appuyés sur des recommandations et de la littérature récente structurées, et « le médecin reste le décideur final ». Ce cadrage est pertinent pour les décideurs hospitaliers, mais il reste à vérifier : aucune métrique de performance, taux d'hallucination ou nom d'établissement de validation (hors Sun Yat-sen) n'est publié. Côté contexte, CAIR affirme que ses systèmes, pour la plupart des outils antérieurs à CARES 4.0, sont utilisés dans plus de 30 hôpitaux : plus de 10 pour les postes de laryngoscopie, plus de 4 pour la bronchoscopie et plus de 10 pour l'échographie. Cette base installée donne au laboratoire un canal de diffusion crédible, mais elle ne dit rien de l'adoption de l'agent lui-même, dont la disponibilité complète reste échelonnée. Les demandes les plus fréquentes des médecins, selon Liu, sont de réduire leur effort et d'afficher des résultats plus lisibles pour éviter les contresens. CARES arrive dans un paysage où d'autres acteurs chinois avancent sur l'IA médicale : DAMO Academy d'Alibaba a ouvert son modèle de scanner abdominal DAMO RADAR, et United Imaging Intelligence promeut une stratégie d'hôpital orchestré par des agents. La gratuité annoncée des modèles d'échographie et de vidéo chirurgicale vise manifestement à constituer un écosystème autour de la plateforme. Les prochaines étapes à surveiller sont le calendrier de mise à disposition des outils médicaux et la publication de données d'évaluation indépendantes.

Chine/AsieActu
1 source
Simplexity Robotics entraîne un seul robot à servir deux tours CNC avec 600 trajectoires réelles
214Pandaily 

Simplexity Robotics entraîne un seul robot à servir deux tours CNC avec 600 trajectoires réelles

Simplexity Robotics, une entreprise d'IA embarquée « full-stack », affirme avoir entraîné un seul robot à servir deux tours CNC de manière autonome : chargement des pièces dans les mandrins avec environ 0,5 mm de jeu, puis déchargement après usinage. Feng Zongbao, responsable de l'apprentissage par renforcement, a présenté ces travaux lors d'un Tech Talk à l'IROS 2026 à Pittsburgh le 29 septembre, et Leiphone en a publié une transcription éditée le 8 octobre. L'entraînement s'appuie sur 600 trajectoires réelles. Le système repose sur trois briques : génération d'actions, mémoire et sélection d'actions. SimpleWAM, le modèle d'action-monde maison, apprend à reconstruire images futures, états 3D et séquences d'actions, mais ne produit à l'inférence que des actions à partir des images, de l'état 3D et de la consigne. Les caméras de tête et de poignet sont fusionnées de façon adaptative : 15 réussites en essais nominaux contre 8 pour une base π0.5 en fine-tuning supervisé. DRAM, une mémoire associative récurrente de type règle delta, se greffe sur une politique pré-entraînée gelée et conserve le contexte dans une matrice de taille fixe. DPE note des séquences d'actions candidates avec un évaluateur entraîné séparément, tandis que le générateur reste gelé. Les mesures de force et de couple alimentent à la fois la politique et un contrôleur d'impédance temps réel, qui permet de se rattraper quand une insertion droite est bloquée. Simplexity annonce 100 % de réussite sur l'insertion de précision. Ce chiffre demande de la prudence : il porte sur la seule tâche d'insertion, pas sur le rendement d'une cellule complète, et la présentation ne donne pas le nombre d'essais sous-jacent. La démonstration, projetée à vitesse x5, ne permet pas non plus d'évaluer le temps de cycle réel, décisif pour la rentabilité d'une cellule d'usinage. L'intérêt tient pourtant à la nature du problème. Un jeu de 0,5 mm, des surfaces métalliques réfléchissantes, des pièces proches visuellement et des contacts masqués aux caméras sont exactement les conditions où les démonstrations de laboratoire s'effondrent en atelier. Le recours au retour d'effort comme entrée de la politique, associé à un évaluateur qui corrige les choix sans modifier le modèle de base, illustre une tendance : les politiques vision-langage-action (VLA) seules ne suffisent pas pour l'assemblage de précision, il faut y ajouter mémoire, perception tactile et sélection en ligne. Pour les intégrateurs, la tenue de machines-outils est un cas d'usage concret et massif, où seulement 600 démonstrations réelles suffiraient, ce qui reste à confirmer en production. Simplexity cadre la tâche comme « des robots qui fabriquent des robots », puisque articulations, mandrins et pièces de précision sortent de tours CNC. L'entreprise, âgée de 11 mois selon un article récent de la publication, aurait déjà livré 100 robots sur des lignes de production. La tâche a tourné sur son robot à roues i7 Pro, l'une de ses quatre gammes matérielles aux côtés de la plateforme développeur SimpleClaw. Elle évolue face à des acteurs qui misent sur des modèles généralistes comme π0.5 de Physical Intelligence, base de comparaison ici, et face à des intégrateurs de chargement de machines-outils plus établis. Les suites à surveiller : publication du nombre d'essais, temps de cycle en temps réel, et passage de cette démonstration à des cellules clientes en exploitation.

IA physiqueOpinion
1 source
SafeWorld sort de l'ombre pour développer et déployer des technologies de simulation de sécurité pour les robots
215Robotics Business Review 

SafeWorld sort de l'ombre pour développer et déployer des technologies de simulation de sécurité pour les robots

SafeWorld, une startup basée à Oakland (Californie), est sortie de l'ombre cette semaine avec un tour de table d'amorçage de 12,2 millions de dollars, codirigé par Shine Capital et a16z Speedrun. Box Group, le fonds de dotation de Carnegie Mellon University, Innovation Endeavors, SV Angel et plusieurs investisseurs providentiels y participent aussi. L'entreprise, cofondée par Kyle Wong (CEO) et Ding Zhao (directeur du Safe AI Lab de Carnegie Mellon), commercialise une plateforme de simulation logicielle dédiée à la sécurité des robots pilotés par IA. Les équipes construisent des scénarios dans le navigateur, à partir d'incidents passés, de normes de sécurité et de journaux de robots, sans expertise en simulation. SafeWorld fait ensuite tourner le robot à travers des milliers de variantes, avec des mouvements humains réalistes et réactifs, puis mesure la performance de sécurité. Les tests peuvent être relancés à chaque mise à jour logicielle ou changement d'environnement. La plateforme se veut agnostique de l'embodiment (bras, humanoïdes, robots mobiles). Selon Wong, des clients existent déjà dans l'industrie, la fabrication, la logistique, la construction et quelques usages domestiques, sans qu'aucun nom ni volume ne soit communiqué. L'enjeu est un goulot d'étranglement que les fabricants de robots généralistes rencontrent de plus en plus : les politiques apprises (VLA et autres modèles de bout en bout) se comportent de façon moins prévisible que du code déterministe, et les cages ou zones de sécurité fixes ne s'appliquent plus quand les machines partagent l'espace des humains. Wong résume le problème ainsi : sans méthode de validation à la hauteur des capacités, les robots ne seront pas déployés. Le paradoxe est que les scénarios à risque n'existent pas dans des jeux de données massifs, ce qui rend difficile à la fois l'entraînement et l'évaluation. Pour un intégrateur ou un COO industriel, l'intérêt est de disposer d'un dossier de preuves de sécurité continu, utilisable par les équipes d'ingénierie, de sécurité et d'exploitation, plutôt qu'un test unique avant lancement. Reste à vérifier une limite évidente : une simulation ne vaut que par la fidélité de ses modèles de comportement humain et par la couverture de ses scénarios. Wong admet lui-même que les normes ne sont pas toutes complètes, et le « dossier de preuves » revendiqué n'a, à ce stade, pas de reconnaissance réglementaire annoncée. Le positionnement s'inscrit dans l'ascension de l'IA incarnée : Zhao rappelle que les robots industriels existent depuis environ un siècle, mais que l'IA les fait sortir de la cage. SafeWorld défend la thèse que les constructeurs restent responsables de la sécurité, mais ne devraient pas reconstruire l'outillage de test à chaque fois, d'où une approche de brique externe. Face à elle, la validation reste souvent internalisée chez les développeurs de humanoïdes et de véhicules autonomes, ou assurée par des simulateurs généralistes qui n'ont pas été conçus pour la preuve de sécurité. L'article n'indique ni calendrier de déploiement, ni tarification, ni client nommé, ni certification visée. Les prochains signaux à suivre seront donc les premiers partenariats publics et l'alignement éventuel avec les référentiels de sécurité robotique existants.

BusinessActu
1 source
5 étapes pour créer des assets SimReady pour la robotique avec des modèles d'IA de pointe
216NVIDIA Developer Blog 

5 étapes pour créer des assets SimReady pour la robotique avec des modèles d'IA de pointe

NVIDIA a publié un guide en cinq étapes pour préparer des actifs CAD destinés à la simulation robotique, en s'appuyant sur des modèles d'IA de pointe. Le flux de travail combine les bibliothèques Omniverse, les spécifications SimReady Foundation et des « skills » agentiques maison. Il convertit la géométrie CAD en OpenUSD, puis configure et valide les matériaux, les géométries de collision, les articulations (joints) et les autres propriétés physiques avant tout test du comportement d'un robot. Il s'agit d'une documentation technique et d'une méthode, pas d'un produit chiffré. Les extraits disponibles ne donnent ni gain de temps mesuré, ni taux de réussite de la validation automatisée, ni liste de clients. L'enjeu est un goulot d'étranglement peu visible. Un fichier CAD converti en USD n'est pas encore un modèle simulable. Des collisions mal définies, des axes d'articulation erronés ou des masses incohérentes faussent l'entraînement des politiques et creusent l'écart sim-to-real. Pour les intégrateurs et les équipes de jumeaux numériques, la préparation manuelle des actifs reste un coût récurrent. Confier une partie de cette vérification à des agents, guidés par une spécification standardisée, viserait à rendre la validation reproductible. Cette promesse reste à confirmer sur des cas industriels, d'autant que l'IA générative peut produire des erreurs physiques plausibles mais fausses. Cette publication prolonge la stratégie de NVIDIA autour d'OpenUSD, d'Isaac Sim et d'Omniverse comme couche commune de simulation, face à des outils concurrents comme MuJoCo ou aux environnements propriétaires des constructeurs. Le risque est une dépendance accrue à l'écosystème NVIDIA. Les éventuelles suites, comme l'extension des spécifications SimReady ou l'adoption par des fabricants de robots, ne sont pas précisées dans le texte.

InfrastructureActu
1 source
Le projet européen TALOS démontre des robots autonomes pour la maintenance de centrales solaires
217Robotics & Automation News 

Le projet européen TALOS démontre des robots autonomes pour la maintenance de centrales solaires

Le projet européen TALOS a achevé trois années d'essais de robots autonomes et d'IA appliqués à la maintenance de centrales solaires. La technologie a été démontrée sur des sites en Espagne, au Portugal et aux Pays-Bas. Financé par Horizon Europe, le programme de recherche de l'UE, TALOS a développé un système qui surveille les centrales, repère les problèmes de performance, détermine quelles interventions de maintenance sont rentables et formule des recommandations. L'extrait disponible ne donne ni le nombre de robots, ni les gains de production mesurés, ni les coûts, ni le niveau de maturité industrielle. Il s'agit donc d'une démonstration de projet de recherche, pas d'un produit commercialisé ni d'un déploiement à l'échelle. Le point notable est la couche de décision économique. Beaucoup de solutions de robotique solaire (nettoyage, inspection par drone) se limitent à détecter ou à exécuter une tâche. Ici, le système arbitre entre les interventions selon leur rentabilité, ce qui répond directement à la préoccupation d'un exploitant, dont les marges sont serrées. Pour les intégrateurs et les gestionnaires d'actifs, la question est de savoir si cet arbitrage tient hors des sites pilotes. Sans chiffres comparés à une maintenance humaine classique, il faut rester prudent sur la portée réelle. Le projet s'inscrit dans la montée en puissance du parc solaire européen, où la maintenance pèse sur le coût de l'énergie produite. Il se place face à des acteurs commerciaux déjà actifs sur le nettoyage robotisé ou l'inspection aérienne. Les prochaines étapes dépendront de la publication de résultats chiffrés et d'un éventuel transfert vers des partenaires industriels. Aucun pilote commercial n'est mentionné à ce stade.

FR/EU ecosystemeActu
1 source
Jabil fait le point sur le rythme de développement et de production des robots humanoïdes
218Robotics Business Review 

Jabil fait le point sur le rythme de développement et de production des robots humanoïdes

Jabil, le prestataire américain de conception, de chaîne d'approvisionnement et de fabrication basé à St. Petersburg (Floride), explique à The Robot Report où en est le passage des humanoïdes du prototype à la production en série. L'entreprise travaille avec plusieurs développeurs de robots, dont Apptronik, qu'elle accompagne pour amener son humanoïde Apollo vers des environnements de fabrication réels. Elle cite Tesla, 1X Technologies, XPeng et UBTECH parmi les acteurs qui préparent une montée en cadence, mais indique travailler aussi avec de grands développeurs américains et étrangers qu'elle ne peut pas nommer. Selon Thomas Brown, directeur senior ingénierie et technologie (dont robotique et commerce numérique), le secteur sort de la phase des petites séries assemblées à la main sur site pour entrer dans celle de « dizaines de milliers » d'unités. Cela suppose une structure de coûts, une conception pour la fabricabilité et un niveau de qualité qui n'existaient pas jusque-là. Aucun chiffre de production, prix unitaire ou calendrier précis n'est fourni, et Jabil n'a pas de raison neutre de minimiser l'ampleur du marché qu'il vise. Pour les intégrateurs et les décideurs industriels, le message est que le goulet d'étranglement se déplace de la démonstration vers l'industrialisation. Tant qu'un robot reste très coûteux, on n'en produit que peu, ce qui limite à la fois la collecte de données d'entraînement et la validation des cas d'usage clients. La baisse des coûts de conception conditionne donc directement l'apprentissage des modèles. Brown estime que la puissance de calcul embarquée suffit déjà pour une bonne part de ce que montrent les vidéos de démonstration, mais qu'il en faut davantage en périphérie. Les modules NVIDIA Jetson dominent chez ses clients, et la hausse des prix du calcul et de la mémoire reste un frein à la montée en volume. Il souligne aussi des contraintes de conception peu visibles, comme les faisceaux de câblage, qui doivent allier la robustesse de l'automobile et la miniaturisation de l'électronique grand public, ainsi que la modularité des alimentations. Sur le plan commercial, il juge que les humanoïdes changent l'équation par rapport aux lignes dédiées à une tâche, et que les entreprises qui ont défini des exigences précises avec des clients industriels adoptent la bonne méthode, contrairement au grand public, où le cas d'usage (« plier le linge ») reste flou. Le contexte est celui d'une filière où l'attention s'est surtout portée sur les vidéos spectaculaires et les levées de fonds massives, tandis que Hyundai, Tesla et BMW financent et testent des humanoïdes en conditions industrielles. Brown note que, contrairement à l'ère pré-smartphone où l'on pouvait faire croître les capacités jusqu'au point de coût visé, les fabricants redéfinissent et diversifient aujourd'hui leurs chaînes d'approvisionnement. Le propos reste un témoignage de fournisseur, sans pilote annoncé ni calendrier de volumes, et les noms des principaux clients de Jabil demeurent confidentiels. Le sujet sera au programme de RoboBusiness, prévu les 20 et 21 octobre 2026 à Santa Clara (Californie), où la physique de l'IA et les humanoïdes figurent parmi les thèmes de session.

IndustrielActu
1 source
AWS lance une boîte à outils open source d'IA physique pour la robotique
219Robotics Business Review 

AWS lance une boîte à outils open source d'IA physique pour la robotique

AWS a lancé aujourd'hui une Physical AI Toolchain en open source, qui doit permettre aux roboticiens de passer de la collecte de données à l'entraînement, la simulation, la validation et le déploiement de modèles d'IA sur leurs robots. Elle assemble des services AWS et la pile logicielle Physical AI de NVIDIA dans un flux de développement unique, articulé autour de cinq briques : génération de données synthétiques, entraînement de modèles, simulation et validation, déploiement en périphérie (edge) et amélioration continue. AWS fournit Amazon SageMaker pour l'entraînement et AWS IoT Greengrass pour distribuer les modèles vers les appareils embarqués. NVIDIA apporte Isaac Sim, Isaac Lab, Isaac GR00T et Cosmos. Les composants peuvent être utilisés séparément ou combinés de bout en bout. Un industriel peut ainsi collecter des démonstrations d'une tâche, générer des scénarios supplémentaires de façon synthétique, entraîner ou affiner un modèle, le tester en simulation, puis le charger sur le robot physique. Les données remontées du terrain alimentent ensuite le cloud pour améliorer le modèle. Sri Elaprolu, directeur Frontier AI Science and Engineering chez AWS, parle d'un « easy button » censé épargner aux équipes la gestion de l'infrastructure. Pour les intégrateurs et les décideurs industriels, l'enjeu est le maillon manquant entre un modèle entraîné et un système fiable en conditions réelles. Aujourd'hui, chaque équipe assemble sa propre chaîne d'outils, ce qui coûte du temps et fragmente les pratiques. AWS cible aussi la rareté des données : contrairement aux LLM, il n'existe pas de corpus massif de données robotiques sur Internet, d'où le pari sur la donnée synthétique et la simulation, dont la fidélité au monde réel reste la question ouverte du sim-to-real. La toolchain est volontairement neutre vis-à-vis du matériel, ce qui la rend utilisable avec des humanoïdes, des bras ou des mobiles. À ce stade, il s'agit d'une offre d'infrastructure annoncée, sans chiffres de performance ni client de production nommé pour la chaîne complète : l'argument repose sur la promesse d'intégration plutôt que sur des résultats mesurés. Le lancement s'inscrit dans la stratégie d'AWS, qui revendique plus d'un million de robots dans les opérations d'Amazon et dit y avoir puisé des enseignements pour la toolchain. Elle ne remplace pas directement RoboMaker, la plateforme de simulation robotique dans le cloud fermée en 2025, que Sri Elaprolu présente comme un composant parmi d'autres de la pile robotique d'AWS. Les entrepôts d'Amazon restant des environnements contrôlés, il cite Telexistence, société japonaise qui déploie des humanoïdes dans des supérettes, avec plus de 300 unités selon lui et d'autres à venir. Ces lieux imposent une tolérance aux pannes plus faible et des temps de réaction plus courts. Face à NVIDIA, qui pousse sa propre pile, et aux fournisseurs cloud concurrents, AWS se positionne en couche d'orchestration plutôt qu'en constructeur. Le calendrier de déploiement et les premiers clients de la chaîne complète n'ont pas été précisés.

InfrastructureActu
1 source
Cette main sans corps est tout le robot qu'il vous faut
220IEEE Spectrum Robotics 

Cette main sans corps est tout le robot qu'il vous faut

Des chercheurs du Soft Robotics Lab de l'ETH Zurich ont transformé une main robotique du commerce, fournie par Wuji Technology, en robot autonome qui marche sur le bout des doigts et utilise ces mêmes doigts pour manipuler son environnement. Le projet est dirigé par Amirhossein Kazemipour, doctorant. La main embarque un sac à dos de 80 grammes contenant une batterie, une centrale inertielle (IMU) et un Raspberry Pi Zero. La locomotion a été apprise en simulation par apprentissage par renforcement. L'équipe a ajouté des « ressorts virtuels » : chaque doigt reçoit une position cible par rapport à la paume, correspondant à sa posture naturelle de marche, et toute dérive est pénalisée. Les mouvements avant-arrière sont moins pénalisés que les mouvements latéraux, ce qui rend la marche peu coûteuse. Quatre modèles distincts tiennent sur l'ordinateur de bord : marche, redressement après une chute, appui sur les touches d'un clavier et poussée d'objets vers une cible. Le contrôleur bascule de l'un à l'autre selon le besoin. Lors des essais réels, la main a traversé 14 surfaces, dont sols lisses, grilles métalliques, herbe et gravier, et a aussi réussi des virages. L'intérêt est d'abord méthodologique. Jusqu'ici, les mains marcheuses reposaient sur des mains conçues spécialement pour cela. Ici, la manipulation n'a pas été sacrifiée à la locomotion, et une main de catalogue, optimisée pour la préhension et non pour la marche, a été adaptée par la seule politique de contrôle. La difficulté technique est réelle : une main n'a pas la symétrie gauche-droite des quadrupèdes ou des bipèdes, ses doigts ont des longueurs différentes et elle comporte un pouce opposable. Les recettes classiques de la robotique à pattes ne s'appliquaient donc pas directement. Pour les intégrateurs, le message est celui d'un effecteur détachable et polyvalent, envisagé pour la maintenance dans des espaces confinés ou la recherche et le sauvetage. Ces usages restent des projections des auteurs : aucun test en situation industrielle n'est rapporté, ni mesure de vitesse, d'autonomie ou de charge utile. Ce travail s'inscrit dans une recherche sur les corps robotiques non assignés à un rôle unique. Kazemipour résume la question ainsi : que peut faire une main sans le reste du robot ? Il s'agit d'une démonstration de laboratoire, issue d'une équipe européenne, sans calendrier de transfert industriel ni partenaire commercial annoncé. Elle contraste avec la course aux humanoïdes complets, où Figure, Tesla et d'autres misent sur des mains attachées à un bras et à un tronc. Le choix d'un matériel standard, avec un calcul embarqué minimal, rend la démarche reproductible par d'autres laboratoires. Les suites probables sont des essais sur terrains plus difficiles, une meilleure autonomie énergétique et l'étude de la détachabilité de la main sur un robot hôte, aujourd'hui seulement suggérée.

RecherchePaper
1 source
Le FiberMotor, fin comme un fil, coulisse comme un télescope pour animer robots souples et vêtements connectés
221Interesting Engineering 

Le FiberMotor, fin comme un fil, coulisse comme un télescope pour animer robots souples et vêtements connectés

Des ingénieurs de l'EPFL, en Suisse, ont mis au point le FiberMotor, un moteur linéaire en forme de fil, de 1 à 3 mm de diamètre, qui convertit directement l'énergie électrique en mouvement. Le dispositif repose sur deux fibres creuses concentriques, autour de chacune desquelles est enroulé un fil de cuivre isolé à peine plus épais qu'un cheveu. Lorsqu'une tension est appliquée, des forces électrostatiques tirent à répétition les fibres vers l'alignement, ce qui fait coulisser la fibre intérieure dans l'extérieure, à la manière d'un télescope. Les résultats, publiés dans Advanced Materials sous le titre « Fiber-Format Flexible Linear Electrostatic Motors », restent à l'échelle du laboratoire : un seul moteur supporte une charge statique d'environ 75 g, et quatre moteurs regroupés soulèvent une barre chocolatée de 46 g et fléchissent un doigt robotique à tendons. Les chercheurs ont aussi intégré le dispositif dans un prototype de vêtement épousant un genou. Herbert Shea, responsable du Soft Transducers Laboratory, le présente comme le premier moteur coulissant au format fibre, silencieux, souple et bidirectionnel. L'intérêt tient à un verrou connu de la robotique portable : le mouvement linéaire (soulever, pousser, tirer) exige d'ordinaire des moteurs rotatifs associés à des engrenages et transmissions rigides et encombrants. Les muscles artificiels existants sont limités par la capacité de leur matériau à s'étirer, se contracter ou se courber, alors que la course du FiberMotor n'est bornée que par la longueur des fibres. Sans engrenage, il est en outre rétro-entraînable : si le porteur bouge à contre-sens, les fibres glissent l'une sur l'autre au lieu de se bloquer, ce qui facilite la cohabitation avec le mouvement humain et la sécurité. Il faut toutefois relativiser : 75 g de charge statique ou 46 g soulevés sont très loin des efforts requis par un exosquelette d'assistance, et l'article ne donne ni course, ni vitesse, ni rendement, ni tension de fonctionnement, ni durabilité. L'approche consiste à miser sur le nombre, en distribuant de nombreux fils dans un textile plutôt qu'en concentrant la force dans une unité rigide. Le passage à l'échelle de la force reste à démontrer. Ces travaux prolongent ceux du laboratoire en 2023, qui avait présenté ce qu'il décrivait comme la première pompe au format fibre, cousable dans des textiles intelligents pour faire circuler des fluides à des fins de thermorégulation et de retour haptique. L'équipe veut désormais améliorer performances et durabilité grâce à des électrodes encore plus fines, composées en majorité d'isolants, et à des matériaux optimisés. Elle prévoit aussi d'intégrer des données de position et de mouvement du porteur afin que le moteur s'adapte rapidement à son intention. Les applications visées sont les exosuits souples d'aide à la mobilité, les systèmes haptiques portables pour la réalité virtuelle et les prothèses légères. Le premier auteur, Sylvain Schaller, a déjà fondé la start-up Elecsyor pour commercialiser la technologie, sans calendrier annoncé. Le projet est financé par le Fonds national suisse de la recherche scientifique et la Fondation Novo Nordisk. Il s'inscrit dans le champ des actionneurs souples et textiles, où se côtoient muscles artificiels fluidiques, électroactifs et à alliage à mémoire de forme, qui se heurtent chacun à des compromis entre force, course et robustesse.

RecherchePaper
1 source
Vidéo : un robot inspiré de la comatule se déplace sous l'eau avec seulement deux actionneurs
222Interesting Engineering 

Vidéo : un robot inspiré de la comatule se déplace sous l'eau avec seulement deux actionneurs

Des chercheurs de North Carolina State University (NCSU) ont mis au point un robot aquatique souple capable de se déplacer en trois dimensions avec seulement deux actionneurs, là où une locomotion tridimensionnelle comparable en exige habituellement au moins six. L'engin s'inspire des comatules (« feather stars »), des invertébrés marins qui nagent et se maintiennent en position en coordonnant leurs bras. Il se compose d'un disque central, qui loge les deux actionneurs, entouré de quatre ailes élastiques dites monostables : elles fléchissent sous l'effet de l'actionnement, puis reviennent seules à leur position initiale dès que la force cesse. Trois modes de déplacement en découlent. Lorsque les deux actionneurs sont activés en cycles rapides, les ailes battent et le robot monte dans l'eau ; à cadence plus lente, il stationne (« jellyfish mode »). En n'activant qu'un seul actionneur, une aile oscille comme une nageoire caudale et propulse l'appareil vers l'avant ou l'arrière (« fish mode »). Enfin, l'alternance rapide des deux actionneurs crée des battements asymétriques qui le font pivoter sur son axe (« rotor mode »), ce qui permet de l'orienter. Les chercheurs l'ont démontré en exploration avec une caméra embarquée, et en levage d'objets, seul ou à plusieurs robots. Le résultat est surtout intéressant sur le plan de la méthode. L'équipe de Jie Yin, professeur de génie mécanique et aérospatial et auteur correspondant de l'étude, applique le principe d'« intelligence mécanique » : la structure du robot et son interaction avec l'eau déterminent une partie du comportement, ce qui réduit la charge de commande côté calculateur ou opérateur. Pour un intégrateur, passer de six actionneurs à deux signifie moins de pièces mobiles, moins d'étanchéité à gérer, moins d'électronique de pilotage et potentiellement moins de pannes, des arguments qui comptent pour des plateformes d'inspection ou de surveillance à bas coût. Il faut toutefois rester prudent : l'annonce ne fournit ni vitesse, ni profondeur d'essai, ni charge utile chiffrée, ni autonomie, ni comparaison quantifiée avec des robots sous-marins conventionnels. Les démonstrations décrites relèvent du laboratoire, sans déploiement en conditions réelles, et le robot n'est pas un produit. Ces travaux prolongent une réalisation antérieure de la même équipe, un robot aquatique inspiré de la raie manta, rapide mais dépourvu d'une aussi bonne maniabilité en trois dimensions. Ici, plutôt que d'ajouter des moteurs et des mécanismes, les chercheurs ont cherché à obtenir des degrés de liberté supplémentaires par la géométrie et l'élasticité des ailes. Ce courant de la robotique molle bio-inspirée est actif dans de nombreux laboratoires, face aux véhicules sous-marins classiques à hélices et propulseurs, plus puissants mais plus lourds et plus complexes. La prochaine étape annoncée est une version entièrement sans fil, aujourd'hui non réalisée, ainsi que des applications à explorer avec des chercheurs d'autres disciplines. Aucun calendrier de transfert industriel ni partenaire commercial n'a été communiqué, et aucun acteur français ou européen n'est cité dans ce travail.

RecherchePaper
1 source
Les robots de Sereact automatisent le traitement des retours Zalando dans des centres logistiques en Allemagne et en Pologne
223Robotics & Automation News 

Les robots de Sereact automatisent le traitement des retours Zalando dans des centres logistiques en Allemagne et en Pologne

Sereact, le détaillant en ligne Zalando et CEVA Logistics ont lancé le traitement automatisé des retours de mode sur deux sites logistiques : Greven en Allemagne et Świebodzin en Pologne. Les systèmes robotiques à deux bras, pilotés par Cortex, la plateforme de physical AI de Sereact, sont entrés en exploitation réelle. Ils prennent en charge de façon autonome des articles retournés par des clients. Les partenaires présentent ce déploiement comme la phase initiale d'un programme plus large. Le communiqué ne précise ni cadence, ni taux de réussite, ni nombre de cellules, ni périmètre exact des références traitées. L'enjeu est considérable. Les retours de vêtements sont un cas d'usage difficile pour la manipulation robotique : textiles déformables, emballages variables, états hétérogènes, tâches de tri et de contrôle. Un déploiement en production chez un grand e-commerçant européen, sur deux pays, suggère que les modèles de manipulation guidés par l'IA quittent le stade du pilote pour s'intégrer à des flux logistiques réels. Il faudra toutefois attendre des chiffres de débit, de disponibilité et de coût par pièce pour juger de la rentabilité face au travail manuel. À ce stade, il s'agit d'un lancement en conditions réelles, sans données de performance publiées. Sereact, start-up allemande de Stuttgart, mise sur un modèle fondation généraliste pour la manipulation, là où des concurrents comme Dexterity, Mujin ou Pickle misent sur des solutions plus spécialisées. CEVA Logistics, filiale de CMA CGM basée à Marseille, apporte une visibilité française dans ce projet et un accès à de nombreux sites. Zalando, de son côté, traite de gros volumes de retours. L'extension à d'autres sites des trois partenaires sera le vrai test de la généralisation.

FR/EU ecosystemeActu
1 source
Galbot et Tsinghua : LATENT remporte un prix à l'IROS pour un coup droit de tennis humanoïde
224Pandaily 

Galbot et Tsinghua : LATENT remporte un prix à l'IROS pour un coup droit de tennis humanoïde

Une équipe réunissant Galbot, l'université Tsinghua, l'université de Pékin et le Shanghai AI Laboratory a remporté le prix du meilleur article « Entertainment and Amusement » à l'IROS 2026, dont la conférence principale s'est achevée à Pittsburgh le 30 septembre. Le travail, intitulé « Learning Athletic Humanoid Tennis Skills from Imperfect Human Motion Data » et surnommé LATENT, entraîne un humanoïde à renvoyer des balles de tennis à partir de données volontairement lacunaires : cinq joueurs amateurs ont passé environ cinq heures dans une zone de capture de 3 par 5 mètres, enregistrant des fragments de coups droits, de revers et de déplacements, sans match ni information sur la cible de la balle. Le système entraîne d'abord un tracker de mouvement, puis le compresse en un espace d'actions latent continu, sorte de dictionnaire de mouvements corporels. L'équipe a réduit la confiance accordée au poignet droit, trop bruité après retargeting, et ajouté une contrainte, la Latent Action Barrier, fondée sur la distance de Mahalanobis, qui empêche la politique de sauter entre mouvements sans rapport. En simulation, la politique de coup droit réussit 96,52 % des retours, avec une erreur moyenne d'atterrissage de 1,32 m, contre 41,32 % pour AMP, 63,47 % pour ASE et 71,85 % pour PULSE. Sans la barrière, le succès ne baisse qu'à 93,12 %, mais l'indice de lissage passe de 25,61 à 37,64 et le couple articulaire de 7,40 à 12,53, signe de mouvements plus saccadés. Sur un Unitree G1 réel, sur 20 échanges consécutifs, le coup droit atteint 90,90 % de réussite, le revers 77,78 %, le jeu depuis l'avant-court 88,89 % et depuis le fond 81,82 %, le succès signifiant que la balle retombe dans le camp adverse. Pour les intégrateurs et les décideurs, l'intérêt tient moins au tennis qu'à la méthode : obtenir un comportement dynamique et précis à partir de peu de données humaines, imparfaites et non étiquetées par la tactique, sans script de mouvement à rejouer. L'espace latent traite les clips comme un a priori plutôt qu'une consigne, et l'ablation montre que la contrainte de régularité pèse surtout sur la qualité du geste (couple, fluidité), donc sur l'usure mécanique et la faisabilité sur matériel réel, davantage que sur le seul taux de succès. Il faut toutefois lire ces chiffres avec prudence. Le test réel dépend encore de la capture de mouvement : selon Leiphone, citant les documents du projet, le dispositif compte plus de 50 caméras sur 19 par 15 mètres, et non les caméras embarquées du robot. L'échantillon de 20 échanges est modeste, et l'échange simulé de 25 coups entre deux robots ne provient pas d'un court réel. Le résultat est un retour de balle en laboratoire, pas un match de tennis, et il n'a pas d'application commerciale directe. Le prix s'inscrit dans une série de démonstrations sportives sur le Unitree G1, plateforme de recherche devenue standard, dont un panier de basket présenté par HKUST. Galbot, fabricant chinois, multiplie par ailleurs les annonces : l'ET1, humanoïde bipède dont le prix démarre à 79 000 yuans, avec des compétences par observation sur les gammes supérieures, et le modèle monde-action LDA-1B, dont le framework est ouvert. Les auteurs listent la capture de mouvement comme limite principale et désignent la vision active, c'est-à-dire la perception par les caméras du robot, comme prochaine étape, condition nécessaire pour sortir du laboratoire. Aucun calendrier de déploiement ni pilote industriel n'est annoncé à ce stade.

RechercheActu
1 source
RoboJEPA : passage à l'échelle des modèles du monde latents pour la robotique
225arXiv cs.RO 

RoboJEPA : passage à l'échelle des modèles du monde latents pour la robotique

RoboJEPA, un modèle du monde latent publié sur arXiv (2610.10515), repose sur l'architecture JEPA (Joint Embedding Predictive Architecture) et compte 8 milliards de paramètres. Ses auteurs le présentent comme le plus grand prédicteur JEPA entraîné à ce jour. Il a été entraîné sur un jeu de données à grande échelle couvrant 12 embodiments robotiques différents, issu de données de robots réels. Le résultat central est que l'« imagination error », c'est-à-dire l'erreur accumulée par les déroulés (rollouts) du modèle dans l'espace latent, suit une loi de puissance de second ordre en fonction du calcul. Cette loi permet de prédire la qualité du modèle bien au-delà de l'échelle sur laquelle elle a été ajustée. Les performances de planification en aval progressent elles aussi de façon prévisible avec le calcul. Enfin, le modèle a été déployé en zero-shot sur du matériel réel : il planifie vers une unique image-but pour résoudre des tâches à horizon long. Les checkpoints, le code d'entraînement et le code de déploiement sont publiés. L'intérêt tient moins à la performance brute qu'à la méthode. Jusqu'ici, les lois d'échelle étaient bien établies pour les modèles de langage, mais pas pour les modèles du monde robotiques, ce qui obligeait les équipes à investir à l'aveugle en paramètres, données et GPU. Si l'imagination error est effectivement corrélée de façon forte à la réussite de la planification, elle devient un indicateur peu coûteux pour évaluer un modèle sans passer par des essais sur robot réel, longs et difficiles à reproduire. Pour les intégrateurs et les décideurs B2B, cela rapproche la robotique d'une logique d'ingénierie où l'on chiffre à l'avance le gain attendu d'un budget de calcul. Il faut cependant rester prudent : il s'agit d'un preprint sans relecture par les pairs, les tâches réelles ne sont pas détaillées dans le résumé (taux de réussite, durée, diversité des scènes), et une extrapolation de loi d'échelle ne garantit pas la robustesse en environnement industriel ouvert. Ce travail s'inscrit dans la lignée des approches JEPA promues par Yann LeCun et Meta, qui privilégient la prédiction dans un espace de représentation abstrait plutôt qu'au niveau du pixel, en opposition aux modèles génératifs vidéo et aux politiques VLA (vision-langage-action) entraînées par imitation. Il se positionne face aux modèles du monde de type Cosmos de NVIDIA et aux modèles génératifs de Google DeepMind, ainsi qu'à V-JEPA 2 de Meta, qui avait déjà montré une planification robotique à partir d'une image-but. La publication ouverte des poids et du code laisse attendre des reproductions et des extensions par d'autres laboratoires. Les prochaines étapes à surveiller sont la validation des lois d'échelle à des tailles supérieures à 8 milliards de paramètres, leur confirmation par des équipes indépendantes, et une évaluation sur des tâches industrielles réelles.

RecherchePaper
1 source
Revue de la littérature et étude expérimentale sur l'apprentissage par renforcement à partir de retours humains pour la collaboration humain-robot
226arXiv cs.RO 

Revue de la littérature et étude expérimentale sur l'apprentissage par renforcement à partir de retours humains pour la collaboration humain-robot

Une équipe de chercheurs publie sur arXiv (2610.09891) une revue de cadrage suivie d'une expérience en réalité virtuelle sur l'apprentissage par renforcement à partir de retours humains (RLHF) appliqué à la collaboration humain-robot (HRC). La revue suit les lignes directrices PRISMA : sur 199 références examinées, 20 publications évaluées par des pairs (2020-2025) ont été retenues, couvrant plusieurs domaines de la HRC. Les auteurs affirment qu'il s'agit de la première revue centrée sur la conception bidirectionnelle en boucle fermée du RLHF. Elle recense plusieurs modalités de retour (donc plusieurs formats de données), qui peuvent être intégrées à différentes étapes de l'entraînement, ce qui donne un développement en plusieurs phases. Les systèmes sont le plus souvent évalués par des expériences pilotes, avec des métriques côté humain et côté robot. Pour tester une lacune identifiée, l'équipe a mené une expérience en environnement virtuel, en groupes indépendants (between-subjects), comparant un retour initié par le système et un retour initié par l'utilisateur, sur le comportement proxémique d'un robot qui navigue en sécurité autour d'une personne. Les résultats reposent sur des modèles bayésiens qui relient les retours collectés à deux mesures de sécurité : la sécurité psychologique, relevée par questionnaire après l'expérience, et la sécurité physique, mesurée par l'inverse du temps avant collision. Le retour initié par l'utilisateur traduit mieux la sécurité perçue que celui déclenché par le système. Le moment où le retour est demandé influence donc directement sa qualité. L'abstract ne donne ni taille d'échantillon ni effets chiffrés, et l'expérience porte sur un scénario simulé et un seul comportement (la navigation), de sorte que la portée industrielle reste à démontrer. Pour les intégrateurs, le message est pragmatique : la manière de collecter les retours (quand, à l'initiative de qui) pèse autant que l'algorithme sur la sécurité d'un robot collaboratif. Une interface où l'opérateur signale lui-même un inconfort ou une trajectoire trop proche produirait des signaux d'entraînement plus fiables que des sondages automatiques à intervalles fixes. Le travail relativise aussi l'idée que davantage de données humaines suffit, puisque leur qualité dépend du protocole de collecte. Le contexte est celui de l'Industrie 4.0 et de la personnalisation de masse, où la HRC doit permettre des lignes flexibles sans cloisonner l'homme et la machine. Le RLHF, popularisé par les modèles de langage, est transposé à la robotique physique avec des contraintes propres : la sécurité pendant l'apprentissage, le bruit et la fatigue des évaluateurs humains, et l'adaptation mutuelle entre l'humain et le robot. Les auteurs identifient un manque d'expériences HRC réalistes qui comparent les méthodes de collecte de retours. Ils recommandent d'en faire la priorité de la recherche à venir, en mesurant leurs effets sur des métriques humaines et robotiques. Il s'agit d'un travail académique sans produit ni déploiement annoncé, et ses conclusions devront être confirmées sur robots réels, en environnement industriel et avec des échantillons plus larges.

RecherchePaper
1 source
TERRA : apprendre des actions latentes transférables par représentation temporelle des effets et alignement relationnel
227arXiv cs.RO 

TERRA : apprendre des actions latentes transférables par représentation temporelle des effets et alignement relationnel

Des chercheurs proposent TERRA (Temporal Effect Representation and Relational Alignment), une méthode d'apprentissage d'actions latentes pour la robotique, décrite dans un preprint arXiv (2610.09509v1). Les actions latentes sont des codes proches d'actions, inférés à partir de transitions visuelles, qui servent à superviser des politiques robotiques sans étiquettes d'actions explicites. TERRA représente une transition par un « effet temporel » compact. Cet effet combine le changement net des caractéristiques visuelles avec une composante de dynamique d'ordre faible à l'intérieur de la fenêtre temporelle. Un latent continu est appris à partir de cet effet. Le module Effect-Anchored Transport (EAT) décode ensuite ce latent dans d'autres états initiaux. L'effet obtenu est ancré sur celui observé à la source. Avec des lecteurs linéaires gelés, TERRA prédit les actions plus précisément que UniVLA et qu'une baseline de type LAPA. Il se dégrade plus lentement face aux distracteurs visuels. Les transitions « transportées » restent fidèles à l'action du donneur, même quand le contexte du receveur s'éloigne. À échelle de pré-entraînement égale, le système complet atteint 93,4 % de succès moyen sur LIBERO, contre 91,8 % pour UniVLA. L'intérêt tient à la façon dont le papier traite deux faiblesses des actions latentes. La première concerne ce que le code conserve. Une simple différence entre états de départ et d'arrivée perd la manière dont le mouvement se déroule. La séquence complète, elle, laisse passer des variations parasites. La seconde concerne la réutilisation. La reconstruction n'observe un latent qu'avec l'état dont il provient, donc rien ne garantit qu'il garde le même sens dans un autre contexte. L'approche vise à rendre ces codes transférables d'un contexte à l'autre, ce qui compte pour le pré-entraînement à partir de vidéos sans annotations d'actions. Le gain de 1,6 point sur LIBERO est modeste. Il s'agit d'un benchmark de simulation, où l'écart entre résultats en simulation et en conditions réelles reste entier. Les auteurs précisent qu'un contrôle à budget identique attribue l'essentiel des gains à EAT, ce qui désigne ce module comme la contribution centrale. Aucun déploiement ni test sur robot physique n'est rapporté dans le résumé. Ce travail s'inscrit dans la lignée des modèles vision-langage-action (VLA) qui apprennent des représentations d'actions à partir de vidéos. LAPA a popularisé les actions latentes quantifiées, et UniVLA constitue la référence directe retenue ici pour la comparaison. Les prochaines étapes naturelles seraient des validations sur de plus grands corpus vidéo, sur des benchmarks plus variés et sur du matériel réel, notamment avec des vidéos humaines dont le point de vue et la morphologie diffèrent de ceux du robot. Ces tests diraient si la propriété de transport tient hors du cadre simulé. Aucune date de publication de code ou de modèles n'est indiquée. Le résultat reste pour l'instant un apport méthodologique de recherche, sans lien avec un produit ou un déploiement industriel.

RecherchePaper
1 source
Apprentissage par imitation sensible au contact grâce à la factorisation du contact
228arXiv cs.RO 

Apprentissage par imitation sensible au contact grâce à la factorisation du contact

Des chercheurs du laboratoire RCILab de l'université Kyung Hee (Corée du Sud) présentent FACE, un cadre d'apprentissage par imitation « factorisé par le contact », décrit dans un preprint arXiv (2610.09533). Le principe consiste à séparer le comportement de tâche voulu des facteurs de contact propres à l'environnement. Les efforts d'interaction sont exprimés dans des coordonnées normalisées, relatives au contact. Deux estimateurs complètent ce dispositif : un estimateur de normale de contact, appris, et un estimateur de friction en ligne, qui détermine l'échelle de friction effective. À l'exécution, les observations d'effort sont encodées et les sorties de la politique sont décodées en commandes de mouvement et d'effort physiques. L'adaptation se fait donc sans aucune mise à jour des paramètres de la politique. Les essais ont été menés sur robot réel, en manipulation riche en contacts, avec des variations inédites de propriétés de surface et de géométrie. Les auteurs comparent FACE à des variantes qui adaptent des approches antérieures à leur cadre. Le résumé ne chiffre ni taux de réussite, ni nombre d'essais, ni plateforme robotique, et ces éléments restent à vérifier dans l'article complet et sur la page du projet. L'enjeu est un verrou connu de la manipulation de précision, celle de l'essuyage, du ponçage, de l'insertion ou du polissage. Les efforts mesurés varient fortement pour de faibles changements de géométrie, d'orientation ou de friction de la surface. Une politique entraînée sur des mesures brutes de force apprend donc en partie les particularités des démonstrations et se transfère mal. Déplacer cette variabilité dans des estimateurs légers, sans réentraîner la politique, serait précieux pour les intégrateurs. Ils pourraient réutiliser une même politique sur des pièces, des matériaux ou des outillages différents, sans recollecter de démonstrations à chaque changement de référence. Ces résultats restent des essais de laboratoire. La robustesse face à des surfaces courbes, à des frottements non stationnaires ou à des cadences industrielles n'est pas établie, et les comparaisons portent sur des variantes adaptées par les auteurs, non sur des systèmes tiers inchangés. Ce travail s'inscrit dans le virage des politiques visuo-motrices (diffusion, VLA) vers la prise en compte du toucher et de l'effort. Les premières versions de ces modèles, comme Pi-0 ou Helix, s'appuient surtout sur la vision et la proprioception. La commande en force et en impédance, issue de la robotique classique, offre une adaptation fine au contact, mais elle exige des modèles d'environnement qu'il faut régler à la main. FACE vise un compromis : conserver l'apprentissage par imitation et déléguer au contact une partie de la physique, estimée en ligne. La suite logique serait de brancher ce principe sur des politiques généralistes plus grandes et de le valider sur plusieurs plateformes. Le preprint, publié en version 1, n'a pas encore passé de relecture par les pairs.

RecherchePaper
1 source
RoboIRS : orientation des représentations internes à l'inférence pour les politiques robotiques généralistes
229arXiv cs.RO 

RoboIRS : orientation des représentations internes à l'inférence pour les politiques robotiques généralistes

Une équipe de chercheurs publie RoboIRS, une méthode de pilotage des représentations internes appliquée à l'inférence. Elle vise les politiques robotiques généralistes de type vision-langage-action (VLA) et les modèles monde-action (WAM). L'équipe collecte des déroulés réussis et échoués, puis entraîne des classifieurs linéaires pour repérer les emplacements du réseau liés au résultat. Elle en déduit, pour chaque tâche, une direction de pilotage injectée dans les activations, sans mise à jour des poids. Sur 15 tâches simulées avec une politique π0.5 gelée, le taux de succès moyen passe de 44,4 % à 66,2 %. La méthode dépasse d'autres interventions à l'inférence, pour un surcoût de calcul que les auteurs qualifient de faible sans le chiffrer dans le résumé. Ils ajoutent une validation en manipulation réelle avec le même π0.5. Ils l'appliquent aussi à Cosmos Policy, un WAM, dont le taux moyen passe de 35,4 % à 55,4 %. Les VLA se dégradent souvent dès que la tâche s'écarte de la distribution d'entraînement, alors qu'ils conservent une partie de leur capacité. Ces résultats suggèrent qu'une part de cette compétence reste présente dans les représentations internes et peut être réactivée sans fine-tuning. Pour un intégrateur, cela évite de collecter de nouvelles démonstrations et de réentraîner le modèle à chaque variation de site ou de pièce. Le gain, environ 20 points sur les deux familles de modèles, est net. Il faut toutefois le lire avec prudence. Un taux de 66 % ou de 55 % reste loin d'un seuil de production. La direction de pilotage est propre à chaque tâche et exige des rollouts étiquetés succès ou échec, donc une supervision de résultat. Le résumé ne donne pas de chiffres pour les essais réels. Il s'agit enfin d'un preprint, dont les résultats n'ont pas été évalués par des pairs. π0.5 est la politique généraliste de Physical Intelligence. Elle côtoie Helix de Figure et la famille GR00T de NVIDIA parmi les références du secteur. L'adaptation à de nouvelles conditions passe aujourd'hui surtout par le fine-tuning, l'apprentissage par renforcement ou l'accumulation de données. RoboIRS transpose à la robotique l'idée de « steering » d'activations, déjà explorée sur les grands modèles de langage. La suite logique serait de la tester sur davantage de plateformes et de tâches longues, et de mesurer le surcoût de latence dans des conditions de déploiement. Aucun pilote industriel ni calendrier n'est annoncé. Un site de projet accompagne la publication.

RecherchePaper
1 source
COOL : apprentissage de l'appartenance des objets guidé par la curiosité pour une assistance robotique personnalisée
230arXiv cs.RO 

COOL : apprentissage de l'appartenance des objets guidé par la curiosité pour une assistance robotique personnalisée

Des chercheurs présentent COOL (Curiosity-Driven Object Ownership Learning), un cadre logiciel pour robots qui apprend de façon autonome à qui appartiennent les objets d'un environnement et entretient une mémoire spatiale à long terme de ce dernier. Publié sur arXiv (2610.09358v1), le travail vise des requêtes en langage naturel du type « Où est mon sac à dos ? » ou « Trouve ma bouteille ». Le robot doit y raisonner simultanément sur des instances d'objets, des personnes, des lieux et des relations de propriété. COOL infère ces relations à partir d'observations quotidiennes d'interactions entre humains et objets, car la propriété n'est presque jamais annotée explicitement. Pour garder sa mémoire à jour, le système emploie une stratégie de collecte de données pilotée par un agent et guidée par la curiosité. Elle envoie le robot vers les emplacements les plus informatifs afin de rafraîchir les observations devenues obsolètes. Les auteurs affirment l'avoir validé par des expériences hors ligne, des études d'ablation et des évaluations en conditions réelles. Le résumé ne donne ni chiffres de performance, ni plateforme robotique, ni taille de l'environnement testé. L'enjeu dépasse la navigation vers un objet : il s'agit de passer de la reconnaissance d'objets à la compréhension sociale de l'espace. Les assistants domestiques, les robots de bureau ou d'hôpital doivent savoir que telle veste appartient à telle personne, sans qu'on le leur ait expliqué. Le travail s'attaque aussi à un point faible des cartes sémantiques statiques : dans un lieu occupé, les objets bougent, et une mémoire figée devient vite fausse. Faire de la fraîcheur de l'information un critère explicite de planification, plutôt qu'un sous-produit de l'exploration, est une piste utile pour tout déploiement long en environnement non contrôlé. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs, sans résultats chiffrés visibles dans le résumé, et la part des tests réels dans la validation n'est pas précisée. Aucun produit ni déploiement commercial n'est annoncé. On est au stade de la recherche. Le contexte est celui de la robotique de service, où la personnalisation devient un sujet central à mesure que les modèles vision-langage et les agents à base de grands modèles de langage s'intègrent aux piles de navigation. Les travaux précédents sur les cartes sémantiques, les graphes de scène 3D et la navigation par objet traitaient surtout la catégorie d'un objet (« une bouteille »), rarement son propriétaire. COOL se place sur ce terrain de la mémoire persistante et de la « personnalisation » des assistants. Les prochaines étapes naturelles seraient des évaluations plus longues, avec plusieurs occupants et des changements d'habitudes, ainsi qu'un examen des questions de vie privée que soulève l'observation continue des comportements humains.

RecherchePaper
1 source
Pointer, frapper : manipulation dynamique d'objets linéaires déformables conditionnée par la direction
231arXiv cs.RO 

Pointer, frapper : manipulation dynamique d'objets linéaires déformables conditionnée par la direction

Des chercheurs publient sur arXiv (2610.09573) une méthode de manipulation dynamique de cordes, cette fois conditionnée par la direction d'arrivée du bout de la corde. Jusqu'ici, les travaux sur les objets linéaires déformables (DLO) se contentaient de fixer comme objectif une position 3D que l'extrémité devait atteindre. Ici, une frappe en un seul balancement doit atteindre une position 3D précise avec une direction d'arrivée donnée, sur tout l'espace de travail et sur différentes cordes. L'équipe étend d'abord le simulateur DeformX avec accélération GPU, un solveur stable de tiges de Cosserat et un modèle aérodynamique à écoulement transverse. Le résultat, DeformX2.0, est plus de 20 000 fois plus rapide. Elle propose ensuite TRACE (Trace-rooted Adaptive Cross-Entropy), qui génère les données de frappe en initialisant chaque nouvelle cible à partir du balancement mémorisé dont la trajectoire de bout de corde passe le plus près. Son coût pénalise la flexion de la corde et les mouvements brusques de l'extrémité, afin de favoriser des gestes reproductibles. Une politique conditionnelle par flow matching, entraînée sur ces données, atteint 92,1 % de précision en simulation. Sur robot réel, la méthode RECAP (Residual Calibration Policy) ajuste les paramètres de corde et de banc du simulateur à partir de quelques balancements de calibration, puis corrige les actions par une politique résiduelle entraînée en simulation. Sur trois cordes, le taux de succès à 5 cm passe de 72 % à 87 % pour les objectifs de position. Pour les objectifs incluant la direction, le succès à 10 cm et 10° passe de 50 % à 79 %. L'intérêt tient moins à la tâche, plutôt académique, qu'à la méthodologie. Les auteurs traitent un cas où l'absence de démonstrations humaines et la difficulté de modéliser la dynamique empêchent l'apprentissage par imitation. Ils montrent qu'une simulation très rapide, couplée à une recherche par optimisation puis à une distillation dans une politique générative, fournit des données exploitables. Le résultat contredit l'idée qu'un écart sim-to-real sur objet déformable exige forcément beaucoup de données réelles : quelques balancements de calibration suffisent à gagner 15 à 29 points. Les auteurs précisent aussi que cet écart ne vient pas seulement de la corde, mais aussi du robot et du banc d'essai, ce qui justifie une calibration conjointe. Il faut toutefois rester prudent. Le chiffre de 92,1 % est obtenu en simulation, et sur matériel réel un balancement sur cinq reste hors tolérance pour les objectifs directionnels (79 %). L'évaluation ne porte que sur trois cordes dans un montage de laboratoire. Rien n'indique de transfert vers des applications industrielles comme la manipulation de câbles ou de flexibles, même si la logique de contrôle de l'arrivée, et pas seulement de la destination, y est pertinente. Ce travail prolonge la lignée des simulateurs de DLO et des manipulations dynamiques de cordes, où l'objectif se limitait à la position du bout. L'apport principal est un pipeline reproductible plutôt qu'un nouveau matériel. Un gain de vitesse de plus de 20 000 fois sur DeformX rend l'optimisation massive de trajectoires praticable, et la calibration résiduelle pourrait être réutilisée sur d'autres objets déformables. Il s'agit d'une préimpression (version 1) sans évaluation par les pairs, sans annonce de code ni de pilote industriel. La suite logique serait d'élargir la diversité des objets, de passer à des mouvements multi-balancements et de tester des tâches de manipulation de câbles proches de la production. Les approches concurrentes, fondées sur l'apprentissage par renforcement ou la téléopération pour les tâches dynamiques, restent à comparer à cette méthode sur des bancs communs.

RecherchePaper
1 source
Maîtriser une politique de conduite autonome de bout en bout pour la navigation urbaine de robots quadrupèdes
232arXiv cs.RO 

Maîtriser une politique de conduite autonome de bout en bout pour la navigation urbaine de robots quadrupèdes

Des chercheurs présentent Go2-DrivoR, une adaptation conditionnée par un objectif de DrivoR, un cadre de planification de trajectoire de conduite autonome de bout en bout, pour la navigation urbaine de robots quadrupèdes. Le sigle Go2 renvoie vraisemblablement au chien robot Unitree Go2, sans que le résumé le précise. La méthode injecte un sous-objectif exprimé dans le repère local du robot via un « goal token », un jeton d'entrée dédié. Elle modifie aussi la formulation du score, pensée au départ pour un véhicule. La conformité à la zone praticable est redéfinie pour une navigation orientée trottoir. Le terme de progression de l'ego est reformulé en progression conditionnée par l'objectif. Les décodeurs centraux de DrivoR ne sont pas redessinés. Le modèle est entraîné uniquement sur les données de simulation TartanGround. Il améliore la planification conditionnée par des points de passage dans des environnements simulés inédits, et se transfère en zero-shot à la prédiction de trajectoire en boucle ouverte dans le monde réel. L'intérêt tient à la réutilisation d'une politique issue de la conduite autonome sur une plateforme à pattes. Les piétons, les bordures, les traversées et les obstacles dynamiques demandent déjà des compétences proches de celles des voitures, et la plupart des robots quadrupèdes n'ont pas de planificateur de ce type. Le résultat renforce l'idée qu'un transfert sim-to-real est possible avec des données purement synthétiques, sans collecte terrain coûteuse. Les limites sont nettes. L'évaluation réelle se fait en boucle ouverte : le modèle prédit des trajectoires comparées à des données enregistrées, mais ne pilote pas le robot. Aucun taux de réussite de navigation en boucle fermée, aucune distance parcourue, aucune latence d'inférence et aucun déploiement réel n'est fourni dans le résumé. Il s'agit d'une preuve de concept académique, pas d'un produit. Pour les intégrateurs de robots de livraison ou d'inspection urbaine, le signal est encourageant mais prématuré. DrivoR vient de la recherche en conduite autonome de bout en bout, qui a fait converger perception, prédiction et planification dans un seul réseau, avec un scoring des trajectoires candidates. TartanGround est un jeu de données de simulation associé à la robotique terrestre. Les approches concurrentes pour la locomotion urbaine reposent plutôt sur des modèles de navigation généralistes entraînés sur des vidéos ou des données multi-plateformes, ou sur des piles modulaires classiques de cartographie et de planification. Le travail est publié sur arXiv (2610.08812v1), sans code, benchmark chiffré ni calendrier annoncés dans le résumé. La suite logique est une validation en boucle fermée sur robot réel, avec des mesures de sécurité et de robustesse en conditions urbaines variées.

RecherchePaper
1 source
AirGroundVLN : un benchmark à grande échelle pour la navigation vision-langage collaborative air-sol orientée vers un objectif
233arXiv cs.RO 

AirGroundVLN : un benchmark à grande échelle pour la navigation vision-langage collaborative air-sol orientée vers un objectif

Des chercheurs publient sur arXiv AirGroundVLN, un benchmark dédié à la navigation guidée par vision et langage (VLN) pour des équipes mixtes drone et robot terrestre. Il regroupe 10 281 épisodes de navigation et 955 instances de cibles réparties sur 19 environnements simulés sous Unreal Engine. Il propose des découpages « vus » et « non vus » pour mesurer la généralisation, ainsi qu'un protocole de visibilité aérienne qui encadre ce que le drone perçoit pendant l'évaluation. Les auteurs livrent aussi AG-CoNAV, un cadre de référence entraînable. Il repose sur deux modules. Le premier, SACM (Spatiotemporally Anchored Collaborative Memory), conserve et retrouve un contexte historique cohérent dans l'espace à partir des observations aériennes et terrestres. Le second, AGRLP (Aerial-Guided Regional-to-Local Planning), combine un guidage régional fourni par la vue aérienne et une navigation fine au sol. Les auteurs annoncent des expériences « extensives » validant AG-CoNAV, mais le résumé ne donne aucun score chiffré. La tâche est de type « goal-oriented » : l'agent doit trouver et atteindre une cible décrite en langage naturel, sans itinéraire prescrit. C'est plus proche d'une mission réelle que le VLN classique, où l'on suit des instructions pas à pas. Le benchmark cible deux difficultés précises. Les vues aérienne et terrestre diffèrent fortement, et des observations utiles disparaissent au fil du déplacement, ce qui complique le maintien d'un contexte spatial cohérent entre plateformes et dans le temps. Par ailleurs, l'observabilité est asymétrique : le sol voit avec précision mais sur un champ limité, tandis que le drone couvre une large zone avec peu de détail local. Ce couple correspond à des usages concrets, comme l'inspection de sites industriels, la logistique extérieure, la recherche et le secours, ou la surveillance de grands entrepôts. Cependant, tout le travail reste en simulation. Aucun transfert sim-to-real n'est démontré, et l'écart entre environnements Unreal et terrain réel, avec ses occlusions, son vent et sa perception bruitée, reste entier. Le benchmark fournit surtout un terrain commun pour comparer des méthodes multi-robots hétérogènes, qui manquait jusqu'ici. Ce travail s'inscrit dans la montée des modèles vision-langage-action (VLA) et de la navigation incarnée, qui se sont longtemps concentrés sur un seul agent, au sol ou en vol. Les benchmarks VLN aériens et terrestres existent séparément, mais la collaboration air-sol y était peu étudiée à grande échelle. Aucun acteur industriel ni produit n'est cité, et l'article ne mentionne aucun pilote ni calendrier de déploiement : il s'agit d'une contribution purement académique, au stade de préimpression (v1) et sans évaluation par les pairs. La suite logique consiste à voir si d'autres équipes adoptent le benchmark, si des modèles de fondation généralistes dépassent AG-CoNAV, et si des validations sur matériel réel apparaissent. Les intégrateurs qui suivent les flottes mixtes drones et robots mobiles y trouveront surtout un indicateur de maturité de la recherche, pas encore une technologie déployable.

RecherchePaper
1 source
RFPO : optimisation de politique par flux rectifié pour le contrôle de l'IA incarnée
234arXiv cs.RO 

RFPO : optimisation de politique par flux rectifié pour le contrôle de l'IA incarnée

Des chercheurs du groupe AIGeeksGroup publient sur arXiv (2610.10453) RFPO, pour Rectified Flow Policy Optimization, un cadre d'optimisation de politiques basées sur les flows, conçu pour que le contrôle reste fiable avec une seule étape d'intégration numérique. Le déploiement s'appuie sur un seul « étudiant » flow exécuté en un pas d'Euler. L'entraînement combine un Reflow en ligne sensible à la récompense, qui rectifie les trajectoires de transport induites par l'étudiant pendant l'apprentissage on-policy, et un contrôleur gaussien PPO gelé, qui fournit une supervision complémentaire dans l'espace des actions à budget d'intégration complet et intermédiaire. Les tests couvrent quatre plateformes : Unitree Go2, Boston Dynamics Spot, Unitree H1 et Unitree G1. En exécution à un pas, les retours restent à moins de 2,4 % de ceux obtenus à 64 pas, avec initialisation nulle comme aléatoire. Sur le Go2, un pas conserve 98,5 % de la récompense à 64 pas. La latence moyenne d'inférence embarquée passe de 4,39 ms à 0,08 ms, soit une accélération de 54,9 fois. Des expériences sur robot réel valident une locomotion stable à un pas. Le code et un site web sont publiés. L'enjeu est très concret pour l'embarqué. Les politiques de diffusion et de flow matching séduisent par leur expressivité sur les actions continues, mais leur intégration itérative d'ODE coûte du calcul et de la latence, ce qui pèse sur les boucles de contrôle rapides et sur les budgets énergétiques des robots mobiles. Réduire naïvement le nombre de pas dégrade le contrôle, car une politique optimisée en pas complets n'est pas contrainte à rester fiable sous intégration grossière. Les auteurs nomment cet écart « few-step discretization gap ». Passer de 4,39 ms à 0,08 ms libère de la marge pour des fréquences de contrôle élevées ou pour des calculateurs modestes. Il faut toutefois lire ces chiffres avec prudence : les scores principaux viennent de simulation, la validation réelle est présentée comme qualitative (stabilité de la marche) sans taux de réussite ni durée. Les tâches sont de la locomotion, pas de la manipulation, où la multimodalité des actions est plus exigeante. Le gain porte aussi sur la latence de la politique seule, pas sur la chaîne perception-contrôle complète. Le travail s'inscrit dans l'effort pour rendre les politiques génératives exploitables en temps réel, après la diffusion à nombreuses étapes, puis les approches de distillation, de consistency models et de flow matching à peu de pas. Il s'écarte de la distillation classique, car l'étudiant est rectifié pendant l'apprentissage par renforcement et non après coup. L'usage d'un PPO gaussien gelé comme guide rappelle que les baselines simples restent solides en locomotion. Les plateformes choisies, majoritairement Unitree, reflètent la domination du matériel chinois bon marché dans la recherche académique. Aucun acteur européen n'est cité. La suite logique serait une extension à la manipulation, à des politiques vision-langage-action de grande taille et à davantage de tests sur robot réel avec des métriques publiées.

RecherchePaper
1 source
MultiFly : un jeu de données aérien multimodal en conditions réelles, avec transfert d'étiquettes économe en annotations et cohérence sémantique intermodale
235arXiv cs.RO 

MultiFly : un jeu de données aérien multimodal en conditions réelles, avec transfert d'étiquettes économe en annotations et cohérence sémantique intermodale

Des chercheurs publient MultiFly, un jeu de données aérien réel, acquis à basse altitude par drone, qui couvre quatre modalités capteurs (RGB, thermique, LiDAR et radar) pour la perception sémantique. Il compte 17 272 échantillons synchronisés, collectés sur quatre scènes périurbaines. Chaque image est annotée image par image selon 15 classes sémantiques, avec calibration et mesures GNSS-RTK/IMU. Seules 115 images RGB sont annotées à la main. Leurs étiquettes sont propagées vers les autres modalités par des représentations géométriques partagées. Cela produit des labels pour 17 157 images RGB supplémentaires, 17 272 images thermiques, 840 millions de points LiDAR et 3,4 millions de points radar. Les auteurs annoncent 89,93 % d'accord moyen avec des annotations manuelles mises de côté, et 90,94 % de cohérence sémantique moyenne sur les six paires de modalités. Le jeu de données est disponible sur GitHub (markus-42/multifly). L'enjeu est d'abord économique. Annoter à la main du LiDAR dense, des nuages radar épars et de l'imagerie thermique coûte cher et produit des étiquettes peu cohérentes d'un capteur à l'autre. Le ratio ici est d'environ une image annotée à la main pour 150 échantillons. S'il tient hors du périmètre des quatre scènes, la méthode abaisse nettement le coût de construction de jeux multimodaux. Les chiffres d'accord restent toutefois à relativiser. Ils mesurent la fidélité de la propagation par rapport à des annotations manuelles, sur un échantillon restreint de quatre environnements périurbains, et non la robustesse en conditions variées, par exemple de nuit, par mauvais temps ou en zone dense. Les premiers benchmarks de segmentation sémantique sur les quatre modalités montrent des comportements d'architecture distincts entre le LiDAR dense et le radar épars. Cela indique que les modèles conçus pour l'un se transposent mal à l'autre. Pour les intégrateurs de drones d'inspection, de surveillance ou de logistique, un corpus multimodal commun à la fois thermique, radar et LiDAR répond à un besoin concret de perception tout-temps. Les jeux de données aériens existants se limitent en général à une ou deux modalités, le plus souvent RGB seul ou RGB plus thermique, ou bien sont synthétiques. Les auteurs affirment que MultiFly est le premier benchmark aérien public réel à basse altitude qui combine des annotations sémantiques cohérentes image par image pour ces quatre capteurs. Cette revendication de primauté vient des auteurs eux-mêmes et n'a pas été vérifiée de façon indépendante. Il s'agit d'une publication de recherche sur arXiv, sans produit commercialisé ni déploiement industriel associé. La suite logique est l'adoption du jeu de données par la communauté, avec des modèles de fusion multimodale entraînés dessus, ainsi qu'une extension à davantage de scènes, de classes et de conditions météo. Cela permettrait de tester la généralisation de la propagation d'étiquettes à plus grande échelle.

RecherchePaper
1 source
Reformule avant d'agir : caractérisation et atténuation de la sensibilité au langage des modèles vision-langage-action (VLA)
236arXiv cs.RO 

Reformule avant d'agir : caractérisation et atténuation de la sensibilité au langage des modèles vision-langage-action (VLA)

Les modèles vision-langage-action (VLA) ne tiennent pas la promesse de robustesse linguistique de leurs modèles vision-langage d'origine, selon une étude (arXiv 2610.10526) qui chiffre cette fragilité sur LIBERO, un banc d'essai de manipulation en simulation. Sur ce benchmark, π0.5 allume la cuisinière dans 100 % des essais avec « switch on the stove », mais seulement 2 % avec « switch on the hot plate ». Un checkpoint π0 finetuné avec de l'augmentation par reformulation affiche encore des écarts allant jusqu'à 61 points pour une simple variation de phrasé. Les auteurs mesurent ces variations par des tests statistiques d'écarts à une seule édition, puis par une recherche « oracle » de la meilleure formulation. Celle-ci montre que le phrasé seul comble presque entièrement l'écart de 21 points entre tâches in-distribution et hors distribution. Leur correctif ne touche pas à la politique. Ils évaluent de nombreuses formulations sur quelques tâches d'entraînement, puis un grand modèle de langage distille ces résultats en dix à vingt règles de reformulation. Au déploiement, chaque consigne entrante est réécrite une seule fois selon ces règles, sans réentraînement ni vérification à chaque pas de temps. Sur un π0 gelé, le gain relatif est de 16 à 27 % sur douze tâches tenues à l'écart, avec des phrasés adversariaux, générés par VLM et rédigés par des humains. Les progrès se concentrent sur les tâches hors distribution. Sur π0.5 et LIBERO, le taux de succès « in-finetune » passe de 93,6 % à 97,8 %. Il s'agit de résultats de simulation et de benchmark. Rien n'est annoncé en déploiement physique ni sur un produit livré. Pour les intégrateurs et les équipes qui évaluent des VLA, le résultat remet en cause l'idée que la compréhension du langage hérite telle quelle du préentraînement du VLM. Un opérateur qui dit « plaque chauffante » plutôt que « cuisinière » peut faire échouer la tâche presque à coup sûr. Les scores moyens des benchmarks, mesurés avec les formulations canoniques, risquent donc de surestimer la fiabilité en atelier ou en entrepôt, où les consignes varient selon les personnes. Le travail propose aussi une réponse peu coûteuse, puisqu'une couche de réécriture en amont s'ajoute à une politique figée sans nouvelle collecte de données. Reste à voir si cela tient sur robot réel, avec des consignes plus longues et du bruit de reconnaissance vocale. Le coût d'un appel LLM supplémentaire par consigne est faible, mais il ajoute une dépendance et de la latence au démarrage de la tâche. Ce travail s'inscrit dans la série des politiques généralistes de Physical Intelligence (π0, puis π0.5), devenues des références open source. Celles-ci côtoient des approches concurrentes comme GR00T chez NVIDIA ou Helix chez Figure, dont la robustesse linguistique n'est pas documentée publiquement dans des termes comparables. LIBERO est un benchmark commode mais limité, et la plupart des publications sur les VLA le saturent déjà avec des consignes fixes. Les prochaines étapes naturelles sont des tests sur matériel physique et sur d'autres familles de VLA. Les auteurs publient une page de projet, sttawm.github.io/rephrase-before-you-act.

RecherchePaper
1 source
Video Prediction Policy 2 : mieux prédire pour mieux agir
237arXiv cs.RO 

Video Prediction Policy 2 : mieux prédire pour mieux agir

Video Prediction Policy 2 (VPP2) est une nouvelle politique robotique de type « world action model » (WAM), décrite dans un preprint arXiv (2610.10270v1). Ces modèles cherchent à transférer les connaissances acquises par les modèles de prédiction vidéo vers l'apprentissage d'actions. Les auteurs constatent que les WAM existants produisent souvent des prédictions de mouvement erronées en environnement ouvert, ce qui entraîne des actions fausses. Ils l'expliquent par deux causes : les modèles vidéo de base ne sont pas optimisés pour la manipulation, et l'ajout naïf de composantes d'action à un modèle vidéo dégrade nettement sa capacité de généralisation. VPP2 procède en trois étapes. D'abord, un grand jeu de données varié de vidéos de manipulation, annotées avec des légendes détaillées, sert à poursuivre le pré-entraînement du modèle vidéo fondation, avec une approche dite « au niveau de l'événement ». Ensuite, ce modèle est post-entraîné puis distillé en un planificateur visuel en une seule étape, à horizon de prédiction fixe. Enfin, un module d'action, bâti sur une architecture mixture-of-transformers (MoT), apprend un modèle de dynamique inverse implicite. Sur le plan des résultats, la version VPP2-14B (14 milliards de paramètres) dépasse Cosmos3-64B de 11,0 points de pourcentage en taux de réussite du suivi d'instruction en prédiction vidéo, sur des tâches ouvertes. Sur des tâches réelles de manipulation en zero-shot avec un robot ALOHA, VPP2 devance la meilleure référence de 18,5 points. Après un post-entraînement spécifique à chaque benchmark, il obtient les meilleurs taux de succès parmi les méthodes évaluées sur LIBERO-Pro, LIBERO-OOD et RoboDojo. Il s'agit de résultats de laboratoire issus d'un preprint non évalué par les pairs : les auteurs ne précisent pas, dans le résumé, le nombre d'essais, la nature des tâches ALOHA ni la taille des baselines hors Cosmos3. Aucun déploiement industriel n'est annoncé. L'intérêt tient d'abord au diagnostic : la qualité de la prédiction vidéo conditionne directement celle de l'action. Le résultat suggère qu'un modèle de 14 milliards de paramètres, spécialisé par des données de manipulation, peut battre un modèle généraliste quatre fois plus gros, ce qui compte pour les équipes qui doivent faire tourner ces politiques sur du matériel embarqué. La distillation en une seule étape va dans le même sens, puisqu'elle réduit le coût d'inférence, un frein classique des approches fondées sur la diffusion vidéo. Pour les intégrateurs, le point à surveiller reste l'écart entre benchmarks et usage réel : LIBERO et ses variantes sont des environnements de simulation, et le seul test physique rapporté repose sur ALOHA, plateforme bimanuelle de recherche. Ce travail prolonge la lignée Video Prediction Policy, qui utilisait déjà des modèles de diffusion vidéo pré-entraînés comme représentation pour piloter des politiques d'action. Il s'inscrit dans la course aux modèles du monde et aux VLA (vision-langage-action), face notamment aux approches de la famille Cosmos de NVIDIA, citée ici comme point de comparaison, et à d'autres politiques généralistes telles que Pi-0 ou GR00T. La suite dépendra de la publication éventuelle du code et des poids, de réplications indépendantes, et de tests sur des robots et des tâches industrielles au-delà des benchmarks académiques.

IA physiqueOpinion
1 source
RoboFAC : un cadre complet pour l'analyse et la correction des défaillances en robotique
238arXiv cs.RO 

RoboFAC : un cadre complet pour l'analyse et la correction des défaillances en robotique

Des chercheurs rattachés au groupe MINT de l'université Jiao Tong de Shanghai (SJTU) publient la cinquième version de RoboFAC, un cadre d'analyse et de correction des échecs en manipulation robotique. Le jeu de données rassemble 9 440 trajectoires erronées et 78 623 paires question-réponse, réparties sur 53 scènes en simulation et en conditions réelles, avec une taxonomie systématique des types d'échec. Sur cette base, l'équipe a entraîné un modèle multimodal léger, conçu pour comprendre la tâche, diagnostiquer l'échec puis proposer une correction, et assez compact pour tourner en local. Il atteint une précision d'analyse des échecs supérieure de 34,1 % à celle de GPT-4o. Intégré comme superviseur externe dans une chaîne de contrôle VLA réelle, il apporte une amélioration relative de 29,1 % sur quatre tâches, avec une latence nettement inférieure à celle de GPT-4o. Le modèle et les données sont publiés en open source sur GitHub. L'enjeu touche un point faible reconnu des modèles Vision-Language-Action (VLA), qui traduisent instructions en langage naturel et images en actions. Ils sont entraînés presque exclusivement sur des démonstrations d'experts réussies et n'ont donc aucune supervision structurée pour comprendre pourquoi une saisie ou un placement échoue. Pour un intégrateur, cette lacune freine le passage de la démo à l'exploitation, où ce sont les cas dégradés qui font le coût de maintenance. L'approche a aussi un intérêt pratique: un superviseur local et rapide évite les appels à une API propriétaire, incompatibles avec les contraintes de latence et de confidentialité d'un atelier. Plusieurs réserves s'imposent toutefois. Le gain de 34,1 % est mesuré sur un benchmark conçu par les auteurs, et GPT-4o n'est plus une référence de pointe. Le gain de 29,1 % est relatif, sans taux de réussite absolus dans le résumé, et il ne couvre que quatre tâches. Il s'agit d'un résultat de recherche, sans déploiement industriel annoncé. Ce travail s'inscrit dans l'effort de la communauté pour rendre les VLA plus robustes en monde ouvert. Les modèles fondation comme Pi-0, GR00T ou Helix misent surtout sur la montée en échelle des données de démonstration, tandis que RoboFAC défend l'idée complémentaire de données centrées sur l'échec et d'un module de supervision séparé de la politique de contrôle. La publication ouverte du modèle et du jeu de données permet à d'autres laboratoires de le comparer ou de l'intégrer à leurs propres politiques. Les prochaines étapes à surveiller sont la validation sur davantage de tâches et de robots, la mesure des taux de réussite absolus, et la boucle fermée où le superviseur corrige l'exécution en temps réel plutôt que de seulement la commenter.

RecherchePaper
1 source
RealtimeWAM : à quelle vitesse peut tourner mon modèle d'action du monde ?
239arXiv cs.RO 

RealtimeWAM : à quelle vitesse peut tourner mon modèle d'action du monde ?

Des chercheurs proposent RealtimeWAM, un cadre d'inférence qui ne nécessite aucun réentraînement et vise à réduire la latence des World Action Models (WAM), ces modèles qui associent modélisation de la dynamique visuelle et génération d'actions pour piloter un robot. Le travail, publié sur arXiv (2610.10079), part d'un constat : la latence d'inférence des WAM limite la réactivité du contrôle en boucle fermée. Les auteurs combinent l'exécution parallèle, en exploitant les dépendances entre couches pour recouvrir le traitement de l'observation et la prédiction, avec une réutilisation sélective du calcul. Celle-ci consiste à mettre en cache les caractéristiques d'observation dans les zones visuellement stables et à réutiliser les résidus des Transformers, tout en réservant un raffinement supplémentaire aux cas où les ajustements d'action prédits sont faibles. Testé sur FastWAM et OpenWAM, avec les benchmarks RoboTwin, LIBERO et LIBERO-Plus, sur un GPU RTX 4090, le système affiche des latences moyennes de 24,09 ms et 63,09 ms, soit des accélérations moyennes de 8,90 fois et 10,67 fois. Les taux de réussite moyens atteignent 82,75 % et 87,41 %, à 0,02 et 0,53 point de pourcentage de l'inférence native. Sur cinq tâches réelles, le gain de réussite par rapport à l'inférence native est de 17,2 points pour FastWAM et de 37,2 points pour OpenWAM. L'intérêt tient à la généralité de l'approche. Les WAM sont attractifs parce qu'ils intègrent une représentation de la dynamique du monde à la politique, mais leur coût de calcul les rend difficiles à déployer sur du matériel accessible. Passer à 24 ms sur un GPU grand public de 2022 rend envisageable une fréquence de contrôle compatible avec une boucle fermée, là où la latence native pénalise la réactivité. Le gain en conditions réelles est le résultat le plus parlant : une partie de l'écart entre simulation et terrain semble venir du retard d'inférence plus que de la qualité du modèle, puisque la politique réagit mieux quand elle décide plus vite. À nuancer toutefois : il s'agit d'un preprint non évalué par les pairs, les cinq tâches réelles sont peu nombreuses, les gains les plus forts viennent d'OpenWAM, le plus lent au départ, et les auteurs ne précisent pas dans ce résumé les plateformes robotiques ni le nombre d'essais. Les métriques de latence sont mesurées sur un seul GPU, sans indication sur les plateformes embarquées. Ce travail s'inscrit dans l'effort d'accélération des WAM. FastWAM a réduit la latence en supprimant la génération explicite de vidéo future au moment du test, mais au prix d'une architecture spécialement conçue. Les stratégies de cache plus générales exploitent la redondance des caractéristiques, sans tenir compte de l'évolution des besoins de calcul en contrôle en boucle fermée. RealtimeWAM se positionne entre les deux, comme couche applicable à diverses architectures, et le fait qu'il améliore FastWAM, déjà optimisé, suggère que les deux approches sont complémentaires. Les prochaines étapes naturelles seraient des tests sur davantage de WAM, sur des GPU embarqués de type Jetson et sur des tâches plus longues et plus variées, ainsi qu'une publication du code permettant de reproduire les résultats.

RecherchePaper
1 source
Réglage port-hamiltonien calibré par démonstrations pour les politiques de manipulation
240arXiv cs.RO 

Réglage port-hamiltonien calibré par démonstrations pour les politiques de manipulation

Des chercheurs proposent PHRetune, une méthode hors ligne qui calcule les gains d'un contrôleur d'impédance (raideur et amortissement) pour une politique de manipulation figée, sans aucun rollout d'évaluation ni recherche de gains. Le principe : apprendre à partir de démonstrations un modèle port-Hamiltonien, qui estime l'effort et l'énergie associés aux actions prédites. La politique est ensuite appliquée aux observations enregistrées, et ses prédictions sont comparées à des budgets d'effort et d'énergie dérivés des démonstrations. De cette comparaison ressort un unique facteur d'échelle des gains, obtenu en forme fermée. Sur les suites LIBERO, le taux de succès de Diffusion Policy progresse jusqu'à 9,4 points de pourcentage, et les gains dérivés atteignent les meilleurs taux observés dans des balayages empiriques. Sur quatre tâches réelles, Diffusion Policy « PHRetunée » dépasse la politique nominale, d'autres méthodes de réglage et une base de référence avec réentraînement. Avec SmolVLA et OpenVLA-OFT, le succès augmente sur chaque tâche, et l'accélération comme le jerk diminuent pour les deux architectures. Le point pratique tient à un angle mort courant du déploiement. Les politiques de diffusion et les VLA (modèles vision-langage-action) pilotent presque toujours le robot via un contrôleur d'impédance en aval, dont les gains sont le plus souvent hérités de la collecte de données plutôt que choisis pour la politique déployée. Les balayages de gains améliorent la performance, mais ils immobilisent un robot et exigent des essais répétés, ce qui coûte cher sur une cellule réelle. Ici, les gains sont fixés avant l'évaluation, sans modèle du manipulateur, sans fonction de récompense, sans réentraînement ni calcul supplémentaire à l'exécution. Pour un intégrateur, cela revient à une étape de calibration peu coûteuse, applicable à des politiques de fournisseurs différents sans toucher à leurs poids. La baisse de l'accélération et du jerk suggère aussi des mouvements plus doux, donc moins d'usure et de contraintes sur les pièces manipulées. Il faut toutefois rester prudent : le gain maximal de 9,4 points concerne un benchmark de simulation, le nombre de tâches réelles est limité à quatre, et le papier ne chiffre pas ici les gains pour les VLA. Ce travail s'inscrit dans l'essor des politiques généralistes (Diffusion Policy, OpenVLA-OFT, SmolVLA), dont l'effort de recherche porte surtout sur l'architecture, les données et le réentraînement, alors que la couche de contrôle bas niveau reçoit moins d'attention. L'approche port-Hamiltonienne, issue de la commande basée sur l'énergie et la passivité, rapproche ainsi la robotique classique de l'apprentissage imitatif. Il s'agit d'une prépublication arXiv (2610.05755, version 2), non encore évaluée par des pairs, sans code de déploiement industriel ni calendrier annoncé. Les suites logiques seraient des tests sur davantage de robots, de tâches riches en contacts et de contrôleurs, ainsi qu'une extension à des gains variables dans le temps plutôt qu'à un facteur d'échelle unique.

RecherchePaper
1 source
Les modèles vision-langage-action (VLA) comprennent-ils les instructions ? Une étude d'interprétabilité mécaniste sur l'ancrage du langage
241arXiv cs.RO 

Les modèles vision-langage-action (VLA) comprennent-ils les instructions ? Une étude d'interprétabilité mécaniste sur l'ancrage du langage

Une étude d'interprétabilité mécaniste, publiée sur arXiv (2610.10178), s'est demandé si les modèles Vision-Language-Action (VLA) utilisent réellement l'instruction textuelle pour générer leurs actions. Elle porte sur deux modèles de référence, π0.5 et GR00T N1.7. Les auteurs appliquent de l'activation patching et de l'attribution patching au flux résiduel des modules de génération d'actions. Ils corrompent les consignes de la base LIBERO selon cinq stratégies: remplacement par des synonymes, variation d'échelle sémantique, inversion directionnelle, substitution par un objet aléatoire et chaîne vide. Les deux modèles réagissent peu à une reformulation abstraite ou à la mention d'un objet inexistant. Ils réagissent fortement à une consigne vide et surtout au langage directionnel. Le siège de cette sensibilité diffère selon le modèle. Chez GR00T N1.7, elle se concentre dans les premières couches de cross-attention périodiques. Chez π0.5, elle est répartie entre les toutes premières couches et quelques couches plus tardives. Ce résultat nuance l'idée que les VLA « comprennent » le langage. Une faible sensibilité aux synonymes pourrait être de la robustesse. Mais l'indifférence aux objets inexistants suggère que les modèles s'appuient largement sur des indices visuels et des corrélations de surface, plutôt que sur une vraie ancrage sémantique. Ces modèles n'ont pas de module de grounding explicite et dépendent des capacités de leur backbone vision-langage. Pour un intégrateur ou un responsable de déploiement, cela pose un risque concret: une consigne ambiguë, erronée ou sans rapport avec la scène peut ne pas être détectée, et le robot exécutera tout de même une tâche plausible. À l'inverse, la forte dépendance aux termes directionnels (gauche, droite, haut, bas) indique que ce sont les mots qui portent réellement l'information d'action. Les auteurs relèvent aussi que, pour GR00T N1.7, les perturbations directionnelles produisent certains des plus grands effets causaux alors que la géométrie interne des représentations change peu. Ce découplage n'apparaît pas nettement chez π0.5. Enfin, l'attribution patching, méthode d'approximation peu coûteuse, suit fidèlement l'activation patching pour GR00T N1.7 mais pas pour π0.5. Sa fiabilité dépend donc du modèle et ne peut pas être supposée. Le contexte est celui d'une course aux modèles généralistes, où π0.5 (Physical Intelligence) et la série GR00T (NVIDIA) servent de références. Leur évaluation repose souvent sur des benchmarks comme LIBERO, dont les scènes, qui répètent des configurations proches, peuvent masquer une dépendance limitée au langage. Cette étude s'inscrit dans un courant de travaux d'audit qui testent la robustesse linguistique et visuelle avant tout déploiement réel. Il s'agit d'un travail de recherche en simulation, sans produit ni pilote associé. Les suites probables sont des protocoles d'évaluation plus exigeants, avec des consignes contradictoires, et des méthodes d'entraînement ou des architectures qui renforcent l'ancrage du langage.

RecherchePaper
1 source
Au-delà de la reconstruction : qu'est-ce qui compte dans la tokenisation d'actions pour les politiques robotiques ?
242arXiv cs.RO 

Au-delà de la reconstruction : qu'est-ce qui compte dans la tokenisation d'actions pour les politiques robotiques ?

Les politiques robotiques autorégressives, dont les modèles vision-langage-action (VLA), convertissent des séquences de tokens discrets en commandes continues grâce à un « tokenizer » d'actions. Une équipe de chercheurs publie sur arXiv (2610.09170) ProAct, pour Predictable and Robust Action Tokenization, une méthode d'entraînement de ces tokenizers. Elle ne dépend d'aucune politique particulière et n'utilise que des jeux de données d'actions. Testée sur les benchmarks Robomimic, LIBERO et RoboTwin, avec plusieurs architectures de tokenizers, elle améliore le taux de réussite en rollout de 11,3 points de pourcentage en moyenne. Le gain atteint 21,8 points sur des VLA et 36,7 points en manipulation robotique réelle. Les résumés de ce type ne précisent pas toujours les tâches, les robots ou le nombre d'essais physiques. Il faudra donc lire l'article complet pour juger de la robustesse de ces chiffres. La plupart des tokenizers apprennent la correspondance entre tokens et actions par un objectif de reconstruction. Les auteurs montrent qu'une reconstruction suffisamment fidèle ne garantit pas une bonne politique. Deux autres propriétés comptent. La politique doit prédire les bons tokens face à des observations nouvelles. Et les tokens qu'elle prédit sans les avoir vus à l'entraînement doivent quand même se décoder en actions plausibles. Ni l'une ni l'autre n'est favorisée par la seule reconstruction. ProAct complète donc celle-ci pour améliorer la prévisibilité et la robustesse. Pour les équipes qui construisent des VLA, le message est concret : le tokenizer n'est pas un simple module de compression. C'est une interface de conception à part entière, qui doit équilibrer fidélité, prévisibilité et robustesse. Le gain le plus marqué en conditions réelles suggère aussi qu'une partie de l'écart entre démonstration et déploiement pourrait venir de ce maillon, et pas seulement de la taille des modèles ou du volume de données. Ce travail s'inscrit dans le courant des politiques qui discrétisent les actions pour réutiliser les architectures de modèles de langage, comme l'approche de tokenisation par compression popularisée avec les modèles de type Pi-0-FAST. Il rejoint les critiques sur les méthodes qui jugent un tokenizer à sa seule erreur de reconstruction. Le fait que ProAct soit indépendant de la politique et n'utilise que des données d'actions facilite son intégration dans des pipelines existants, sans réentraîner l'ensemble de la pile. Les concurrents sont les approches continues, notamment par diffusion ou flow matching, qui évitent la tokenisation. Aucun pilote industriel ni calendrier de publication de code n'est mentionné dans le résumé. Il s'agit pour l'instant d'une preuve de concept académique, dont l'adoption dépendra de la reproductibilité des résultats par d'autres laboratoires.

RecherchePaper
1 source
WAPR : un modèle fondation pour le raffinement grand angle de l'estimation de pose d'objets inconnus
243arXiv cs.RO 

WAPR : un modèle fondation pour le raffinement grand angle de l'estimation de pose d'objets inconnus

WAPR, un modèle de raffinement de pose 6D présenté sur arXiv (2610.09535), cible l'estimation de pose d'objets jamais vus à l'entraînement, sans réentraînement (zero-shot). Il affine des poses candidates dont l'écart de rotation peut atteindre 90 degrés. Avec seulement 12 poses candidates par instance détectée, il tourne en moins d'une seconde par image et atteint un débit allant jusqu'à 25 instances d'objets par seconde. Pour les objets à symétrie de rotation, WAPR utilise des a priori de symétrie afin de ramener les cibles de pose équivalentes à une forme canonique avant le calcul de la perte. Une perte « équilibrée par angle » limite l'influence des cas à très grande erreur, peu informatifs. Les auteurs publient aussi SA6D, un jeu d'entraînement construit à partir de 944 scans GSO, dont les a priori de symétrie sont obtenus avec KASAL. Après augmentation de géométrie et de texture, il compte environ 50 000 instances d'objets et près de 2 millions d'images RGB-D rendues. Sur les sept jeux de données centraux du benchmark BOP, WAPR revendique l'état de l'art en localisation et détection de pose 6D d'objets inconnus, en inférence rapide comme sans contrainte de temps. Le code est annoncé sur GitHub (WangYuLin-SEU/WAPR). Le sigle SEU laisse penser à une origine universitaire, mais l'extrait ne le précise pas. L'intérêt pour l'industrie tient à la combinaison de trois exigences que les déploiements réels imposent ensemble : précision, vitesse et généralisation à des références jamais vues. En bin picking, en kitting ou en alimentation de machines, les catalogues de pièces changent sans cesse. Un modèle capable de raffiner une pose initiale grossière, même fausse de 90 degrés, sans réentraînement par référence, réduit le coût d'intégration. Le budget de 12 candidats et le débit de 25 instances par seconde sont des chiffres de cadence exploitables, mais ils sont mesurés sur des benchmarks académiques. On ignore le matériel utilisé, et la robustesse en atelier (reflets, occultations, bruit de capteur de profondeur) n'est pas démontrée par ces seuls résultats. Le traitement explicite des symétries, longtemps source d'ambiguïtés pour les pièces cylindriques ou plates, répond à un point de blocage bien connu. À ce stade, il s'agit d'une publication de recherche, pas d'un produit livré ni d'un déploiement industriel. Ces travaux s'inscrivent dans la lignée de la pose 6D « unseen » avec des approches comme FoundationPose, MegaPose ou GigaPose, dont le raffinement itératif ou la comparaison de gabarits constituent les références du défi BOP. Les modèles de fondation de ce type deviennent une brique de perception pour les chaînes de manipulation pilotées par des politiques VLA. Ces politiques ont besoin de poses fiables pour la saisie de précision. Le principal point à surveiller sera la reproductibilité : publication des poids et du code, évaluation indépendante sur le tableau de bord BOP, puis tests sur des pièces industrielles réelles. Côté européen, des acteurs comme Pickit ou Zivid, spécialisés en vision 3D pour la préhension, pourraient intégrer ce type de raffinement. L'article ne donne cependant aucun calendrier de pilote ni de transfert industriel.

RecherchePaper
1 source
Plusieurs voies vers la réussite : un réglage fin par apprentissage par renforcement axé sur la diversité pour la généralisation des VLA
244arXiv cs.RO 

Plusieurs voies vers la réussite : un réglage fin par apprentissage par renforcement axé sur la diversité pour la généralisation des VLA

Des chercheurs ont publié sur arXiv (2610.09943) DRIVE, une méthode de fine-tuning par apprentissage par renforcement (RL) pour les politiques vision-langage-action (VLA), conçue pour améliorer la généralisation hors distribution. DRIVE regroupe des rollouts réalisés dans des conditions de tâche identiques et compare leurs trajectoires après alignement temporel. Il en dérive une récompense intrinsèque, conditionnée au succès, qui mesure la diversité comportementale relative. Seuls les succès diversifiés sont récompensés. Les échecs variés et les simples décalages de timing ne le sont pas. Sur les benchmarks LIBERO-Plus, ManiSkill3 et RoboTwin 2.0, la méthode gagne en moyenne 5,3 points de performance hors domaine (OOD) sur π0 et 2,0 points sur π0.5, par rapport au fine-tuning RL classique. Sur une plateforme physique bimanuelle AgileX PiPER-X, le taux de succès OOD moyen passe de 64,1 % à 73,3 %, soit +9,2 points. Le point notable tient moins à la méthode qu'à l'analyse qui la motive. Les auteurs montrent que le RL contracte le comportement de manière globale, mais diversifie les trajectoires réussies. Il obtient un succès avec moins de rollouts et couvre une plus grande part de l'espace de solutions valides que le fine-tuning supervisé. Cela suggère que la robustesse face aux changements de distribution vient de la variété des stratégies gagnantes, et pas seulement du taux de succès en domaine. Pour les équipes qui déploient des VLA, cela donne un levier concret : optimiser explicitement la couverture des modes de succès plutôt que de supposer qu'elle émerge seule. Les chiffres demandent toutefois de la prudence. Le gain sur π0.5, le modèle le plus robuste au départ, n'est que de 2,0 points. L'effet semble donc se réduire à mesure que la politique de base s'améliore. Les +9,2 points sur robot réel proviennent d'une seule plateforme, à la bonne vitesse de reproduction. L'article ne donne ici ni nombre d'essais ni détail des perturbations OOD, ce qui limite la portée de la conclusion que le gain persiste en déploiement physique. Il s'agit d'un preprint, sans évaluation par les pairs. Ce travail s'inscrit dans la montée du RL post-entraînement pour les VLA. Les politiques comme π0 et π0.5 de Physical Intelligence sont d'abord apprises par imitation à grande échelle. Le RL en boucle fermée sert ensuite à corriger leurs erreurs et à dépasser les démonstrations. Sa limite connue est une généralisation fragile : les politiques s'affinent sur la distribution d'entraînement, puis cèdent dès que la scène, l'éclairage ou les objets changent. Les benchmarks utilisés, LIBERO-Plus pour les perturbations, ManiSkill3 pour la simulation GPU parallèle et RoboTwin 2.0 pour la manipulation bimanuelle, sont devenus des références pour mesurer cet écart. DRIVE rejoint les approches qui cherchent à rendre ce RL plus robuste, sans modifier l'architecture des modèles. Les prochaines étapes à surveiller sont des tests sur des tâches plus longues, des modèles plus larges et d'autres plateformes. Le code et les protocoles d'évaluation physique détaillés permettront de juger si le gain tient hors du laboratoire des auteurs.

RecherchePaper
1 source
geodex : une bibliothèque pour la planification de mouvement sur les variétés riemanniennes
245arXiv cs.RO 

geodex : une bibliothèque pour la planification de mouvement sur les variétés riemanniennes

geodex, une bibliothèque open source en C++20 dotée de bindings Python, vient d'être publiée sur arXiv (2610.09165). Elle permet de planifier des mouvements sur des variétés riemanniennes, c'est-à-dire en tenant compte de la géométrie intrinsèque de l'espace de configuration d'un robot : sa courbure et une notion de coût qui dépend de la configuration. Les auteurs exposent quatre briques indépendantes et interchangeables derrière une interface unique de planification par échantillonnage : la variété, sa métrique riemannienne, la rétraction et l'échantillonneur. Le même planificateur tourne donc sans modification sur R^n, les tores T^n, les sphères S^n, les groupes de Lie matriciels (SO(2), SE(2), SO(3), SE(3)), leurs produits et les espaces de configuration de robots articulés. Chacun peut recevoir une métrique définie par l'utilisateur. Le code est publié avec documentation, tests et une suite de benchmarks reproductibles. Le résumé ne donne aucun chiffre de performance, ni gain de longueur de trajectoire ou d'énergie, ni temps de calcul. L'enjeu est surtout d'infrastructure. Les bibliothèques d'optimisation sur variétés offrent des primitives géométriques riches, mais ne contournent pas les obstacles. Les bibliothèques de planification généralistes, qui gèrent de nombreux espaces d'états et des fonctions de distance personnalisées, ne font pas de la métrique riemannienne dépendante de la configuration le moteur de la distance, de l'interpolation et des géodésiques. geodex vise ce vide. L'argument avancé est que planifier avec la géométrie propre du robot donne des trajectoires plus courtes, moins coûteuses en énergie et plus naturelles qu'avec la métrique euclidienne ambiante. Cette affirmation reste à vérifier : le résumé ne la chiffre pas, et c'est la suite de benchmarks qui permettra de juger si le gain justifie la complexité. Pour un intégrateur ou une équipe de recherche, l'intérêt pratique serait de pouvoir comparer des métriques (inertie, énergie cinétique, coût de manipulation) sans réécrire le planificateur. Cette publication prolonge deux familles d'outils qui s'ignoraient en partie. D'un côté, les boîtes à outils d'optimisation sur variétés, utilisées en estimation et en contrôle. De l'autre, les planificateurs par échantillonnage de type OMPL, qui acceptent des espaces d'états variés mais traitent la métrique comme un simple réglage de distance. Il s'agit d'une première version (v1) et d'une bibliothèque de recherche : aucun déploiement industriel ni partenaire n'est annoncé. La suite dépendra de l'adoption par la communauté, de l'intégration avec des moteurs de collision et de simulation, et de la démonstration sur des robots articulés réels.

RecherchePaper
1 source
Des interfaces portables aux politiques dextérité : décalages de contact et représentations tactiles
246arXiv cs.RO 

Des interfaces portables aux politiques dextérité : décalages de contact et représentations tactiles

Des chercheurs ont comparé deux versions d'un exosquelette de la famille DexUMI, une interface portable qui permet à un opérateur de collecter des démonstrations dextres avec ses propres mouvements de main, en manipulant directement les objets de la tâche. Les deux versions partagent la même définition de commande robot, la même procédure de mapping et le même type de module tactile, mais diffèrent par la géométrie côté main. La version révisée réduit la charge physique déclarée par les opérateurs et améliore certaines notes de confort. Elle rend aussi accessible un contact tactile dans une prise de précision que la version de base bloquait mécaniquement. Les chercheurs ont ensuite entraîné des politiques appariées avec deux types d'entrée tactile, un signal binaire agrégé ou une combinaison position spatiale plus force, sur quatre tâches : ouverture d'une boîte d'œufs, vissage d'un couvercle, insertion USB et prise-dépose d'un outil de soudure. Les résultats sont nets. Sur le vissage de couvercle et l'ouverture de la boîte d'œufs, les politiques entraînées sur les démonstrations de l'interface révisée réussissent davantage que celles issues de l'interface de base, avec un effet d'interface significatif sur l'ensemble des données regroupées. L'entrée spatiale plus force surpasse l'agrégation binaire sur les quatre tâches. L'effet de la géométrie dépend de la tâche : pour le vissage, c'est surtout la localisation du contact qui change, alors que pour la boîte d'œufs, c'est surtout son occurrence. Le papier est un preprint arXiv et l'article ne chiffre pas les taux de succès, ni le nombre d'opérateurs ou d'essais. L'ampleur réelle du gain reste donc à vérifier dans le texte complet. L'enjeu pour les équipes qui constituent des jeux de données de manipulation dextre est de ne plus traiter le gant ou l'exosquelette comme un simple outil de capture neutre. Sa forme décide de ce que le capteur tactile peut toucher, donc de ce que la politique apprendra. Évaluer ces interfaces uniquement sur le confort de l'opérateur ou la fidélité du mapping vers le robot passe à côté de l'essentiel : la qualité des contacts enregistrables et la performance des politiques en aval. Le résultat va aussi dans le sens d'un tactile riche, avec localisation et force, plutôt qu'un simple signal de contact. Il s'inscrit dans la lignée de DexUMI et des approches sans téléopération, qui cherchent à réduire la dépendance au robot cible pendant la collecte, au prix d'un couplage plus fort entre le matériel de capture et la donnée produite.

RecherchePaper
1 source
Robot humanoïde tractant un pousse-pousse : locomotion corps entier sous charges à roues couplées
247arXiv cs.RO 

Robot humanoïde tractant un pousse-pousse : locomotion corps entier sous charges à roues couplées

Des chercheurs proposent un cadre de contrôle du corps entier permettant à un humanoïde Unitree G1 de tirer un pousse-pousse, c'est-à-dire un véhicule à roues passif, plutôt que de porter sa charge. Le travail, publié sur arXiv (révision v2), vise des charges nettement plus lourdes que le robot lui-même. Sur matériel réel, une politique unique réalise le démarrage, la traction soutenue, les virages et l'arrêt, avec des charges rigides comme avec des passagers humains. Elle gère une masse totale de pousse-pousse chargé pouvant atteindre 115 kg, sans réglage propre à chaque charge. L'entraînement repose sur un enseignant privilégié qui accède aux états du véhicule, aux forces d'interaction et aux propriétés de la charge. Ses actions et son espace latent sont distillés dans un étudiant conditionné par l'historique, qui infère la dynamique couplée à partir de ses seules réponses proprioceptives, puis un affinage par apprentissage par renforcement complète la chaîne. Les comparaisons avec deux variantes de référence, « No History » et « Only History », indiquent que la politique complète suit plus précisément la trajectoire du véhicule tout en réduisant ses oscillations, l'inclinaison du torse et le coût d'actuation. L'analyse comportementale montre que le G1 propulse le véhicule et génère des réactions de tout le corps synchronisées avec la marche, qui stabilisent ses mouvements latéraux et de roulis. La traction redistribue l'effort entre les articulations et donne un proxy de coût de transport normalisé par robot inférieur à celui de la marche à vide dans la plupart des combinaisons charge-vitesse testées. Il s'agit d'un proxy et non d'une mesure énergétique absolue, et les auteurs ne détaillent pas dans ce résumé les conditions de terrain ni la durée des essais. L'intérêt pour l'industrie tient au déplacement du problème. Les démonstrations de manutention humanoïde se concentrent surtout sur le portage, limité par le couple des bras et la charge utile, souvent de quelques kilos à quelques dizaines de kilos. Tirer un véhicule à roues exploite le faible frottement de roulement pour transporter plus de 100 kg avec une plateforme d'environ 35 kg, en contrepartie d'un contact persistant avec des forces inconnues, dépendantes de la configuration. Le résultat suggère qu'une politique apprise, distillée à partir d'un enseignant privilégié, peut généraliser à des charges variables sans recalibrage, ce qui compte pour des intégrateurs cherchant à réutiliser des chariots, remorques ou plateformes existants plutôt qu'à concevoir des préhenseurs de charges lourdes. Il reste un travail académique sur une plateforme de recherche bon marché, sans cadence ni fiabilité sur longue durée démontrées. Ce travail s'inscrit dans la lignée de la locomotion humanoïde par distillation enseignant-étudiant et de l'apprentissage à partir de l'historique proprioceptif, déjà utilisés pour la marche robuste. Il étend ces méthodes à la locomotion couplée à un objet externe, un cas moins traité que le portage ou la poussée de caisses. Côté industrie, Figure, Agility Robotics et Apptronik visent surtout la manutention de bacs et de colis, tandis que la traction de chariots reste largement dans le domaine des AMR. Aucun pilote ni calendrier de transfert vers un produit n'est annoncé. Les prochaines étapes probables concernent le terrain irrégulier, les pentes et le test sur des humanoïdes de taille adulte.

RecherchePaper
1 source
RoboQuest : des agents physiques généralistes qui cherchent, inspectent et testent
248arXiv cs.RO 

RoboQuest : des agents physiques généralistes qui cherchent, inspectent et testent

RoboQuest, un nouveau benchmark publié sur arXiv (2610.10388), mesure la capacité d'agents physiques généralistes à explorer activement leur environnement avant d'agir. Il regroupe dix tâches de manipulation mobile construites autour de trois formes d'incertitude: la recherche d'un objet absent des observations, l'inspection par manipulation d'une propriété non visible, et le test interactif de l'effet d'un outil inconnu. L'agent doit acquérir l'information par interaction physique, adapter ses actions en conséquence et décider seul du moment où il considère la tâche terminée. Les auteurs ont évalué cinq agents multimodaux de pointe via une interface visuomotrice commune, ainsi qu'une politique π0.5 affinée sur les démonstrations d'épisodes complets qu'ils publient avec le benchmark. Le meilleur agent ne réussit que 23 % des épisodes, et la politique affinée ne réussit presque jamais. Ce résultat nuance l'idée selon laquelle les modèles de fondation multimodaux seraient déjà des agents physiques généralistes fiables. Des tests isolés, où l'information cachée est fournie à l'agent, montrent qu'il exécute correctement la plupart des gestes requis, et l'analyse des échecs n'attribue qu'une minorité d'entre eux à l'exécution. Le verrou se déplace donc de la dextérité vers la décision: les agents s'arrêtent trop tôt, avant d'avoir observé la preuve nécessaire pour conclure. Ils corrigent ou préviennent en outre rarement les perturbations causées par leur propre exploration, par exemple un objet déplacé ou un tiroir laissé ouvert. L'apprentissage par essais et erreurs reste difficile pour la plupart des modèles. Pour les intégrateurs et décideurs industriels, cela signifie que des démonstrations réussies en environnement connu ne garantissent rien dans un site non cartographié, où l'information utile manque souvent au départ. Le fait que la politique π0.5 échoue presque systématiquement suggère aussi que l'imitation sur des démonstrations seules ne suffit pas pour ce type de comportement. Le travail s'inscrit dans la course aux modèles vision-langage-action et aux agents généralistes, où les benchmarks existants testent surtout l'exécution de consignes avec des informations visibles, plutôt que la collecte active d'indices. RoboQuest comble en partie cet écart et fournit des données d'épisodes complets pour entraîner et comparer de futures approches. Les auteurs ne détaillent pas dans le résumé quels modèles de pointe ont été testés, ce qui limite la comparaison fine. Les suites probables sont des méthodes de raisonnement et de mémoire explicites sur l'incertitude, ainsi que des entraînements par renforcement ou par essais et erreurs. Il s'agit ici d'un travail de recherche et d'un jeu d'évaluation, sans produit ni déploiement associé.

RecherchePaper
1 source
Pulvérisation adaptative de pesticides pour robots agricoles selon la météo et le terrain, grâce aux modèles vision-langage
249arXiv cs.RO 

Pulvérisation adaptative de pesticides pour robots agricoles selon la météo et le terrain, grâce aux modèles vision-langage

Des chercheurs proposent, dans une préimpression arXiv (2610.08807), un cadre de pulvérisation adaptative pour robots agricoles fondé sur des modèles vision-langage (VLM). Le système fusionne plusieurs sources : le type de culture identifié par la caméra, le type de pesticide appliqué et les données météorologiques, notamment la température et la vitesse du vent. À partir de ces entrées, le VLM raisonne spatialement et décide du volume de produit à pulvériser et de la vitesse d'avance. L'exécution repose sur un contrôleur de suivi de trajectoire de type MPPI (Model Predictive Path Integral), qui assure la navigation le long des rangs et le déclenchement précis de la pulvérisation aux emplacements des plants. Les auteurs annoncent un gain de précision d'au moins 30 % dans la détection des rangs de culture par rapport aux méthodes comparées. Deux environnements d'essai ont montré que le robot ajuste son volume de pulvérisation et sa vitesse, avec une réduction de la dérive des pesticides. Le résumé ne donne ni le nom du robot, ni les modèles de VLM utilisés, ni les surfaces testées, ni les volumes économisés. L'intérêt tient au déplacement du problème. La plupart des robots de pulvérisation de précision se concentrent sur la détection des cultures et appliquent ensuite des paramètres fixes, définis à l'avance. Un opérateur humain, lui, module sa dose et son allure selon le vent, la chaleur, la parcelle et le produit, car ces variables déterminent la dérive, l'uniformité du dépôt et donc l'efficacité du traitement. Utiliser un VLM comme couche de décision contextuelle revient à tester si ce raisonnement de « bon sens agronomique » peut être confié à un modèle généraliste, sans règles codées à la main pour chaque combinaison culture, produit et météo. Pour les constructeurs et les exploitants, l'enjeu est double : moins de produit phytosanitaire gaspillé ou emporté hors parcelle, et une pression réglementaire à la baisse sur les intrants. Les limites sont à garder en tête. Le gain de 30 % porte sur la détection des rangs, pas sur la qualité agronomique du traitement. Les résultats de deux environnements d'essai ne disent rien de la robustesse en conditions réelles, ni de la latence d'inférence d'un VLM embarqué, ni de la fiabilité face à des erreurs de raisonnement du modèle sur des doses de produits chimiques. Ce travail s'inscrit dans la convergence entre robotique agricole et modèles fondationnels, déjà visible dans la manipulation avec les VLA (vision-language-action). Il côtoie des acteurs commerciaux de la pulvérisation ciblée, comme Carbon Robotics avec le désherbage laser, Blue River (John Deere) avec See & Spray, ou, en Europe, des acteurs comme Naïo Technologies ou FarmDroid, qui misent sur la détection plutôt que sur l'adaptation contextuelle. MPPI, méthode de contrôle par échantillonnage, est un choix répandu pour la navigation robuste en terrain irrégulier. Les prochaines étapes logiques seraient des essais en plein champ sur plusieurs saisons, une comparaison chiffrée avec des opérateurs humains et une mesure directe de la dérive et de la consommation de produit. À ce stade, il s'agit d'une démonstration académique, sans produit ni pilote annoncé.

RecherchePaper
1 source
Reconstruction tactile des repères de tâche de contact et des forces pour la commande hybride force/mouvement
250arXiv cs.RO 

Reconstruction tactile des repères de tâche de contact et des forces pour la commande hybride force/mouvement

Des chercheurs proposent une méthode pour estimer en ligne la force de contact et un repère de tâche (task frame) potentiellement variable dans le temps, uniquement à partir d'un capteur tactile optique souple, sans capteur force/couple monté sur le robot en fonctionnement. Le système associe une seule image de l'élastomère déformé à quatre grandeurs de contact observables : la profondeur d'indentation, deux angles d'inclinaison entre la surface et le capteur, et la force de contact 3D. Chaque échantillon s'accompagne d'une estimation d'incertitude. Cette correspondance est apprise par une procédure d'auto-étiquetage. Un manipulateur impose des contacts contrôlés, et un capteur force/couple auxiliaire fournit hors ligne les étiquettes de référence. La mesure tactile est ensuite fusionnée avec les données proprioceptives du robot dans un filtre de Kalman étendu (EKF), qui met à jour en continu le repère de contact et la force d'interaction. Les essais utilisent un capteur DigiTac monté sur un bras UR10. Ils montrent une régulation de force en boucle fermée contre une planche rigide plane, pendant que l'opérateur humain la déplace en translation et en rotation. Le toucher est alors la seule rétroaction extéroceptive. L'intérêt tient à la commande hybride force/mouvement, qui exige de connaître à la fois la force d'interaction et le repère définissant les directions asservies en force et celles asservies en mouvement. Ces grandeurs viennent aujourd'hui d'un capteur force/couple ou de résidus issus d'un modèle, avec souvent un modèle nominal de l'environnement. Ce dernier suppose une surface connue et fixe. Ici, le repère est reconstruit en direct, y compris quand la surface bouge, ce qui rapproche la méthode des tâches de contact réelles : polissage, ponçage, insertion ou assemblage sur des pièces mal positionnées. Le capteur force/couple n'intervient que pendant l'apprentissage, ce qui pourrait alléger le coût et l'encombrement d'un déploiement. L'incertitude par échantillon est un point utile pour la sûreté, car elle permet de pondérer la mesure dans le filtre. Il faut toutefois rester prudent. La validation porte sur un seul capteur, un seul bras et une cible plane et rigide, et rien n'indique de résultats sur des surfaces courbes, déformables ou fortement frottantes. Ce travail s'inscrit dans la montée des capteurs tactiles optiques souples de type GelSight, dont DigiTac est une variante dérivée de la famille DIGIT, qui remplacent peu à peu les mesures de force classiques en manipulation de précision. Il repose sur l'hypothèse d'un contact localement plan avec moment de contact négligeable, ce qui limite son domaine d'application. Il s'agit d'une prépublication arXiv (v1), sans évaluation par les pairs, et sans partenaire industriel ni calendrier de transfert annoncés. Les suites naturelles seraient des surfaces non planes, des contacts avec frottement et glissement, et une comparaison avec des approches de politiques apprises de type VLA intégrant le tactile.

RecherchePaper
1 source