TELEOPERAZIONE IMMERSIVA E APPRENDIMENTO PER IMITAZIONE PER LA NAVIGAZIONE DI QUADRUPEDI

Legged robots can navigate complex industrial environments that are difficult or inaccessible to wheeled platforms. However, their successful deployment for inspection tasks hinges on bridging human control and robot autonomy, requiring both an immersive 3D teleoperation interface and the means to learn autonomous navigation from user demonstrations. This thesis develops and evaluates both capabilities using a digital twin of a Unitree Go2 simulated in NVIDIA Isaac Sim and Isaac Lab. A central element of the proposed architecture is a shared four-dimensional command interface, comprising longitudinal and lateral velocity, yaw rate, and body pitch, which is used by both the human operator and the learned policies. This common interface allows teleoperated trajectories to be used directly as training data while enabling learned policies to be evaluated, corrected, or overridden without modifying the underlying locomotion controller. To support this workflow, an end-to-end teleoperation and data-collection infrastructure was developed. Simulated depth data are converted into point clouds, filtered, and streamed to a WebXR client running on a Meta Quest~3 headset over a standard wireless connection. A lightweight, browser-decodable wire format keeps the transmitted data within practical bandwidth constraints, while operator inputs are mapped to the shared four-dimensional command space. The resulting dataset, collected from sixteen operators, forms the main dataset used for the imitation learning study. For autonomous navigation, the thesis compares standard behavioural cloning with a generative policy trained using conditional flow matching. The latter addresses the multi-modal averaging problem of standard regression when multiple valid navigation behaviours exist, such as when avoiding symmetrical obstacles. Across seven iterative policy variants, the study investigates the effects of an egocentric obstacle memory for retaining out-of-view features, spatial depth representations, and operator diversity. These factors substantially improve closed-loop success rates and generalization to unseen layouts, whereas recurrent architectures and increased network capacity provide no measurable benefit under the available dataset constraints. The selected policy is also used to implement a shared-autonomy mode, in which learned avoidance corrections are blended with manual steering. Both the teleoperation and learning systems rely on an RL-trained locomotion controller extended with active body-pitch tracking. All results, limitations, and statistical uncertainties are evaluated within simulation.

I robot con arti sono in grado di esplorare ambienti industriali complessi che risultano difficoltosi o inaccessibili per le piattaforme su ruote. Tuttavia, il loro effettivo impiego in attività di ispezione dipende dalla capacità di raccordare il controllo umano e l'autonomia robotica, richiedendo sia un'interfaccia di teleoperazione tridimensionale immersiva, sia gli strumenti necessari ad apprendere la navigazione autonoma a partire dalle dimostrazioni fornite dall'utente. La presente tesi sviluppa e valuta entrambe le funzionalità avvalendosi di un gemello digitale (digital twin) di un robot Unitree Go2 simulato in NVIDIA Isaac Sim e Isaac Lab. Un elemento cardine dell'architettura proposta risiede in un'interfaccia di comando quadridimensionale condivisa — comprendente velocità longitudinale, velocità laterale, velocità di imbardata (yaw rate) e beccheggio del corpo (body pitch) — impiegata sia dall'operatore umano sia dalle politiche di controllo apprese (learned policies). Tale interfaccia unificata consente l'utilizzo diretto delle traiettorie teleoperate come dati di addestramento, permettendo al contempo di valutare, correggere o sovrascrivere le politiche apprese senza dover apportare modifiche al controllore di locomozione sottostante. A supporto di tale flusso di lavoro, è stata sviluppata un'infrastruttura end-to-end per la teleoperazione e la raccolta dati. I dati di profondità simulati vengono convertiti in nuvole di punti, filtrati e trasmessi in streaming a un client WebXR in esecuzione su un visore Meta Quest 3 tramite connessione wireless standard. Un formato di trasmissione (wire format) leggero e decodificabile direttamente dal browser mantiene il volume dei dati scambiati entro limiti pratici di larghezza di banda, mentre gli input dell'operatore vengono mappati nello spazio di comando quadridimensionale condiviso. Il dataset risultante, acquisito da sedici operatori, costituisce la base dati principale per lo studio di apprendimento per imitazione (imitation learning). Per quanto concerne la navigazione autonoma, la tesi confronta il clonaggio comportamentale standard (behavioral cloning) con una politica generativa addestrata mediante conditional flow matching. Quest'ultimo approccio consente di ovviare al problema della mediazione multimodale (multi-modal averaging) insito nella regressione standard in presenza di molteplici comportamenti di navigazione altrettanto validi, come nel caso dell'aggiramento di ostacoli simmetrici. Attraverso sette varianti iterative della politica, lo studio indaga gli effetti di una memoria egocentrica degli ostacoli volta a preservare gli elementi che escono dal campo visivo, delle rappresentazioni spaziali di profondità e della diversità degli operatori. Tali fattori incrementano considerevolmente i tassi di successo ad anello chiuso (closed-loop) e la capacità di generalizzazione a configurazioni inedite, laddove architetture ricorrenti e un incremento della capacità di rete non producono alcun beneficio apprezzabile nei vincoli del dataset a disposizione. La politica selezionata viene inoltre utilizzata per implementare una modalità ad autonomia condivisa, in cui le correzioni di evitamento apprese sono integrate con la guida manuale. Sia il sistema di teleoperazione sia quello di apprendimento poggiano su un controllore di locomozione addestrato tramite apprendimento per rinforzo (reinforcement learning), esteso con il tracciamento attivo del beccheggio corporeo. Tutti i risultati, i limiti e le incertezze statistiche sono valutati in ambiente di simulazione.