UN FRAMEWORK PER L'ACQUISIZIONE DI DATI MULTIMODALI IN SCENARI DI GUIDA AUTONOMA

The incredible progress that has affected the technology industry in the last 50 years has led to the birth of programmable devices, called robots, more and more intelligent, with the aim of assisting the human being in the most difficult and repetitive tasks. At the center of this progress is robotics, an interdisciplinary scientific field that deals with the study and design of robots capable of performing more or less complex and diversified tasks. In fact, the applications of this discipline, developed over time, range from autonomous exploration in environments whose conditions are particularly difficult and dangerous for operators, to the assistance of law enforcement and health workers. Although the applications may be very different, robots tend to share some characteristics, such as a mechanical structure and electrical components, a set of software tools necessary to make decisions autonomously, several exteroceptive sensors aimed at acquiring, moment by moment, the state of the environment that surrounds them, in order to be able to make optimal decisions with respect to the goal they have to achieve. In order to achieve the objectives with higher and higher performances, it becomes necessary to analyze in detail the behavior of each single component to be used, without risking damage to the equipment involved. In this sense, datasets play a key role: data structures that store data obtained from simulations, typically very close to the final application scenario. In this thesis work we propose the design and development of several tools aimed at the creation of a multimodal dataset for mobile robotics, containing the acquisitions from different sensors, and distinguished from the counterparts already present in the state of the art for the presence of a millimeter-wave sensor and a very high precision pose reference. With a focus on autonomous driving, the proposed framework allows to map an indoor environment with an approach that minimizes the intervention of an operator: once the environment is reconstructed, it is possible to generate obstacle-free paths within it, allowing to obtain numerous observations of the environment from different points of view, obtaining scenes very faithful to real use cases, where, for example, intense light beams significantly degrade the data acquired from sensors such as cameras. The datasets produced are made available in different formats, conforming to the most popular state-of-the-art formats, and lay the groundwork for an in-depth study of sensor performance and for the design, for example, of machine learning techniques for numerous applications, such as autonomous navigation, sensor fusion and obstacle recognition and segmentation.

L’incredibile progresso che ha interessato l’industria della tecnologia negli ultimi 50 anni ha portato alla nascita di dispositivi programmabili, detti robot, sempre più intelligenti, con lo scopo di assistere l’essere umano nei compiti più duri e ripetitivi. Al centro di questo progresso è la robotica, un campo scientifico interdisciplinare che si occupa di studiare e progettare robot capaci di espletare task più o meno complessi e diversificati. Infatti, le applicazioni di tale disciplina, sviluppate nel corso del tempo, vanno dall'esplorazione autonoma in ambienti le cui condizioni risultano particolarmente difficili e pericolose per operatori, all'assistenza delle forze dell'ordine e degli operatori sanitari. Nonostante le applicazioni possono essere tra loro molto diverse, i robot tendono a condividere alcune caratteristiche, come una struttura meccanica e componenti elettrici, un set di tool software necessari per prendere decisioni in autonomia, diversi sensori esterocettivi volti ad acquisire, istante per istante, lo stato dell'ambiente che li circonda, col fine di poter prendere decisioni ottimali rispetto all'obiettivo che devono raggiungere. Per poter portare a termine gli obiettivi con prestazioni sempre più elevate, diventa, quindi, necessario analizzare nel dettaglio il comportamento di ogni singolo componente di cui si intende avvalersi, senza rischiare il danneggiamento dell'attrezzatura coinvolta. In tal senso, giocano un ruolo chiave i dataset: delle strutture dati che memorizzano i dati ottenuti da simulazioni, tipicamente molto vicine allo scenario applicativo finale. In questo lavoro di tesi si propone la progettazione e lo sviluppo di diversi strumenti volti alla creazione di un dataset multimodale per la robotica mobile, contenente le acquisizioni provenienti da di diversi sensori, e si distingue dalle controparti già presenti nello stato dell'arte per la presenza di un sensore ad onde millimetriche e di un riferimento di posa ad elevatissima precisione. Con un focus sulla guida autonoma, il framework proposto permette di mappare un ambiente indoor con un approccio che riduce al minimo l'intervento di un operatore: una volta ricostruito l'ambiente, è possibile generare dei percorsi privi di ostacoli all'interno dello stesso, permettendo di ottenere numerose osservazioni dell'environment da diversi punti di vista, ottenendo delle scene molto fedeli ai casi d'uso reali, in cui, ad esempio, fasci di luce intensi deteriorano notevolmente i dati acquisiti da sensori come telecamere. I dataset prodotti sono resi disponibili in diversi formati, conformi ai formati più popolari nello stato dell'arte, e pongono le basi per uno studio approfondito sulle prestazioni dei sensori e per la progettazione, ad esempio, di tecniche di machine learning per numerose applicazioni, ad esempio di navigazione autonoma, sensor fusion e riconoscimento e segmentazione di ostacoli.