CROSS-MODAL CONTRASTIVE LEARNING OF REPRESENTATIONS FOR MMWAVE POINT CLOUD TO DEPTH IMAGE CONVERSION

Using mobile robots in adverse environmental conditions is a challenging task, which most recent approaches are still trying to tackle. Optical sensors are inherently negatively affected by adverse conditions such as darkness, bright light and smoke. The use of mmWave sensors, which have the advantage of low susceptibility to environmental conditions, has recently been proposed as a possible solution to overcome these limitations. This thesis work aims to mitigate problems associated with the use of mmWave sensors, including data sparsity and measurement noise. A cross-modal contrastive learning of representations approach is proposed. Its goal is to maximize the agreement between the latent space of two different encoders; the first is trained as a cGAN, to convert RGB images to depth ones, and the second, which is fed with mmWave data, is trained using contrastive learning, with respect to the common latent space. For the purpose, an extensive data acquisition phase is carried out, in order to build the dataset on which the training is carried out. The proposed model is also evaluated in a real-time scenario, in order to assess its generalization capabilities and real-time employment viability. The proposed approach shows promising performance in all experiments conducted and leave space for further investigations.

L'utilizzo di robot mobili in condizioni ambientali avverse è un task complesso, ancora oggetto di studio di molti gruppi di ricerca. I sensori ottici sono intrinsecamente influenzati negativamente da condizioni avverse come il buio, la luce intensa e il fumo. L'uso di sensori ad onde millimetriche, grazie alla loro bassa suscettibilità alle suddette condizioni ambientali, è stato recentemente proposto come una possibile soluzione per superare queste limitazioni. Questo lavoro di tesi si propone come obiettivo quello di mitigare i problemi associati all'uso di sensori mmWave, tra cui la scarsità di punti e la forte presenza di rumore. Si propone, quindi, un approccio di cross-modal contrastive learning delle rappresentazioni. L'obiettivo è ottenere una codifica condivisa tra due diversi codificatori; il primo, addestrato come una cGAN, per convertire immagini RGB in depth map, e il secondo, che riceve in ingresso dati dal sensore ad onde millimetriche, è addestrato utilizzando il contrastive learning rispetto allo spazio latente comune. A tal fine, è stata effettuata un'ampia fase di acquisizione dati, al fine di costruire un dataset su cui effettuare l'addestramento. Il modello proposto viene anche testato in scenari in tempo reale, al fine di valutarne le capacità di generalizzazione e la possibilità di impiego in scenari in tempo reale. L'approccio proposto mostra buone prestazioni in tutti gli esperimenti condotti e apre la strada ad ulteriori indagini.