ATTENTION-BASED NEURAL NETWORKS FOR EVENT-BASED VISUAL-INERTIAL ODOMETRY ON LOW POWER EDGE DEVICES

Numerous methods for estimating pose have been proposed in the literature. In this work, we propose an approach based on the fusion of data from an event camera and an inertial sensor, within the field of visual-inertial odometry (VIO). The architecture developed combines Transformer blocks with convolutional self-attention mechanisms (Convolutional Self-Attention, CSA). To make it compatible with neural processing units (NPUs), the network has been completely quantized to 8 bits (input, output, activations, and weights), achieving high inference speeds with a moderate loss of accuracy. The results are the fruit of an optimization process aimed at balancing accuracy and performance. The method was designed for low-power embedded devices (Edge AI), where the use of 32-bit floating point neural networks is unsustainable. During the simulation phase, real data from the TUM-VIE dataset was used; where possible, experimental tests were conducted on real hardware. The algorithms were developed in Python and tested on STM32 platforms, initially using the ST Edge AI Developer Cloud software.

In letteratura sono stati proposti numerosi metodi per la stima della posa. In questo lavoro si propone un approccio basato sulla fusione di dati provenienti da una camera a eventi e da un sensore inerziale, nell’ambito dell’odometria visivo-inerziale (Visual-Inertial Odometry, VIO). L’architettura sviluppata combina blocchi Transformer con meccanismi di auto-attenzione convoluzionale (Convolutional Self-Attention, CSA). Per renderla compatibile con unità di elaborazione neurale (Neural Processing Unit, NPU), la rete è stata completamente quantizzata a 8 bit (input, output, attivazioni e pesi), ottenendo elevate velocità di inferenza a fronte di una moderata perdita di precisione. I risultati sono frutto di un processo di ottimizzazione orientato al compromesso tra accuratezza e prestazioni. Il metodo è stato progettato per dispositivi embedded a bassa potenza (Edge AI), in cui l’impiego di reti neurali in floating point a 32 bit risulta insostenibile. In fase di simulazione sono stati utilizzati dati reali tratti dal dataset TUM-VIE; ove possibile, sono stati condotti test sperimentali su hardware reale. Gli algoritmi sono stati sviluppati in Python e testati su piattaforme STM32, inizialmente tramite il software ST Edge AI Developer Cloud.