GUIDA AUTONOMA DI UN ROBOT DIFFERENTIAL DRIVE UTILZZANDO IL DEEP REINFORCEMENT LEARNING

Autonomous navigation is an essential capability of mobile robots, which allows them to move independently in various environments. Also, in recent years, there has been a growth in the use of reinforcement learning (RL) for complex and continuous tasks, robotics included, with successful results. This thesis presents the use of Deep Reinforcement Learning (DRL) algorithms for the autonomous navigation of a differential drive robot, the Turtlebot3. We begin by introducing the reinforcement learning framework and mobile robotics, followed by defining the problem's structure, which involves formulating the robot's task of reaching a randomly selected target point on the map as a reinforcement learning problem. The agent learns to select actions based on its current state to maximize its cumulative rewards. The state representation is simply composed of the sensor readings from a LiDAR along with the distance and the direction of the objective from the mobile robot. ROS and Gazebo have been used to simulate the environment and the mobile robot for both training and testing. We show that distinct reinforcement learning algorithms, such as Twin Delayed Deep Deterministic Policy Gradient (TD3), Soft Actor-Critic (SAC), and Proximal Policy Optimization (PPO), can all reach the target points while avoiding obstacles, with minimal changes to the hyperparameters from the original papers. Finally, some tests are executed on the obtained agents to determine who achieves better performances.

La navigazione autonoma è una capacità essenziale dei robot mobili, che consente loro di muoversi autonomamente in vari ambienti. Inoltre, negli ultimi anni si è assistito a una crescita dell'uso del Reinforcement Learning (RL) per compiti complessi e continui, inclusa la robotica, con buoni risultati. Questa tesi presenta l'uso di algoritmi di Deep Reinforcement Learning (DRL) per la navigazione autonoma di un robot differential drive, il Turtlebot3. Iniziamo introducendo il framework del reinforcement learning e la robotica mobile, quindi definiamo la struttura del problema, che consiste nel formulare il compito del robot di raggiungere un punto selezionato a caso sulla mappa come un problema di reinforcement learning. L'agente impara a selezionare le azioni in base al suo stato corrente per massimizzare le sue ricompense cumulative. La rappresentazione dello stato è composta semplicemente dalle letture di un sensore LiDAR insieme alla distanza e alla direzione dell'obiettivo dal robot mobile. ROS e Gazebo sono stati utilizzati per simulare l'ambiente e il robot mobile sia per l'addestramento che per i test. Dimostriamo che diversi algoritmi di apprendimento per rinforzo, come Twin Delayed Deep Deterministic Policy Gradient (TD3), Soft Actor-Critic e Proximal Policy Optimization (PPO), sono in grado di raggiungere i punti obiettivo evitando gli ostacoli, con modifiche minime agli iperparametri rispetto ai paper originali. Infine, vengono eseguiti alcuni test sugli agenti ottenuti per determinare chi ottiene prestazioni migliori.