CONTROLLO ENERGY-AWARE MEDIANTE DEEP REINFORCEMENT LEARNING PER UNA CELLA DI PICK-AND-PLACE IN SIMULINK

This thesis focuses on the application of Deep Reinforcement Learning methodologies to the control of a six-degree-of-freedom robotic manipulator, specifically for pick-and-place operations in an industrial setting. The simulation environment, developed in MATLAB/Simulink using the Simscape Multibody library, encompasses the modeling of the manipulator's kinematic chain, the end-effector, and the components of the work cell. The control policy is learned using the Proximal Policy Optimization algorithm, which determines joint commands based on the end-effector's pose and velocity, the joint configuration, and the manipulation state. The reward function is formulated based on trajectory planning using cubic Bézier curves; the end-effector's deviation from the reference path is quantified by calculating the foot-point, solved numerically. The maneuver is structured into distinct operational phases—approach, grasp, transport, and release—each associated with a specific reference curve. The model is designed to quantify the maneuver's energy cost—derived from joint torques and velocities—with a view to extending the learning objective to include energy efficiency criteria.

Il presente lavoro di tesi ha per oggetto l'applicazione di metodologie di Deep Reinforcement Learning al controllo di un manipolatore robotico a sei gradi di libertà, con riferimento a operazioni di pick-and-place in ambiente industriale. L'ambiente di simulazione, sviluppato in MATLAB/Simulink mediante la libreria Simscape Multibody, comprende la modellazione della catena cinematica del manipolatore, dell'organo di presa e degli elementi della cella di lavoro. La politica di controllo è appresa attraverso l'algoritmo Proximal Policy Optimization, che determina i comandi articolari a partire dalla posa e dalla velocità dell'end-effector, dalla configurazione dei giunti e dallo stato della manipolazione. La funzione di ricompensa è formulata sulla base di una pianificazione di traiettoria mediante curve di Bézier cubiche: lo scostamento dell'end-effector dal percorso di riferimento è quantificato attraverso il calcolo del foot-point, risolto per via numerica. La manovra è articolata in fasi operative distinte — avvicinamento, presa, trasporto e rilascio — a ciascuna delle quali è associata una specifica curva di riferimento. Il modello è predisposto per la quantificazione del costo energetico della manovra, ricavato dalle coppie e dalle velocità articolari, in prospettiva di un'estensione dell'obiettivo di apprendimento a criteri di efficienza energetica.