Apprendimento Rinforzato per Reti Mobili 5G con Energy Harvesting

In the era of ubiquitous connectivity, next generation mobile networks capacity will continuously increase in order to support a progressively higher volume of data traffic, providing low latency and high reliability. The side effect of such growth is a drastic increase of energy footprint and, therefore, a high level of greenhouse gases emissions by ICT industry network infrastructures. Moving from 3G and 4G coverage and capacity oriented optimization, 5G networks are converging towards an energy oriented planning by proposing Renewable Energy Source powered Heterogeneous Networks as one of the effective sustainable design solutions to face this problem. Nevertheless, besides the reduced deployment costs, due to the low emitted power and the small form factor of the base stations, Quality of Service requirements should be met using the available energy budget coming from intermittent and erratic sources. They need, so, further intelligent procedures, protocols, and Machine Learning based algorithms to successfully achieve their goal. Objective of this thesis is to conduct a performance evaluation and analysis of a two-tier RES-powered HetNet simulated through a system level platform which uses a reinforcement learning based radio resource management algorithm. After a focus on system’s hourly statistical behaviour, a comparative analysis is done between a “greedy” algorithm (which turns OFF the base stations only in case their battery level goes below a threshold), and an off-line trained Q-Learning algorithm, which can be considered a hybrid instance across supervised and reinforcement learning.

Nell’era della connettività ubiqua, la capacità delle reti radiomobili di nuova generazione aumenterà continuamente in modo da supportare un progressivamente elevato volume di traffico dati, provvedendo bassa latenza ed alta affidabilità. L’effetto collaterale di questa crescita è l’incremento drastico dell’impronta energetica e, quindi, un elevato valore di emissioni di gas serra da parte delle infrastrutture di rete delle industrie ICT. Allontanandosi dalla ottimizzazione orientata alla capacità e alla copertura radio delle tecnologie 3G e 4G, le reti 5G stanno convergendo verso una pianificazione orientata ai consumi energetici, proponendo Reti Eterogenee alimentate da sorgenti di energia rinnovabile come una delle soluzioni più efficaci per affrontare questo problema. Tuttavia, nonostante la riduzione dei costi di implementazione, dovuta alla bassa potenza di emissione e al ridotto fattore di forma delle base station, i requisiti di Qualità del Servizio verrebbero soddisfatti attraverso l’uso di un quantitativo energetico generato da sorgenti intermittenti ed inaffidabili. Sono necessari, quindi, ulteriori procedure intelligenti, protocolli e algoritmi di apprendimento automatico per raggiungere l’obbiettivo in modo soddisfacente. L’obbiettivo di questa tesi è condurre una analisi e una valutazione delle prestazioni di una RES-powered HetNet a due livelli, simulata a livello di sistema attraverso una piattaforma software facente uso di un algoritmo di allocazione delle risorse radio basato su apprendimento rinforzato. Dopo un focus sul comportamento statistico orario del sistema, viene effettuata un’analisi comparativa tra un algoritmo “greedy” (che spegne le base station solo in caso il loro livello di batteria vada al di sotto di una soglia), e un algoritmo Q-Learning che ha subito un processo di training Off-Line, il quale può essere considerato come un’istanza ibrida di apprendimento supervisionato e apprendimento rinforzato.