AI-DRIVEN LOAD-AWARE TRAJECTORY PLANNING FOR 5G CONNECTED UAVS

The quality of the communication service experienced by an Unmanned Aerial Vehicle (UAV) connected to a cellular network depends not only on radio propagation, but also on the time-varying load of the serving base stations. A geometrically efficient trajectory may cross heavily loaded cells, and planners that rely on the load observed at departure cannot account for its evolution during the flight. This thesis proposes a Network Digital Twin (NDT)-assisted framework for load-aware UAV trajectory planning in a 5G environment. The NDT integrates a graph-based model of the airspace over a real deployment (Bovino, Italy), the positions of four gNodeBs, and an LSTM module that forecasts base-station load. On this representation, two planners are developed: a load-aware A∗ search, used as deterministic baseline, and a closed-loop RL agent trained through imitation learning (DAgger) from a clairvoyant teacher with privileged access to the future load. The teacher can also wait at a cell, and the decisions of three independently trained students are combined by voting, with a rule that discourages unnecessary changes of base station. At deployment, the agent relies only on observations available through the NDT. The planners are compared on held-out days, over 100 paired missions per scenario, under nominal and congestion-intensive traffic. Under congestion, the RL agent achieves a higher mean network availability along the route, the share of radio resources not in use in the serving cell, than static A∗ (0.622 versus 0.581), which corresponds to about two thirds of the gap to the clairvoyant reference (0.642), with a distance and an analytical energy comparable to those of A∗and a moderate increase in the number of handovers; the gain is concentrated in a minority of missions in which the agent waits while congestion subsides. Under nominal traffic the improvement is smaller (0.730 versus 0.715), but statistically significant. Software-in-the-Loop simulations with ArduPilot confirm that the planned routes are flyable and that the analytical energy model preserves the relative ranking of the planners. They also show that a first version of the agent, without the wait action, delayed its progress through repeated altitude changes, which is considerably more costly in time and energy than the model estimates, whereas the final agent has an energy comparable to that of A∗ in flight. The architecture is conceived for Internet of Drones (IoD) scenarios, whereas the experimental validation is limited to a single UAV.

La qualità del servizio di comunicazione di cui dispone un drone (UAV) connesso a una rete cellulare non dipende solo dalla propagazione del segnale, ma anche dal carico, variabile nel tempo, delle stazioni base a cui si appoggia. Il percorso più breve può attraversare celle molto congestionate, e un pianificatore che guarda solo il carico al momento della partenza non può sapere come cambierà durante il volo. Questa tesi propone un framework basato su Network Digital Twin (NDT) per pianificare le traiettorie di un UAV tenendo conto del carico della rete 5G. L’NDT riunisce un modello a grafo dello spazio aereo di un’area reale (Bovino, Foggia), la posizione di quattro gNodeB e un modulo LSTM che prevede il carico delle stazioni base. Su questa base vengono sviluppati due pianificatori: una ricerca A* che considera il carico, usata come riferimento deterministico, e un agente RL che decide passo dopo passo, addestrato per imitazione (DAgger) da un teacher “clairvoyant” che in fase di addestramento conosce il carico futuro. Al teacher è consentito anche fermarsi in una cella ad attendere, e le decisioni di tre reti addestrate separatamente vengono combinate per votazione, con una regola che evita i cambi di stazione base non necessari. In esecuzione, l’agente usa soltanto le osservazioni che l’NDT mette a disposizione. I due pianificatori sono stati confrontati su giorni non usati per l’addestramento, con 100 missioni appaiate per scenario, sia con traffico nominale sia con traffico congestionato. Nello scenario congestionato l’agente RL ottiene una disponibilità di rete media più alta di A* statico lungo il percorso, intesa come la quota di risorse radio libere nella cella servente (0.622 contro 0.581). Il guadagno copre circa due terzi della distanza dal riferimento clairvoyant (0.642), con distanza ed energia analitica simili a quelle di A* e un aumento contenuto degli handover. Il vantaggio nasce in una minoranza di missioni, in cui l’agente aspetta che la congestione passi prima di procedere. Con traffico nominale il miglioramento è più piccolo (0.730 contro 0.715), ma statisticamente significativo. Le simulazioni Software-in-the-Loop con ArduPilot mostrano che i percorsi sono effettivamente volabili e che il modello energetico analitico conserva la classifica fra i pianificatori. Mostrano anche che una prima versione dell’agente, senza l’azione di attesa, avanzava lentamente a forza di salite e discese, un comportamento molto più costoso in tempo ed energia di quanto il modello stimi, mentre l’agente finale in volo consuma come A*. L’architettura è pensata per scenari di Internet of Drones (IoD), mentre la validazione sperimentale riguarda un solo UAV.