A NEUROSYMBOLIC APPROACH TO POTENTIAL-BASED REWARD SHAPING IN ATARI GAMES

Reinforcement Learning (RL) is a machine learning paradigm that enables an agent to learn decision-making strategies by continuously interacting with an environment. Although this trial-and-error approach can achieve superhuman capabilities, it proves inefficient in scenarios characterized by sparse, delayed, or ambiguous rewards, often requiring a large number of samples to converge. This thesis investigates the application of Neurosymbolic AI techniques to integrate prior knowledge into the Deep RL training process. A symbolic component, implemented via logical rules, is employed to define potential functions for reward shaping. This dense and interpretable signal guides the agent during exploration while preserving the theoretical properties of the optimal policy. The proposed framework is validated on various tasks within the Arcade Learning Environment, a benchmark known for its complexity. Results suggest that the integration of prior knowledge can positively contribute to sample efficiency and convergence speed. Finally, the architecture ensures that the symbolic component is used solely during training: once the policy is learned, the agent operates autonomously during the inference phase, maintaining the computational characteristics of a purely neural model.

Il Reinforcement Learning (RL) rappresenta un paradigma di machine learning che permette ad un agente di apprendere strategie decisionali interagendo continuamente con un ambiente. Questo approccio trial-and-error, nonostante sia in grado di raggiungere capacità sovrumane, risulta inefficiente in scenari caratterizzati da reward sparsi, differiti o inespressivi, richiedendo spesso un numero elevato di campioni per la convergenza. Questo lavoro di tesi indaga l'utilizzo di tecniche di IA Neurosimbolica per integrare conoscenza pregressa nel processo di addestramento di Deep RL. Nello specifico, una componente simbolica, espressa tramite regole logiche, viene utilizzata per definire funzioni di potenziale destinate al reward shaping. Tale segnale, denso e interpretabile, guida l'agente durante l'esplorazione, preservando le proprietà teoriche della policy ottimale. Il framework proposto è validato su diversi task dell’Arcade Learning Environment, benchmark noto per la sua complessità. I risultati suggeriscono come l'integrazione di conoscenza possa contribuire positivamente alla sample efficiency e alla velocità di convergenza. Infine, l'architettura garantisce che la componente simbolica sia funzionale al solo addestramento: una volta appresa la policy, l'agente opera autonomamente in fase di inferenza, mantenendo le caratteristiche computazionali di un modello puramente neurale.