DALL'EEG ALLE IMMAGINI EMOZIONALI: INTEGRAZIONE DI LLM E MODELLI DIFFUSIVI PER COLMARE L'AFFECTIVE GAP DELL'IA

This thesis focuses on emotion recognition through EEG signals and the generation of images consistent with the detected emotional state using diffusion models, such as Stable Diffusion. The research begins with the acquisition of EEG signals recorded from 30 subjects, divided into baseline and stimuli phases, to identify variations in brain activity related to emotional experience. After thorough pre-processing, including artifact removal using PCA and feature extraction with MiniRocket, the EEG signals are analyzed to build classification models through a Support Vector Classifier (SVC). The recognized emotions are then transformed into textual descriptions using language models (LLM), which generate prompts used by diffusion models to create images that reflect the users' emotional states. The results show how the use of EEG-based pipelines and machine learning, combined with advanced image generation techniques, can offer an accurate visual representation of human emotions.

Questo lavoro di tesi si concentra sul riconoscimento delle emozioni attraverso segnali EEG e la generazione di immagini coerenti con lo stato emotivo rilevato utilizzando modelli di diffusione, come Stable Diffusion. La ricerca parte dall'acquisizione di segnali EEG registrati da 30 soggetti, suddivisi in fasi baseline e stimuli, per identificare variazioni nell'attività cerebrale legate all'esperienza emotiva. Dopo un accurato pre-processing, inclusa la rimozione di artefatti tramite PCA e l'estrazione delle caratteristiche con MiniRocket, i segnali EEG vengono analizzati per costruire modelli di classificazione tramite Support Vector Classifier (SVC). Le emozioni riconosciute vengono successivamente trasformate in descrizioni testuali utilizzando modelli di linguaggio (LLM), che generano prompt utilizzati da modelli di diffusione per creare immagini che riflettono gli stati emotivi degli utenti. I risultati mostrano come l'uso di pipeline basate su EEG e machine learning, combinati con tecniche avanzate di generazione di immagini, possano offrire una rappresentazione visiva precisa delle emozioni umane.