ANALISI COMPARATIVA TECNICA ARCHITETTURALE DEI FOUNDATION MODELS: BIAS, ALLUCINAZIONI, SICUREZZA E ROBUSTEZZA

Over recent years, Foundation Models have radically redefined the Artificial Intelligence landscape, establishing themselves as the core infrastructure for applications ranging from text generation to decision-support systems in the medical, legal, and financial sectors. Nevertheless, this rapid widespread adoption has brought to the fore a series of critical vulnerabilities that compromise their reliability and responsible large-scale implementation. The objective of this thesis is to conduct a systematic analysis of the primary issues affecting Foundation Models, structured around four fundamental dimensions. The first addresses bias and fairness, specifically the presence of implicit prejudices in data and algorithms, as well as the metrics used to measure their discriminatory effects. The second dimension analyzes the phenomenon of hallucinations—the generation of incorrect or unverifiable content—examining detection techniques and primary mitigation strategies, including Retrieval-Augmented Generation (RAG) and Reinforcement Learning from Human Feedback (RLHF). The third dimension tackles privacy and security risks, encompassing unintended training data memorization, attacks such as prompt injection and jailbreaking, and their corresponding defensive countermeasures. Finally, the fourth dimension explores robustness evaluation methodologies, presenting the main frameworks and benchmarks used to measure model resilience against adversarial inputs and perturbations. This research is conducted through a critical overview of the most recent scientific and technical literature, aiming to provide an integrated and comparative view of current mitigation and evaluation techniques while highlighting their strengths, limitations, and mutual interdependencies. Through this analysis, the thesis demonstrates that reliability, correctness, and security are not properties guaranteed by model scale alone, but instead demand a conscious, continuously evolving engineering approach.

Negli ultimi anni i Foundation Models hanno ridefinito radicalmente il panorama dell’Intelligenza Artificiale, imponendosi come infrastruttura di riferimento per applicazioni che spaziano dalla generazione di testo ai sistemi di supporto alle decisioni in ambito sanitario, legale e finanziario. Ciononostante, questa rapida diffusione ha portato in primo piano una serie di criticità che ne condizionano l’affidabilità e l’adozione responsabile su larga scala. L’obiettivo di questa tesi è condurre un’analisi sistematica delle principali problematiche che affliggono i Foundation Models, articolata attorno a quattro dimensioni fondamentali. La prima riguarda il bias e la fairness, ovvero la presenza di pregiudizi impliciti nei dati e negli algoritmi, nonché le metriche adottate per misurarne gli effetti discriminatori. La seconda dimensione analizza il fenomeno delle allucinazioni, ossia la generazione di contenuti errati o non verificabili, esaminando le tecniche di rilevamento e le principali strategie di mitigazione, tra cui la Retrieval-Augmented Generation (RAG) e il Reinforcement Learning from Human Feedback (RLHF). La terza dimensione affronta i rischi legati alla privacy e alla sicurezza, includendo fenomeni di memorizzazione involontaria dei dati di addestramento, attacchi quali prompt injection e jailbreaking, nonché le relative contromisure difensive. Infine, la quarta dimensione approfondisce le metodologie di valutazione della robustezza, presentando i principali framework e benchmark utilizzati per misurare la resilienza dei modelli rispetto a input avversari e perturbazioni. La ricerca è condotta attraverso una panoramica critica della letteratura scientifica e tecnica più recente, con l’obiettivo di offrire una visione integrata e comparativa delle tecniche di mitigazione e valutazione oggi disponibili, evidenziandone i punti di forza, i limiti e le reciproche interdipendenze. Attraverso questa analisi, la tesi intende dimostrare come affidabilità, correttezza e sicurezza non siano proprietà garantite dalla sola scala dei modelli, ma richiedano un approccio ingegneristico consapevole e in continua evoluzione.