QUANTIZZAZIONE ED EFFICIENZA DEL RERANKING IN PIPELINE RAG: ACCURATEZZA, LATENZA ED ENERGIA SU HARDWARE CPU-ONLY, CON ANALISI DI INTERPRETABILITÀ

Le architetture di Retrieval-Augmented Generation (RAG) rappresentano oggi uno strumento efficace per integrare grandi modelli linguistici con basi di conoscenza specifiche di dominio, ma il loro uso in contesti aziendali è spesso vincolato da re- quisiti stringenti di costo infrastrutturale e conformità normativa, che ne limitano l’accesso a risorse di calcolo dedicate come le GPU. Questa tesi affronta tale pro- blema nel contesto di un sistema di automazione del time-tracking aziendale che integra Google Calendar con una piattaforma di gestione delle attività lavorative tramite un motore di intelligenza artificiale generativa. Il lavoro descrive dappri- ma la progettazione e la validazione sperimentale di una pipeline RAG completa — comprendente retrieval ibrido, reranking semantico e generazione strutturata dell’output — vincolata a un funzionamento quasi esclusivamente CPU-only. A partire dall’analisi delle prestazioni di questa pipeline, lo stadio di reranking vie- ne individuato come principale collo di bottiglia computazionale e sottoposto a un intervento di ottimizzazione basato sulla quantizzazione post-training del cross- encoder, in due configurazioni realizzate tramite ONNX Runtime: INT8 dinamica per-tensore e INT4 dei soli pesi a blocchi. Le configurazioni quantizzate vengono confrontate con la baseline a piena precisione (FP32), su un dataset di validazione di 100 eventi costruito ad hoc, in termini di accuratezza del ranking (Recall@5 e MRR), latenza, efficienza energetica e ingombro. Il confronto è affiancato da uno studio di interpretabilità basato sull’ablazione sistematica di attention head e layer, volto a verificare se le componenti più critiche del modello siano anche le più sensi- bili alla perdita di precisione numerica. I risultati mostrano che la quantizzazione lascia invariata la Recall@5 e degrada l’MRR in misura contenuta, più per effetto della granularità che del numero di bit (−1,1% per l’INT4 a blocchi,−4,2% per l’INT8per-tensore); ilpunteggiodell’INT8dinamicorisultainoltredipendentedalla composizione del batch. L’elevata ridondanza strutturale del modello, evidenziata dall’ablazione, è compatibile con tale robustezza. Sul piano dell’efficienza, su Apple Silicon solo l’INT8 riduce la latenza (−32% sul reranker), mentre l’INT4 la aumen- ta di 2,6 volte; entrambe le configurazioni consumano più energia di FP32 (+29% e +264%), con una potenza media quasi doppia, riconducibile all’assenza di kernel nativi a bassa precisione su architettura ARM oppure al diverso runtime di inferen- za impiegato (PyTorch per FP32, ONNX Runtime per le varianti quantizzate). Ne emerge che, in ambienti privi di accelerazione hardware dedicata, l’ottimizzazione di pipeline semantiche richiede di valutare congiuntamente accuratezza, latenza, energia e ingombro, perché il beneficio di una tecnica di compressione dipende dal metodo adottato e dall’hardware su cui viene eseguita.