BENCHMARKING RIPRODUCIBILE PER MODELLI DI RACCOMANDAZIONE: PROGETTAZIONE E SVILUPPO DI UNA PIATTAFORMA SPERIMENTALE

Negli ultimi venti anni, si è osservata un rapido aumento delle attività di ricerca e sviluppo nell’ambito dei sistemi di raccomandazione, poiché questi ultimi hanno assunto un ruolo centrale in numerosi scenari applicativi, come le piattaforme di e-commerce, i servizi di streaming multimediale, i social network e i sistemi di distribuzione di contenuti digitali. Di conseguenza, l’analisi e la valutazione delle prestazioni dei modelli proposti è diventata un aspetto cruciale. Tuttavia, il benchmarking in questo settore risulta particolarmente complesso, principalmente a causa di problemi di riproducibilità dei risultati, dovuti alla mancanza di standard condivisi e di procedure sperimentali facilmente replicabili. In molti casi, infatti, gli esperimenti vengono condotti in condizioni eterogenee, poiché le valutazioni si basano su configurazioni diverse in termini di dataset, metriche e protocolli sperimentali, rendendo difficile un confronto equo tra approcci differenti. Contributi recenti, come il progetto BARS-CTR, offrono sistemi di open benchmark per la previsione del CTR (Click-Through Rate), con l’obiettivo di ottenere valutazioni comparative rigorose e riproducibili tra modelli diversi. In questa tesi viene presentata la progettazione e l’implementazione di una piattaforma dedicata al benchmarking di modelli di raccomandazione. Essa è caratterizzata da un’architettura modulare e da una gestione granulare delle entità coinvolte, quali dataset, modelli ed esperimenti, e consente di garantire una chiara riproducibilità delle valutazioni sperimentali. La soluzione proposta si ispira a framework per la sperimentazione nei sistemi di raccomandazione, come Elliot, dai quali riprende alcuni principi strutturali, estendendoli però verso un contesto specifico orientato al benchmarking riproducibile. Il principale contributo di questa tesi consiste nello sviluppo di un sistema scalabile ed estensibile che permette di standardizzare il processo di benchmarking, migliorando la tracciabilità degli esperimenti e semplificando il confronto tra i risultati ottenuti.