DPKD: FAST KNOWLEDGE DISTILLATION FOR DOT PRODUCT-BASED RECOMMENDER SYSTEMS

Recommender systems assist users in navigating large and complex information spaces by providing personalized item suggestions based on user preferences. Embedding-based models are widely used in this context, learning dense vector representations of users and items to compute relevance scores—typically through the dot product operator. While larger embeddings offer better performance, they come with higher computational costs, making real-time deployment challenging. Knowledge Distillation (KD) has emerged as a solution to transfer knowledge from large (teacher) models to smaller (student) ones, but conventional KD methods often overlook the importance of embedding interactions, focusing instead on individual components. This thesis introduces Dot Product-based Knowledge Distillation (DPKD), a novel approach that simplifies the distillation process by prioritizing the preservation of dot product interactions between user–item pairs rather than replicating individual embeddings. By minimizing the discrepancy between teacher and student dot product values, DPKD achieves efficient and accurate distillation without relying on complex architectures while maintaining state-of-the-art performance.

I sistemi di raccomandazione aiutano gli utenti a orientarsi in spazi informativi ampi e complessi, suggerendo automaticamente contenuti personalizzati in base alle preferenze individuali. In questo contesto, i modelli basati su embedding sono ampiamente utilizzati per apprendere rappresentazioni vettoriali dense di utenti e item, calcolando la rilevanza tramite il dot product. Sebbene embedding di dimensioni maggiori garantiscano migliori prestazioni, comportano costi computazionali elevati, rendendone difficile l’impiego in scenari in tempo reale. La Knowledge Distillation (KD) è emersa come soluzione per trasferire conoscenza da modelli di grandi dimensioni (teacher) a modelli più piccoli (student), ma i metodi KD convenzionali spesso trascurano l’importanza delle interazioni tra embedding, concentrandosi invece su componenti individuali. Questa tesi introduce Dot Product-based Knowledge Distillation (DPKD), un approccio innovativo che semplifica il processo di distillazione, ponendo l’accento sulla conservazione delle interazioni basate sul dot product tra coppie utente–item, anziché replicare gli embedding singolarmente. Minimizzando la discrepanza tra i valori di dot product dei modelli teacher e student, DPKD consente una distillazione efficiente mantenendo una precisione comparabile ai metodi allo stato dell’arte.