BALANCING ACCURACY AND NOVELTY IN RECOMMENDER SYSTEMS THROUGH SUB-ITEM PERSONALISED POPULARITY MODELLING

In the realm of music recommendation, sequential recommenders have shown promise in capturing the dynamic nature of music consumption. A key characteristic of this domain is repetitive listening, where users frequently replay familiar tracks. Effective modelling of such repetition is essential for maintaining recommendation relevance. To capture these repetition patterns, recent research has introduced Personalised Popularity Scores (PPS), which quantify user-specific preferences based on historical frequency. Along this line, recent work has demonstrated that Personalised Popularity Scores (PPS), which quantify user-specific repetition patterns, provide a powerful signal for aligning recommendations with individual listening habits. While PPS enhances relevance in recommendation, it often reinforces already-known content, limiting the system’s ability to surface novel or serendipitous items—key elements for fostering long-term user engagement and satisfaction. To address this limitation, we build upon RecJPQ, a Transformer-based framework initially developed to improve scalability in large-item catalogues through sub-item decomposition. We repurpose RecJPQ’s sub-item architecture to model personalised popularity at a finer granularity. This allows us to capture shared repetition patterns across sub-embeddings—latent structures not accessible through item-level popularity alone. We propose a novel integration of sub-ID-level personalised popularity within the RecJPQ framework, enabling explicit control over the trade-off between accuracy and personalised novelty. Our sub-ID-level PPS method (sPPS) consistently outperforms item-level PPS by achieving significantly higher personalised novelty without compromising recommendation accuracy. At a fixed novelty threshold of 12, we observe consistent gains in NDCG@40 across both the Last.fm and Yandex datasets, with an average relative improvement of +8.85% over item-level PPS. In summary, this work demonstrates the advantage of modelling popularity at a finer granularity, enabling systems to better balance relevance with user-specific discovery in music recommendation.

Nel campo della raccomandazione musicale, i modelli sequenziali hanno dimostrato di essere promettenti nel catturare la natura dinamica del consumo musicale. Una caratteristica chiave di questo dominio è l’ascolto ripetuto, in cui gli utenti riproducono frequentemente brani già noti. Un’efficace modellazione di questi pattern di ripetizione è essenziale per mantenere la rilevanza delle raccomandazioni. Per catturare tali pattern, ricerche recenti hanno introdotto gli Score di Popolarità Personalizzata (Personalised Popularity Scores – PPS), che quantificano le preferenze specifiche dell’utente sulla base della frequenza storica di ascolto. In questa direzione, lavori recenti hanno dimostrato che i PPS, che rappresentano i pattern di ripetizione individuali, costituiscono un segnale potente per allineare le raccomandazioni alle abitudini di ascolto personali. Tuttavia, se da un lato i PPS migliorano la rilevanza delle raccomandazioni, dall’altro tendono a rafforzare contenuti già noti, limitando la capacità del sistema di proporre elementi nuovi o inaspettati — aspetti fondamentali per promuovere un coinvolgimento e una soddisfazione duraturi dell’utente. Per superare questa limitazione, ci basiamo su RecJPQ, un framework basato su Transformer sviluppato inizialmente per migliorare la scalabilità in cataloghi di grandi dimensioni tramite la decomposizione in sotto-elementi. Riutilizziamo l’architettura a sotto-item di RecJPQ per modellare la popolarità personalizzata a una granularità più fine. Questo ci consente di catturare pattern di ripetizione condivisi attraverso sotto-embedding — strutture latenti non accessibili tramite la sola popolarità a livello di item. Proponiamo un’integrazione innovativa della popolarità personalizzata a livello di sub-ID all’interno del framework RecJPQ, che permette un controllo esplicito del bilanciamento tra accuratezza e novità personalizzata. Il nostro metodo di PPS a livello di sub-ID (sPPS) supera sistematicamente il PPS a livello di item, raggiungendo una novità personalizzata significativamente maggiore senza compromettere l’accuratezza delle raccomandazioni. A una soglia di novità fissa pari a 12, osserviamo miglioramenti costanti in NDCG\@40 su entrambi i dataset Last.fm e Yandex, con un incremento relativo medio dell’8,85% rispetto al PPS a livello di item. In sintesi, questo lavoro dimostra i vantaggi di modellare la popolarità a una granularità più fine, consentendo ai sistemi di raccomandazione di bilanciare meglio la rilevanza con la scoperta personalizzata degli utenti nel contesto musicale.