ASSESSING THE IMPACT OF MULTIMODAL-BY-DESIGN EMBEDDING IN MULTIMODAL RECOMMENDER SYSTEM

Recommender Systems (RSs) leverage historical user interactions to provide personalized suggestions, but traditional Collaborative Filtering approaches suffer from data sparsity and cold-start issues. Multimodal Recommender Systems (MMRSs) address these limitations by incorporating side information from multiple modalities, such as text and images. However, conventional methods based on the fusion of unimodal embeddings often fail to capture rich cross-modal relationships. This work investigates the use of Large Vision-Language Models (LVLMs) as feature extractors for multimodal recommendation. We conduct a comprehensive evaluation across multiple datasets, recommender architectures, and prompting strategies. Results show that LVLMs provide strong performance, particularly in models that directly exploit raw modality features, while their effectiveness in graph-based approaches depends on alignment with model inductive biases. We further analyze generalist multimodal embedding models (GMEs), which achieve competitive and sometimes superior performance, though without consistent dominance. Additionally, prompting strategies are shown to significantly influence representation quality and recommendation outcomes. Overall, our findings demonstrate that no single feature extraction strategy universally outperforms others, highlighting the importance of jointly considering representation learning, model architecture, and prompt design.

I Sistemi di Raccomandazione (RSs) sfruttano le interazioni storiche degli utenti per fornire suggerimenti personalizzati, ma i tradizionali approcci di Collaborative Filtering soffrono di problemi legati alla scarsità di dati (data sparsity) e alla partenza a freddo (cold-start). I Sistemi di Raccomandazione Multimodali (MMRSs) affrontano queste limitazioni integrando informazioni aggiuntive provenienti da molteplici modalità, come testi e immagini. Tuttavia, i metodi convenzionali basati sulla fusione di embedding unimodali spesso non riescono a catturare le ricche relazioni cross-modali. Questo lavoro indaga l'uso dei Large Vision-Language Models (LVLMs) come estrattori di caratteristiche (feature extractors) per la raccomandazione multimodale. Abbiamo condotto una valutazione completa su diversi dataset, architetture di raccomandazione e strategie di prompting. I risultati mostrano che i LVLM offrono prestazioni elevate, in particolare nei modelli che sfruttano direttamente le caratteristiche grezze delle modalità, mentre la loro efficacia negli approcci basati su grafi dipende dall'allineamento con i bias induttivi del modello. Analizziamo inoltre i modelli di embedding multimodale generalisti (GMEs), che ottengono prestazioni competitive e talvolta superiori, sebbene senza un predominio costante. Inoltre, viene dimostrato come le strategie di prompting influenzino significativamente la qualità della rappresentazione e i risultati della raccomandazione. In sintesi, i nostri risultati dimostrano che nessuna singola strategia di estrazione delle caratteristiche prevale universalmente sulle altre, evidenziando l'importanza di considerare congiuntamente l'apprendimento delle rappresentazioni, l'architettura del modello e la progettazione dei prompt.