ANALISI E OTTIMIZZAZIONE DI CODEC VIDEO NEURALI PER APPLICAZIONI REAL-TIME

Neural video compression is one of the main development directions for next-generation coding systems, especially in scenarios where compression efficiency and latency constraints must be considered jointly. Within this context, this thesis studies DCVC-RT, a neural video codec designed for real-time applications, with specific attention to video communication on talking-head content. The work places DCVC-RT within the state of the art of video compression, describes its architecture and main operating parameters, and defines the evaluation framework used to assess reconstructed quality, compression efficiency, and computational cost. The experimental section is based on the TalkVid dataset and is organized along four main directions: baseline rate-distortion characterization; comparison with traditional and neural reference codecs; robustness analysis under packet loss through Gilbert-Elliott channel simulation; and evaluation of domain-specific fine-tuning on facial video sequences. An additional part of the analysis is devoted to studying the influence of parameters such as QP, intra_period, threshold τ, and reset interval K, as well as the role of PSNR and VMAF in interpreting the codec’s behavior. Overall, the thesis provides a technical and experimental treatment of DCVC-RT aimed at describing its operation and examining its behavior in interactive video communication scenarios

La compressione video neurale costituisce una delle principali linee di sviluppo dei sistemi di codifica di nuova generazione, soprattutto nei contesti in cui efficienza di compressione e vincoli di latenza devono essere considerati congiuntamente. In questo ambito, questa tesi studia DCVC-RT, un codec video neurale progettato per applicazioni real-time, nel contesto della videocomunicazione su contenuti talking-head. Il lavoro inquadra DCVC-RT rispetto allo stato dell’arte della compressione video, ne descrive l’architettura e i principali parametri operativi, e definisce il quadro metrico utilizzato per la valutazione della qualità ricostruita, dell’efficienza di compressione e del costo computazionale. La parte sperimentale è basata sul dataset TalkVid ed è organizzata in quattro linee principali: caratterizzazione baseline del comportamento rate-distortion; confronto con codec di riferimento tradizionali e neurali; analisi della robustezza alla perdita di pacchetti mediante simulazione di canale Gilbert-Elliott; valutazione del fine-tuning domain-specific su sequenze facciali. Una parte ulteriore dell’analisi è dedicata allo studio dell’influenza di parametri quali QP, intra_period, soglia τ e intervallo di reset K, nonché al ruolo delle metriche PSNR e VMAF nell’interpretazione del comportamento del codec. Nel complesso, la tesi fornisce una trattazione tecnica e sperimentale di DCVC-RT orientata a descriverne il funzionamento e a esaminarne il comportamento in scenari di comunicazione video interattiva.