FEATURE SELECTION E FEATURE EXTRACTION PER LA CLASSIFICAZIONE BINARIA: ANALISI TEORICA E CONFRONTO SPERIMENTALE

This thesis analyzes dimensionality reduction in binary classification problems. After a theoretical discussion of the main categories of methods, with particular attention to feature extraction and feature selection, three representative techniques are examined: Principal Component Analysis, Sequential Feature Selection and ReliefF. The experimental part compares these techniques on four classification datasets, using Logistic Regression and Random Forest as predictive models. Performance is evaluated using accuracy, precision, recall and F1-score, together with a comparison of execution times. The results show that no technique is universally superior, and that the effectiveness of dimensionality reduction depends on the dataset, the classifier used and the associated computational cost.

La tesi analizza il tema della riduzione della dimensionalità nell’ambito di problemi di classificazione binaria. Dopo una trattazione teorica delle principali categorie di metodi, con particolare riferimento alla feature extraction e alla feature selection, vengono approfondite tre tecniche rappresentative: Principal Component Analysis, Sequential Feature Selection e ReliefF. La parte sperimentale confronta tali tecniche su quattro dataset di classificazione, utilizzando Logistic Regression e Random Forest come modelli predittivi. Le prestazioni sono valutate mediante accuracy, precision, recall e F1-score, affiancando anche un confronto dei tempi di esecuzione. I risultati mostrano che nessuna tecnica risulta universalmente superiore, ma che l’efficacia della riduzione della dimensionalità dipende dal dataset, dal classificatore utilizzato e dal costo computazionale associato.