INTEGRAZIONE DI MECCANISMI DI ATTENZIONE E XAI IN YOLOV11 PER IL RICONOSCIMENTO DI TRATTI FENOTIPICI

In presenza di una popolazione mondiale in forte crescita, che nel 2050 dovrebbe raggiungere circa 9,7 miliardi di persone, garantire la sicurezza alimentare richiede un aumento della produttività agricola. Tale aumento è reso più difficile dagli effetti del cambiamento climatico, come la variabilità delle precipitazioni e gli eventi meteorologici estremi. In questo contesto, la massimizzazione della resa e la valutazione della risposta delle piante agli stress abiotici, come la siccità, e a differenti regimi di fertilizzazione dipendono da un'accurata fenotipizzazione, che include la stima del numero di frutti, l'identificazione dello stadio di maturazione e l'analisi dell'apparato fogliare. Le tecniche di Artificial Intelligence (AI) basate sul deep learning, in particolare l'object detection, consentono di automatizzare parte di questo processo. L'object detection consiste nel localizzare e classificare gli oggetti presenti in un'immagine, ad esempio i frutti di una pianta. Tra le architetture più diffuse per questo compito vi sono i modelli YOLO (You Only Look Once), adottati perché elaborano l'intera immagine in un solo passaggio, con buona accuratezza e tempi di calcolo ridotti, compatibili con il rilevamento in tempo reale. Per migliorare la capacità di questi modelli di distinguere i frutti da uno sfondo complesso, si ricorre spesso a meccanismi di attenzione. L'obiettivo di questa tesi è valutare come l'integrazione di due meccanismi di attenzione, SimAM e GAM, modifichi le prestazioni di YOLOv11 nel rilevamento dei frutti di pomodoro in serra e le regioni su cui si concentrano le sue attivazioni. Il confronto riguarda il modello baseline e tre varianti con attenzione: una con SimAM nel neck e due con GAM, rispettivamente al termine del backbone e nel neck. Tutti i modelli sono nella versione nano e sono addestrati da zero con gli stessi iperparametri su un dataset di 1405 immagini acquisite in serra, di cui 1124 per il training set e 281 per il validation set. Per valutare l'effetto di tali modifiche, oltre alle metriche di valutazione, il lavoro sfrutta tecniche di Explainable AI (XAI), che rendono più trasparenti i modelli complessi, spesso considerati black box, e impiega EigenCAM per confrontare, tra il modello baseline e le varianti con attenzione, le regioni dell'immagine su cui si concentrano le attivazioni dell'ultimo strato del backbone e dello strato che precede la head. Dal confronto emerge che il modello baseline e le varianti con attenzione raggiungono prestazioni di rilevamento molto simili sul validation set (Mean Average Precision, [email protected], tra 0,649 e 0,652), senza un miglioramento apprezzabile dovuto ai moduli di attenzione. Le mappe EigenCAM, invece, differiscono in modo marcato dal baseline nei modelli con GAM e in misura minore in quello con SimAM. Nel baseline e con SimAM l'attivazione intensa si concentra sulla mira colorimetrica (ColorChecker) nel backbone e sulla chioma nel pre-head; in quest'ultimo, con SimAM la regione di massima attivazione è più compatta. Con GAM l'attivazione intensa si trova, nel backbone, prevalentemente sulla vegetazione, mentre nel pre-head si sposta verso il 30% inferiore dell'immagine, dove si trovano il ColorChecker e i teli bianchi alla base delle piante, in modo più netto se il modulo è inserito nel backbone. In nessuna configurazione la regione di massima attivazione coincide con i singoli frutti. L'effetto atteso dei moduli di attenzione, cioè migliorare il rilevamento concentrando le attivazioni sui frutti, non è quindi stato osservato.