HUMAN-CENTERED AI: FRAMEWORK HUMAN-CENTERED DI VALUTAZIONE PER LA SPIEGAZIONE DEI RISULTATI DI UN ALGORITMO XAI IN CONTESTO CLINICO

In recent years, Al technologies have demonstrated remarkable capabilities in tasks ranging from image analysis to natural language processing. These capabilities have enabled Al systems to assist medical professionals in diagnosing diseases, predicting patient outcomes, and personalizing treatment plans. However, the inherent complexity of Al models often lends to them being perceived as "black boxes," raising concerns about their reliability, safety, and the potential for biased decision-making. The demand for Al systems that not only deliver accurate results but also provide clear and justifiable rationales for their conclusions has given rise to the intertwined concepts of HCAI and XAI. The first part of this work provides the reader with a comprehensive knowledge of the fundamentals of HCA and its guidelines, presenting the principles that underpin the philosophy of HCAI. Then the focus shifts on XAI definition and its techniques and metrics with the intent to provide the reader with key concepts of measurement for the evaluation of XAI systems and human-machine performance. Since we are interested in a Human-Centered approach that support the rise of Reliable, Trustworthy and Safe systems, this work also presents valuable results from a series of interview focused on the human perspective, and obtained through the evaluation of interviews administered to medical personnel. This strategy allows AI practitioners and expercts to better gather the understanding of clinicians with respect to the results provided by an XAI algorithm that classifies subjects as healthy or sick.

Negli ultimi anni, Le tecnologie AI hanno dimostrato notevoli capacità in compiti che vanno dall’analisi delle immagini all’elaborazione del linguaggio naturale. Queste capacità hanno consentito ai sistemi di intelligenza artificiale di assistere i professionisti medici nella diagnosi delle malattie, nella previsione degli esiti dei pazienti e nella personalizzazione dei piani di trattamento. Tuttavia, la complessità intrinseca dei modelli di intelligenza artificiale spesso fa sì che vengano percepiti come “scatole nere”, sollevando preoccupazioni sulla loro affidabilità, sicurezza e sul rischio di processi decisionali distorti. La richiesta di sistemi di intelligenza artificiale che non solo forniscano risultati accurati ma forniscano anche motivazioni chiare e giustificabili per le loro conclusioni ha dato origine ai concetti intrecciati di HCAI e XAI. La prima parte di questo lavoro fornisce al lettore una conoscenza completa dei fondamenti dell'HCAI e delle sue linee guida, presentando i principi su cui si fonda la filosofia dell'HCAI. Successivamente l'attenzione si sposta sulla definizione XAI e sulle sue tecniche e metriche con l'intento di fornire al lettore i concetti chiave di misurazione per la valutazione dei sistemi XAI e delle prestazioni uomo-macchina. Poiché siamo interessati ad un approccio centrato sull'uomo che supporti la crescita di sistemi affidabili, affidabili e sicuri, questo lavoro presenta anche risultati preziosi da una serie di interviste focalizzate sulla prospettiva umana e ottenute attraverso la valutazione di interviste somministrate al personale medico . Questa strategia consente ai professionisti e agli esperti di intelligenza artificiale di raccogliere meglio la comprensione dei medici rispetto ai risultati forniti da un algoritmo XAI che classifica i soggetti come sani o malati