TECNICHE DI TESTING DEL SOFTWARE: VALUTAZIONE COMPARATIVA TRA TEST MANUALI E GENERAZIONE AUTOMATICA

This dissertation evaluates the impact of Large Language Models (LLMs) in Software Quality Assurance, comparing manual testing with automated generation across two opposite ecosystems: Java (strong typing) and JavaScript (weak typing). The experiment involved a human operator and eight frontier LLMs, measuring time efficiency and Test Strength (the destructive force of the Oracle) via Mutation Testing frameworks (PITest and Stryker). The results demonstrate that AI reduces writing times by up to 98%, but introduces the "Synthetic Productivity Paradox": the time spent by the operator correcting invalid generated code (Tfix) diminishes the actual advantage of automation. From a qualitative standpoint, the human excels in architectural abstraction but is limited by Confirmation Bias regarding boundary values. Conversely, the best LLMs act as "logical microscopes," stressing operational boundaries and achieving Mutation Scores close to 100%. The study concludes that AI will not replace the QA Engineer but will require a Human-i.n-the-Loop approach, in which the developer orchestrates the test suite and the AI provides the defensive "brute force."

Il presente elaborato valuta l’impatto dei Large Language Models (LLM) nella Software Quality Assurance, confrontando il testing manuale con la generazione automatizzata su due ecosistemi opposti: Java (tipizzazione forte) e JavaScript (tipizzazione debole). La sperimentazione ha coinvolto un operatore umano e otto LLM di frontiera, misurando l’efficienza temporale e la Test Strength (forza distruttiva dell’Oracolo) tramite framework di Mutation Testing (PITest e Stryker). I risultati dimostrano che l’IA abbatte i tempi di stesura fino al 98%, ma introduce il "Paradosso della Produttività Sintetica": il tempo speso dall’operatore per correggere codice generato invalido (Tfix) riduce il reale vantaggio dell’automazione. Sotto il profilo qualitativo, l’umano eccelle nell’astrazione architetturale ma è limitato dal Confirmation Bias sui valori limite. Al contrario, i migliori LLM agiscono come "microscopi logici", stressando i confini operativi e ottenendo Muta- tion Score vicini al 100%. Si conclude che l’IA non sostituirà il QA Engineer, ma imporrà un approccio Human-in-the-Loop in cui lo sviluppatore orchestra la suite e l’IA fornisce la "forza bruta" difensiva.