AGENTIC AI NELLA CYBERSECURITY: ANALISI E BENCHMARKING DI FRAMEWORK BASATI SU LLM PER IL PENETRATION TESTING

This thesis examines the use of agents based on Large Language Models (LLMs) in penetration testing. The objective is to clarify which activities they are able to perform under the conditions studied, where the operator intervenes, and how the results are measured. The work is literature-based and analyzes twenty-five documents selected through a targeted search. Benchmarking consists of the critical comparison of published benchmarks and protocols, without carrying out new experiments. In the benchmark by Happe, Kaplan and Cito, the system starts from an SSH account with low privileges; some runs reach root. On GOADv3, Cochise operates on five VMs connected to a Kali machine and in each of the six runs compromises at least one account. In the PentestGPT tests, the expert executes the command indicated by the system and returns the output obtained. In that configuration, the choice of the action and its execution do not belong to the same subject. In the other works, human intervention appears at different points in the process; for this reason, autonomy is reconstructed on the basis of the configuration actually evaluated. A success percentage may derive from multiple attempts on the same task or from multiple aggregated runs, and the papers do not always report the same details about the protocol. For this reason, success rates are read under the conditions in which they were produced, without combining them in a meta-analysis or using them to rank the frameworks. The works examined do not document a complete professional penetration test carried out autonomously.

Questa tesi esamina l’impiego di agenti basati su Large Language Models (LLM) nel penetration testing. L’obiettivo è chiarire quali attività riescano a svolgere nelle condizioni studiate, dove intervenga l’operatore e come vengano misurati i risultati. Il lavoro ha natura compilativa e analizza venticinque documenti selezionati attraverso una ricerca mirata. Il benchmarking consiste nel confronto critico dei benchmark e dei protocolli pubblicati, senza eseguire nuovi esperimenti. Nel benchmark di Happe, Kaplan e Cito il sistema parte da un account SSH con privilegi bassi; alcune run arrivano a root. Su GOADv3, Cochise opera su cinque VM collegate a una macchina Kali e in ciascuna delle sei run compromette almeno un account. Nelle prove di PentestGPT, l’esperto esegue il comando indicato dal sistema e restituisce l’output ottenuto. In quella configurazione la scelta dell’azione e la sua esecuzione non appartengono allo stesso soggetto. Negli altri lavori l’intervento umano compare in punti diversi del processo; per questo l’autonomia viene ricostruita sulla configurazione effettivamente valutata. Una percentuale di successo può derivare da più tentativi sullo stesso task oppure da più run aggregate, e i paper non riportano sempre gli stessi dettagli sul protocollo. Per questo i success rate vengono letti nelle condizioni in cui sono stati prodotti, senza combinarli in una meta-analisi o usarli per ordinare i framework. I lavori esaminati non documentano un penetration test professionale completo eseguito in autonomia.