TECNICHE DI IMAGE CAPTIONING PER LA GENERAZIONE DI KNOWLEDGE GRAPH

This thesis aims to analyze and systematize Image Captioning techniques that are not intended for simple narrative description, but for the generation of Knowledge Graphs. The objective is to explore how visual information can be extracted, structured, and injected into the training processes of Large Language Models (LLMs). In particular, the work investigates how the transition from a visual representation to a graph-based representation can enrich the LLM’s knowledge base, enhancing its capabilities in Visual Question Answering (VQA) and contextual reasoning.

Questa tesi si propone di analizzare e sistematizzare le tecniche di Image Captioning finalizzate non alla semplice descrizione narrativa, ma alla generazione di Knowledge Graph. L’obbiettivo è esplorare come le informazioni visive possano essere estratte, strutturate e iniettate nei processi di addestramento dei Large Language Model (LLM). In particolare, si indagherà come il passaggio da una rappresentazione visiva a una rappresentazione a grafo possa arricchire la base di conoscenza dell’LLM, migliorandone la capacità di Visual Question Answering (VQA) e di ragionamento contestuale.