Studio e sviluppo di un sistema basato su conoscenza per la fruizione ottimale di informazioni tecniche in realtà mista

The aim of this work is to study the possibilities to visualize technical information, be it from old or new manuals, by employing a knowledge-based system both to select it and to choose an appropriate way of showing it to the user. This work will be organized in four parts; in the first one, we perform a study of the state of the art on the various themes we are going to cover, such as the standard protocols to write technical information, the possibility to convert these standards into OWL (Web Ontology Language) notation, as it will be essential to implement a synthetic reasoner to work over it, or even the various possibilities of visualization, through well-known technologies (HTML (HyperText Markup Language) + CSS (Cascade Style Sheet)) or ad-hoc software. After that, a study has been conducted on the programming environment for Microsoft HoloLens, a device capable of visualizing holograms for the user, creating a new interface type known as mixed reality. This study moves together with the implementation of a synthetic reasoner, creating a prototype capable of extracting basic context information from the visualization device to convert them in a list of possibly relevant guides for the user, together with a series of adequate visualization metaphors. The next phase is about refining this initial prototype by studying the structure of the ontology, that is the descriptive logic expression of the system knowledge base, to optimize the results of the synthetic reasoning processes for both the system tasks. Furthermore, a deeper study of oManual standard is performed to access iFixit massive database through its API (Application Programming Interface), obtaining a test set which will be extremely useful to test the system performances. Moreover, as this import processes happens almost automatically, it will also give insights for compatibility of the system with already existing technical information. To conclude our work, we will provide an implementation as a standalone app for smartphone, to allow further context acquisition methodologies, even by linking it with a head-mounted, optical-see-through display, and removing some of the constraints of a Client-Server implementation, as every synthetic reasoning task is moved to a portable device. This work allowed a survey over the available instruments for developing this kind of applications, hoping that, even if at its base stage, it might represent a starting point for a big number of future developments.

L’obiettivo di questo lavoro di tesi è studiare le possibilità relative alla visualizzazione di informazioni tecniche, tratte da manualistica già disponibile o da redigere, sfruttando un sistema basato sulla conoscenza per la selezione delle stesse, nonché delle modalità per la loro visualizzazione. In particolare, il lavoro si è articolato in quattro fasi; nella prima si è effettuato uno studio dello stato dell’arte dei vari argomenti trattati, quali la standardizzazione dei formati in cui la documentazione tecnica viene redatta, le possibilità di conversione o indicizzazione di tali formati in OWL (Web Ontology Language), notazione utile all’implementazione di un ragionatore sintetico, fino alle varie possibilità di visualizzazione, attraverso tecnologie consolidate (HTML (HyperText Markup Language) + CSS (Cascade Style Sheet)) o software ad-hoc. In una seconda fase, si è andati a studiare l’ambiente di programmazione relativo al dispositivo Microsoft HoloLens, capace di visualizzare ologrammi nel paradigma di interfaccia utente noto come realtà mista. Questo studio procede parallelamente a quello dei sistemi per l’implementazione di un ragionatore sintetico, permettendo la realizzazione di un prototipo capace di estrarre informazioni basilari dal contesto in cui viene utilizzato per convertirle in una lista di manuali compatibili con esso, nonché una serie di metafore di visualizzazione adeguate. La terza fase va dunque a raffinare questo prototipo, andando a studiare in maniera più approfondita l’ontologia, ossia l’espressione, in logica descrittiva, della conoscenza pregressa del sistema, al fine di ottimizzare i risultati del ragionamento per entrambi i compiti che esso svolge. Si procede, inoltre, con uno studio più approfondito relativamente allo standard oManual, al fine di utilizzare le API (Application Programming Interface) fornite dal portale web iFixit per ricavare un dataset, indispensabile ai fini del test, coerente con il dominio di applicazione del sistema. Ciò, avvenendo in maniera semi-automatica, fornisce anche uno strumento di compatibilità con la manualistica già esistente. Nella quarta ed ultima fase si cerca di riportare tale progetto ad una implementazione per smartphone, con gli obiettivi di permettere nuove metodologie di acquisizione del contesto, anche collegando i dispositivi handheld e optical-see-through, e di svincolarsi da un costoso sistema con architettura Client-Server, implementando l’interezza dei servizi di ragionamento su dispositivo mobile. La tesi ha permesso una rassegna degli strumenti disponibili per lo sviluppo di questo genere di applicazioni ed il progetto, per quanto ancora in una forma base, potrà fungere da punto di partenza per numerosi sviluppi futuri.