COOPERATIVE MACHINE LEARNING INFERENCE

The exponential advances in Machine Learning (ML) are leading to the deployment of Machine Learning models in constrained and embedded devices, to solve complex inference tasks. At the moment, to serve these tasks, there exist two main solutions: run the model on the end device, or send the request to a remote server. However, these solutions may not suit all the possible scenarios in terms of accuracy or inference time, requiring alternative solutions. To face this challenge, Si Salem et al. (2021) proposed the idea of Inference Delivery Networks (IDNs), networks of computing nodes able to provide a finer tradeoff in terms of latency and accuracy, exploiting all the infrastructure that can be between the end device and the cloud (edge servers, regional data centers, etc.). At the current state in IDNs, a node can only serve a request, or send it to another node in the network, without any kind of collaboration between nodes. The aim of this work is to explore the possibility of increasing the number of actions that a node can perform, enabling the combination of the outputs of multiple nodes using Ensemble Learning techniques. In addition, the work studies the combination of knowledge distillation with ensemble learning and its possible advantages in enhancing ensemble performance, comparing the performance when ensembles members are trained only to fit their dataset or by knowledge distillation.

I rapidi avanzamenti nel Machine Learning (ML) stanno portando alla distribuzione di modelli di apprendimento automatico in dispositivi limitati ed embedded per risolvere task di inferenza sempre più complessi. Attualmente, per servire queste richieste, esistono due soluzioni principali: runnare il modello sull’end device o inviare la richiesta a un server remoto. Tuttavia, queste soluzioni potrebbero non adattarsi a tutti i possibili scenari in termini di accuratezza o latenza di inferenza, richiedendo soluzioni alternative. Una possibile soluzione è stata proposta da Si Salem et al. (2021), con l’idea delle Inference Delivery Networks (IDN), reti di nodi di calcolo in grado di fornire un compromesso maggiore in termini di latenza e accuratezza, sfruttando tutta l'infrastruttura che può trovarsi tra il dispositivo finale e il cloud (edge server, data center regionali, ecc.). Allo stato attuale delle IDN però, un nodo può solamente servire una richiesta o inviarla a un altro nodo nella rete, senza alcun tipo di collaborazione. Lo scopo di questo lavoro è esplorare la possibilità di aumentare il numero di azioni che un nodo può svolgere, consentendo la combinazione degli output di più nodi utilizzando tecniche di Ensemble Learning andando a studiare la combinazione di tecniche di Knowledge Distillation ed Ensemble Learning, confrontando le prestazioni di ensemble di modelli addestrati sul solo dataset di training con quelle di modelli addestrati tramite Knowledge Distillation.