This thesis presents the design and development of an automatic visual pointing system for mobile robotics applications, based on the ROS 2 (Robot Operating System) distributed architecture. The main objective is the low-latency pointing of dynamic targets, specifically ArUco fiducial markers, continuously maintaining them at the center of the field of view through a closed-loop control system. The software architecture, developed in Python, is structured into independent logical nodes that handle image processing via the OpenCV library and the generation of kinematic coordinates using a PID controller, optimized for real-world deployment with anti-windup, deadband, and watchdog logic. Initially prototyped in a virtualized environment, the project was migrated to an NVIDIA Jetson embedded device to ensure deterministic performance and eliminate virtualization latency. Following electrical and communication criticalities encountered on an initial prototype based on a Gimbal actuator, the system was ultimately and successfully interfaced with an industrial PTZ network camera (Axis M5525-E). This transition validated the effectiveness of the hardware abstraction provided by ROS 2, demonstrating the algorithm's ability to rapidly adapt to the new actuator and achieve smooth, robust pointing resilient to the kinematic limits imposed by the mechanics.

Il presente lavoro di tesi illustra la progettazione e lo sviluppo di un sistema di puntamento visivo automatico per applicazioni di robotica mobile, basato sull'architettura distribuita ROS 2 (Robot Operating System). L'obiettivo principale è il puntamento a bassa latenza di target statici, specificatamente marker fiduciari ArUco, mantenendoli costantemente al centro del campo visivo tramite un sistema di controllo in retroazione. L'architettura software, sviluppata in linguaggio Python, è strutturata in nodi logici indipendenti che gestiscono l'elaborazione delle immagini tramite la libreria OpenCV e la generazione delle coordinate cinematiche mediante un controllore PID, ottimizzato per l'impiego reale con logiche di anti-windup, deadband e watchdog. Inizialmente prototipato in ambiente virtualizzato, il progetto è stato migrato su un dispositivo embedded NVIDIA Jetson per garantire prestazioni deterministiche ed eliminare le latenze di virtualizzazione. A seguito di criticità elettroniche e di comunicazione riscontrate su un primo prototipo basato su attuatore Gimbal, il sistema è stato infine interfacciato con successo a una telecamera PTZ industriale di rete (Axis M5525-E). Questa transizione ha validato l'efficacia dell'astrazione hardware garantita da ROS 2, dimostrando la capacità dell'algoritmo di adattarsi rapidamente al nuovo attuatore e di ottenere un puntamento fluido e robusto rispetto ai limiti cinematici imposti dalla meccanica.

CONTROLLO DI UN SISTEMA DI PUNTAMENTO CON TELECAMERA PTZ E ARUCO MARKER

DE BELLIS, DIEGO
2025/2026

Abstract

This thesis presents the design and development of an automatic visual pointing system for mobile robotics applications, based on the ROS 2 (Robot Operating System) distributed architecture. The main objective is the low-latency pointing of dynamic targets, specifically ArUco fiducial markers, continuously maintaining them at the center of the field of view through a closed-loop control system. The software architecture, developed in Python, is structured into independent logical nodes that handle image processing via the OpenCV library and the generation of kinematic coordinates using a PID controller, optimized for real-world deployment with anti-windup, deadband, and watchdog logic. Initially prototyped in a virtualized environment, the project was migrated to an NVIDIA Jetson embedded device to ensure deterministic performance and eliminate virtualization latency. Following electrical and communication criticalities encountered on an initial prototype based on a Gimbal actuator, the system was ultimately and successfully interfaced with an industrial PTZ network camera (Axis M5525-E). This transition validated the effectiveness of the hardware abstraction provided by ROS 2, demonstrating the algorithm's ability to rapidly adapt to the new actuator and achieve smooth, robust pointing resilient to the kinematic limits imposed by the mechanics.
2025
CONTROL OF A POINTING SYSTEM USING A PTZ CAMERA AND ARUCO MARKERS
Il presente lavoro di tesi illustra la progettazione e lo sviluppo di un sistema di puntamento visivo automatico per applicazioni di robotica mobile, basato sull'architettura distribuita ROS 2 (Robot Operating System). L'obiettivo principale è il puntamento a bassa latenza di target statici, specificatamente marker fiduciari ArUco, mantenendoli costantemente al centro del campo visivo tramite un sistema di controllo in retroazione. L'architettura software, sviluppata in linguaggio Python, è strutturata in nodi logici indipendenti che gestiscono l'elaborazione delle immagini tramite la libreria OpenCV e la generazione delle coordinate cinematiche mediante un controllore PID, ottimizzato per l'impiego reale con logiche di anti-windup, deadband e watchdog. Inizialmente prototipato in ambiente virtualizzato, il progetto è stato migrato su un dispositivo embedded NVIDIA Jetson per garantire prestazioni deterministiche ed eliminare le latenze di virtualizzazione. A seguito di criticità elettroniche e di comunicazione riscontrate su un primo prototipo basato su attuatore Gimbal, il sistema è stato infine interfacciato con successo a una telecamera PTZ industriale di rete (Axis M5525-E). Questa transizione ha validato l'efficacia dell'astrazione hardware garantita da ROS 2, dimostrando la capacità dell'algoritmo di adattarsi rapidamente al nuovo attuatore e di ottenere un puntamento fluido e robusto rispetto ai limiti cinematici imposti dalla meccanica.
ROS2
Sistema Puntamento
Controllo PID
File in questo prodotto:
Fulltext non presente su UNITESI – Verifica la disponibilità della tesi in formato cartaceo interrogando il Catalogo di Ateneo

I documenti in UNITESI sono protetti da copyright e tutti i diritti sono riservati, salvo diversa indicazione.

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.14253/78456