22–26 May 2023
Loano 2 Village
Europe/Rome timezone

Big Data Platform del CNAF

25 May 2023, 09:00
30m
Sala Portofino (Loano 2 Village)

Sala Portofino

Loano 2 Village

Presentazione orale Tecnologie ICT (Harware e Software) Tecnologie ICT Hardware e Software

Speaker

Enrico Fattibene (Istituto Nazionale di Fisica Nucleare)

Description

Al CNAF è stata da poco realizzata una piattaforma per la gestione e l'analisi di dati eterogenei ad uso di amministratori ed utenti del centro.

Tale infrastruttura è basata su un servizio general purpose per gestione di messaggi basato su Apache Kafka. A questo si aggancia un servizio principalmente dedicato all'analisi dei log, composto dai software Logstash, OpenSearch e OpenSearch Dashboards, prodotto di un fork open source dei componenti della suite ELK (Elasticsearch, Logstash, Kibana) gestito da AWS. Tali software comprendono anche plugin che in ELK sono a pagamento, come quello per la gestione di autenticazione e autorizzazione.

In questo contributo verrà descritta la composizione dell'infrastruttura e le scelte implementative effettuate con particolare riguardo alla ridondanza dei dati, all'alta affidabilità dei servizi, alla multi-tenancy, alla segregazione dei dati e all'integrazione con i servizi operativi già in uso al CNAF (autenticazione, provisioning, monitoring). Inoltre, verrà illustrato il futuro interfacciamento con Wazuh, un software che si basa su OpenSearch e specifico per i dati relativi alla sicurezza informatica.

Particolare risalto verrà dato alle possibilità di fruizione della piattaforma da parte degli utenti.

Primary authors

Antonio Falabella (Istituto Nazionale di Fisica Nucleare) Daniele Lattanzio (Istituto Nazionale di Fisica Nucleare) Dr Diego Michelotto (CNAF) Enrico Fattibene (Istituto Nazionale di Fisica Nucleare) Federico Fornari (Istituto Nazionale di Fisica Nucleare) Francesco Amori (Istituto Nazionale di Fisica Nucleare) Lucia Morganti (Istituto Nazionale di Fisica Nucleare) Stefano Antonelli (Istituto Nazionale di Fisica Nucleare) Vincenzo Ciaschini (Istituto Nazionale di Fisica Nucleare)

Presentation materials