Seminari

Infrastruttura di Big Data Platform del CNAF

by Antonio Falabella (Istituto Nazionale di Fisica Nucleare), Enrico Fattibene (Istituto Nazionale di Fisica Nucleare), Lucia Morganti (Istituto Nazionale di Fisica Nucleare)

Europe/Rome
Sala Venturi

Sala Venturi

Description

In questo seminario verrà descritta la piattaforma per la gestione e l'analisi di dati eterogenei ad uso di amministratori ed utenti del CNAF, frutto del lavoro di un gruppo di persone afferenti a diversi reparti del centro. 
Tale infrastruttura è basata su un servizio general purpose per gestione di messaggi basato su Apache Kafka. A questo si aggancia un servizio principalmente dedicato all'analisi dei log, composto dai software Logstash, OpenSearch e OpenSearch Dashboards, versioni open source dei componenti della suite ELK (Elasticsearch, Logstash, Kibana). 
Verrà descritta la composizione dell'infrastruttura e le scelte implementative effettuate con particolare riguardo alla ridondanza dei dati, all'alta affidabilità dei servizi, alla multi-tenancy, alla segregazione dei dati e all'integrazione con i servizi operativi già in uso al CNAF (autenticazione, provisioning, monitoring). 
Inoltre verrà illustrato il futuro interfacciamento con Wazuh, un software derivato da Elasticsearch e specifico per i dati relativi alla sicurezza dei nodi del centro.
Particolare risalto verrà dato alle possibilità di fruizione della piattaforma da parte degli utenti.