22–26 May 2023
Loano 2 Village
Europe/Rome timezone

Federare lo storage distribuito nazionale: la prima esperienza in Datacloud verso il DataLake

23 May 2023, 16:10
20m
Sala Portofino (Loano 2 Village)

Sala Portofino

Loano 2 Village

Presentazione orale Infrastrutture ICT e Calcolo Distribuito Infrastrutture ICT e Calcolo Distribuito

Speaker

Diego Ciangottini (INFN Perugia)

Description

La disponibilità di un sistema di Data Management (DM) è uno degli elementi tecnici indispensabili per la costruzione di un  Datalake nazionale. Per sistema di DM si intende un insieme di servizi che permettono la federazione delle diverse risorse di storage realizzando un vero e proprio livello di astrazione. Oltre a federare lo storage, un sistema di DM deve anche orchestrare le varie istanze e coordinare la gestione dei dati utente, permettendo quindi di definire e implementare policy di diverso tipo sui dati (relativamente a dove i dati devono essere memorizzati, al QoS necessario, al lifetime previsto, ecc.)

Datacloud si è proposto di implementare un sistema che risponda a queste esigenze. La strategia seguita è stata quella di far riferimento a esperienze già note, integrando soluzioni in uso in particolare negli esperimenti HEP.

E’ stato realizzato quindi un testbed federando storage manager distribuiti ed eterogenei: sono stati integrati diversi storage system (sia Grid che Cloud) utilizzati in produzione in vari centri di calcolo dell'INFN.

L'implementazione di questo sistema di DM e' stata realizzata attraverso RUCIO e relativi  servizi ancillari. Tale sistema pilota è attualmente in fase di test  e validazione, con il coinvolgimento di comunità di utenti.

In questo talk sarà fatta una descrizione generale dell’architettura del testbed di DM che e` stato realizzato.

Sarà poi discusso l’impatto previsto sull’infrastruttura dati nazionale e, in particolare, sull’attività dei ricercatori.

Primary authors

Ahmad Aalkhansa Alessandro Costantini (Istituto Nazionale di Fisica Nucleare) Alessandro Italiano (Istituto Nazionale di Fisica Nucleare) Andrea Rendina (Istituto Nazionale di Fisica Nucleare) Daniele Spiga (Istituto Nazionale di Fisica Nucleare) Diego Ciangottini (INFN Perugia) Enrico Vianello (Istituto Nazionale di Fisica Nucleare) Federica Fanzago (Istituto Nazionale di Fisica Nucleare) Lucia Morganti (Istituto Nazionale di Fisica Nucleare) Marco Verlato (Istituto Nazionale di Fisica Nucleare) Marica Antonacci (Istituto Nazionale di Fisica Nucleare) Massimo Biasotto (Istituto Nazionale di Fisica Nucleare) Massimo Sgaravatto (Istituto Nazionale di Fisica Nucleare) Stefano Stalio (Istituto Nazionale di Fisica Nucleare)

Presentation materials