Workshop sul Calcolo nell'INFN: Loano (SV), 22 - 26 maggio 2023

22 May 2023, 09:00 → 26 May 2023, 23:30 Europe/Rome

Sala Portofino (Loano 2 Village)

Alessandro Brunengo (Istituto Nazionale di Fisica Nucleare), Gianpaolo Carlino (Istituto Nazionale di Fisica Nucleare)

Monday 22 May

11:00 Registrazione

1 Apertura del Workshop

Speakers: Alessandro Brunengo (Istituto Nazionale di Fisica Nucleare), Gianpaolo Carlino (Istituto Nazionale di Fisica Nucleare)

Comunicazioni.pdf

Introduzione2.pdf

Esperimenti e calcolo teorico

Conveners: Domenico Elia (Istituto Nazionale di Fisica Nucleare), Leonardo Giusti (Istituto Nazionale di Fisica Nucleare), Silvio Pardi (Istituto Nazionale di Fisica Nucleare), Stefano Bagnasco (Istituto Nazionale di Fisica Nucleare), Tommaso Boccali (Istituto Nazionale di Fisica Nucleare)

2 Il calcolo nella fisica teorica

Il calcolo ad alte prestazioni (HPC) è da lungo tempo strumento fondamentale di indagine scientifica per la fisica teorica in vari settori quali la QCD su reticolo, la cosmologia, la fisica nucleare e subnucleare, la fisica dei sistemi complessi.
In questa presentazione sono esposte sinteticamente le attività presenti e le prospettive future dei gruppi di ricerca INFN in fisica teorica computazionale.

Speaker: Leonardo Cosmai (Istituto Nazionale di Fisica Nucleare)

LCosmai_Loano_22-MAY-2023.pdf

3 Use case per il WP1 del CN HPC: QCD in condizioni estreme.

La QCD e’ la teoria che descrive le interazioni forti tra le particelle elementari: essa ha una dinamica molto complessa che, attualmente, puo’ essere studiata da principi primi solo mediante simulazioni numeriche.
Data l’elevata onerosità computazionale, da una parte l’uso di sistemi HPC ha sempre rappresentato un elemento necessario in questo tipo di studi e dall’altra e’ stato indispensabile un continuo miglioramento e sviluppo di nuovi metodi numerici mirati al problema e altamente ottimizzati. In questa presentazione si discute un'innovativa tecnica Monte Carlo per lo studio di QCD nella regione completamente inesplorata delle alte temperature e la sua implementazione algoritmica in codici altamente paralleli adatti a scalare in modo efficiente su sistemi HPC pre-exascale.

Speaker: Michele Pepe (Istituto Nazionale di Fisica Nucleare)

Pepe.pdf

4 Dynamical Phase Transitions in Complex Fluids and Non-Equilibrium Systems: Computational Modeling and Applications

Complex fluids encompass a wide range of biological and synthetic systems, such as dense suspensions of bacteria, cytoskeletal extracts, microtubule bundles, and colloidal dispersions. These systems often exhibit unique behaviors and dynamical phase transitions due to their inherently out-of-equilibrium nature. Understanding the underlying mechanisms governing these transitions is essential for advancing our knowledge of these systems and uncovering potential applications in biophysics, materials science, and other interdisciplinary fields.

Combining hydrodynamic and statistical mechanics modeling with high-performance computing techniques, we seek to gain insights into the rich phenomenology displayed by these systems.

More specifically, we will present phase field theories of complex and active fluids, targeting three key use cases: topological phase transitions in cholesteric shells confined within other shells, self-propulsion of active droplets in three dimensions (3D), and the emergence of active turbulence in both two-dimensional (2D) and 3D systems. The order parameters dynamical equations are solved employing the lattice Boltzmann method parallelized with MPI standard to exploit HPC facilities and reach the relevant length and time scales of these systems.

Finally, we will present non-equilibrium statistical models for self-propelled particles and DNA transcription, examine non-equilibrium phase transitions in active Brownian particles, and present polymer models for studying transcription dynamics in human chromosomes. Molecular dynamics simulations underpin these investigations, providing detailed insights into the biophysical mechanisms governing the dynamics of these systems.

Speaker: Giuseppe Negro

LOANO_INFN.pptx

5 Deep learning based event reconstruction for Limadou HEPD-02 on board the CSES satellite

CSES (China Seismo-Electromagnetic Satellite) is a sophisticated multi-payload space observatory aimed at the observation of the Van Allen Belts dynamics, the study of solar-terrestrial interactions and the extension at low energies of existing Cosmic Ray measurements. HEPD-02 is the new generation of High Energy Particle Detector and will be launched on board the China Seismo-Electromagnetic Satellite (CSES-02) at the end of this year. The instrument is optimized to detect fluxes of charged particles: mostly electrons and protons, with good capabilities in the identification of heavier nuclei and will provide measurement of the kinetic energy and of the direction of the incoming particles. Therefore, a deep learning based event reconstruction chain has been designed to reconstruct these important physics observables. The choice is motivated by the fact that deep learning models are very effective when working with particle detectors in which a variety of electrical signals are produced and may be treated as low-level features. The DL-based event reconstruction is trained on dedicated Monte Carlo simulation and tested on both simulated and test-beam data. All research activities concerning the Limadou HEPD-02 event reconstruction are carried out exploiting the INFN computing infrastructure: all the steps of the MC simulation (Geant4 + signal digitization) and the data pre-processing are carried out exploiting parallel submission on CNAF nodes, on the other hand the training of Deep Learning models is performed on GPUs available at RECAS.
In this contribution, the HEPD-02 deep learning based event reconstruction be described as well as its computing strategy based on INFN available resources.

Speaker: Francesco Maria Follega (Università di Trento)

FMFollega_WScalcoloINFN.pdf

6 The HERD computing model: status and exploration of CLOUD solutions for cosmic ray data analysis.

Astroparticle experiments in space have usually approached computing with very little attention to the distributed side of the workflow, either developing in-house job distribution systems (especially for demanding tasks such as data reconstruction or MC simulation) or ignoring it entirely (especially in the lower stages of the data analysis workflow, where users rely on the locally-provided batch systems of their institutions).
This introduces inefficiencies in the usage of available computing resources, and it prompted our efforts over the last years to exploit technical solutions provided by the "Dynamic On Demand Analysis Service" (DODAS) developed in the context of projects such as INDIGO-DataCloud, EOSC-hub, and XDC in order to seamlessly access cloud resources both commercial (Deutsche Telekom, Google-Cloud) and on-premises (Cloud@ReCas, and Cloud@CNAF).
Also, past experience shows how access to services and tools useful for the day-to-day life of the mission benefits vastly from having a unified or centrally organized infrastructure with a single-sign-on entrypoint (e.g. users of CERN recognized experiments have access to a CERN account and to all the services it enables access to).
Over the following years, we took advantage of our need to design a computing model from scratch for the HERD experiment to leverage as much as possible the INFN-Cloud infrastructure to deploy common services to the whole collaboration (IAM, calendar&document server, experiment website, and internal documentation, dedicated GitLab instance, ...), to test the integration of distributed computing resources with the ones already available at CNAF Tier1, and to explore new solutions for data storage and handling.
The status of these activities will be shown with a particular focus on the progress made since the last year.

Speakers: Daniele Spiga (Istituto Nazionale di Fisica Nucleare), Valerio Formato (RM2)

HERD computing model.pdf

16:30 Pausa caffé

7 Simulation production and data storage at the Pierre Auger Observatory

The Pierre Auger Observatory, located in the Argentinian Pampa, is the largest facility in the world to study Ultra-high-energy cosmic rays (UHECRs). At the Auger energies, indirect cosmic-ray measurements are performed exploiting the extended air showers (EASs) induced by UHECRs in the atmosphere. Monte Carlo simulations of EASs and the detector response they cause are essential for the determination of cosmic-ray nature, energy and direction and for the optimization of the new detectors and electronics, part of AugerPrime, the major upgrade of the Auger surface detector array. The CORSIKA Monte Carlo code is used to simulate EASs, while the Offline, an internal Auger software, is used to simulate the detector response and reconstruct data. For many years, simulations has been produced in local clusters using PBS and HTCondor. Now the bulk of the shower simulations is produced on the grid via the virtual organization auger using the dirac middleware. The job submission is made via python scripts using the DIRAC-API. For data redundancy, simulations are stored on the Lyon server and the grid Disk Pool Manager. Auger members can access them via iRODS and DIRAC, respectively. Software is distributed using the CERN VM File System.

Speaker: Roberta Colalillo (Istituto Nazionale di Fisica Nucleare)

WorkshopCalcoloINFN_colalillo.pdf

8 Calcolo ALICE in Run 3 su GPU e architetture eterogene: validazione e attività in produzione

Sono presentati gli ultimi sviluppi circa l'attività di calcolo ALICE in Run 3 con particolare focus sulla attività asincrona (offline) che ha fatto largo uso di GPU. Inoltre, sono riportati aggiornamenti riguardanti test con risorse eterogene (per esempio ARM) di ricostruzione e simulazione.

Speaker: Francesco Noferini (Istituto Nazionale di Fisica Nucleare)

ALICE CCR 2023-2.pdf

9 Developing an automated ATLAS analysis workflow on the INFN Cloud facility

The Worldwide LHC Computing Grid (WLCG) is a large-scale collaboration which gathers computing resources from more than 170 computing centers worldwide. To fulfill the requirements of new applications and to improve the long-term sustainability of the grid middleware, more versatile solutions are being investigated. As open-source and commercial players, the HEP community has also recognized the benefits of integrating cloud technologies into the legacy, grid-based workflows.

Since March 2021, INFN has entered the field of cloud computing establishing the INFN Cloud infrastructure. This platform supports scientific computing, software development and training, and serves as an extension of local resources. Among available services, virtual machines, Docker-based deployments, HTCondor (deployed on Kubernetes) or general-purpose Kubernetes clusters can be deployed.

An ongoing R&D activity within the ATLAS experiment has the long-term objective to define an operation model which is efficient, versatile and scalable in terms of costs and computing power. As a part of this larger effort, this study investigates the feasibility of an automated, cloud-based data analysis workflow for the ATLAS experiment using INFN Cloud resources. The scope of this research has been defined in a new INFN R&D project: the INfn Cloud based Atlas aNalysis facility, or INCANT.
The objective of INCANT is to implement a versatile system, capable of handling two different analysis workflows: 1) a batch-like system to process complex and structured data into simpler formats compatible with downstream analysis workflows. This prototype will be implemented as a Kubernetes-based solution; 2) an interactive platform with an intended use similar to the already existing Notebook-as-a-Service services.

Speaker: Caterina Maria Luigia Marcon (Istituto Nazionale di Fisica Nucleare)

CCR2023_INCANT.pdf

10 Esperienza di un'analisi dati CMS nell'INFN "Analysis Facility" framework

L'analisi dati in fisica delle alte energie al CERN richiederà, in vista della prossima fase ad alta luminosità di LHC, accesso a grandi moli di dati. Tuttavia, grazie a continui sviluppi in ambito di gestione delle risorse (i.e. WLCG e Cloud Computing), è possibile proporre agli utenti finali accesso a tali dati in maniera sempre più flessibile e dinamica. Grazie ad avanzamenti tecnologici software, librerie e framework di analisi dati sempre più sofisticati, e disponibilità di infrastrutture di calcolo ingenti e diversificate, con particolare riferimento al nuovo Centro Nazionale per la ricerca "HPC, Big Data e Quantum Computing", si sta quindi virando verso nuovi paradigmi di analisi dati: da un approccio batch-based ad uno interattivo, su un back-end parallelo e geograficamente distribuito. Tra questi, si inserisce il sistema sviluppato dal nuovo progetto sull'Analysis Facility (AF) di CMS-INFN.
In questo contributo verrà presentata l'esperienza di utilizzo dell’AF con un'analisi dati proveniente dalla collaborazione CMS. Per questo caso d'uso verrà descritto il porting all'interno dell'interfaccia Jupyter Notebook dell'AF, mostrandone gli aspetti interattivi, e le sue funzionalità in termini di scalabilità su risorse distribuite, attraverso la libreria python Dask. Il meccanismo di accesso ai dati è interamente remoto, basato in lettura sul paradigma AAA ("Any Data, Anytime, Anywhere") adottato da CMS.
Infine, verrà discussa la definizione di procedure di risoluzione dei problemi sul framework, ancora in fase di sviluppo, e verrà fornito un confronto di prestazioni tra approccio interattivo/parallelo dell'AF ed uno classico batch-based.

Speaker: Tommaso Diotalevi (Università e INFN, Bologna)

esperienza_analisi_dati_CMS_AF_Diotalevi.pdf

19:00 Aperitivo di benvenuto offerto da LENOVO

20:00 Cena

Tuesday 23 May

Infrastrutture ICT e Calcolo Distribuito

Conveners: Alessandra Doria (Istituto Nazionale di Fisica Nucleare), Claudio Grandi (Istituto Nazionale di Fisica Nucleare), Daniele Cesini (Istituto Nazionale di Fisica Nucleare), Daniele Spiga (Istituto Nazionale di Fisica Nucleare), Giacinto Donvito (Istituto Nazionale di Fisica Nucleare)

11 Introduzione alla Sessione

Speaker: Gianpaolo Carlino (Istituto Nazionale di Fisica Nucleare)

12 Evoluzione datacenter INFN attraverso le gare

Evoluzione datacenter INFN attraverso le gare

Speakers: Daniele Cesini (Istituto Nazionale di Fisica Nucleare), Giacinto Donvito (Istituto Nazionale di Fisica Nucleare)

WP3_Infra_CCR_Loano.pptx

13 Stato dei progetti PNRR con particolare riferimento a quelli riguardanti il calcolo e le infrastrutture distribuite

Stato dei progetti PNRR con particolare riferimento a quelli riguardanti il calcolo e le infrastrutture distribuite

Speaker: Claudio Grandi (Istituto Nazionale di Fisica Nucleare)

20230523-Workshop-Loano.pdf

14 Integrazione in DataCloud delle nuove risorse ed evoluzione dei servizi connessi

Integrazione in DataCloud delle nuove risorse ed evoluzione dei servizi connessi

Speaker: Giacinto Donvito (Istituto Nazionale di Fisica Nucleare)

20230522_GD_datacloud.pdf

15 Report WG progetti e riflessioni sul work program futuro

Report WG progetti e riflessioni sul work program futuro

Speaker: Luciano Gaido (Istituto Nazionale di Fisica Nucleare)

Attivita-WG-Progetti-WS-Loano.pdf

11:10 Pausa caffé

16 Requisiti da parte delle comunità' mediche e life science e loro impatto sull'infrastruttura distribuita

Requisiti da parte delle comunità' mediche e life science e loro impatto sull'infrastruttura distribuita

Speaker: Barbara Martelli (Istituto Nazionale di Fisica Nucleare)

20230523-datacloud-lifescience-v3.pdf

17 Discussione

13:00 Pausa pranzo

Infrastrutture ICT e Calcolo Distribuito

Conveners: Alessandra Doria (Istituto Nazionale di Fisica Nucleare), Claudio Grandi (Istituto Nazionale di Fisica Nucleare), Daniele Cesini (Istituto Nazionale di Fisica Nucleare), Daniele Spiga (Istituto Nazionale di Fisica Nucleare), Giacinto Donvito (Istituto Nazionale di Fisica Nucleare)

18 Deployment dell’ambiente di calcolo per ML-INFN su INFN Cloud sfruttando le GPU (eventualmente partizionate)

Nel panorama internazionale sempre più attenzione si sta ponendo verso gli algoritmi di intelligenza artificiale, l’uso di dispositivi di calcolo paralleli ad alta prestazione per velocizzare l’esecuzione di applicazioni, l’utilizzo di risorse delocalizzate, la federazione di risorse appartenenti a differenti siti e l’accentramento dei servizi. INFN DataCloud insegue le ultime tecnologie cercando di soddisfare le esigenze degli utenti più aggiornati, proponendo nuovi servizi e aggiornando quelli esistenti per migliorare usabilità, efficienza e affidabilità.
In questo contesto, il linguaggio di programmazione Python si sta affermando in un numero sempre più elevato di applicazioni, con particolare attenzione in quelle in cui l'accelerazione fornita da dispositivi di calcolo paralleli risulta determinante, facendo crescere la necessità di un servizio che permetta la scrittura e l'esecuzione di codice Python su hardware altamente performante. A tale proposito, JupyterHub risulta una soluzione adeguata per via della possibilità di scrivere ed eseguire codice utilizzando una interfaccia grafica accessibile tramite browser, attraverso la quale sono offerte la maggior parte delle caratteristiche presenti negli IDE (Interactive Development Environment). Altre caratteristiche di rilievo sono l'integrazione con il sistema di autenticazione IAM e la scrittura ed esecuzione collaborativa del codice.
INFN DataCloud Dashboard e' un portale centralizzato che permette ad amministratori di sistema di istanziare servizi sull'infrastruttura federata di INFN Cloud. L'utente ha a disposizione un portfolio di servizi tra cui la possibilità di istanziare una macchina virtuale già configurata per lo sviluppo di codice utilizzando algoritmi di Machine Learning, questo servizio e’ chiamato "Computational environment for Machine Learning INFN (ML_INFN)". Una volta selezionato il servizio, l’utente può inserire nei campi dedicati delle informazioni per personalizzarne la configurazione, come l’integrazione con IAM, l’immagine Jupyter da utilizzare, se abilitare il sistema di monitoraggio delle risorse, il montaggio di un repository CVMFS, l'impiego e il partizionamento di una GPU. Quest'ultima caratteristica, tra altre, e' presente nella nuova versione del servizio, e aggiunge la possibilità di partizionare specifici modelli di schede grafiche Nvidia creando, cosi’, un maggiore numero di GPU virtuali e meno performanti, fruibili agli utilizzatori dell’istanza di JupyterHub configurata. Ciò permette di superare una precedente limitazione che assicurava a più utenti di poter utilizzare nello stesso momento istanze di JupyterLab solo per applicazioni richiedenti esclusivamente l'utilizzo di CPU oppure limitato al numero di GPU fisiche presenti sulla macchina. Con il partizionamento, il numero di utenti massimo che possono utilizzare contemporaneamente una GPU, da associare alla propria istanza di JupyterLab, e' aumentato, al più, di un fattore 7, se si considera la scheda grafica fisica Nvidia A100.
Una volta sottomessa la richiesta per il servizio, il portale fornirà tutte le informazioni necessarie per poter accedere alla macchina virtuale e all’istanza di JupyterHub configurata.

Speaker: Gioacchino Vino (INFN Bari (IT))

GVino_CCR23May23.pdf

19 Evoluzione e utilizzo della PaaS nell’infrastruttura distribuita INFN Cloud: focus sui nuovi sviluppi e servizi per gli utenti

INFN Cloud ha appena compiuto due anni e durante questo periodo sono stati fatti numerosi sviluppi per migliorare l’offerta dei servizi sulla base delle esigenze e del feedback di diverse comunità di utenti e per fornire agli amministratori dei servizi una gestione semplificata delle risorse istanziate.
La piattaforma è stata costantemente aggiornata ed ampliata per fornire un'ampia gamma di servizi e funzionalità in continua evoluzione. Alcuni esempi sono: ambienti di analisi e visualizzazione dei dati basati su Elasticsearch e Kibana, soluzioni di Sync & Share basate su OwnCloud/Nextcloud con backend sull’Object Storage replicato fornito dal Backbone di INFN Cloud, ambienti di sviluppo interattivo multi-utente con accesso via web costruito su JupyterLab, cluster Kubernetes, cluster HTCondor on-demand, cluster Spark integrato con Jupyter, soluzioni di cloud storage, ecc. Inoltre, il catalogo dei servizi di INFN Cloud include personalizzazioni per casi d'uso specifici, ad esempio lo sfruttamento di GPU per progetti di machine learning (ML-INFN) o la disponibilità di software di esperimento preinstallato per l'analisi dei dati.
Un altro aspetto critico a cui abbiamo prestato particolare attenzione riguarda la sicurezza. Abbiamo integrato la quasi totalità dei servizi con IAM adottando regole di autorizzazione coerenti attraverso i diversi livelli IaaS, PaaS e SaaS, fornendo isolamento utente/gruppo.
Tutti i servizi istanziati tramite la PaaS di INFN Cloud espongono endpoint su https con certificati validi (letsencrypt al posto di self-signed). Le ricette ansible utilizzate per l'automazione dell'installazione dei servizi sono sviluppate in modo da implementare configurazioni sicure e vengono testate attraverso pipeline Jenkins e aggiornate non appena viene scoperta una vulnerabilità (grazie alle scansioni automatiche).
Inoltre, la PaaS consente di effettuare deployment su reti private (attraverso un bastion opportunamente configurato sulle cloud federate) dove i servizi istanziati possono essere raggiunti solo tramite VPN dedicate. Questo caso d’uso è particolarmente importante negli use-case che prevedono la gestione di dati sensibili (p.e. dati medici).

In questo talk verranno forniti dettagli su questi nuovi sviluppi della piattaforma PaaS e le novità presenti nel catalogo dei servizi offerti agli utenti.

Speaker: Marica Antonacci (Istituto Nazionale di Fisica Nucleare)

Evoluzione e utilizzo della PaaS nell’infrastruttura distribuita INFN Cloud.pdf

20 Dynamic K8S for HPC Applications on Cloud

Thanks to the advent of recent orchestration techniques, it is possible to easily deploy computational clusters in a cloud environment. This project consists of orchestrating a SLURM batch system on top of a Kubernetes cluster instantiated on Cloud@CNAF infrastructure.

The proposed physical infrastructure is based on OpenStack, on hypervisors equipped with low latency interconnection and GP-GPUs. This configuration will enable dynamic scaling of the K8S cluster, according to the application needs.

In the presentation we will show how this cluster can be exploited to run SLURM-containerized real-life workflows taken from the bioinformatics domain.

We will also evaluate the performances obtained, comparing them with those measured in a baremetal HPC cluster.

Speaker: Ahmad Alkhansa (Istituto Nazionale di Fisica Nucleare)

Slurm on top of kubernetes-3-1.pptx

21 S3 Storage Accessed Via POSIX: a CEPH-STS Solution Provided For Research Communities

Recently, several collaborations working with our data center have developed computing and data management workflows that require access to S3 storage services with POSIX capabilities.
To accomplish this requirement in distributed environments, where computing and storage resources are located at geographically distant physical sites, the possibility to locally mount a file system from a remote site to directly perform operations on files and directories becomes crucial.
In the context of this activity, we evaluated the possibility to manage data access by integrating JSON Web Token (JWT) authentication, provided by INDIGO-IAM as Identity Provider (IdP), with CEPH RADOS Gateway, the object storage interface for CEPH.
Moreover, Open Policy Agent (OPA) has been integrated to define the policy related to the access to the S3 data exposed by CEPH RADOS Gateway.
As a fundamental part of the integration process, s3fs-fuse has been adopted to provide the needed custom libraries to mount an S3 bucket via FUSE by preserving the native object format for files. The solution supports Secure Token Service (STS), providing a client with temporary credentials to perform a given operation on a storage resource by checking the value of a JWT claim associated with the request.
In the presentation, we will show how this solution can be exploited to cope with the need to access S3 storage services and the integration with POSIX capabilities. We will also discuss the measured performance, comparing them with those obtained from other investigated solutions.

Speaker: Ahmad Alkhansa (Istituto Nazionale di Fisica Nucleare)

S3 storage accessed via POSIX.pptx

22 Il progetto interTwin e le sue sinergie tecnologiche per l'INFN

Daniele Spiga per il gruppo interTwin-INFN

interTwin è un progetto iniziato a settembre 2022, finanziato dall'UE per lo sviluppo di una piattaforma open source, detta Digital Twin Engine (DTE), a supporto dei digital twins di comunità selezionate, che possa essere esportabile in molteplici campi scientifici. Per questo motivo interTwin è stato pensato per sviluppare la piattaforma coinvolgendo sia gli esperti dei domini scientifici che i fornitori di risorse di calcolo.
Le comunità coinvolte (High energy physics, radio astronomy, astroparticle physics, climate research, environmental monitoring) forniscono le specifiche e garantiscono il co-design dell’architettura del DTE. I provider di risorse, selezionati in modo da assicurare un alto livello di eterogeneità (HTC - HPC -Cloud), garantiscono la sperimentazione delle soluzioni.
Dopo una breve descrizione del progetto e dello stato dei lavori dopo il primo semestre di attività, Il focus di questo talk sarà la discussione delle scelte architetturali e tecnologiche, mostrando sia le sinergie attuali e future con le attività di interesse INFN che le ricadute attese sull’infrastruttura di calcolo e sui servizi forniti dall’ente.

Speaker: Daniele Spiga (Istituto Nazionale di Fisica Nucleare)

interTwin-Loano.pdf

23 Federare lo storage distribuito nazionale: la prima esperienza in Datacloud verso il DataLake

La disponibilità di un sistema di Data Management (DM) è uno degli elementi tecnici indispensabili per la costruzione di un  Datalake nazionale. Per sistema di DM si intende un insieme di servizi che permettono la federazione delle diverse risorse di storage realizzando un vero e proprio livello di astrazione. Oltre a federare lo storage, un sistema di DM deve anche orchestrare le varie istanze e coordinare la gestione dei dati utente, permettendo quindi di definire e implementare policy di diverso tipo sui dati (relativamente a dove i dati devono essere memorizzati, al QoS necessario, al lifetime previsto, ecc.)

Datacloud si è proposto di implementare un sistema che risponda a queste esigenze. La strategia seguita è stata quella di far riferimento a esperienze già note, integrando soluzioni in uso in particolare negli esperimenti HEP.

E’ stato realizzato quindi un testbed federando storage manager distribuiti ed eterogenei: sono stati integrati diversi storage system (sia Grid che Cloud) utilizzati in produzione in vari centri di calcolo dell'INFN.

L'implementazione di questo sistema di DM e' stata realizzata attraverso RUCIO e relativi  servizi ancillari. Tale sistema pilota è attualmente in fase di test  e validazione, con il coinvolgimento di comunità di utenti.

In questo talk sarà fatta una descrizione generale dell’architettura del testbed di DM che e` stato realizzato.

Sarà poi discusso l’impatto previsto sull’infrastruttura dati nazionale e, in particolare, sull’attività dei ricercatori.

Speaker: Diego Ciangottini (INFN Perugia)

CCR - Federare lo storage distribuito nazionale.pdf

16:30 Pausa caffé

24 Un approccio RESTful per la gestione di file richiamati da tape in StoRM

Attualmente, lo storage manager StoRM si basa sulla specifica SRM per richiamare i file archiviati su nastro. Sebbene SRM sia un protocollo maturo e utilizzato con successo da diversi anni, la sua complessità ha spinto la comunità WLCG ad adottare un approccio più semplice e più in linea con le moderne tecnologie web.
La WLCG Tape REST API offre ai client una comune interfaccia HTTP con lo scopo di gestire i trasferimenti su disco dei file archiviati su nastro ed osservarne l'avanzamento. Tale API, come suggerisce il nome, è RESTful ed è in grado di gestire diverse operazioni: richiesta di trasferimento su disco di una lista di file (bulk request) archiviati su nastro; controllo dello stato di avanzamento di tali richieste; modifica e cancellazione di precedenti richieste; accesso ai metadati dei file.
Nell'ambito del progetto StoRM sviluppato presso INFN-CNAF, è presentato un nuovo componente del servizio: la StoRM Tape REST API. Per esporre la REST API su rete geografica, è impiegato un reverse proxy NGINX in grado di permettere l'accesso tramite meccanismi di autenticazione basati su proxy VOMS e token OAuth. Per definire delle politiche di autorizzazione e per garantire controlli sicuri e granulari, senza sacrificare la disponibilità o le prestazioni, è utilizzato l’engine open source Open Policy Agent. Questo nuovo servizio sarà distribuito al Tier-1 dell’INFN in modo da coesistere con le attuali implementazioni StoRM, in particolare con il Grid-Enabled Mass Storage System, già in produzione.

Speaker: Federica Agostini (CNAF-INFN)

storm-tape.pdf

25 INDIGO-IAM: sviluppi futuri e federazioni OIDC

INDIGO Identity and Access Management (IAM) fornisce un servizio flessibile di autenticazione, registrazione e autorizzazione di alto livello degli utenti di una Virtual Organization ed è basato sulle tecnologie OAuth/OpenID Connect (OIDC). È utilizzato da anni dai servizi Datacloud INFN ed è stato scelto come soluzione AAI dalla comunità WLCG, nonché da diversi altri progetti ed esperimenti. In questi contesti si ha la necessità di collegare l’identità di un utente attraverso diversi Identity Provider localizzati in varie organizzazioni scientifiche o istituzioni. Per i partecipanti a questa federazione di identità, il processo di rilevamento e registrazione dello standard OIDC non è tuttavia sufficiente a stabilire dinamicamente la fiducia nelle informazioni scambiate. Per questo motivo, la recente specifica OIDC Federation, in via di finalizzazione, definisce come l’attendibilità di un provider possa essere dinamicamente ottenuta a partire da una terza parte in comune.
In questa presentazione si vogliono innanzitutto riportare i recenti sviluppi e rilasci del servizio INDIGO-IAM, che, ad oggi, ha raggiunto ufficialmente la versione 1.8.1, ai quali seguirà una panoramica dell’attuale bozza della specifica OIDC Federation. Sarà poi illustrata la roadmap degli sviluppi futuri di INDIGO-IAM, comprendente tra gli altri: supporto alla federazione OIDC, scalabilità del servizio, maggiore usabilità e alta affidabilità.

Speaker: Roberta Miccoli (Istituto Nazionale di Fisica Nucleare)

INDIGO-IAM_ sviluppi_futuri_e_fed_OIDC.pdf

26 Report sull'infrastruttura di calcolo HPC ai LNGS

L'infrastruttura HPC ai LNGS nasce nell'ambito di un centro di competenze dedicato
alla prevenzione dei rischi derivanti da disastri naturali e di origine
antropica attraverso l'uso del calcolo ad alte prestazioni (consorzio HPC4DR);
l'infrastruttura sarà una componente importante del Centro Nazionale HPC,
Big Data & Quantum Computing inserito nel PNRR.
Un accordo con CINECA ha permesso di acquisire circa 400 server di calcolo
HPC che, in parte, sono stati installati ai LNGS nel corso del 2022 e che
costituiscono le prime risorse disponibili.
In questa presentazione si descriveranno le attivita' gia' svolte nel
corso dell'ultimo anno e quelle attualmente in corso per l'avvio della nuova
infrastruttura di calcolo HPC ai LNGS; si presenteranno inoltre gli sviluppi
dell'infrastruttura previsti nell'ambito del Centro Nazionale e i primi use case
di calcolo presentati dagli enti di ricerca e dagli atenei membri di HPC4DR.

Speaker: Sandra Parlati (Istituto Nazionale di Fisica Nucleare)

HPC4DR-Loano2023.pdf

27 GPFS AFM as a transparent cache for Ceph Object Storage

At INFN-CNAF, an R&D activity based on the implementation of a transparent GPFS cache connected to Ceph Object Gateway has been carried out recently. The integration between GPFS and external object storage systems has been made possible by a new GPFS functionality called “Active File Management to Cloud Object Storage”. In general, this solution consists in a GPFS fileset acting as a cache that provides end users with POSIX access to their data located anywhere in the cloud. In our (Tier1) use case we are investigating the possibility to reduce usage of proprietary software (GPFS) placing major part of experiments’ data into object storage but keeping at the same time the possibility to provide POSIX access to this data.
A set of suitable tests has been executed in order to verify the level of reliability and performance provided by the integration between GPFS and Ceph Rados Gateway, yielding positive results.
Considering that IBM moved its licensing model from "socket" to "capacity" and that we expect significant growth of storage space usage in the next future, such an approach could help in saving important amount of funds just on software licenses.

Speaker: Vladimir Sapunenko (Istituto Nazionale di Fisica Nucleare)

AFM to cloud.pdf

20:00 Cena

Wednesday 24 May

Tecnologie ICT Hardware e Software

Conveners: Carmelo Pellegrino (Istituto Nazionale di Fisica Nucleare), Daniele Bonacorsi (Istituto Nazionale di Fisica Nucleare), Michele Michelotto (Istituto Nazionale di Fisica Nucleare), Roberto Alfieri (Istituto Nazionale di Fisica Nucleare), Stefano Zani (Istituto Nazionale di Fisica Nucleare)

28 The QuantumTEA Cloud Platform

Although quantum computers have the potential to outperform the classical computer capabilities, at the current moment noise in quantum gates still limits the size of quantum circuits that can be reliably executed. One way to avoid the noise obstacle and improve the circuit reliability includes adopting the classical computer emulators that closely mimic the behavior of quantum hardware. However, the memory required to store a quantum state scales exponentially with the number of qubits, and thus the exact representation of quantum objects is vastly limited by the large amount of computational resources needed. In the context of the Quantum Computing and Simulation Center (QCSC) project, we present the QuantumTEA (Quantum Tensor-network Emulator Applications) software. Exploiting the tensor network framework and efficient quantum state compression techniques, QuantumTEA emulator enables us to reduce the memory scaling from exponential to polynomial with system size and simulate large quantum systems with bounded entanglement. The emulator is being developed as an HPC-ready code available to be run on CINECA’s HPC platforms. Finally, we present the QuantumTEA Cloud Platform, a prototype based on Kubernetes that provides our emulator as a cloud service on CloudVeneto.

Speakers: Lisa Zangrando (Istituto Nazionale di Fisica Nucleare), Marco Ballarin (Istituto Nazionale di Fisica Nucleare)

QuantumTEA_workshop_infn.pdf

29 Calcolo Quantistico: aggiornamenti tecnologici e strategici

In questa presentazione si discutono le piattaforme di calcolo quantistico di interesse INFN e la loro evoluzione tecnologica in termini di affidabilità, scalabilità, connettività, correzione degli errori. Vengono inoltre discusse le strategie future di sviluppo del calcolo quantistico a livello europeo e globale.

Speaker: Gabriella Bettonte (CINECA)

presentazione_Loano_24_maggio_2023.pdf

30 Sponsor VERTIV: Il Datacenter del domani

Le infrastrutture HPC sono essenziali per il progresso scientifico e tecnologico. Costituiscono una risorsa strategica a livello nazionale ed europeo ed un elemento fondamentale per la competitività sulla quale l’Italia deve poter accellerare. In questo ambito i centri di ricerca e consorzi a guida pubblica che rivestono un ruolo cruciale garantendo l’accesso a risorse HPC ad una ampia platea di operatori economici.

L’HPC ricoprirà inoltre un ruolo chiave nel rilancio dell’economia europea attraverso il programma Next Generation EU con un programma di investimenti pluriennale nei metodi e nelle tecnologie hardware e software abilitanti per affrontare le grandi sfide del prossimo futuro. Una ricerca che non riguarda esclusivamente la potenza di calcolo ma anche la resilienza, efficienza e sostenibilità dei sistemi.

La potenze richiesta da un centro HPC possono essere di decine di MegaWatt. Efficienza energetica e sostenibilità devono giocare un ruolo chiave nelle decisioni di investimento nelle nuove architetture Per affrontare questo problema, le infrastrutture HPC devono essere più efficenti sia in termini di hardware che di software; ma un ruolo fondamentale in quest’ambito è svolto anche dall’infrastruttura di supporto la cui efficienza è misurata convenzionalmente tramite il PUE (Power Utilization Efficiency). Oltre al PUE rinnovate metriche di sostenibilità come, ad esempio, quelle relative all’utilizzo delle risorse naturali (acqua, suolo), ed alla circolarità (utilizzo degli apparati, produzione di rifiuti) sono oggi fondamentali per garantire una gestione ottimale e responsabile delle infrastrutture HPC. La modularità e la flessibiltà dell’infrastruttura nell’accomodare le esigenze emergenti garantiscono inoltre di ridurre i tempi di implementazione e di integrare le tecnologie emergenti di gestione dell’IT, come il liquid coling, all’interno di architetture più tradizionali.

Vertiv, leader mondiale della business continuity, presenta qui una panoramica di tecnologie ed architetture infrastrutturali per supportare la rapida implementazione e l’evoluzione tecnologica dei datacenter HPC dei prossimi anni garantendo resilienza, efficienza e sostenibilità. All’interno della presentazione saranno illustrati casi concreti di infrastrutture per datacenter sviluppati per centri di ricerca e le differenti tecnologie impiegate, confrontandone caratteristiche e benefits in particolare riferimento al risparmio energetico ed alla sostenibilità ambientale.

Speaker: Maurizio Giordano (Vertiv)

31 APEIRON: a Framework for High Level Programming of Dataflow Applications on Multi-FPGA Systems

High Energy Physics (HEP) Trigger and Data Acquisition systems (TDAQs) need ever increasing throughput and real-time data analytics capabilities either to improve particle identification accuracy and further suppress background events in trigger systems or to perform an efficient online data reduction for trigger-less ones.
As for the requirements imposed by HEP TDAQs applications in the class of real-time dataflow processing, FPGA devices are a good fit in as much they can provide not only adequate computing, memory and I/O resources but also a smooth programming experience thanks to the availability of High-Level Synthesis (HLS) tools.
The main motivation for the design and development of the APEIRON framework is that the currently available HLS tools do not natively support the deployment of applications over multiple FPGA devices, which severely chokes the scalability of problems that this approach could tackle. To overcome this limitation, we envisioned APEIRON as an extension of the Xilinx Vitis framework able to support a network of FPGA devices interconnected by a low-latency direct network as the reference execution platform.

Developers can define scalable applications, using a dataflow programming model inspired by Kahn Process Networks, that can be efficiently deployed on a multi-FPGAs system: the APEIRON communication IPs allow low-latency communication between processing tasks deployed on FPGAs, even if they are hosted on different computing nodes. Thanks to the use of HLS tools in the workflow, processing tasks are described in C++ as HLS kernels, while communication between tasks is expressed through a lightweight C++ API based on non-blocking send() and blocking receive() operations.

Speaker: Cristian Rossi (Istituto Nazionale di Fisica Nucleare)

CCR2023_APEIRON.pdf

32 Sponsor DELL: A Non-conventional Server Cooling methods Comparison

L’intervento descrive i risultati di una comparazione effettuata in laboratorio tra differenti metodi di cooling per il raffreddamento di sistemi di calcolo in ambito DataCenter. Vengono presi in considerazione le principali tecnologie ad immersione ed a contatto disponibili sul mercato, e ne viene presentata una comparazione sia in termini funzionali che prestazionali con i sistemi di raffreddamento convenzionali ad aria.

Speaker: Paolo Bianco (DELL Technologies)

DELL@INFN CCR 2023 Loano.pdf

11:00 Pausa caffé

33 Sviluppo di acceleratori per il Machine Learning e sistemi di Inference as a Service su FPGA

I Field Programmable Gate Arrays (FPGAs) sono una tecnologia rivoluzionaria per l'inferenza di Machine Learning (ML) grazie alla loro architettura altamente parallela, basso consumo energetico e capacità di eseguire algoritmi personalizzati. Lo sviluppo di progetti di sintesi di alto livello [1, 2] che semplificano la programmazione HDL ha portato ad un aumento significativo dell'uso di FPGA nel settore ML, abilitando l'uso di questi dispositivi in sistemi di ML as a Service per il calcolo scientifico [3]. In questa presentazione, descriveremo la nostra esperienza nella creazione di acceleratori per implementare algoritmi ML su FPGA, a partire dalla generazione del firmware utilizzando un nuovo tipo di architettura [4] adatta a modelli computazionali, fino all'utilizzo ad alto livello dell'acceleratore stesso. La flessibilità del modello proposto consente molte tipologie di ottimizzazione, sia per la precisione numerica che per l’architettura, e verranno mostrati i risultati ottenuti in termini di: utilizzo delle risorse, velocità di inferenza ed efficienza energetica.
Infine, mostreremo un prototipo di ecosistema OpenSource che facilita l'uso di FPGA per il calcolo scientifico, rendendolo più accessibile e indipendente dal fornitore. Il progetto proposto è costruito attorno a KServe, uno dei software Inference as a Service più flessibili nell'ecosistema cloud-native, estendendo le sue capacità con un framework di Generation as a Service del firmware FPGA.

Speaker: Giulio Bianchini (Istituto Nazionale di Fisica Nucleare)

CCR2023-GiulioBianchini.pdf

34 Aggiornamento tecnologico in ambito Data Center

Aggiornamento sulle tecnologie hardware piu' innovative e interessanti che sono gia' protagoniste nei nostri data center e che lo saranno anche nel prossimo futuro.

Speaker: Andrea Chierici (Istituto Nazionale di Fisica Nucleare)

20230524 - Aggiornamento tecnologico.pptx

35 Sponsor E4 COMPUTER ENGINEERING: Random Power, a platform for random bit generation based on stochastic self-amplified pulses in silicon

Speaker: Massimo Caccia (Random Power-E4 Computer Engineering)

E4-MassimoCaccia-20230523.pdf

13:00 Pausa pranzo

Parallel Demo + Poster Session

36 A Block Chain based Distributed App (DApp) for GDPR informed consent management

In order to be lawful, the processing of personal data usually requires the explicit consent of the Data Subject, who has the right to withdraw his consent at any time. Today many cloud providers offer solutions of Consent Management System (CMS) with the capability of storing consent information and enabling data access only if the consent for the specific purpose has been given. The main issue with this kind of system is the lack of transparency and trustworthiness: you need to trust the service providers' honesty in not changing the consent information and not accessing the data without permission.

A way to overcome this transparency limitation is to exploit Distributed Ledger technologies like Block Chain, which distribute a database of immutable blocks among several actors and replace the need of a trusted third party with a peer-to-peer consensus algorithm for the mutual approval/verification of transactions. Moreover, on the Block Chain you can store pieces of code called Smart Contracts adding the possibility to perform “actions” depending on the status of the underlying Block Chain status.

In this talk we’ll present a proof-of-concept Consent Management System built on top of an Ethereum-like Block Chain and we’ll show a DApp (Distributed App) allowing a user to give and withdraw the consent on a particular dataset.

Speaker: Ana Velimirovic (Istituto Nazionale di Fisica Nucleare)

37 Democratizzare la distribuzione del software: un pilot basato su CVMFS e storage a oggetti

CVMFS si è affermato nei grandi esperimenti come lo strumento più versatile per la gestione del software in un sistema distribuito. CVMFS richiede però una infrastruttura e una organizzazione difficilmente implementabili per piccole comunità o utenti singoli.

Per gestire queste problematiche, il progetto Datacloud ha proposto e realizzato un servizio pilota che consente a ciascun utente di distribuire software e configurazioni su tutti i nodi del sistema di calcolo distribuito, semplificando però  l'interazione dell'utente finale con CVMFS.

I due elementi su cui si basa il sistema prototipato sono: l’automazione delle operazioni di pubblicazione (publish) dei dati (software, configurazioni, ecc.); l’integrazione con il sistema di storage a oggetti S3 fornito da INFN-Cloud. Mentre il primo permette di nascondere all’utente gli aspetti tecnici dell’infrastruttura CVMFS e  semplifica la gestione dell’autenticazione/autorizzazione, il secondo permette di fornire all’utente l’esperienza di un comune drag and drop.
La demo spiegherà quali sono i requisiti lato utente, e mostrerà il workflow end-to-end.

Speaker: Giada Malatesta

38 Federare lo storage distribuito nazionale: la prima esperienza in Datacloud verso il DataLake

La disponibilità di un sistema di Data Management (DM) è uno degli elementi tecnici indispensabili per la costruzione di un  Datalake nazionale. Per sistema di DM si intende un insieme di servizi che permettono la federazione delle diverse risorse di storage realizzando un vero e proprio livello di astrazione. Oltre a federare lo storage, un sistema di DM deve anche orchestrare le varie istanze e coordinare la gestione dei dati utente, permettendo quindi di definire e implementare policy di diverso tipo sui dati (relativamente a dove i dati devono essere memorizzati, al QoS necessario, al lifetime previsto, ecc.)

Datacloud si è proposto di implementare un sistema che risponda a queste esigenze. La strategia seguita è stata quella di far riferimento a esperienze già note, integrando soluzioni in uso in particolare negli esperimenti HEP.

E’ stato realizzato quindi un testbed federando storage manager distribuiti ed eterogenei: sono stati integrati diversi storage system (sia Grid che Cloud) utilizzati in produzione in vari centri di calcolo dell'INFN.

L'implementazione di questo sistema di DM e' stata realizzata attraverso RUCIO e relativi  servizi ancillari. Tale sistema pilota è attualmente in fase di test  e validazione, con il coinvolgimento di comunità di utenti.

In questo talk sarà fatta una descrizione generale dell’architettura del testbed di DM che e` stato realizzato.

Sarà poi discusso l’impatto previsto sull’infrastruttura dati nazionale e, in particolare, sull’attività dei ricercatori.

Speaker: Massimo Sgaravatto (Istituto Nazionale di Fisica Nucleare)

39 IAM as a Service su INFN Cloud (demo)

INDIGO Identity and Access Management (IAM) fornisce un servizio che permette la gestione di identità, appartenenza a gruppi, ruoli e altri attributi e criteri di autorizzazione per l’accesso a risorse distribuite di calcolo e storage, supportando federazioni di identità e meccanismi di autenticazione che si basano sugli standard OpenID Connect e OAuth 2.0, ma anche su strumenti alternativi come i certificati X.509 e i proxy VOMS (Virtual Organization Membership Service).
In questo modo IAM implementa il concetto di Virtual Organization (VO), ed è la soluzione AAI scelta per supportare l'infrastruttura di autenticazione e autorizzazione WLCG di nuova generazione in sostituzione di quella implementata con proxy VOMS.
L'INFN fornisce istanze centralmente gestite di IAM come servizio alle comunità di ricerca che ne fanno richiesta.
Con l’avvento di INFN Cloud è ora possibile fare evolvere la modalità di fornitura del servizio in “IAM as a Service”, permettendo agli utenti (dotati di nomina di amministratore di sistema) di configurare e istanziare direttamente IAM sulle risorse messe a disposizione dai siti federati all’interno della Cloud, automatizzando e rendendo molto più agevole il processo di attivazione, gestione e mantenimento del servizio.
Abbiamo a questo scopo realizzato un primo prototipo di “IAM as a Service”, inserito nel contesto dei servizi forniti dalla PaaS di INFN Cloud. Un utente può configurare il servizio a diversi livelli di profondità: dal nome dell’organizzazione, al logo, al profilo del token, fino all’autenticazione via SAML (in particolare con INFN-AAI) e alle modalità di registrazione degli utenti anche con identity provider esterni.
Al momento non è ancora disponibile la possibilità di configurare l’autenticazione attraverso proxy VOMS, ma stiamo lavorando all’integrazione di questa funzionalità.
In questo contributo verrà mostrato come un utente può fruire del servizio in modalità PaaS attraverso INFN Cloud.

Speaker: Federico Fornari (Istituto Nazionale di Fisica Nucleare)

IAM_as_a_Service_on_INFN_Cloud.pdf

40 Matlab as a Service su INFN Cloud

MATLAB è un software di calcolo numerico sviluppato e distribuito in maniera proprietaria da Mathworks che consente di eseguire calcoli matematici e scientifici avanzati e può essere utilizzato per risolvere problemi di matematica, fisica, ingegneria e scienze biologiche. In particolare offre una vasta gamma di funzionalità, tra cui il calcolo con GPU, la manipolazione e la semplificazione di equazioni matematiche, ma anche la progettazione di sistemi elettronici e di controllo. È quindi un framework che può soddisfare diversi casi d’uso richiesti dagli esperimenti e dai progetti che collaborano con l’INFN. Per questo motivo l’INFN ha deciso di investire fondi per l’acquisto di licenze MATLAB illimitate.

Jupyter è un ambiente di calcolo interattivo open-source basato su interfaccia web che permette agli utenti di scrivere ed eseguire codice in Python, R, Julia e in molti altri linguaggi di programmazione, consentendo inoltre di creare visualizzazioni interattive e grafici. È perciò un servizio che si presta molto bene ad un ambiente di tipo cloud ed è attualmente molto utilizzato dalle comunità di utenti che hanno accesso ad INFN Cloud.

MATLAB può essere integrato con Jupyter Notebook per eseguire codice MATLAB all'interno dell'interfaccia di Jupyter, oppure mediante interfaccia web nativa di MATLAB.

Di recente è stato eseguito un primo ma efficace sviluppo per ottenere l’istanziazione di MATLAB attraverso i servizi Jupyter e le soluzioni di storage offerti da INFN Cloud.

In questo contributo verrà mostrato come un utente può fruire del servizio in modalità PaaS attraverso INFN Cloud.

Speaker: Federico Fornari (Istituto Nazionale di Fisica Nucleare)

41 Monitoring and Accounting on DATA Cloud infrastructure

INFN Cloud monitoring and accounting services have been designed to provide admins and users with a complete feedback on the status of the resources and how they are used.
Monitoring checks have been implemented in different layers, from the low level of resource view of the overall status of the cloud federation, to the PaaS layer provided to the users.
Recently, an important activity has been carried out to include the monitoring of S3 buckets provided to the users.
Additionally, a solution to provide the high-level overview of the services (like NaaS) instantiated by the users is under exploitation and will be provided.
On the other hand, Accounting provides information on how the resources are used by single users and groups.
In this respect the architecture defined for the accounting within INFN Cloud, the evolution of the different technologies and the solutions adopted and its implementation will be reported.
Both monitoring and accounting are provided through user-friendly web interfaces.
As a furhter development, detailed data collection and analysis about the status of the federated infrastructures is under design and evaluation, with the aim to improve the INFN Cloud orchestrator resource scheduling capabilities.

Speaker: Alessandro Pascolini (Istituto Nazionale di Fisica Nucleare)

15:30 Pausa caffé

20:30 Cena

Thursday 25 May

Tecnologie ICT Hardware e Software

Conveners: Carmelo Pellegrino (Istituto Nazionale di Fisica Nucleare), Daniele Bonacorsi (Istituto Nazionale di Fisica Nucleare), Michele Michelotto (Istituto Nazionale di Fisica Nucleare), Roberto Alfieri (Istituto Nazionale di Fisica Nucleare), Stefano Zani (Istituto Nazionale di Fisica Nucleare)

42 Big Data Platform del CNAF

Al CNAF è stata da poco realizzata una piattaforma per la gestione e l'analisi di dati eterogenei ad uso di amministratori ed utenti del centro.

Tale infrastruttura è basata su un servizio general purpose per gestione di messaggi basato su Apache Kafka. A questo si aggancia un servizio principalmente dedicato all'analisi dei log, composto dai software Logstash, OpenSearch e OpenSearch Dashboards, prodotto di un fork open source dei componenti della suite ELK (Elasticsearch, Logstash, Kibana) gestito da AWS. Tali software comprendono anche plugin che in ELK sono a pagamento, come quello per la gestione di autenticazione e autorizzazione.

In questo contributo verrà descritta la composizione dell'infrastruttura e le scelte implementative effettuate con particolare riguardo alla ridondanza dei dati, all'alta affidabilità dei servizi, alla multi-tenancy, alla segregazione dei dati e all'integrazione con i servizi operativi già in uso al CNAF (autenticazione, provisioning, monitoring). Inoltre, verrà illustrato il futuro interfacciamento con Wazuh, un software che si basa su OpenSearch e specifico per i dati relativi alla sicurezza informatica.

Particolare risalto verrà dato alle possibilità di fruizione della piattaforma da parte degli utenti.

Speaker: Enrico Fattibene (Istituto Nazionale di Fisica Nucleare)

bdpCNAF-CCR-25052023.pdf

43 Il nuovo benchmark HEPSCORE

HEPiX CPU Benchmark Working Group ha sviluppato un nuovo benchmark chiamato HEPScore, basato su applicazioni HEP. HEPScore sostituirà l'attuale benchmark HEPSpec06 attualmente utilizzato dal WLCG per accounting e pledge. Il nuovo benchmark si baserà sui contributi di molti esperimenti WLCG e sarà in grado di funzionare su sistemi di processori x86 e ARM. Presentiamo i risultati che hanno portato all'attuale candidato per il benchmark HEPScore, che dovrebbe essere rilasciato per l'uso in produzione nell'aprile 2023. Descriveremo brevemente il piano di transizione per la migrazione dall'attuale benchmark HEPSpec06 a HEPScore nel 2023 e 2024.

Speaker: Michele Michelotto (Istituto Nazionale di Fisica Nucleare)

WS-CCR-INFN-2023-Michelotto.pptx

44 Verso l'adozione di EL9 nel data center

Ci stiamo avvicinando alla fine del supporto di EL7 da parte di redhat e con essa si avvicina il passaggio quasi obbligato dei sistemi ad EL9: al Tier1 da alcuni mesi stiamo analizzando le nuove versioni disponibili e stiamo investigando il livello di stabilita' del middleware su di esso.

In questa presentazione verra' riassunto il punto di vista del gruppo linux CCR e verranno introdotte le principali differenze tra EL7 ed EL9 (senza dimenticare EL8), con particolare attenzione all'attivita' sistemistica quotidiana.

Speaker: Andrea Chierici (Istituto Nazionale di Fisica Nucleare)

20230525 - EL9 nel DC.pptx

45 Installazione automatica di server su BIOS UEFI

Le macchine che vengono acquistate oggi sono tutte dotate di BIOS UEFI, impostato come default su tutti i sistemi.
Gli strumenti di installazione automatica usati abitualmente, quali Foreman, richiedono configurazioni specifiche per
questa tipologia di setup: vanno riviste diverse cose come il boot loader, partition table, kickstart.
In questo talk verranno presentati gli accorgimenti adottati al CNAF per supportare l'installazione automatica di questi setup.
Si parlerà anche dell’utilizzo di SECURE BOOT per realizzare sistemi sicuri in grado di ospitare dati particolari.

Speaker: Dr Diego Michelotto (CNAF)

20230525 WS CCR Loano BIOS UEFI.pdf

11:00 Coffee break

46 Sponsor ARISTA: The rise of Merchant Silicon

Con l'avvento delle applicazioni basate sull'intelligenza artificiale, il computing ad altissime prestazioni si sta trasformando da casistica di nicchia ad elemento primario all'interno dei carichi di lavoro di un datacenter moderno. Per questa ragione, la fabric deve evolvere di pari passo, massimizzando l'utilizzo della banda, minimizzando le latenze e rendendo la tecnologia ethernet non solo economica ma anche capace di prestazioni adeguate alle richieste delle moderne applicazioni. Scopriamo insieme come l'evoluzione del merchant silicon stia già rendendo tutto questo possibile e, soprattutto, le brillanti prospettive che ci riserva il futuro.

Speakers: Davide Bassani, Massimo Magnani (Arista)

47 DCI e Datacenter Stretching

Al CNAF negli anni abbiamo sperimentato diversi tipi di estensione della rete su scala geografica e metropolitana in collaborazione con il GARR.

Potremmo presentare gli usecase più significativi che abbiamo in produzione e dare un aggiornamento sullo stato della sperimentazione di un DCI fra CNAF e CERN che stiamo approntando in collaborazione con GARR, GEANT e CERN.

Speaker: Stefano Zani (Istituto Nazionale di Fisica Nucleare)

DCI-WS-CCR-2023.pptx

48 rete GARR-T: stato di avanzamento e sviluppi futuri

In questo intervento verrà dato un aggiornamento sullo stato di realizzazione della rete GARR-T e sui suoi sviluppi futuri all'interno dei progetti ICSC e Terabit.

Speakers: Massimo Carboni (LNF - GARR), Paolo Bolletta

2023-05-25_WS-CCR.INFN.pdf

13:00 Pausa pranzo

Servizi ICT

Conveners: Enrico Maria Vincenzo Fasanelli (Istituto Nazionale di Fisica Nucleare), Federico Zani (Istituto Nazionale di Fisica Nucleare), Luca Giovanni Carbone (Istituto Nazionale di Fisica Nucleare), Maria Cristina Vistoli (Istituto Nazionale di Fisica Nucleare), Sandra Parlati (Istituto Nazionale di Fisica Nucleare), Silvia Arezzini (Istituto Nazionale di Fisica Nucleare), Stefano Longo (Istituto Nazionale di Fisica Nucleare)

49 La strategia Nazionale per la Cybersicurezza e le sfide dell'autonomia tecnologica europea

Speaker: Dr Luca Nicoletti (ACN)

PNRR-ProgrammiInvestimento_INFN.pdf

50 Sponsor HUAWEI TECHNOLOGIES: Innovative Data Foundation, Build Intelligent Data Lake For Scientific Research

As we all know, The High-luminosity Large Hadron Collider (HL-LHC) is the next phase of LHC, HL-LHC project aims to crank up the performance of the LHC in order to increase the potential for discoveries after 2029.

With the rapid growth of data volume and event complexity, LHC experiments face greater computing resources and storage demands. For example, the future storage demand may be five times higher than now. With such expectations, in particular considering that the system will start to manage Exabytes (instead of Petabytes) of data, it becomes clear that storage and computing system must need innovative solutions to meet these challenges.

Huawei, the world leader in ICT infrastructure, presents here an overview of solution and technologies to address the challenges of data flow in cross-domain data centers. With the presentation, you will learn about the technical challenges faced by data flow across data centers, Huawei GFS solution, especially the innovative technologies of the solution.

Speaker: Mr Li Yafei (Huawei Technologies)

Innovative Data Foundation, Build Intelligent Data Lake For Scientific Research.pptx

51 Cyber security EU legal Framework and the open-source scenario

The innovative aspect of the EU Legal Framework concerning cyber security extends the scope and the application of the obligation imposed by the NIS Directive.
The new legal framework, compared to the first edition, covers 18 sectors, and distinguishes between 'Essential Entities' and 'Important Entities'.
The EU cybersecurity certification framework for ICT products enables the creation of tailored and risk-based EU certification schemes.
Certification plays a crucial role in increasing trust and security in critical products and services for the digital world.
In the other hand, the implementation of the Open Science and Open Access and FAIR principles assumes a crucial role in EU legislation.
The paradigm of the use of Open-Source technologies and software are one the most important milestone in the EOSC prospective.
Open source is involved in the application of the Cyber security legal framework, but it is also a challenge in the contest of the application of the same rules.
Cybersecurity tools based on open-source technology have a clear advantage in this situation. The NIS2 directive recall explicitly the Open Source cybersecurity tools. and applications can leverage the wider developer community, enabling diversification of suppliers".
Additionally, NIS2 states that: Policies promoting the introduction and sustainable use of open-source cybersecurity tools are of particular importance for small and medium-sized enterprises facing significant costs for implementation, which could be minimised by reducing the need for specific applications or tools".
The talk aims to analyse the new principles and the discipline introduced by the new European legal framework on cyber security, and in particular the NIS 2 Directive relating to measures for a common and high level of cybersecurity in the Union, the directive 2022/ 2557 relating to the resilience of critical subjects, as well as Regulation (EU) 2019/881 of 17 April 2019 relating to ENISA, the European Union Agency for Cybersecurity and the certification of cybersecurity for information and communication technologies.
The analysis of regulatory innovations will also be addressed considering the practical repercussions in the contexts in which Open-Source technology is leveraged.
In this perspective, the applicability of the requirements of the new discipline to open source software developed in the context of INFN Cloud will be evaluated. Especially for developing and managing of orchestrator services, IAM and cryptographic key management. The goal is to try to define what are the regulatory requirements that our applications must comply with and how to apply in the development cycle principles such as "security by design", "defense in depth", "security by default", "default deny"”, “fail securely”, “distrust input from external applications”, “security in deployment”, “assume breach”, "least privilege", “usability and manageability” and “least functionality”.

Speaker: Nadina Foggetti (Istituto Nazionale di Fisica Nucleare)

SlideLoanoOS (1).pdf

16:15 Pausa caffé

52 Gestione delle vulnerabilità nella rete INFN e test di Greenbone Enterprise TERA

In questo intervento verrà mostrata l'interfaccia web per la gestione delle operazioni di segnalazione e di risoluzione delle vulnerabilità rilevate tramite le scansioni compiute dal NUCS (NUcleo Cyber Security) nella rete INFN. Sempre nell'ambito della rilevazione delle vulnerabilità, dopo anni di utilizzo della versione open source di Greenbone, il NUCS INFN sta valutando la possibilità di utilizzarne la versione enterprise. Verranno mostrati i risultati preliminari ottenuti durante il periodo di sperimentazione di Greenbone Enterprise TERA. La versione Enterprise TERA di Greenbone permette di utilizzare una macchina "master" per la gestione e l'esecuzione delle scansioni e fino a 6 macchine "slave" che costituiscono sonde aggiuntive da cui vengono lanciate le scansioni.

Speakers: Cristian Greco (Istituto Nazionale di Fisica Nucleare), Gabriele Tagliente (Istituto Nazionale di Fisica Nucleare), Leandro Lanzi (INFN-FI), Stefano Stalio (Istituto Nazionale di Fisica Nucleare)

greco-nucs_scansioni-poc_greenbone.pdf

greco-nucs_scansioni-poc_greenbone.pptx

lanzi-nucs_scansioni-gestione_vulnerabilita.pdf

53 Il SOC dell’INFN: fare tesoro delle esperienze locali per costruire un SOC nazionale - Endpoint Detection and Response all’INFN

Descriveremo una proposta operativa per l’implementazione di una piattaforma distribuita di analisi e ricerca di correlazioni tra eventi di sicurezza, dispiegabile nel neonato SOC INFN. Mostreremo alcune possibili soluzioni per l’integrazione di strumenti per la raccolta di metriche e log partendo dalle esperienze fatte nelle varie sedi INFN tentando di metterle a fattor comune. Mostreremo lo stato di dispiegamento del sistema di EDR basato su tecnologia Microsoft. Descriveremo le differenti funzionalita’ e disponibilita’ per i vari sistemi operativi supportati. Analizzeremo l’organizzazione logica dell’infrastruttura: policy, onboarding, gestione console. Proporremo un possibile piano operativo per il dispiegamento della piattaforma stessa. Approfondiremo le possibili integrazioni tra i vari strumenti : Wazuh (log and event analysis - SIEM), Microsoft Defender (Enpoint Detection and Response - EDR), MISP (Threat intelligence), Splunk (Security Information Event Management - SIEM).

Speaker: Gianluca Peco (Istituto Nazionale di Fisica Nucleare)

loano3-final.pptx

20:00 Cena sociale

Friday 26 May

Servizi ICT

Conveners: Enrico Maria Vincenzo Fasanelli (Istituto Nazionale di Fisica Nucleare), Federico Zani (Istituto Nazionale di Fisica Nucleare), Luca Giovanni Carbone (Istituto Nazionale di Fisica Nucleare), Maria Cristina Vistoli (Istituto Nazionale di Fisica Nucleare), Sandra Parlati (Istituto Nazionale di Fisica Nucleare), Silvia Arezzini (Istituto Nazionale di Fisica Nucleare), Stefano Longo (Istituto Nazionale di Fisica Nucleare)

54 Supporto ad utenti e progetti in INFN Cloud e loro casi d’uso

Forte di una lunga tradizione nelle tecnologie informatiche distribuite, negli ultimi due anni l'INFN ha sviluppato e fornito servizi PaaS attraverso “INFN Cloud”, una piattaforma cloud distribuita e facile da usare, incentrata sull'utente e con un ampio portafoglio di servizi destinati alle comunità scientifiche. 

Data la natura distribuita dell'infrastruttura e l'ampio ventaglio di servizi presenti nel catalogo INFN Cloud, è importante disporre di un sistema di supporto affidabile, basato su personale, procedure e servizi, che consenta l'elaborazione delle richieste ed il tracciamento delle interazioni tra utenti, amministratori e sviluppatori. A questo proposito, INFN Cloud adotta una struttura multilivello: il primo livello (L1) prende in carico le richieste di registrazione degli utenti e guida loro nell'utilizzo dei servizi disponibili nel portafoglio INFN Cloud; il secondo livello (L2) fornisce soluzioni per soddisfare nuovi casi d'uso e risolve problemi che richiedono competenze tecniche avanzate. 

In questa presentazione verrà innanzitutto fornita una panoramica sull’implementazione e sulla gestione del supporto in INFN Cloud. Successivamente ci focalizzeremo su alcuni casi d’uso, per mostrare concretamente come viene svolto il lavoro dai 2 livelli di supporto sopra citati e, in definitiva, evidenziare l’importanza di questa attività all'interno del più ampio progetto nazionale Data Cloud.

Speaker: Francesco Sinisi (Istituto Nazionale di Fisica Nucleare)

WP2_CCR_2023.pdf

55 MATLAB as a Service su INFN Cloud

MATLAB è un software di calcolo numerico sviluppato e distribuito in maniera proprietaria da Mathworks che consente di eseguire calcoli matematici e scientifici avanzati e può essere utilizzato per risolvere problemi di matematica, fisica, ingegneria e scienze biologiche. In particolare offre una vasta gamma di funzionalità, tra cui il calcolo con GPU, la manipolazione e la semplificazione di equazioni matematiche, ma anche la progettazione di sistemi elettronici e di controllo. È quindi un framework che può soddisfare diversi casi d’uso richiesti dagli esperimenti e dai progetti che collaborano con l’INFN. Per questo motivo l’INFN ha deciso di investire fondi per l’acquisto di licenze MATLAB illimitate.

Jupyter è un ambiente di calcolo interattivo open-source basato su interfaccia web che permette agli utenti di scrivere ed eseguire codice in Python, R, Julia e in molti altri linguaggi di programmazione, consentendo inoltre di creare visualizzazioni interattive e grafici. È perciò un servizio che si presta molto bene ad un ambiente di tipo cloud ed è attualmente molto utilizzato dalle comunità di utenti che hanno accesso ad INFN Cloud.

MATLAB può essere integrato con Jupyter Notebook per eseguire codice MATLAB all'interno dell'interfaccia di Jupyter, oppure mediante interfaccia web nativa di MATLAB.

Di recente è stato eseguito un primo ma efficace sviluppo per ottenere l’istanziazione di MATLAB attraverso i servizi Jupyter e le soluzioni di storage offerti da INFN Cloud.

In questo contributo verrà mostrato come un utente può fruire del servizio in modalità PaaS attraverso INFN Cloud.

Speaker: Federico Fornari (Istituto Nazionale di Fisica Nucleare)

MATLAB_as_a_Service_on_INFN_Cloud.pdf

56 2FA

Saranno presentate sia l'infrastruttura software ed hardware definite per l'erogazione del servizio di autenticazione a doppio fattore, sia le policy discusse e definite all'interno della CCR e con i vari attori dell'ecosistema del SSO dell'INFN

Speaker: Enrico Maria Vincenzo Fasanelli (Istituto Nazionale di Fisica Nucleare)

2fa-ccrws Loano.pdf

57 Pilot Coursera : la prima esperienza di formazione completamente asincrona nell'INFN

Nel talk andremo a fare un riassunto di come siamo arrivati a definire questo pilot di un anno con Coursera, l'integrazione che stiamo portando con AAI per la gestione delle identità e l'assegnazione delle licenze floating ed il supporto degli analytics messi a disposizione della piattaforma per affrontare un primo passo verso l'utilizzo di una modalità di formazione complementare ed innovativa.

Speakers: Federico Zani (Istituto Nazionale di Fisica Nucleare), Silvia Arezzini (Istituto Nazionale di Fisica Nucleare)

Slides

11:00 Pausa caffé

58 OpenLM: software asset management per la gestione delle licenze

Per la gestione delle piattaforme software INFN e dei relativi license manager si è iniziato ad analizzare OpenLM una suite software utile per l'accounting degli applicativi utilizzati dai ricercatori INFN.

Tramite OpenLM, si controlla l'uso delle licenze per garantirne una pianificazione corretta nel rispetto delle esigenze dei ricercatori INFN. Tale prodotto software supporta un'ampia varietà di applicativi, come i prodotti Microsoft, Autodesk, Dassault Systemes etc al. permettendo così di monitorare l'utilizzo dei programmi in modo preciso e dettagliato. Semplifica anche la gestione dei License Manager attraverso una dashboard comune. OpenLM consente il rilevamento automatico l'assegnazione di licenze in tempo reale oltre a report ed analisi personalizzabili, funzionalità che possono aiutare nel prendere decisioni. In questa presentazione si vuole presentare il risultato dell’analisi del prodotto per valutare se procedere con il suo l’utilizzo in produzione.

Speaker: Marco Corvo (Istituto Nazionale di Fisica Nucleare)

OpenLM.pdf

59 Booking Software

Il software di booking è un software sviluppato dal centro di calcolo dei Laboratori Nazionali di Frascati (LNF). Lo scopo del software è quello di mettere a disposizione degli utenti uno strumento per la prenotazione delle risorse dell’INFN che richiedono un workflow approvativo (semplice o complesso) come la prenotazione di facility e aule per conferenze.
La novità di questo software consiste nell’utilizzare processi BPMN per la definizione dei workflow associati alle prenotazioni delle risorse; il workflow non viene definito attraverso la scrittura di codice con un linguaggio di programmazione ma con una definizione grafica che facilita la gestione di tutto il processo di prenotazione. Il software è integrato all’interno dell’ecosistema di Godiva per il controllo dei ruoli e delle autorizzazioni.
Come caso d’uso iniziale il software di booking è stato utilizzato per gestire le prenotazioni della Beam Test Facility (BTF) dei LNF. La prenotazione della BTF ha un workflow di prenotazione estremamente complesso che coinvolge diverse figure come la segreteria scientifica, quella del personale e al management della BTF, mettendo in luce le potenzialità di questo strumento.

Speaker: Giovanni Lorenzo Napoleoni (Istituto Nazionale di Fisica Nucleare)

Napoleoni_CCR.pdf

60 L’utilizzo di ZOOM-EVENTS per conferenze scientifiche: l'esperienza ICHEP2022

L'organizzazione di seminari e conferenze negli utlimi anni è stata fortemente influenzata dalla pandemia di covid-19.
Nel primo periodo della pandemia, molti eventi sono stati cancellati o tenuti completamente online, utilizzando strumenti di videoconferenza come ZOOM o MS Teams. Successivamente, grazie a vaccinazioni e immunizzazioni su larga scala, è stato possibile organizzare nuovamente grandi eventi in presenza. Tuttavia, date alcune restrizioni locali alle persone temporaneamente colpite da Covid-19, era comunque necessario prevedere modalità online per i partecipanti che non potevano partecipare in presenza, avendo di fatto eventi ibridi con partecipazione sia da remoto che in presenza.
In questo contributo descriviamo l'esperienza con la piattaforma ZOOM-Events utilizzata per ICHEP 2022 (International Conference on High Energy Physics), tenutasi a Bologna nel luglio 2022, con circa 1100 partecipanti in presenza e 300 collegati da remoto. ICHEP 2022 è stata la più grande conferenza in ambito HEP tenuta in modalità ibrida che includeva la possibilità di presentare da remoto.
Nel dettaglio, presenteremo come è stata configurata la piattaforma ZOOM Events per la gestione delle numerose sessioni parallele, la concessione dell'accesso ai partecipanti e come abbiamo affrontato le problematiche emerse nelle fasi organizzative.

Speaker: Roberto Giacomelli (Istituto Nazionale di Fisica Nucleare)

2023-05-26 presentazioine zoom events a meeting nazionale del calcolo.pptx

61 Chiusura del Workshop

Speakers: Alessandro Brunengo (Istituto Nazionale di Fisica Nucleare), Gianpaolo Carlino (Istituto Nazionale di Fisica Nucleare)

12:50 Pranzo

13:35 13.35 Ritrovo davanti alla reception del L2V per coloro che usufruiscono del bus che va a Genova

13:40 13.40 Partenza navetta per trasferimento all'aeroporto e alla stazione di Genova