Workshop sul Calcolo nell'INFN - Palau (Sassari) | 20 - 24 maggio 2024

20 May 2024, 09:00 → 24 May 2024, 23:30 Europe/Rome

Sala Meeting "Le Saline" (Park Hotel Cala di Lepre)

Alessandro Brunengo (Istituto Nazionale di Fisica Nucleare), Gianpaolo Carlino (Istituto Nazionale di Fisica Nucleare)

Connessione remota tramite zoom: https://infn-it.zoom.us/j/93973021631?pwd=ZnN4R0dhR0l2Yjg5ams1Qnd6NGNUdz09

 

Monday, 20 May

14:30 → 14:40 Apertura dei lavori

Speakers: Alessandro Brunengo (Istituto Nazionale di Fisica Nucleare), Gianpaolo Carlino (Istituto Nazionale di Fisica Nucleare)

Introduzione_brunengo.pptx

14:40 → 14:50 Saluto del Direttore della Sezione di Cagliari

Speaker: Alessandro Cardini (Istituto Nazionale di Fisica Nucleare)

CCR_20MAY24_Cardini_INFN-small.pptx

14:50 → 18:50 Sessione "Esperimenti e calcolo teorico"

14:50 Computational Theoretical Physics @ICSC

Following a brief introduction to the computational theoretical physics projects at INFN,
we will explore the computational resources available at ICSC (LEONARDO and HPC bubbles)
that can be utilized to support these research efforts.

Speaker: Leonardo Cosmai (Istituto Nazionale di Fisica Nucleare)

LCosmai_Palau_20-MAY-2024.pdf

15:05 Numerical Relativity Simulations of Gravitational Wave Sources

I will discuss numerical simulations performed on HPC clusters of gravitational wave sources, with a particular focus on neutron star mergers. I will also describe the main numerical methods and tools that are used in this field and possible future directions. Neutron stars are very interesting laboratories for studying nuclear matter because of the extremely high densities that are reached in their core. Their simulations require the solution of the equations of hydrodynamics and magnetohydrodynamics in general relativity, making the use of HPC resources necessary.

Speaker: Bruno Giacomazzo (Milano-Bicocca)

GIACOMAZZO_Numerical Relativity Simulations of Gravitational Wave Sources - public.pdf

GIACOMAZZO_Numerical Relativity Simulations of Gravitational Wave Sources - public.pptx

15:30 WLCG Data Challenge 2024 - Focus su Belle II

WLCG ha promosso un programma periodico per il test della rete internazionale della ricerca al fine di verificare la capacità di gestire il traffico atteso dagli esperimenti HL-LHC stimato nel modello massimale di circa 9.8Tbps integrato su tutti i centri.
A partire dal 2024 sono stati invitati altri esperimenti associati a WLCG a partecipare alle attività.
In questo talk verrà presentato il lavoro svolto da Belle II, sotto il coordinamento del gruppo Italiano, per partecipare al WLCG Data Challenge 2024,simulando il traffico dell'esperimento per l'export dei RAW Data alla massima luminosità da KEK verso i RAW Data Centers. Verranno quindi presentati i risultati raggiunti e gli step futuri.

Speaker: Silvio Pardi (Istituto Nazionale di Fisica Nucleare)

Workshop-CCR-May-2024.pdf

15:55 Stato del modello di calcolo di ePIC all'EIC

L'esperimento ePIC iniziera' a prendere dati nel prossimo decennio all'Electron Ion Collider, il futuro collisiore elettrone-ioni che sara' realizzato al Brookhaven National Laboratory. Il modello di calcolo di ePIC e' in fase di sviluppo con l'obiettivo di massimizzare l'efficienza nella fase do raccolta e processatura dei dati, rendendoli velocemente disponibili all'analisi finale. Lo stato di tale modello, come pure le prospettive future saranno qui presentati.

Speakers: Andrea Bressan (Istituto Nazionale di Fisica Nucleare), Domenico Elia (Istituto Nazionale di Fisica Nucleare)

Elia_ePIC-CM.pdf

16:20 Pausa caffe'

16:50 Calcolo per ET

Speaker: Stefano Bagnasco (Istituto Nazionale di Fisica Nucleare)

ET_CCR_PalauMay2024.pdf

17:15 Open challenges of Artificial Intelligence applied to medical imaging

The two big challenges of Artificial Intelligence applied to medical imaging are: (1) improving the robustness and generalization ability of AI models even with limited data availability and (2) developing explainable AI methods. The next_AIM (Artificial Intelligence in Medicine: next steps) experiment of INFN-CSN5 aims to address these two challenges in the development of techniques based on Artificial Intelligence approaches, including Machine Learning and Deep Learning (DL), to automatically analyze medical images obtained from medical imaging modalities (MRI, CT, RX, PET, etc.). In particular, different applications focused on the COVID-19 use case were developed, trying to tackle these two challenges. A fully automatic Deep Learning (DL) pipeline has been developed to predict the degree of severity of patients from chest X-rays and associated clinical data, exploring the possibility of explaining the prediction using a visualization technique. A DL-based quantification software for the characterization of COVID-19 infection visible in Computed Tomography (CT) images was set up to produce quantitative indices representing qualitative characteristics immediately understandable to radiologists. It was validated in a multicenter study. Finally, a Machine Learning pipeline was developed to predict the patient’s severity grade from the radiomic features extracted from CT images, with particular attention to the feature importance.
Moreover, an overview of other activities within the project, focused on different use cases and imaging modalities, will be presented.
Considerable computing resources are necessary to develop these AI-based solutions. Especially when dealing with volumetric data and large models (e.g., 3D U-Net for semantic segmentation), computational capability, also in terms of memory, represents a bottleneck in training the models and finding the best possible model design, forcing researchers to use downsized and lower resolved images, small batches or shallow neural networks. Moreover, in dealing with medical data acquired on patients, secure storage is needed, meaning storage services based on certified security standards (e.g. the information security standard ISO 27001) and GDPR compliant.

Speaker: Camilla Scapicchio (Istituto Nazionale di Fisica Nucleare)

PresentazioneCCR_nextAIM.pdf

PresentazioneCCR_nextAIM.pptx

17:40 The ICSC Activities under Spoke 2: "Fundamental Research and Space Economy"

One on the vertical spokes in the "National Center for HPC, Big Data and Quantum Computing", funded under the NRRP initiatyive witl 320 MEur, focuses on activities which are aligned with INFN core missions: the Spoke2, "Fundamental Research and Space Economy".
In the talk, we will illustrate the large number of ongoing activities, their interest for INFN experiments and for the ICT Infrastructure.

Speaker: Tommaso Boccali (Istituto Nazionale di Fisica Nucleare)

Spoke 2 Palau 2024 2.pptx

17:55 The computing of the precision Muon g-2 Experiment at Fermilab

The Muon g-2 Experiment at Fermilab is a precision experiment that aims to measure the muon anomalous magnetic moment with an unprecedented accuracy of 140 parts-per-billion (ppb). The first two publications, in 2021 and 2023, presented the measurements relative to the first three experimental Runs. The analysis of the remaining three runs is in progress and a new publication is expected in 2025. The last three runs contain almost three times the statistics of the first three runs, with more than 1e11 reconstructed positrons. The timely and accurate reconstruction of more than 10 Petabytes of raw data poses several computing challenges for a relatively small-sized collaboration. Efficient use of the limited resources and workforce is critical for respecting the publication schedule. This talk will describe the computing challenges of the Muon g-2 Experiment with a focus on the solutions implemented that successfully sped up the data reconstruction rate by a factor of five.

Speaker: Paolo Girotti (Pi)

pgirotti_Palau2024_computing.pdf

18:10 Computational neuroscience: simulation technology and study of the low-level correlates of high-level cognitive processes

A deeper understanding of brain functions can be achieved by adopting several approaches, and computational models play a crucial role in shedding light on neuronal dynamics. Among the available techniques, spiking neural networks is one of the most relevant. Moreover, recent computing technologies are paving the way for large-scale simulations by using cutting-edge supercomputer clusters.
In this talk, we present an overview of the computing technologies currently available, with a particular focus on CPU and GPU-based spiking neural network simulators. We discuss how such simulators can efficiently exploit the hardware spanning from workstations to HPC clusters and how they can benefit from the development of exascale computing infrastructures.
One of the most interesting features of computational neuroscience is the possibility of exploring the link between low-level neuronal mechanisms and brain functioning. The second part of the presentation focuses on the studies we conducted on the synaptic correlates of high-level cognitive processes, whose aim is to evaluate the impact of low-level synaptic mechanisms in the behavior of highly connected networks of neurons involved in cognitive processes such as working memory and learning [1,2].

[1] Tiddia G, Golosio B, Fanti V and Paolucci PS (2022) Simulations of working memory spiking networks driven by short-term plasticity. Frontiers in Integrative Neuroscience 16:972055.
[2] Tiddia G, Sergi L and Golosio B (2023) A theoretical framework for learning through structural plasticity. arXiv:2307.11735 [q-bio.NC].

Speaker: Dr Gianmarco Tiddia (Istituto Nazionale di Fisica Nucleare, Sezione di Cagliari)

Presentazione_Gianmarco_Tiddia.pdf

18:25 Computing model generale per esperimenti di piccole e medie dimensioni all'interno dell'infrastruttura INFN Cloud

Il progetto INFN-Cloud si è sviluppato all'inizio del 2020 con l'intento di costruire un'infrastruttura Cloud distribuita e di fornire servizi avanzati per le comunità scientifiche dell'INFN. Uno dei beta-tester dell'infrastruttura INFN-Cloud è CYGNO, un esperimento di astroparticelle che cerca materia oscura leggera. Come altri esperimenti di astroparticelle CYGNO non ha dei requisiti computazionali paragonabili a quelli di esperimenti di fisica delle alte energie ma d'altra parte ha a che fare con eventi rari, spesso acquisiti in condizioni estreme. In questo scenario l'infrastruttura Cloud, attraverso servizi standardizzati e ottimizzati secondo le esigenze specifiche, potrebbe essere una soluzione utile in grado di soddisfare le richieste di molti esperimenti di piccole e medie dimensioni. Ad oggi, l'esperimento CYGNO ha sviluppato il progetto Middle Ware teso a realizzare un computing model nel quale il software necessario all'esperimento fornisce diversi strumenti ‘as a Service’.
Grazie alla sua implementazione generalizzata, il lavoro eseguito nell'esperimento CYGNO si sta adattando, con le modifiche neccessarie, ad un altro esperimento di astroparticelle di piccole dimensioni: QUaerere for Axion (QUAX). Esso ha come obiettivo la ricerca dell'assione cosmologico mediante i dispositivi superconduttivi sviluppati all'interno del progetto NQSTI sostenuto dall'Unione Europea attraverso il Piano di Ripresa e Resilienza (PNRR). Questi dispositivi saranno infatti integrati nel rivelatore QUAX ai Laboratori Nazionali di Frascati (LNF). Le richieste di computing di QUAX, dunque, sono comparabili a quelle dell'esperimento CYGNO. Ad oggi nell'infrastruttura Cloud dell'esperimento QUAX sono stati implementati, sfruttando una soluzione a Docker container, strumenti di data management (Netwok File Sharing -NFS- e DataBase MariaDB), monitoring (GRAFANA) e analisi dati (Jupyter notebook), oltre a un meccanismo di copia dei dati raw su Cloud e TAPE.
Attualmente, l'infrastruttura INFN-Cloud funziona come aspettato per esperimenti di piccole e medie dimensioni, il che lascia aperta la possibilità di ulteriori sviluppi e miglioramenti nel prossimo futuro.

Speaker: Anna Calanca (Istituto Nazionale di Fisica Nucleare)

Computingmodelgeneraleperesperimentidipiccoleemediedimensionia_INFNCloud.pdf

19:00 → 19:15 Aperitivo di benvenuto

19:15 → 19:45 SPONSOR N&C: Proactive monitoring of critical IT infrastructures: a case study

In an era where cybersecurity and operational maintenance are paramount, proactive monitoring of computer systems becomes crucial. However, commercial solutions often present limitations in terms of customization, cost, and reliance on third-party vendors. This presentation introduces an innovative approach to proactive monitoring that excludes the use of commercial products.
Our system is built upon a modular and flexible framework designed to adapt to the specific needs of each organization. By leveraging open-source technologies and developing in-house solutions, we provide comprehensive and customizable monitoring without the constraint of high costs or third-party licenses.
We will illustrate the key components of our system, including event detection tools, anomaly management, and automated incident response. Additionally, we will present case studies demonstrating the effectiveness and adaptability of our approach across various business contexts.
Finally, we will discuss the strategic and operational advantages of adopting an in-house proactive monitoring system, including increased flexibility, enhanced security, and long-term cost savings.

APERITIVO DI BENVENUTO OFFERTO A TUTTI I PRESENTI

Speaker: Antonio Guerrieri (N&C)

PresentazioneN&C_Antonio Guerrieri.pdf

Tuesday, 21 May

09:00 → 13:00 Sessione "Infrastrutture ICT e calcolo distribuito": prima parte

09:00 Vision e roadmap della federazione DataCloud

Speaker: Claudio Grandi (Istituto Nazionale di Fisica Nucleare - Sezione di Bologna)

Grandi-WS-INFN-Palau.pdf

09:20 Stato ed evoluzione dei datacenter

Speaker: Daniele Cesini (Istituto Nazionale di Fisica Nucleare)

Stato_Fed_DATACLOUD_CCR_WS_21052024.pdf

Stato_Fed_DATACLOUD_CCR_WS_21052024.pptx

09:40 Stato e evoluzione della federazione INFN Cloud e dell’implementazione del datalake nazionale

Speaker: Stefano Stalio (Istituto Nazionale di Fisica Nucleare)

federation_status_20240521.pdf

10:10 Attività di R&D in corso sinergiche con i vari progetti e nell’ambito di Datacloud

Speaker: Massimo Sgaravatto (Istituto Nazionale di Fisica Nucleare)

RD-Palau.pdf

10:40 Pausa caffe'

11:10 Piattaforme distribuite certificate: sicurezza e conformità per la gestione dei dati sensibili

Speaker: Barbara Martelli (Istituto Nazionale di Fisica Nucleare)

20240521-infrastrutture-certificate-dati-sensibili.pdf

11:35 Piani di utilizzo dell’infrastruttura da parte degli utenti

Speaker: Emidio Maria Giorgio (Istituto Nazionale di Fisica Nucleare)

pianidiutilizzo.pdf

11:55 Tavola rotonda

Speaker: Marica Antonacci (Istituto Nazionale di Fisica Nucleare)

domande su menti

13:00 → 14:30 Pausa pranzo

14:30 → 19:00 Sessione "Infrastrutture ICT e calcolo distribuito": seconda parte

14:30 Introduzione

Speaker: Marica Antonacci (Istituto Nazionale di Fisica Nucleare)

intro.pdf

14:40 Un'infrastruttura di calcolo distribuita basata su HTCondor per esperimenti spaziali

Pur non raggiungendo i requisiti del calcolo degli esperimenti ad LHC, le necessita' degli esperimenti spaziali sono in costante crescita, sia in termini di CPU che di storage. In questo contesto risulta di fondamentale importanza lo sviluppo di un computing model che consenta di sfruttare in maniera trasparente risorse opportunistiche, anche al di fuori dell'infrastruttura WLCG.
Come caso di studio e' stato adottato quello dell'esperimento HERD, un rivelatore spaziale di raggi cosmici di alta energia, e delle risorse di calcolo ASI-INFN fornite dallo Space Science Data Center (SSDC). Verra' presentato un prototipo di integrazione delle risorse SSDC con quelle Tier1 al CNAF e INFN-Cloud tramite HTCondor-CE che sfrutta un'autenticazione basata su token.

Speaker: Nicola Mori (INFN Firenze)

Mori_WorkshopCalcolo_240521_v2.pdf

14:55 Federating the ICSC resources of INFN Milano to INFN Datacloud: status of the work on the bare metal Kubernetes cluster

With its Datacloud infrastructure, INFN can rely on a scalable and nation-wide network of federated cloud sites. On this foundation, the PNRR-funded (National Recovery and Resilience Plan) ICSC project (National Research Center in High Performance Computing, Big Data and Quantum Computing) has been established to conduct R&D activities for innovation in high-performance computing, simulations, and big data analytics. The computing center managed by INFN Milano has increased its capacity as part of the ICSC efforts.

INFN Milano has decided to adopt a simpler stack by installing a bare metal Kubernetes cluster and federating the resources to the INFN Datacloud without the mediation of Openstack. This configuration presents some peculiarities worth investigating: when running on bare metal servers, the application interacts directly with the host, without a hypervisor layer in between. The impacts on performance, costs, control and security will be investigated as the metrics for this configuration.

This contribution aims to describe the status of the federation of the ICSC resources at the INFN Milano computing center.

Speaker: Caterina Maria Luigia Marcon (Istituto Nazionale di Fisica Nucleare)

WorkshopCCR_2024.pdf

15:00 Federazione di Cloud OpenStack in INFN Cloud

L'INFN offre ai propri utenti un insieme completo e integrato di servizi Cloud attraverso la propria infrastruttura federata INFN Cloud. Nata nel 2021, INFN Cloud oggi conta cinque siti federati - oltre al backbone - costituiti dalle infrastrutture Cloud messe a disposizione da Cloud@CNAF, CloudVeneto, Cloud@ReCaS-Bari, Cloud-CT, Cloud-IBISCO-Na.
Durante il 2023, è stato dedicato molto sforzo alla definizione e al perfezionamento di policy e requisiti volti alla creazione di procedure sempre piu’ puntuali per la federazione di nuovi provider Cloud (basati su Openstack), ivi compresa l'integrazione con il servizio di autorizzazione e autenticazione INDIGO-IAM, la validazione dell'infrastruttura di ciascuna cloud federata, l'implementazione del sistema di monitoraggio centralizzato e la messa a punto del sistema di accounting.
Nello stesso periodo è iniziato l’aggiornamento della componente principale di INFN-Cloud, l’orchestratore INDIGO-PaaS, e dei microservizi ad esso legati. L’aggiornamento di questi servizi, il refactoring dei dati da salvare e la necessità di federare nuove tipologie di infrastrutture, come cluster kubernetes, ci ha condotto alla progettazione di un nuovo servizio, il Federation-Manager.
Questo servizio sarà una web application incaricata di coordinare le richieste di federazione di nuovi siti e le richieste di utilizzo di risorse da parte di gruppi di utenti. Gli interlocutori potranno utilizzare questo servizio per inviare informazioni, notificare la conclusione di alcune task manuali, monitorare l’avanzamento delle richieste e l’esito dei task automatici eseguiti dai singoli processi.
In questo contributo, presentiamo le procedure definite e sviluppate per la federazione delle infrastrutture Cloud di Catania (Cloud-CT) e Napoli (Cloud-IBISCO-Na) aggiunte recentemente e le procedure attualmente in corso per la federazione dei LNGS, soffermandoci sui vari aspetti di carattere tecnico ed implementativo emersi durante le procedure di federazione. Inoltre daremo una rapida descrizione delle nuove procedure introdotte dal Federation-Manager, l’integrazione con le procedure di validazione dei siti e le tipologie di utenti coinvolti.

Speakers: ALESSANDRA CASALE (Istituto Nazionale di Fisica Nucleare), Dr Giovanni Savarese (Istituto Nazionale di Fisica Nucleare)

Presentazione_Federazione_v2.pdf

15:05 Federation-Registry: la nuova versione del Configuration Management Database per la federazione dinamica delle cloud

Il sistema di orchestrazione di INDIGO è un PaaS middleware open-source per federare in maniera trasparente ambienti di sviluppo eterogenei, cloud pubbliche e private, piattaforme per la gestione di containers e molto altro. La sua funzione principale è l’orchestrazione della generazione di infrastrutture virtuali come Jupyter Hub, Kubernetes, Spark e clusters HTCondor, fornendo agli utenti un accesso semplificato e controllo sull’infrastruttura.

Il fulcro del sistema di orchestrazione è l’Orchestratore che, coadiuvato da un insieme di micro-servizi, ha il compito di scegliere, in base ai parametri definiti dall’utente, il provider migliore tra gli ambienti di sviluppo federati e avviare il deployment dell’infrastruttura desiderata.

In quest’architettura, la memorizzazione dei dettagli principali dei provider federati e l’associazione delle risorse disponibili ai gruppi di utenti sono fondamentali. Queste informazioni hanno un ruolo cruciale nel processo di assegnazione dei provider disponibili con le richieste di deployment degli utenti.

Attualmente, il Configuration Management Database (CMDB) si occupa di memorizzare e organizzare le informazioni dei provider, mentre il Service Level Agreement Tool (SLAT) conserva le SLAs concordate e firmate dagli utenti e dagli amministrati dei vari siti.

Dopo un’attenta valutazione, abbiamo deciso di rimpiazzare i servizi attuali a causa delle fine del supporto al mantenimento del CMDB, che si basa su componenti datate. La nuova soluzione, il Federation-Registry, è un’applicazione web basata sul framework FastAPI. Quest’applicazione fornisce a REST API integrata in un sistema di autenticazione e autorizzazione basato su OpenID-Connect/OAuth2. Inoltre, l’applicazione utilizza neo4j, a database a grafi ad alta flessibilità, in opposizione all’attuale CouchDB – un database non relazionale – per archiviare e organizzare i dati dei providers. L’implementazione di un nuovo script di popolamento è essenziale per recuperare le informazioni dai provider federati, elaborarle e infine inoltrarle al Federation-Registry.

Questo aggiornamento fornirà una serie di vantaggi tra cui: una base più robusta e sicura per la gestione delle informazioni relative alla federazione di nuovi provider, indipendenza da software datato e non più mantenuto, allineamento con le moderne pratiche di sviluppo basato su tests, una miglior riorganizzazione delle informazioni e l’estensione al supporto di nuove tipologie di provider anche grazie ad una struttura più semplice ed elastica del database. Questo contributo enfatizza le scelte architetturali e i dettagli implementativi.

Questo nuovo servizio verrà integrato in INFN Cloud, che sta già utilizzando il PaaS middleware di INDIGO per fornire alle comunità scientifiche di INFN un portfolio di servizi di alto livello sulle cloud geograficamente distribuite.

Speaker: Dr Giovanni Savarese (Istituto Nazionale di Fisica Nucleare)

Federation-Registry (CCR24).pdf

Federation-Registry (CCR24).pptx

Federation-Registry - Poster - CCR24 - ITA - Short.pdf

15:10 Approccio AI per la selezione dei provider nel sistema di orchestrazione INDIGO PaaS di INFN Cloud

INFN Cloud fornisce alle comunità scientifiche supportate dall'Istituto un'infrastruttura Cloud federata e un portafoglio di servizi dinamico basato sulle esigenze dei casi studio supportati. Il middleware federativo di INFN Cloud si basa sul sistema di orchestrazione INDIGO PaaS, costituito da microservizi open source interconnessi. Tra questi, l’INDIGO PaaS Orchestrator riceve richieste di deployment di alto livello e coordina il processo di creazione dei deployment sulle piattaforme IaaS messe a disposizione dai provider federati.

Nella configurazione di default, l’INDIGO PaaS Orchestrator determina il provider dove sottomettere la richiesta di creazione del deployment a partire da una lista ordinata di provider, selezionati in funzione del gruppo a cui l’utente appartiene. Tale lista viene fornita dal servizio Cloud Provider Ranker il quale applica un algoritmo di ranking utilizzando un set ristretto di metriche relative ai deployment e ai Service Level Agreements definiti per i provider. L’INDIGO PaaS Orchestrator sottomette il deployment verso il primo provider presente nella lista e in caso di fallimento scala al provider successivo fino ad esaurimento della lista.

In questo contributo viene presentata l’attività finalizzata al miglioramento del sistema di ranking e all’ottimizzazione nell’uso delle risorse attraverso un approccio basato sull’utilizzo di tecniche di intelligenza artificiale. In questo contesto, un importante lavoro preparatorio di identificazione di metriche ritenute più significative è stato messo in essere, identificando anche le sorgenti dalle quali poter reperire le metriche stesse. La successiva preparazione del dataset ci ha permesso di studiare al meglio il caso in esame, e di identificare e confrontare diverse tecniche di intelligenza artificiale. L’approccio proposto prevede la creazione di due modelli: uno predittivo per la classificazione del successo/fallimento del deployment e uno di regressione per il tempo di creazione dei deployment. Una combinazione lineare dell’output dei due modelli, unito ad un training su finestre temporali mobili e recenti, permette di definire una lista ordinata di provider che l’orchestratore può utilizzare per la sottomissione dei deployment.

Speaker: Luca Giommi (Istituto Nazionale di Fisica Nucleare)

AI_based_orchestrator.pdf

Ai_based_orchestrator_poster.pdf

15:15 Il DataLake nell'infrastruttura INFN: applicazioni e prospettive future

Nell'ambito dei nuovi esperimenti di fisica, così come in altri ambiti scientifici e del privato, la gestione dati assume un ruolo cardine e l'aumento esponenziale della quantità di dati prodotti quotidianamente pone una sfida a chiunque voglia costruire una infrastruttura funzionale e all'avanguardia. In questo contesto nasce l'idea del DataLake, nel quale storage fisici geograficamente distribuiti vengono federati, fornendo un livello di astrazione che permette all'utente di interagire con i dati in maniera trasparente, senza dover conoscere i dettagli infrastrutturali.

Nell'ambito delle attività del WP6 di DataCloud, abbiamo dimostrato come sia possibile federare istanze di storage eterogenee, distribuite in diversi centri di calcolo dell'INFN, sulle quali gli utenti possono interagire coi dati in maniera dichiarativa (dichiarando ad esempio il numero di repliche, il QoS, il ciclo di vita, etc…).

Abbiamo implementato questo modello di DataLake utilizzando gli strumenti di Data Management (RUCIO e FTS in primis) già in uso in alcuni grandi esperimenti.
Oltre a testare diverse configurazioni (ad esempio rispetto al modello autorizzativo), abbiamo svolto un'attività di on-boarding di alcune comunità di utenti (ovvero quelle degli esperimenti Cygno e DarkSide), implementando le policy e personalizzazioni necessarie.

Viste le competenze e esperienze maturate, crediamo che i tempi siano maturi per la realizzazione di una infrastruttura DataLake nazionale "catch-all", disponibile per tutti gli utenti, non specifica ad un singolo esperimento.

Speaker: Antonino Troja (Istituto Nazionale di Fisica Nucleare)

Il Datalake INFN - Troja.pdf

15:30 INFN Cloud Object Storage Service: Gateway to a Multisite Infrastructure

INFN Cloud has been offering its users an S3-based Object Storage service for data archiving that is accessible via a web user interface or programmatically. Key features of the S3 service are, among others, the authentication via the Indigo DataCloud IAM service, the use of Open Policy Agent for fine grained authorization, the full integration with other INFN Cloud services, and data replication over two data centers. Such service has been provided via the Minio Gateway on top of a distributed OpenStack Swift cluster. 

The end of support of Minio Gateway forced us to find an alternative solution. As new implementation we considered the use of a multisite CEPH Rados Gateway (RGW) infrastructure. The challenge of replacing the MinIO-based architecture with the Ceph RGW sytem was eased by the already existing CEPH infrastructure that supports the two sites of the INFN Cloud Backbone. 

CEPH RGW was configured to allows access via OIDC Identity Provider and cross-account operations by offering Security Token Service (STS). In addition, the integration with OPA allows for a granular an authorization policy reinforcement: while CEPH administrator creates a role to define both location and type of storage resources available for the identity provider’s users, the decision making for buckets and objects management is offloaded to OPA. In addition, policy decoupling allows dynamic modification of accessibility rules and supports scalability that can accommodate increasing resource demand on geographically distributed infrastructures. Thanks to its multi-site functionality, CEPH RGW can be configured to enable object storage synchronization among different sites, ensuring geographically distributed data replication.

The S3 compatible storage service that is available with the new solution is also accessible via a wide range of client applications such as SDK (Boto3), CLI that manages data using subcommands (s3cmd) or mounting buckets to filesystem using FUSE (sts-wire), and GUI with the in-house designed Web Application that is based on ReactJS and the official AWS SDK for JavaScript.

Speaker: Ahmad Alkhansa (Istituto Nazionale di Fisica Nucleare)

INFN Cloud Object Storage Service.pdf

15:50 La figura del Data Steward nell’INFN

A livello europeo, anche nell'ambito di vari progetti Horizon Europe - come ad esempio Skills4EOSC - si sta definendo, e in alcuni casi consolidando, la figura del Data Steward che dovrebbe svolgere un ruolo di supporto per la gestione dei dati della ricerca.
A livello italiano è stato recentemente creato all’interno del Competence Center della Italian Computing and Data Infrastructure (ICDI) un gruppo di lavoro per lo scambio di esperienze e la discussione di eventuali problemi tra i data steward italiani.
Non esiste una definizione univoca di Data Steward; le università e gli enti di ricerca declinano questo concetto in maniera diversa a seconda delle proprie peculiarità ed esigenze, anche se sono state individuate alcune caratteristiche comuni, come ad esempio la necessità di supportare la creazione di Data Management Plan per le attività di ricerca degli enti.
Nella presentazione verranno illustrate le varie attività in corso per la definizione della figura di Data Steward e della conseguente formazione affinché risponda alle esigenze dell'INFN.

Speaker: Francesca Marchegiani (Istituto Nazionale di Fisica Nucleare)

La figura del Data Steward nell’INFN_Marchegiani_final.pdf

La figura del Data Steward nell’INFN_Marchegiani_final.pptx

16:10 Pausa caffé

16:40 SPONSOR HITECH Distribuzione Informatica: "L'evoluzione delle infrastrutture HPC per l'AI: Sfide e Prospettive Future"

Nel contesto di una continua e rapida evoluzione tecnologica, le infrastrutture informatiche per l'High Performance Computing (HPC) rappresentano una pietra miliare nel progresso dei sistemi di intelligenza artificiale (AI). Il nostro intervento si propone di esplorare gli ultimi sviluppi tecnologici e le innovazioni nelle infrastrutture HPC da noi proposte al mercato e mira ad illustrare le soluzioni innovative adottate da HTDI per superare le sfide poste dall'esigenza di maggior potenza computazionale, efficienza energetica, e scalabilità nelle infrastrutture HPC destinate all'AI.
Particolare attenzione sarà rivolta all'integrazione di nuove tecnologie, come i processori specializzati (es. GPU, TPU), l'architettura in rete, e le piattaforme di computing distribuito, che stanno definendo nuovi orizzonti per le applicazioni AI, dalla ricerca scientifica all'industria 4.0.

Speakers: Marco Malatesta (HTDI HiTech Distribuzione Informatica), Mauro Talà (HTDI HiTech Distribuzione Informatica)

HTDI INFN maggio 2024.pptx

17:10 Servizio VOMS Attribute Authority geograficamente distribuito

I server VOMS (Virtual Organization Membership Service) sono da tempo utilizzati per l'autenticazione e l'autorizzazione basate sui certificati proxy X509 nell'ambito delle collaborazioni scientifiche. Tuttavia, la tendenza si sta spostando verso sistemi IAM (Identity and Access Management) basati su token. Il servizio VOMS Attribute Authority (VOMS-AA) si integra perfettamente con i client VOMS esistenti implementando la stessa interfaccia dei server VOMS e recuperando i dati di autorizzazione da un database IAM. Questo approccio garantisce il supporto per le Virtual Organizations (VO) che fanno ancora affidamento su VOMS dopo il decommisioning programmato dei server VOMS e VOMS-Admin.
Per mantenere il livello di affidabilità, di tolleranza agli errori e il throughput raggiunto dai server precedenti, VOMS-AA necessita di un'opzione di installazione geograficamente distribuita. Questo contributo esplora le strategie per implementare VOMS-AA con replica geografica, garantendo un servizio ininterrotto e scalabile, e presenta i risultati di alcuni test preliminari basati su una replica geografica del database.

Speaker: Dr Davide Marcato (INFN - LNL)

Poster VOMS-AA.pdf

Talk VOMS-AA.pdf

17:15 IRCSS Sant’Orsola Computational Genomic platform

Il primo sequenziamento del genoma umano ha richiesto 32 anni, ma grazie alle moderne tecnologie di Next-Generation Sequencing di DNA e RNA siamo in grado di sequenziare 40 genomi in un paio di giorni, producendo TB di dati testuali, più di 100 GB per singolo genoma. Ciò pone una grossa sfida per le infrastrutture di calcolo, le quali devono essere in grado di gestire queste grandi quantità di dati e processarli attraverso pipeline efficienti e che utilizzino in modo efficace risorse di calcolo eterogenee (come CPU, GPU, cluster HPC) incluso lo storage.

Al contempo diventa mandatorio adottare interfacce utente intuitive e facilmente accessibili da parte di differenti figure specializzate come biologici, fisici, ingegneri, medici ecc. In ultimo luogo, il formato dei dati e le API di accesso devono rispettare standard internazionali di interoperabilità per massimizzarne la portabilità e l'esecuzione delle pipeline in ambienti cloud.

Con il presente contributo vogliamo descrivere lo stato dell’arte relativo allo sviluppo della piattaforma Genomica Computazionale nel contesto di collaborazione tra INFN e l'IRCSS AOU Sant'Orsola, principale ospedale di ricerca universitario di Bologna.

La piattaforma attualmente è realizzata su due differenti tenant nello stack IaaS OpenStack di EPIC (Enhanced PrIvacy and Compliance) Cloud, il servizio di INFN Cloud atto a soddisfare i requisiti dei progetti ed esperimenti che operano su dati clinici, biomedici e genomici. Al fine di garantire il massimo rispetto delle leggi, dei regolamenti e delle linee guida in vigore (come il GDPR, le autorizzazioni del Garante per la Protezione dei Dati personali e le linee guida dello European Data Protection Board), EPIC Cloud è certificata secondo gli standard per la gestione sicura delle informazioni riconosciuti a livello globale, come ISO/IEC 27001:2013, ISO/IEC 27017:2015 e ISO/IEC 27018:2017.

In questo lavoro verranno mostrate le tecnologie adottate e in particolare i miglioramenti implementati per la migrazione da una infrastruttura tradizionale basata su code verso una infrastruttura cloud, utilizzando un approccio a microservizi con una particolare attenzione alla sicurezza dei dati.

Speaker: Jacopo Gasparetto (Istituto Nazionale di Fisica Nucleare)

Sorsola_ccr_2024.pdf

17:30 Setting up an open-source XNAT IT platform for medical imaging research

With the advent of Artificial Intelligence, there is an increasing need for appropriate data management and administration systems. In particular, collecting and organizing large datasets of medical imaging data presents several challenges, especially in multi-centric studies. These include ensuring data security, maintaining data integrity, and addressing privacy requirements according to GDPR and privacy laws. Institutions engaged in medical research projects often face an IT gap due to the absence of adequate IT tools enabling them to share everything they need at all process stages: input data collection, analysis methods and models, and storing results for future use. Within the PNRR THE (Tuscany Health Ecosystem) project, investigating the radiobiological mechanisms of the new FLASH radiotherapy requires a well-organized database to store and connect heterogeneous data from heterogeneous groups’ experiments. In order to meet all these requirements we propose to use XNAT (https://www.xnat.org/), an open-source IT software platform designed to facilitate the storage, custom workflow processing, and secure distribution of medical images and related patients’ data. An XNAT server has been installed at INFN-Pisa Data Center, it serves as a pilot project structured with incremental multi-phase deployment and feasibility valuation step by step. At phase 1, we created a new vm (vmware cluster) on top of that we deployed the XNAT instance as a dockerized container with configurable dependencies. Subsequently, we set up storage (GPFS cluster), customized authentication plugin (INFN-AAI), user notification system and SSL Certificate. At phase 2, we would like to implement these requirements:

• Multi-institutions authentication (IDEM GARR AAI)
• Run workflow data analysis (infrastructure integration)

The main goal is setting up an integrated medical research environment to promote data sharing and collaboration between multidisciplinary groups, preserving input data privacy, custom workflow analysis and results for future applications.

[1] Fantacci., M. (2024). Characterization and quantification of image quality in ct imaging systems: A phantom
study. In Proceedings of the 17th International Joint Conference on Biomedical Engineering Systems and
Technologies - BIOIMAGING, pages 289–296. INSTICC, SciTePress

Speaker: Antonino Formuso (Istituto Nazionale di Fisica Nucleare)

xnat169_ccr2024.pdf

xnat43_ccr2024.pdf

17:45 Portable and resilient infrastucture in Cloud Environment for ANSYS application

With the growing trend of organizations transitioning to cloud computing, it has become crucial to adapt local batch solutions to cloud environments. In such respect, our activity has been focused on investigating alternatives environment solutions in order to run workflows designed by researchers from the Rizzoli Orthopedic Institute (IOR). The aims are to estimate the risk of a femur fracture occurring when specific loads from different angles are applied and to carry out studies on the wear of knee prosthesis, by simulating joint kinematics and loading conditions over time. ANSYS, the computer simulation modeling software used for the scope, is currently executed in a local batch system. To enhance the interoperability of this solution, it is useful to move to a microservices-based environment in INFN Cloud, using Kubernetes and Nextflow.

Kubernetes provides a scalable and flexible platform for deploying and managing containerized applications, making it an ideal choice for running even complex workloads in the Cloud. Likewise, Nextflow, a workflow management tool, has been choosen as it easily integrates various software packages and environment management systems. Moreover, it simplifies writing and deploying data-intensive computational pipelines.

As an added value, the adoption of object storage service has been considered to provide data persistence and sharing capabilities among applications as well as different research groups thanks to its HTTP-based RESTful API.

The present study aims to find advantages and possible improvements, by leveraging a cloud-enabled approach. Moreover, as we will manage personal data from patients, hence subject to GDPR, the workflow must be executed in a secure infrastructure. Since at CNAF we have already worked on projects that treat personal data, we have gained experience in security field, hardening tools (RKE2+CIS) and infrastructures (EPIC). Finally we aim to wrap those workflows in a microservices-based environment on a secure Cloud infrastructure and be able to easily replicate this recipe in future biomedical collaboration.

Speaker: Letizia Magenta (Istituto Nazionale di Fisica Nucleare)

SLIDES_Portable and resilient infrastucture in Cloud Environment for ANSYS application.pdf

17:50 Integrazione e test di un sistema basato su Virtual Kubelet per l’offloading di workflow containerizzati

In una infrastruttura di calcolo federato ed eterogeneo in grado di federare risorse HPC, HTC e cloud computing la capacità di gestire workflow che possano sfruttare, in modo trasparente, diversi providers ed eventualmente diversi tipi di hardware è un aspetto di particolare importanza. Questo può diventare un elemento fondamentale per abilitare i casi d’uso scientifici in cui diverse parti in un workload possono essere eseguite su infrastrutture dedicate. Nel contesto WP6 di DataCloud è stato avviato un PoC basato sulla soluzione interLink (in sinergia con progetto InterTwin), che estende il concetto di Virtual Kubelet con un design che mira ad un'astrazione comune per i backend eterogenei abilitandone l’uso attraverso le primitive di Kubernetes. L’obiettivo è quello di effettuare test funzionali e definire benchmark per validare l'applicabilità della soluzione in un contesto di produzione in futuro. Dopo una breve overview tecnica saranno mostrati i risultati dei primi test basati sui casi studio emergenti e gli scenari di integrazione con risorse dedicate a tale sperimentazione.

Speaker: Giulio Bianchini (Istituto Nazionale di Fisica Nucleare)

Palau2024-Offloading.pdf

18:10 Rilevamento di anomalie nell’infrastruttura e nei servizi offerti da INFN-Cloud

INFN-Cloud mette a disposizione dei gruppi di ricerca una infrastruttura Cloud federata e un ricco portfolio di servizi. Tra questi si inserisce il sistema di orchestrazione INDIGO PaaS, un middleware di servizi che gestisce tutto il processo di attivazione di un servizio, dalla loro richiesta da parte degli utenti fino alla sua esecuzione su uno dei siti federati a disposizione. Il componente principale di questo middleware è l’INDIGO PaaS Orchestrator. Da una parte c'è un impegno nell'innovazione, con continui miglioramenti dei servizi e nel numero di servizi offerti. Dall’altra parte c'è un impegno continuo affinché il sistema sia affidabile in tutte le sue parti, in modo che l’utente possa, in ogni momento, richiedere un servizio funzionante su una infrastruttura monitorata e validata.

In questo contributo viene presentata un'attività che ha portato ad implementare un sistema di verifica continua dei servizi offerti dal portale, da un lato, e dei siti federati eleggibili dall’orchestratore per eseguire il servizio scelto dall’utente. Ciò porta a rilevare tempestivamente anomalie o malfunzionamenti e agire in maniera reattiva per la loro risoluzione. Il sistema implementato si basa su Jenkins, uno strumento open source che fornisce dei servizi di test e integrazione continua per lo sviluppo del software.

Speaker: Gioacchino Vino (INFN (IT))

Rilevamento di anomalie nell’infrastruttura e nei servizi offerti da INFN-Cloud.pdf

18:15 Q/A

Speaker: Marica Antonacci (Istituto Nazionale di Fisica Nucleare)

Questions

19:00 → 19:15 Aperitivo e consegna gadget

19:15 → 19:45 SPONSOR HUAWEI: "Raggiungere la sostenibilità nell'era digitale"

Lo storage è un componente essenziale delle moderne infrastrutture informatiche, che consente alle organizzazioni di gestire, analizzare e utilizzare dati per i processi desicionali, offrire servizi o supportare la ricerca.
Ormai, è chiaro che il panorama dello storage sta cambiando a un ritmo senza precedenti, guidato dalla convergenza dell’innovazione tecnologica e delle mutevoli esigenze. Queste tendenze non sono solo frasi del momento o mode passeggere; sono il futuro e promettono di ridefinire il modo in cui le organizzazioni gestiscono e utilizzano le loro inestimabili risorse digitali.
Si prevede che il mondo avrà 175 ZB di dati entro il 2025. L'High Performance Computing (HPC) richiede grandi quantità di capacità e velocità di dati. L'IA generativa, alimentata da modelli di machine learning tecnologicamente avanzati è responsabile dell’ impennata nella creazione dei dati ed ha reso necessaria una rivalutazione delle architetture di storage per adattarsi all'aumento del volume, della varietà e della velocità dei contenuti generati.
Il mercato risponde con dischi SSD, software-defined storage, cloud ed lo storage del futuro potrebbe essere il DNA.
L'aumento della domanda ha messo a dura prova l'infrastruttura esistente, costringendo a forti investimenti per affrontare nuove sfide in termini di sicurezza informatica e sostenibilità ambientale. Huawei ha da anni investito risorse per essere affianco delle imprese per vincere queste sfide.

Speaker: Lucio Ceruti (HUAWEI)

Wednesday, 22 May

08:30 → 13:05 Sessione "Tecnologie ICT Hardware e Software": prima parte

08:30 Quantum Machine learning frameworks for charged particle tracking

Tracking charged particles in high-energy physics experiments is a computationally intensive task. With the advent of the High Luminosity LHC era, which is expected to significantly increase the number of proton-proton interactions per beam collision, the amount of data to be analysed will increase dramatically.

Conventional algorithms suffer from scaling problems. We are investigating the possibility of using machine learning techniques in combination with quantum computing.

In our work, we represent charged particle tracks as a graph data structure and train a hybrid graph neural network consisting of classical and quantum layers. The aim is to see if we can gain an advantage using quantum technologies.

We report on the state of the art of quantum machine learning frameworks, such as Jax, Pennylane, and IBM Qiskit, eventually using GPUs as accelerators.
Finally, we give an outlook on the expected performance in terms of scalability of accuracy and efficiency.

Speaker: Laura Cappelli (Istituto Nazionale di Fisica Nucleare)

QML4HEP-Cappelli.pdf

08:55 Utilizzo di risorse con architetture ARM negli esperimenti di LHC

Negli ultimi anni le collaborazioni di LHC hanno prodotto un grande sforzo per portare il codice di esperimento su architetture eterogenee, per esempio dotate di acceleratori grafici (GPU) o comunque non convenzionali rispetto alle risorse tradizionali della GRID, come le architetture ARM.
Tale spinta è stata dettata dall'opportunità di reperire risorse opportunistiche disponibili nei centri di calcolo e allo stesso tempo per valutare i rapporti costi/benefici nell'utilizzo di tali risorse.
La validazione del software degli esperimenti su tali architetture è un requisito fondamentale per gli esperimenti per passare ad un utilizzo
in produzione.
Nell'ambito dello Spoke 2 del progetto PNRR-CNHPC è stata definita una flagship con lo scopo di validare il software e di configurare le procedure di accesso alle risorse per diversi esperimenti, in vari casi di utilizzo.
Si presenterà lo stato di avanzamento del progetto insieme ai
risultati più recenti ottenuti nell'ambito degli esperimenti ALICE,
ATLAS e CMS.

Speaker: Lorenzo Rinaldi (Istituto Nazionale di Fisica Nucleare)

ARM-CCR24.pdf

09:20 AccelerateRL: simulazioni di beam dynamics su INFN Cloud per il training di modelli di Reinforcement Learning

Le tecniche di Reinforcement Learning vengono sempre più utilizzate per ottimizzare automaticamente la dinamica del fascio negli acceleratori di particelle. Un agente implementato con un modello di Deep Learning può essere addestrato per esplorare in modo efficiente lo spazio dei parametri del sistema di controllo di un acceleratore e convergere verso la configurazione del fascio ottimale. L'addestramento di tali modelli è limitato dal punto di vista computazionale dal numero di simulazioni della dinamica del fascio che possono essere eseguite in un tempo ragionevole. È quindi fondamentale scalare tale carico di lavoro su un'infrastruttura di calcolo dedicata pur mantenendo un'interfaccia semplice e di alto livello per l'utente.

Questo contributo presenta AccelerateRL: un pacchetto Python che sfrutta Dask, una libreria open-source, per consentire l'esecuzione parallela del simulatore TraceWin su Kubernetes, utilizzando un numero di worker scalabile dinamicamente e richiedendo modifiche minime al codice utente. I worker vengono istanziati con un'immagine docker personalizzata caricata su baltig.infn.it e configurata con l'ambiente necessario per avviare la simulazione. L'approccio è stato validato utilizzando il servizio “cluster Kubernetes” su INFN Cloud per simulare la linea di fascio ADIGE presso i Laboratori Nazionali di Legnaro.

Speakers: Daniel Lupu (Istituto Nazionale di Fisica Nucleare), Dr Davide Marcato (INFN - LNL)

Talk accelerateRL.pdf

Talk accelerateRL.pptx

09:45 Aggiornamento su nuove tecnologie

Il contributo intende aggiornare la platea sulle piu' recenti evoluzioni tecnologiche in ambito Data Center, con focus sulle tematiche emerse recentemente (AI in primis).
Saranno presentati i recenti contributi forniti dal gruppo tecnologie di C3SN e la ripresa delle attivita' del gruppo HEPiX omonimo

Speaker: Andrea Chierici (Istituto Nazionale di Fisica Nucleare)

20240522 - Aggiornamento tecnologico.pptx

10:10 SPONSOR E4 Computer Engineering: "Boosting scientific applications performance on novel computing architectures"

Scientific computing is widely recognised as the third pillar of physics together with theory and experiments. In this scenario, High Performance Computing (HPC) plays a key role allowing for modelling increasingly realistic and more detailed processes thanks to the availability of larger and larger computational power. Moreover, HPC has been instrumental in empowering machine learning and artificial intelligence enabling the training of progressively complex models with unprecedented speed and efficiency.
Challenged by Moore’s law, HPC is continuously evolving with the introduction of novel more performant architectures, which promise innovative and paradigmatic changes. With such a variety, it is crucial to check how legacy scientific codes perform on the latest available computing technologies. Indeed, understanding strengths and weaknesses of different architectures related to each specific application will lead on one hand to better utilisation of the available resources and on the other hand to the possibility of improving the application in a co-design fashion.
In this presentation, we are going to analyse the behaviour on different architectures of some of the most widespread benchmarks and codes in high-energy physics, fluid dynamics, material science, and plasma physics. We will look at the execution time of these selected applications and their scalability. We will also investigate the impact of architectural features such as cache hierarchy, vectorisation support, and memory bandwidth. Finally, we will make consideration on power consumption. Our study will thus provide guidance for developers in selecting the most suitable architecture given their workloads and optimising applications through architecture-aware design strategies.

Speaker: Elisabetta Boella (E4 Computer Engineering)

2024_05_22-E4-Computer-Engineering-INFN_bis.pdf

2024_05_22-E4-Computer-Engineering-INFN_bis.pptx

10:40 Pausa caffé

11:10 High availability Kubernetes for security purposes

Due to the increasing interest in cloud-oriented services and the need to provide reliable and resilient applications, we decided to explore and integrate some of recent cloud-enabled technologies.

For this reason, we have been focused on the design and the implementation of a cloud-oriented platform based on Kubernetes, which has become a de facto standard for container orchestration. Thanks to its functionalities, Kubernetes offers significant advantages in terms of configuration, flexibility and resilience, make it possible to integrate and operate with other different services and components, including those made available via OpenStack.

Moving to the next abstraction level, we developed the RKE2 + Puppet combination, used for fast deployment and maintenance of the desired state of the Kubernetes cluster. RKE2 was chosen because it is supported by an active community, which continuously updates the software, periodically fixes any vulnerabilities and, moreover, offers a good user guide. By design, RKE2 considers the security aspects by implementing the Center for Internet Security benchmarks, a set of controls and best practices aimed at securing the cluster. The cluster has been integrated with different tools and technologies: Kyverno to automatically define limits on resources and consequently preserves the state of the cluster; Harbor used as repository and image caching; CephFS to provide a dynamic storage to the cluster; ArgoCD used as a continuous delivery tool; backup and monitoring tools to check the status of the services as well as the load of the resources.

The purpose of the talk is to present the work done to design and implement a multi-purpose Kubernetes cluster, together with the different services integrated, ranging from the infrastructure level up to the high-level abstraction applications. As an added value, the multi-purpose Kubernetes cluster will act as a model to provide a cloud-oriented platform within the DARE project, the broader Italian and European economic recovery plan aimed at defining solutions for surveillance, prevention, health promotion and health safety. In this collaboration, INFN has the task of making available for the purposes of the project both computational resources and expertise gained in the technological field. The nature of the project, the research area in which it works, involves the handling and elaboration of medical data.

Speaker: Francesco Sinisi (Istituto Nazionale di Fisica Nucleare)

HAK8s_sec_purposes.pdf

11:35 SPONSOR DELL: "Networking for GenAI"

L’esecuzione efficace di workloads distribuiti su molte GPU o di Intelligenza Artificiale Generativa richiede un cambio di paradigma sia nel tipo di architettura di calcolo utilizzata che nella topologia e natura delle interconnessioni tra i nodi e i sistemi di memorizzazione dei dati. Il talk intende dare una overview delle possibili tecnologie e topologie di interconnessione per tali workloads ed una panoramica delle soluzioni disponibili sul mercato a portafoglio Dell Technologies.

Speaker: Paolo Bianco (DELL)

DellNetworking AI @CCR palau1.pdf

12:05 Estensione della farm del CNAF su Leonardo

Al CNAF abbiamo iniziato la sperimentazione che ci permettera' di utilizzare le risorse di calcolo di Leonardo come estensione della farm del Tier1 del CNAF. In questa presentazione raccontiamo tutti i dettagli e le soluzioni implementate per ottenere il risultato.

Speaker: Dr Diego Michelotto (CNAF)

20240522 WS CCR Palau Estensione Leonardo.pdf

12:15 Software Management: un servizio di distribuzione del software basato su CernVM-FS

In un ambiente altamente eterogeneo e distribuito, l’adozione di soluzioni volte alla condivisione di software, librerie e relativi file di configurazione è una necessità per la comunità scientifica. Le attività sul Software Management Service condotte nell’ambito del WP6 di DataCloud nascono con l’obiettivo di rendere tale condivisione efficiente, facile da usare per l'utente finale e utilizzabile in ambienti multidisciplinari.

A tal fine è stato sviluppato un prototipo adottando soluzioni ben consolidate come CernVM-File System, integrandolo con tecnologie come Ceph RGW, Vault e RabbitMQ che hanno permesso di realizzare due aspetti per noi fondamentali: l’automazione e l’astrazione. L'obiettivo di questa attività, infatti, è quello di implementare un servizio orientato al cloud che permetta all’utente finale di (i) richiedere un repository CVMFS personale o di gruppo attraverso un bottone della Dashboard di INFN Cloud, (ii) distribuire i software e file di configurazione semplicemente copiandoli nel proprio bucket S3 in DataCloud, (iii) accedere agli stessi attraverso il repository CVMFS in modo trasparente.

CernVM-FS è stato inoltre adottato per la distribuzione di immagini di container precedentemente caricate su una specifica area del registry Harbor di DataCloud. A tale scopo è stata replicata la soluzione unpacked.cern.ch sviluppata al CERN. L’utente, dopo avere caricato l’immagine di suo interesse in uno specifico progetto dell’istanza di Harbor, può utilizzarla ed eseguire il container corrispondente da un qualsiasi nodo dell’infrastruttura distribuita in cui è installato il client CernVM-FS.

Nascondendo la complessità del sistema sopra citato, è dunque possibile abbreviare la curva di apprendimento nell’utilizzo del servizio e migliorare l'esperienza utente nell’adozione dello stesso.

Speaker: Mrs Giada Malatesta (Istituto Nazionale di Fisica Nucleare)

SoftwareManagement.pdf

12:25 Open Policy Agent come motore di autorizzazione nel middleware Grid

Open Policy Agent (OPA) è un motore di autorizzazione open-source che consente di definire, gestire e applicare policy di sicurezza in modo flessibile e coerente all'interno di un'infrastruttura software. OPA fornisce un linguaggio per la definizione delle policy flessibile e dichiarativo, chiamato Rego. Le API RESTful di OPA consentono di integrare il servizio con una vasta gamma di framework e soluzioni, compresi sistemi di autenticazione, microservizi, API e altro ancora. È progettato per essere altamente scalabile e per gestire grandi volumi di richieste, il che lo rende una scelta ideale per l’uso in servizi Grid come INDIGO IAM o StoRM.
In questa presentazione si vuole dare una descrizione delle potenzialità di questo framework nonché illustrare come OPA sia stato utilizzato nei servizi di storage come StoRM Tape REST API e StoRM WebDAV per implementare le regole di autorizzazione definite nel profilo JWT di WLCG e di come sia stato integrato con successo in INDIGO IAM per sostituire il meccanismo di valutazione delle scope policies. Verranno inoltre illustrate le opportune comparazioni in termini di performance e compliance tra le soluzioni precedenti e quelle basate su OPA.

Speaker: Federica Agostini (CNAF-INFN)

OPA-MW-CCR.pdf

12:35 Evoluzione di INDIGO IAM: da MITREid a Spring Security, nuova dashboard e supporto 2FA

INDIGO IAM è una soluzione completa che permette alle organizzazioni di gestire e controllare efficacemente l'accesso alle loro risorse e servizi. Si tratta di un'applicazione Spring Boot, basata sulle tecnologie OAuth/OpenID Connect e sulla libreria MITREid Connect. INDIGO IAM è stato scelto come soluzione AAI dalla comunità WLCG ed è utilizzato da anni dai servizi INFN DataCloud, così come da diversi altri progetti ed esperimenti.

INDIGO IAM sta subendo un'importante evoluzione che include il superamento delle dipendenze obsolete verso framework più moderni e robusti. In questo contesto verranno descritte la migrazione da MITREid Connect a Spring Authorization Server, per l'implementazione dei flussi OAuth/OIDC, e da AngularJS a ReactJS, per la definizione di una nuova dashboard. Inoltre, verranno illustrati tutti quei nuovi sviluppi, in corso o in fase di progettazione, che includono miglioramenti significativi in diverse aree chiave del sistema, come l'auditing, la scalabilità e le performance, l'usabilità web e la sicurezza dall'implementazione di password più robuste all’autenticazione a due fattori.

Speaker: Roberta Miccoli (Istituto Nazionale di Fisica Nucleare)

INDIGO-IAM_evolution.pdf

12:45 Formazione di un gruppo di collaborazione su tecnologie web Front-end per INFN Cloud

In questo breve intervento, proporremo la formazione di un nuovo gruppo di lavoro composto da sviluppatori e grafici, con l'obiettivo di progettare e sviluppare interfacce utente (UI) per i servizi web dell'INFN Cloud.
Il nostro intento è armonizzare e uniformare il design delle UI già esistenti, nonché stabilire uno stile identitario di riferimento per l'INFN Cloud, che includa una palette di colori, forme e font coerenti. Attualmente esistono documenti con alcuni standard di colori, font e dimensioni, che sono molto discordanti tra di loro. Per questo motivo, si propone di uniformare il tutto e creare uno standard unico.
Utilizzeremo strumenti di condivisione già consolidati, come Figma e repository GIT.
Presenteremo inoltre i primi lavori di armonizzazione svolti, tra cui la nuova dashboard di INFN-Cloud, la nuova dashboard IAM, la web UI del servizio object storage dell’INFN Cloud.
Il gruppo di lavoro è aperto a tutti coloro che sono interessati a contribuire.

Speaker: Alessandra Casale (Istituto Nazionale di Fisica Nucleare)

Presentazione_FrontEnd_v2.pdf

12:55 Implementazione di una permissioned BaaS su INFN Cloud per la gestione di dati scientifici

La Blockchain è una tecnologia che permette di memorizzare in modo trasparente e immutabile informazioni attraverso un sistema di registri distribuiti e decentralizzati. Sebbene questa tecnologia sia diventata famosa principalmente per lo sviluppo di cryptovalute, come Bitcoin, le sue applicazioni si possono estendere in progetti in cui si opera con dati sensibili, confidenziali o ad accesso limitato. In quest’ottica abbiamo esplorato tale tecnologia con l’obiettivo di implementare un sistema di Blockchain permissioned che garantisca l’immutabilità dei dati, la tracciabilità delle operazioni effettuate e la riproducibilità dei workflow. Questi aspetti sono diventati cruciali in molteplici settori privati e pubblici.

In questo lavoro presentiamo la nostra implementazione di un servizio di Blockchain as a Service (BaaS) permissioned in Cloud, on demand, basato su Hyperledger Fabric (HF), un software open source che offre una serie di funzionalità tra le quali: generare o importare certificati digitali in formato x.509 per autenticare e autorizzare i partecipanti; sviluppare smart contract usando diversi linguaggi di programmazione tra cui Go, Javascript a Java; far comunicare servizi off-chain con la Blockchain usando REST APIs. L’approccio che abbiamo definito ed implementato permette di operare sui metadati associati al dato piuttosto che sul dato nella sua interezza. Questo approccio ci permette di conservare solo le informazioni essenziali sulla blockchain gestendole in modo efficiente, ottimizzando lo spazio di archiviazione utilizzato e consentendo la potenziale eliminazione dei dati salvati off-chain. È importante sottolineare, infatti, che le informazioni salvate sulla blockchain non sono cancellabili.

Indipendentemente dal sistema di archiviazione, l’uso di REST API permette di interagire con il sistema blockchain e di archiviare i metadati relativi ai nuovi dati prodotti. Per ogni operazione effettuata sul dato, vengono registrati dettagli come timestamp dell’operazione, identità dell'utente che l’ha eseguita e tipologia di operazione svolta. Questo approccio permette di facilitare i controlli di validità sulle operazioni effettuate, sullo stato dei dati salvati off-chain e la ricostruzione completa del workflow.

Speaker: Domingo Ranieri (Istituto Nazionale di Fisica Nucleare)

Implementazione_di_una_permissioned_BCaaS.pdf

13:05 → 14:30 Pausa pranzo

14:30 → 15:30 Poster session

15:30 → 16:00 SPONSOR LENOVO: "AI, Gen AI, and Metaverse: A New Era of Possibilities and Challenges"

This keynote will explore the dynamic interplay between Artificial Intelligence (AI), the evolution of Generation AI (Gen AI), and the immersive realms of the Metaverse. We will discover how these synergies are unlocking new possibilities for Metaverse application, shapeshift the underlying technological stack and creating a transformative landscape where intelligent computing, contextual understanding, and immersive experiences converge to shape the digital frontier. Collaborative forces of AI, Gen AI, and the Metaverse will usher in a new era of connectivity, responsiveness, and innovation but not without challenges.

Speaker: Valerio Rizzo (LENOVO)

Lenovo_AI_MV_VR.pdf

16:00 → 16:30 Pausa caffe

Thursday, 23 May

09:00 → 13:00 Sessione "Tecnologie ICT Hardware e Software": parte seconda

09:00 Experiences on AI inference with FPGAs

In the context of scientific computing there is a growing interest towards DNNs (Deep Neural Networks) increasingly used in several scientific applications, spanning from medical imaging segmentation and classification, to on-line analysis of experimental data.
Despite GPUs are the most used accelerators in this context, FPGAs are also emerging as a "new" technology promising higher energy-efficiency and lower latency solutions, in particular for the inference phase of DNNs and ML algorithms.
In this talk, after a brief introduction on FPGA devices and programming frameworks, the results for the inference phase of an actual application, concerning the identification of calcium lesions on contrast enhanced CT-scans, will be presented, showing a comparison with GPU accelerators in terms of time-to-solution, accuracy and energy-efficiency.

Speaker: Enrico Calore (Istituto Nazionale di Fisica Nucleare)

Calore-FPGA.pdf

09:25 Developing Artificial Intelligence in the Cloud: the AI_INFN platform

The INFN CSN5-funded project AI_INFN ("Artificial Intelligence at INFN") aims at fostering the adoption of ML and AI within INFN by providing support on multiple aspects, including the provision of state-of-the-art hardware for AI and ML, leveraging on cloud native solutions in the context of INFN Cloud, to share hardware accelerators as effectively as possible without compromising on the diversity of the research activities of the Institute. AI_INFN evolves the Virtual-Machine-based model towards a more flexible platform built on top of Kubernetes. This is meant to be a composable toolkit and currently features: JWT-based authentication, JupyterHub multitenant interface, distributed filesystem, customizable conda environments, and a specialized monitoring and accounting system. Last but not least, the platform is an enabler to implement the offloading mechanism based on Virtual Kubelet and interLink API, a synergy with InterTwin. Preliminary results and applications will be presented.

Speaker: Rosa Petrini (Istituto Nazionale di Fisica Nucleare)

AI_INFN_platform.pdf

09:50 AI Playground: a curated collection of technologies offered “as a Service” on top of INFN Cloud for fast prototyping Machine Learning solutions across INFN research areas.

The introduction of ChatGPT in November 2022 has gained widespread attention and significantly boosted Generative AI adoption in technological solutions, highlighting the potential of AI to automate tasks, analyze large datasets, and make predictions with high accuracy.

The fast-paced adoption of AI techniques has also been possible by the development and general availability of AI frameworks, libraries and platforms that provide structured approaches that make it easier to implement AI solutions.

The integration of AI and Machine Learning (ML) in the Physics domain is also becoming increasingly pervasive, transforming the way scientists approach and solve complex problems. For instance, ML techniques in the High Energy Physics (HEP) domain are ubiquitous, successfully used in many areas and are playing a significant role in LHC Run 3 and in the future High-Luminosity LHC upgrade.

INFN always stands at the frontier’s edge of the most innovative technological advancements, hence supporting AI as a promising approach across the diverse research areas.

However, AI adoption requires researchers at INFN to solve not only problems related to the specificity of the application/experiment (e.g., tailored models and specialized domain knowledge), but also requires solving general infrastructure-level and ML-workflow related problems.

In this regard, we introduce AI Playground, a curated collection of technologies offered “as a Service” on top of INFN Cloud, for fast prototyping Machine Learning solutions across INFN research areas.

AI Playground leverages INFN Cloud resources and principles by providing an open-source solution to INFN users that can be deployed through the INFN Cloud Dashboard.

The general idea behind the design of AI Playground is to address common use cases within the institute, collect reliable and consolidated technologies to solve these problems, then offer these technologies within the playground so that scientists can easily prototype their AI solutions for use cases that can benefit of the same technologies.

In this contribution we introduce the principles and high-level architecture of AI Playground and address two use cases in different domains that have been prototyped within the playground.

The first use case is in the NLP domain: we expose through an INFN Cloud HTTP endpoint a RAG (Retrieval Augmented Generation) pipeline: RAG is a popular technique for injecting knowledge into a Large Language Model (LLM). We describe the RAG pipeline implemented through on-premises model serving of open source LLMs.

The second use case is in the HEP domain: we expose through an INFN Cloud HTTP endpoint a model for inference related to a signal-vs-noise discrimination problem about data generated by particle collisions.

The two use cases belong to different research areas but leverage the same AI Playground technologies.

AI Playground is currently a work in progress, the aim is that its application-agnostic nature will serve as a unified ecosystem where developers, data scientists, and domain experts can leverage a standardized framework for ML model development and deployment. Hopefully, the playground will eliminate the need for extensive domain expertise in every application area, empowering a broader audience to leverage the benefits of machine learning, breaking down barriers and fostering innovation across diverse research domains.

Speakers: Luca Giommi (Istituto Nazionale di Fisica Nucleare), Mauro Gattari (Istituto Nazionale di Fisica Nucleare)

CCR-Workshop-05-2024-AIPlayground.pdf

CCR-Workshop-05-2024-AIPlayground.pptx

10:15 Verso un supporto (AI)ntelligente per gli utenti del Tier-1

Il CNAF fornisce risorse di calcolo a oltre 60 comunità scientifiche (non solo LHC) e garantisce supporto agli oltre 1700 utenti attivi che accedono alle sue risorse e/o servizi tramite il reparto dedicato User Support (US). Il crescente numero di utenti e il continuo sviluppo di nuove tecnologie rende cruciale il ruolo del reparto US che gestisce quotidianamente decine di mail/ticket per garantire un utilizzo efficace delle risorse di calcolo e supporto nell'adozione delle ultime tecnologie software. A seconda delle richieste, altri reparti specializzati del CNAF possono essere coinvolti nell'interazione con l'utente arricchendo il sistema di ticketing con tutorial e competenze tecniche che difficilmente troverebbero spazio nella Guida Utenti del Tier-1.
Al fine di efficientare l'attività dello US, diventa necessario automatizzare il coinvolgimento dei reparti interessati da richieste specifiche degli utenti. Moderne tecniche di processamento del linguaggio possono essere impiegate a tal fine, permettendo un efficace classificazione delle comunicazioni con gli utenti anche in un ambiente tipicamente multilingua (inglese/italiano) come quello del CNAF. Le performance raggiunte dai più moderni Modelli Fondazionali (come GPT-4 o Llama 2) permettono inoltre di "formare" un agente digitale e automatizzare le risposte agli utenti sulla base delle conoscenze contenute nella Guida Utenti e in pagine web su Internet accuratamente selezionate.

Speaker: Matteo Barbetti (INFN CNAF)

AI_support_mbarbetti.pdf

10:40 SPONSOR VERTIV: "Evoluzione del Liquid Cooling"

Le infrastrutture HPC sono elementi essenziali per il progresso scientifico e tecnologico. Con i finanziamenti legati al piano PNRR , essi sono una risorsa strategica a livello nazionale nonchè un elemento fondamentale per la competitività sulla quale l’Italia sta puntando per rilanciare le sue eccellenze a livello mondiale.
Non bisogna dimenticare che queste strutture sono energivore dunque, l’ Efficienza energetica e la sostenibilità giocano un ruolo chiave nella scelta delle tecnologie.
A tale scopo nuovi indicatori di misura dell’ efficienza di un Data Center sono stati introdotti :PUE (Power Usage Effectiveness) , DciE (Data Center Infrastructure Efficency), ERE (Energy Reuse Effectiveness).
A quattro mesi dalla erogazione della quarta rata del PNRR, Vertiv leader mondiale della business continuity, fa il punto delle tecnologie dedicate all’ ambito della ricerca e del High Power Computing, presentando una panoramica di tecnologie ed architetture infrastrutturali usate per supportare la rapida implementazione e l’evoluzione tecnologica dei datacenter HPC.
All’interno della presentazione saranno illustrati casi concreti di infrastrutture per datacenter sviluppati per centri di ricerca e le differenti tecnologie impiegate, confrontandone caratteristiche e benefits in particolare riferimento al risparmio energetico ed alla sostenibilità ambientale.

Speaker: Maurizio Giordano (VERTIV)

Il DATA CENTER DEL DOMANI.pptx

11:10 Pausa caffé

11:40 SPONSOR ARISTA: "The networking in the AI era"

Artificial Intelligence is THE topic nowadays. It has revolutionary applications in basically, all fields of human life. But it also has big implications on the infrastructures needed to make AI fully proficient. Networking is one of the key aspects of this infrastructure. Let’s deep dive to fully understand how AI has already changed the way networks are built today and why Arista technology is the perfect fit for modern, efficient and flexible AI networks.
Agenda:
● Who is Arista Networks?
● Deep Learning Networking Requirements
● Networking Requirements for Inter-GPU Traffic
● Architectures for AI Network Fabrics
● A Quick Glance to the Future of AI Ethernet
● Conclusions
The idea of the presentation is to describe the main use cases of some customers, pros and cons of different types of model adoptions, from our point of view. Describe the new models in networking, based on the distributed AI models and how new AI networks must contribute in AI evolution and how different designs help customers in adopting it.
A glimpse on the future of networking is the key end of the speech.

Speaker: Davide Bassani (ARISTA)

INFN Workshop 2024 - Arista Networks.pdf

12:10 GARR-T: Beyond Data Services

In questa presentazione si esplora il potenziale della rete ottica GARR-T al di là della trasmissione dati, focalizzandosi sulla distribuzione del segnale di riferimento tempo/frequenza, sulle sperimentazioni di comunicazioni quantistiche e sulle attività legate al sensing per il monitoraggio ambientale e di infrastrutture. Saranno illustrate le attività in corso e le prospettive di sviluppo abilitate dalla rete ottica per queste applicazioni avanzate. Si delineano in questo campo nuove prospettive di utilizzo della rete GARR-T a supporto delle attività della comunità.

Speaker: Paolo Bolletta

2024-05-23-CCR_INFN_Palau_GARR-T-BDS_Bolletta.pdf

12:35 GARR-T: programmabilità e monitoraggio della rete ottica

Verrà illustrata una panoramica delle attività di sviluppo attualmente in corso sulla rete ottica GARR-T, che mirano a rendere il layer ottico visibile e programmabile tramite API e monitorabile con gli strumenti software attualmente più comunemente adottati. Questo sviluppo avviene nell'ottica di realizzare gli elementi abilitanti alla realizzazione di servizi dinamici sul layer ottico, utili per il supporto di Data Lake e per l'interconnessione dei Data Center.

Speaker: Matteo Colantonio (GARR)

Programmabilita Monitoraggio Rete GARR Colantonio.pptx

13:00 → 14:30 Pausa pranzo

14:30 → 18:30 Sessione "Servizi ICT": prima parte

14:30 Gestione utenti e licenze attraverso Servicedesk e Baltig

Il sistema delle licenze del software acquistato dall'INFN e' passato ad una gestione centralizzata attraverso l'infrastruttura di BC ospitata al CNAF. Nell'ottica di una ridefinizione dei meccanismi di registrazione degli utenti e di delega della resposabilita' dell'aggiornamento delle licenze, i Servizi Nazionali hanno implementato dei workflow di gestione usando la suite Atlassian e i tool CI/CD di Gitlab.
L'utente accede tramite le sue credenziali AAI ad un portale ospitato da Servicedesk, sceglie il software per il quale vuol essere registrato e genera un ticket. Questo scatena una pipeline di Gitlab che aggiorna un file di configurazione del license server, di cui rimane quindi lo storico delle versioni e degli aggiornamenti, e lo carica nella VM che ospita il server stesso. Allo stesso tempo permette di iscrivere l'utente alla mailing list di riferimento per il supporto all'uso del software.
Analogamente l'utente che gestisce le licenze, carica quella da rinnovare in un portale ospitato su Servicedesk. Il ticket che ne risulta avvia una pipeline di Gitlab che verifica la validita' della licenza e la carica sul server.
Questi meccanismi ci permettono di sfruttare al meglio gli strumenti di automazione che ci vengono offerti dai tool Atlassian e Gitlab senza dover ricorrere allo sviluppo di tool dedicati che vanno poi mantenuti e aggiornati.

Speaker: Marco Corvo (Istituto Nazionale di Fisica Nucleare)

Gestione_utenti_licenze_sdesk_baltig.pdf

14:55 Implementation of a Workflow for Secure Access to Cloud Services via a Two-Factor Authentication Portal

Cloud e-Infrastructure exposes several services to a great variety of users belonging from different scientific domain. A common requirement for those communities is the cybersecurity.

In computer security we referers to "hardening" as the process of making a potential vulnerable software secure from malicious users and cyberattack.

Hardening is essential when a software is offered in a cloud environment and it involves sensitive information such as clinical data.

Our solution is to provide a secure and reliable platform for scientific collaboration, enabling research to work in an environment conform to stringent safety standards and regulatory compliance.

In this work we present the standard technologies adopted in order to harden the Cloud Certified Environment where a medical application runs, supporting the activities in Silicon Medicine & Omics Data in the context of the National Research Center in HPC, Big Data, and Quantum Computing (ICSC-Spoke8).

Speaker: Enrico Gaetano Orlando (Istituto Nazionale di Fisica Nucleare)

Workshop CCR 2024.pptx

15:20 Identità Digitali: profili di garanzia IDEM ed il panorama internazionale dell'identity assurance

L'identità digitale federata si basa su due concetti fondamentali: fiducia e garanzia (assurance). Ambedue appartengono allo stesso dominio semantico, ma mentre la fiducia è la condizione che permette a due o più parti di stabilire relazioni, e quindi è alla base delle federazioni d'identità, la garanzia è una proprietà che si lega all'identita' digitale e ai suoi molteplici aspetti e componenti, tra cui la verifica dell'identità reale, la gestione delle credenziali, i fattori di autenticazione, ed altro ancora. Ogni componente può essere espresso con un grado di affidabilità indipenente e la loro unione dà luogo a profili o, quando ordinati gerarchicamente, livelli di garanzia.
La federazione IDEM ha definito un insieme di profili di garanzia per rispondere ai casi d'uso recentemente emersi nel mondo della ricerca e che fanno riferimento al REFEDS Assurance Framework, in particolare l'accesso ai servizi del National Institute of Health, dell'EuroHPC site LUMI e della Research Infrastructure LifeScience.
I profili di garanzia IDEM sono perfettamente compatibili con il REFEDS Assurance Framework, di cui impiegano il lessico di segnalazione, mentre dal punto di vista normativo sono basati sui Level of Assurance definiti da eIDAS.
Con la recente approvazione del REFEDS Assurance Framework 2.0, e l'uscita dalla fase sperimentale di adozione del framework da parte di LUMI e del NIH, il panorama internazionale dell'identity assurance per la ricerca sta entrando in una nuova fase di maturità.

Speaker: Dr Davide Vaghetti (GARR)

IDEM assurance profiles and the international identity assurance landscape.pdf

15:50 SPONSOR SCHNEIDER ELECTRIC: "AI, HPC, Liquid Cooling: un approccio pragmatico alle soluzioni"

L’Intelligenza Artificiale impatta fortemente l’uso delle soluzioni HPC. Per rendere queste soluzioni sostenibili energeticamente è necessaria l’adozione di soluzioni di Liquid Cooling che, al momento, non hanno una chiaro standard di progettazione e costruzione. Schneider Electric vuole fornire un approccio pragmatico che delinea soluzioni adottabili in un contesto ancora incerto.

Speaker: Francesco Di Pietro (Schneider Electric)

AI, HPC, Liquid Cooling un approccio pragmatico alle soluzioni_ITA.pptx

16:20 Pausa caffé

16:50 Progetto EPIK8S: EPICS on K8s - Control as a Service

Questo progetto ha la finalità di implementare un intero ecosistema EPICS su containers opportunamente orchestrati, installabile in maniera completamente automatica.
EPICS (Experimental Physics & Industrial Control System) consiste in un insieme di strumenti software e applicazioni che costituiscono un'infrastruttura ampiamente utilizzata dalla comunità scientifica come sistema di controllo distribuito per acceleratori di particelle, grandi esperimenti e telescopi. Questi sistemi di controllo comprendono tipicamente decine o anche centinaia di computer che operano l'azionamento, il monitoraggio e i processi di feedback delle varie parti dell'impianto e – di conseguenza – l'installazione e la configurazione delle varie macchine è onerosa.
Per l'effettiva realizzazione di questo progetto sono state prese in considerazione tre diverse tipologie di infrastruttura:
1) Bare metal: installazione completamente automatizzata di K8s su server fisici attraverso Puppet e Foreman. ArgoCD è stato utilizzato per il continuos delivery dell’ecosistema EPICS;
2) OKD: installazione completamente automatizzata attraverso l’uso di Terraform ed Ansibile per il provisioning dell’infrastruttura e ArgoCD per il continuoss delivery dell’ecosistema EPICS;
3) K8s su cloud: attraverso l’uso di ArgoCD è possibile istruire l’installazione automatizzata di EPICS anche su infrastruttura di tipo PaaS.
In tutte e tre le diverse tipologie di infrastruttura, ArgoCD costituisce l'elemento nodale per la distribuzione continua dei software necessari per l’installazione, la manutenzione e l’aggiornamento dell’intero ecosistema EPICS.

Speaker: Riccardo Gargana (Istituto Nazionale di Fisica Nucleare)

Epik8s_workshopCCR2024.pdf

Epik8s_workshopCCR2024.pptx

17:15 Realizzazione di un ambiente PostgreSQL distribuito ad alta affidabilità con replica sincrona, backup cloud-based e strumenti di monitoring

La gestione efficace della grande mole di dati provenienti da molteplici esperimenti rappresenta una sfida critica per l'INFN, richiedendo un approccio strutturato e scalabile per la loro archiviazione e recupero. Nel contesto di INFN DataCloud, lo strumento Rucio svolge un ruolo fondamentale, consentendo la gestione centralizzata di grandi volumi di dati supportati da molteplici backend di archiviazione organizzati su un'infrastruttura eterogenea distribuita. Questo software richiede il supporto di un database robusto e affidabile; a tale scopo, si è optato per l'utilizzo di PostgreSQL. In questa presentazione verrà descritta la procedura di installazione tramite Ansible di un server primario PostgreSQL con replica sincrona su uno o più server secondari situati in diverse regioni geografiche. Il progetto include la configurazione di pgBackRest per il backup periodico su INFN Cloud S3 e l'implementazione di repmgr per la gestione automatica del failover. Infine, l'ambiente PostgreSQL viene monitorato tramite l'utilizzo di Prometheus, Grafana e Zabbix.

Speaker: Dr Nadir Marcelli (Istituto Nazionale di Fisica Nucleare)

PostgreSQL_Nadir_Marcelli.pdf

17:40 Automazione nella Gestione DCIM nel Datacenter : Ricerca, Caricamento e Aggiornamento

La gestione avanzata del datacenter dell'Istituto Nazionale di Fisica Nucleare (INFN) di Roma si confronta con sfide complesse in termini di inventario dei dispositivi, disposizione spaziale delle risorse e sicurezza informatica, oltre alla crescente necessità di aderire a rigorosi requisiti di sicurezza e gestire efficacemente le vulnerabilità associate a specifiche versioni di software o hardware. La decisione di adottare NetBox come software DCIM (Data Center Infrastructure Management) emerge come soluzione strategica per affrontare queste problematiche, promuovendo un'organizzazione ottimizzata del datacenter. Questo strumento facilita una visione comprensiva degli spazi, sia liberi che occupati, e migliora la dislocazione geografica e spaziale delle risorse, supportando così la progettazione e la programmazione degli interventi. Tuttavia, l'introduzione di NetBox presenta nuove sfide, come l'integrazione nel workflow aziendale esistente e la necessità di un caricamento efficiente dei dispositivi. La principale sfida nell’utilizzo di NetBox è stata quella di dover caricare centinaia di dispositivi e interfacce a mano.

La risposta alla necessità di automatizzare l'inserimento dei dispositivi nel datacenter ha trovato soluzione nell'adozione di NetDisco, un software che impiega il protocollo SNMP per interagire con le interfacce di rete dei dispositivi. Questa interazione permette non solo la visualizzazione delle informazioni tramite una dashboard web, ma offre anche l'accesso a tali dati attraverso API REST. Queste ultime si sono rivelate fondamentali per l’integrazione di script in Python dedicati alla procedura di discovery e caricamento automatizzato. Gli script hanno il compito di estrarre, elaborare e infine caricare le informazioni direttamente in NetBox. Questo processo semplifica la procedura di caricamento dei dispositivi presenti nel datacenter, eliminando la necessità di inserimenti manuali laboriosi e soggetti a errori, ma stabilisce anche un flusso di lavoro più efficiente e accurato per l'aggiornamento e la manutenzione dell'inventario di rete. Inoltre, aprendo le porte in futuro a nuove funzionalità a supporto della continua richiesta di nuovi requisiti in ambito sicurezza, vulnerabilità e gestione dei dispositivi informatici.

In conclusione, questo progetto si è concentrato sull'elaborazione di un sistema automatizzato per la rilevazione e il caricamento dei dispositivi all'interno del datacenter utilizzando NetBox e altri tools a supporto. In aggiunta, si è posta l'attenzione sull'elaborazione di una soluzione che permetta l'aggiornamento automatico di NetBox a fronte di variazioni nella struttura del datacenter, adottando codice in Python per identificare eventuali cambiamenti nella configurazione della rete e proporre adeguamenti pertinenti su NetBox.

Speaker: Daniele Ramacci (Istituto Nazionale di Fisica Nucleare)

daniele-ramacci-netbox-v5.pdf

18:05 ZeroTier: una soluzione per software defined WAN decentralizzata basata su P2P

Speaker: Federico Zani (Istituto Nazionale di Fisica Nucleare)

ZeroTier - CCR 2024.pptx

Friday, 24 May

09:00 → 12:50 Sessione "Servizi ICT": seconda parte

09:00 Integrazioni Avanzate tra OpenSearch (BDP), Wazuh, MISP e Suricata

Per tenere sotto controllo la postura di sicurezza del CNAF abbiamo
installato e configurato un'istanza Clusterizzata di Wazuh,
integrandola con la Big Data Platform (BDP) invece di utilizzare il
suo Opensearch nativo.

Questa istanza e' stata in seguito Customizzata sia abilitando
capacita' disattivate di default come il System Integrity Monitoring e
la Vulnerability Detection, che integrandolo con prodotti esterni come
il Suricata Intrusion Detection e usando MISP (Malware Information
Sharing Platform) come sorgente di eventi interessanti da rilevare
qualora capitassero sulle nostre macchine.

Queste integrazioni hanno richiesto cambiamenti a livello di codice
sia nella parte OSSEC per la gestione delle opzioni, delle regole, e
delle directory di osservazione, che al livello di codice data la
necessità di script in Pyhton per consentire la comunicazione tra le
varie piattaforme mediante servizi RestAPI.

L'utilizzo congiunto del MISP e del sistema IDS permette inoltre di
personalizzare anche le regole che generano gli allarmi, cosi facendo
vi è la possibilità di utilizzare l'Active Response di Wazuh per poter
agire immediatamente non appena viene trovata un'anomalia.

Speaker: Francesco Amori (Istituto Nazionale di Fisica Nucleare)

wsmg.pdf

09:25 Un Workflow per la scansione e la gestione delle vulnerabilità di sicurezza

Questo documento illustra la procedura operativa utilizzata per gestire il flusso di attività derivante dalle scansioni di sicurezza all'interno della LAN dei Laboratori Nazionali del Sud.
Le scansioni vengono svolte periodicamente, con una frequenza semestrale. Questa cadenza è stata definita da un'attività preparatoria volta all'identificazione di tutti gli indirizzi IP da sottoporre a scansione, ed una opportuna suddivisione in gruppi. Per ogni campagna di scansioni viene effettuata una ricognizione dell’intera LAN (una classe B) inviando pacchetti ICMP in parallelo, allo scopo di individuare in modo veloce ed affidabile tutti gli host raggiungibili [1] e di valutare la distribuzione degli stessi nelle varie subnet. Questa suddivisione permette di pianificare le scansioni in modo efficace, evitando che ciascuna scansione generi report riguardanti un numero eccessivo di host, poi difficili da gestire. Le scansioni di vulnerabilità (note e potenziali) sono eseguite utilizzando Greenbone Vulnerability Manager (GVM)[2] su Debian GNU/Linux, i cui Community Feed sono mantenuti aggiornati per garantire affidabilità alla procedura. Se necessario, con alcuni host, è previsto utilizzare anche le funzionalità di scripting di Nmap [3] per effettuare ulteriori analisi e assessment.
Dopo l'esecuzione delle scansioni, si procede con il trattamento dei report XML generati da ogni scansione di Greenbone. A tale scopo è stata predisposta una app dedicata sviluppata in Python che: i) processa i dati; ii) li filtra opportunamente; iii) applica diverse strategie di ranking; iv) produce in output dei documenti riepilogativi in pdf e markdown. Questi documenti sono allegati alla comunicazione inviata ai responsabili degli host interessati, per rendere più trasparente le informazioni relative alle vulnerabilità individuate e le contromisure proposte. Per integrare efficacemente questa attività con i workflow già in produzione, si fa uso di Jira Service Management (JSM), suite ampiamente utilizzato ai LNS sia per le interazioni con gli utenti sia per la gestione dell’inventario delle risorse informatiche [4]. Il security incident in questione viene comunicato attraverso un ticket dove il responsabile dell'host viene incluso come partecipante. L’aggiunta del campo "Host connected" consente di associare le vulnerabilità rilevate e di avere una history delle attività svolte su di esso. Segue una fase di follow-up, tracciata via ticket, durante la quale si collabora con il responsabile dell'host per attuare le misure correttive necessarie per la mitigation o remediation delle vulnerabilità riscontrate.
Per garantire una gestione completa della documentazione a supporto dell’attività viene utilizzato Alfresco come repository per tenere traccia di tutti i report generati e delle azioni intraprese per ogni host. In sintesi, questo approccio fornisce una metodologia completa per la gestione del flusso di lavoro successivo a ciascuna scansione di sicurezza. L'integrazione di Ntop, Greenbone Vulnerability Manager, Jiira ed Alfresco consente un'identificazione, una gestione e una documentazione efficienti delle vulnerabilità, valutandone i progressi nel tempo e migliorando complessivamente la sicurezza della rete nel lungo termine.
[1]GitHub di fping: https://github.com/schweikert/fping
[2]https://greenbone.github.io/docs/latest/
[3]https://nmap.org/book/nse.html
[4]https://agenda.infn.it/event/30202/contributions/168469/

Speaker: Matteo Sclafani (Istituto Nazionale di Fisica Nucleare)

Workflow_GVM.pdf

09:50 Cyber security: last legal update

Nel quadro della strategia europea per i dati (Commissione europea. Strategia europea per i dati (2020).  https://ec.europa.eu/info/strategy/priorities-2019-2024/europe-fit-digital-age/european-data-strategy_it ), è stata da un lato proposta l’istituzione di spazi comuni europei di dati specifici per dominio (es. lo spazio europeo dei dati sanitari EHDS) e dall’altro il rafforzamento della normativa volta a regolare la cyber security.

Lo spazio europeo dei dati sanitari creerà uno spazio comune in cui le persone fisiche possano facilmente controllare i propri dati sanitari elettronici, mediante la definizione di regole e principi comuni direttamente applicabili. Consentirà inoltre a ricercatori e policy maker di utilizzare tali dati sanitari elettronici in un modo affidabile e privacy compliance.

La settorializzazione degli spazi di movimento dei dati ha determinato al contempo un incremento della legislazione in materia di cyber security, oltre al GDPR, la proposta di regolamento sull'intelligenza artificiale, la proposta di regolamento sulla governance dei dati e la proposta di normativa sui dati, la direttiva (UE) 2016/1148 relativa alla sicurezza delle reti e dei sistemi informativi (direttiva NIS). Il quadro giuridico in parola ha un impatto significativo ed imprescindibile all’interno dei progetti di ricerca che riguardano il trattamento dei dati nell’ambito del calcolo scientifico. I principi che si accingono ad essere introdotti all’interno dello spazio giuridico europeo avranno un impatto all’interno della progettualità futura, ma altresì all’interno delle attività di ricerca non ancora concluse e di interesse dell’ente, anche nell’ottica del processo di certificazione attualmente in corso.

Speaker: Nadina Foggetti (Istituto Nazionale di Fisica Nucleare)

talk1.pdf

10:15 Il nuovo quadro giuridico europeo relativo all’intelligenza artificiale: l’impatto sul progetto DARE

l Parlamento ha approvato la legge sull'intelligenza artificiale (IA), che garantisce sicurezza e rispetto dei diritti fondamentali e promuove l'innovazione (https://www.europarl.europa.eu/doceo/document/A-9-2023-0188-AM-808-808_IT.pdf)

L'obiettivo della nuova disciplina è quello di proteggere i diritti fondamentali, la democrazia, lo Stato di diritto e la sostenibilità ambientale dai sistemi di IA ad alto rischio, promuovendo nel contempo l'innovazione e assicurando all'Europa un ruolo guida nel settore. Il regolamento stabilisce obblighi per l'IA sulla base dei possibili rischi e del livello d'impatto.

La nuova disciplina regola e introduce dei meccanismi di garanzia e delle norme di sicurezza suddivise per livello di rischio, declinando gli obblighi in base all’impatto della tecnologia utilizzata sui diritti fondamentali e obblighi di trasparenza per evitare forme di discriminazione algoritmica.

Intelligenza Artificiale sta determinando una significativa evoluzione nei sistemi a supporto della ricerca scientifica ed in particolare nel settore del calcolo. I paradigmi di IA consentono di realizzare macchine in grado di ragionare, percepire la realtà, imparare da esempi, individuando pattern e clusterizzando i dati e le informazioni.

Il talk mira a valutare l’impatto dell’AI Act sull’utilizzo dei sistemi di Intelligenza artificiale all’interno dell’attività di ricerca dell’INFN, partendo dalle raccomandazioni definite nell’ambito del WP2 “Ethical-legal Framework” del progetto DARE (DigitAl lifelong pRevEntion) che prevede lo studio e l’applicazione di sistemi di AI all’interno del trattamento di dati clinici e sanitari.

Speaker: Nadina Foggetti (Istituto Nazionale di Fisica Nucleare)

talk2.pdf

10:40 Pausa caffé

11:10 Accessibilità delle applicazioni Web - Linee guida sull’accessibilità nelle applicazioni web della DSI

Speaker: Marzio D'Alessandro (Istituto Nazionale di Fisica Nucleare)

Presentazione accessibilita CCR.pdf

11:35 Monitoring resources of a computing infrastructure with Redfish and SNMP

Efficient and secure operation of computing centre machines is very important in contemporary digital landscapes. The complexity and scale of the computing centres requires to develop a framework to monitor the resources and to build a responsive system that is able to prevent potential failures. The aim of this presentation is to illustrate the current status and future goals of the monitoring solution that is being developed at the computing centre of INFN Torino.
The new challenges posed by the PNRR projects, such as ETIC and TeRABIT, require a fresh approach regarding monitoring of hardware and software components.
The primary motivation behind this framework is to enhance operational efficiency by providing administrators with timely insights into resource utilisation, workload distribution, and system health. By leveraging advanced monitoring tools, administrators can proactively identify bottlenecks, optimise resource allocation, and mitigate performance degradation, thereby ensuring uninterrupted service delivery.
The traditional approach to monitoring relies on the SNMP protocol. While this has been the standard for decades, it presents several downsides which call for a new approach.
While SNMP remains a widely used protocol for network management and monitoring, especially for legacy systems, Redfish offers several advantages in terms of modern design, scalability, feature set, security, and vendor support; thus, it can be more efficient and easier to use as it is based on RESTful APIs and a JSON data model.
We show a possible implementation that is able to collect performance metrics from physical machines using Redfish and integrating this information with an SNMP exporter for Prometheus, combined with the convenience of Grafana dashboards. The current setup shows the correlations between the power consumption and the workload of the HTCondor jobs.

Speaker: Nicola Mosco (Istituto Nazionale di Fisica Nucleare)

CCR_Palau_2024-05-24.pdf

12:00 Sistema di monitoraggio e allarmistica basato su Telegraf, Influxdb e Grafana per la farm di un Tier2, è un'opzione praticabile?

Per semplificare il monitoraggio di tutte le componenti del Tier 2 di Frascati, è stato implementato un sistema composto da: Telegraf, InfluxDB e Grafana. L’insieme degli strumenti menzionati rappresenta una combinazione potente per raccogliere, archiviare e visualizzare le informazioni del centro di calcolo in tempo reale.

Questi strumenti mostrano una grande versatilità, tuttavia dopo i primi risultati sono sorte alcune incertezze sulla fattibilità: la raccolta delle informazioni tramite Telegraf dipende dai plugin, i quali a loro volta possono generare informazioni diverse in funzione del modello di server analizzato, rendendo difficile la standardizzazione del database e la visualizzazione tramite Grafana. Quindi il primo dubbio riguarda il tempo da investire nella creazione di script personalizzati in grado di identificare il modello del server e raccogliere i dati in modo standardizzato. In che modo le altre applicazioni affrontano questo problema?

Per quanto riguarda Grafana, ci sono molti modelli di dashboard disponibili, ma nessuno di essi contempla tutte le specifiche necessarie per un Tier2. Come vedrebbe la nostra comunità l'investimento di tempo nella creazione di dashboard che soddisfino i requisiti dei nostri centri di calcolo?

Speaker: Igor Abritta Costa (Laboratori Nazionali di Frascati)

Slide_SistemaDiMonitoraggio_CCR.pdf

12:25 Open Science per INFN, INFN per Open Science

Questo contributo riporta le attività compiute, in corso e attese per aggiornare e potenziare gli strumenti dedicati a supportare l'Open Science. Dopo aver brevemente richiamato i principi di FAIR science, ed il ruolo del calcolo INFN nel renderli attuabili e disponibili all’INFN stesso e a comunità affini, si descrivono le attività di aggiornamento dell’Open Access Repository da Zenodo a Invenio, con migrazione dalla sezione di Catania al CNAF, nonché cenni sulle sue funzionalità principali. Si descrive quindi il ruolo del data steward come supporto di riferimento per l’adozione delle pratiche FAIR in seno alle comunità INFN.

Speaker: Stefano Dal Pra (Istituto Nazionale di Fisica Nucleare)

ccr_24052024.pdf

12:50 → 13:00 Conclusioni e chiusura dei lavori

Speakers: Alessandro Brunengo (Istituto Nazionale di Fisica Nucleare), Gianpaolo Carlino (Istituto Nazionale di Fisica Nucleare)

conclusioni_brunengo.pptx