Speaker
Description
I progetti AI_INFN e DataCloud hanno integrato un modello di federazione cloud–HPC/HTC basato sulla tecnologia interLink, con l’obiettivo di validare l’integrazione di risorse computazionali distribuite secondo la topologia DataCloud. In questo contesto, il programma di lavoro del WP6 di DataCloud è stato esteso per consolidare ed evolvere le attività avviate nei progetti ICSC e Terabit, in particolare quelle finalizzate alla realizzazione del Proof of Concept (PoC) con CINECA.
In questo contributo sarà descritto il setup, comune ai due progetti, che prevede la possibilità di istanziare servizi su un cluster k8s ospitato su risorse INFN Cloud e accedere trasparentemente alle risorse specializzate quali la HPC Bubble di Padova così come quelle di Leonardo al CINECA. Particolare attenzione sarà dedicata alla presentazione delle recenti implementazioni relative al networking, che costituiscono un elemento abilitante sia per l’offloading verso risorse remote, in cui la connettività di rete e’ limitata (come nel caso di CINECA) che per il corretto funzionamento di workflow che devono essere distribuiti su diverse infrastrutture eterogenee.
Infine verranno analizzati i casi d’uso attualmente integrati, con particolare attenzione alle soluzioni di orchestrazione dei workflow abilitate all’offloading. In questo ambito rientrano: la piattaforma Kubeflow, impiegata per lo sviluppo di applicazioni di intelligenza artificiale in contesti scientifici e a supporto dei casi d’uso GenAI della DSI; l’integrazione di workflow di regression testing e di pipeline CI/CD per il progetto G4Med (CSN5), finalizzati alla validazione continua dei modelli Geant4 di interesse per applicazioni in ambito medico; e infine Snakemake, adottato come orchestratore di workload AI all’interno della piattaforma AI_INFN, come ulteriore esempio di integrazione di workflow distribuiti su risorse eterogenee.