Speaker
Description
INFN-Pisa sin dalla sua nascita come sito GRID ha esplorato la strada per disaccoppiare le esigenze amministrative dei nodi di calcolo da quelle computazionali derivanti dal framework applicativo dell'utente.
Questo approccio si è reso necessario sostanzialmente per due motivi:
- risorse HW in comune fra ambienti fortemente diversi quali il mondo GRID e quello HPC in virtù delle collaborazioni con partner tecnologi prima (AMD) istituzionali poi (Dip. Ingegneria Aerospaziale di UniPi)
- grande eterogeneità delle risorse HW data dalla alternanza di varie generazioni di Farm e Cluster
Per evitare il costo in termini computazionali di tecnologie di virtualizzazione negli anni sono state messe in campo varie soluzioni di virtualizzazione leggera. In un primo momento utilizzando soluzioni completamente fatte in casa basate su chroot. Sostituite poi con docker non appena questo nuovo strumento si è affacciato sulla scena. L'approccio è stato quello di utilizzare questi due "strumenti" per simulare una macchina virtuale all'interno della quale mettere l'ambiente operativo dell'utente. Utilizzando questo meccanismo nel 2016 l'intero parco computazionale di INFN-Pisa (HTC e HPC) era gestito attraverso container docker.
Nonostante l'estrema flessibilità offerta da docker si aveva comunque una corrispondenza rigida 1:1 fra il "bare metal" è l'ambiente visto dal job utente (Worker Node/Job Slot). Questo sostanzialmente dovuto al fatto che il demone LSF gira all'interno del container.
Nel 2017 si è iniziata una attività di R&D per superare tale vincolo con l'idea di muovere l'infrastruttura in un'ottica di tipo cloud. L'idea fondamentale si poggia su i seguenti punti:
- spostare il batch deamon dal container al bare metal
- utilizzare lo script di lancio di LSF per far partire il container inserendo al suo interno il job utente
- dare la possibilità all'utente di scegliere l'ambiente operativo desiderato all'interno di un pool messo a disposizione usando opportunamente le opzioni del comando bsub
La prima implementazione del nuovo paradigma è stata messa in produzione nell'estate del 2017 per le risorse della Farm di Analisi Interattiva (FAI), permettendo di scegliere all'utente se lavorare in ambiente Scientific Linux 6 o CentOS 7.
Ad oggi l'approccio è stato esteso a tutte le risorse HTC incluse le risorse GRID permettendo di far coesistere sulla solita infrastruttura job (grid) che utilizzando CentOS7 (CMS) con quelli che usano SL6.
Il passo successivo consiste nell'estendere questo approccio alla parte HPC permettendo un utilizzo elastico delle risorse e di fatto eliminando la distinzione fra le due tipologie di infrastruttura.
La soluzione implementata si basa su configurazioni standard di LSF (nel nostro caso usiamo la versione 7 update 6) e quindi risulta del tutto trasparente all'utenza incluso il MW grid.
