Speaker
Description
Il sistema di orchestrazione di INDIGO è un PaaS middleware open-source per federare in maniera trasparente ambienti di sviluppo eterogenei, cloud pubbliche e private, piattaforme per la gestione di containers e molto altro. La sua funzione principale è l’orchestrazione della generazione di infrastrutture virtuali come Jupyter Hub, Kubernetes, Spark e clusters HTCondor, fornendo agli utenti un accesso semplificato e controllo sull’infrastruttura.
Il fulcro del sistema di orchestrazione è l’Orchestratore che, coadiuvato da un insieme di micro-servizi, ha il compito di scegliere, in base ai parametri definiti dall’utente, il provider migliore tra gli ambienti di sviluppo federati e avviare il deployment dell’infrastruttura desiderata.
In quest’architettura, la memorizzazione dei dettagli principali dei provider federati e l’associazione delle risorse disponibili ai gruppi di utenti sono fondamentali. Queste informazioni hanno un ruolo cruciale nel processo di assegnazione dei provider disponibili con le richieste di deployment degli utenti.
Attualmente, il Configuration Management Database (CMDB) si occupa di memorizzare e organizzare le informazioni dei provider, mentre il Service Level Agreement Tool (SLAT) conserva le SLAs concordate e firmate dagli utenti e dagli amministrati dei vari siti.
Dopo un’attenta valutazione, abbiamo deciso di rimpiazzare i servizi attuali a causa delle fine del supporto al mantenimento del CMDB, che si basa su componenti datate. La nuova soluzione, il Federation-Registry, è un’applicazione web basata sul framework FastAPI. Quest’applicazione fornisce a REST API integrata in un sistema di autenticazione e autorizzazione basato su OpenID-Connect/OAuth2. Inoltre, l’applicazione utilizza neo4j, a database a grafi ad alta flessibilità, in opposizione all’attuale CouchDB – un database non relazionale – per archiviare e organizzare i dati dei providers. L’implementazione di un nuovo script di popolamento è essenziale per recuperare le informazioni dai provider federati, elaborarle e infine inoltrarle al Federation-Registry.
Questo aggiornamento fornirà una serie di vantaggi tra cui: una base più robusta e sicura per la gestione delle informazioni relative alla federazione di nuovi provider, indipendenza da software datato e non più mantenuto, allineamento con le moderne pratiche di sviluppo basato su tests, una miglior riorganizzazione delle informazioni e l’estensione al supporto di nuove tipologie di provider anche grazie ad una struttura più semplice ed elastica del database. Questo contributo enfatizza le scelte architetturali e i dettagli implementativi.
Questo nuovo servizio verrà integrato in INFN Cloud, che sta già utilizzando il PaaS middleware di INDIGO per fornire alle comunità scientifiche di INFN un portfolio di servizi di alto livello sulle cloud geograficamente distribuite.
