AI_INFN Technical Meeting

lunedì 6 mag 2024, 16:00 → 17:10 Europe/Rome

Virtual meeting room (zoom): https://l.infn.it/ai-infn-meeting

Date: 2024-05-06

News

• AI_INFN abstract submitted to WMLQ was accepted as talk
• Please register to the AI_INFN user’s workshop in Bologna, 11-12 June.
• With the help of Alessandro Costantini, we prepared the patch to mount the cloud storage via RadosGW rather than Minio

Tracked developments:

Automation of RKE2 deployments in INFN Cloud (R. Petrini, G. Misurelli, M. Corvo)

• Giuseppe: Report from the dedicated meeting on May 2nd:
  • Partecipazione solo da membri di AI_INFN. Ci siamo accordati per un paio di azioni, discusse su baltig.
    • Iniziare a creare una pipeline Gitlab/CI per fare il build di uno dei container, in particolare JupyterLab;
    • Deployment di un servizio che consuma un file che verrà creato in fase build dell’immagine, uno SBOM file che ha una descrizione di tutte le dipendenze software dell’immagine del container; il servizio mangia lo SBOM file e dà un riscontro delle vulnerabilità. Mercoledì sessione di lavoro in WP1 per concretizzare l’attività.
  • Ci ha contattato Marica per avere eventuali minute, anche loro stanno ragionando su creazione di pipeline di CI/CD con un forte focus per la creazione dello SBOM file. AI_INFN si occuperà dell’automazione, che poi potrà essere riutilizzato con Puppet.
  • Noi lavoreremmo più volentieri con la CI/CD di GitLab piuttosto che Jenkins. C’è anche un tool chiamato Dagger che astrae queste pipeline e consente di migrare da un tool all’altro.
  • Stefano: gli SBOM files (SOC, Ciaschini) sono molto usati nei Sistemi Informativi.
• Instructions to build docker images: https://codimd.infn.it/jrpPh7CqRRWdX20mD1DKtQ?both
• Instructions to deploy the cluster (not 100% updated, does not include rke2 and GPU Operator, for example): https://codimd.infn.it/s/5X0AHJYhz

Develop monitoring infrastructure (R. Petrini)

• Work with Nadir is ongoing to set up the AI_INFN multi-site database. We are fighting with Ansible; priority is having Grafana.
• Integrated the kueue monitoring interface to prometheus. Currently only on the development cluster, to be extended soon on hub.ai. We should understand why some metrics does not appear in Prometheus, we have to check with the deployment on hub.ai.
• Slow progress on the user’s personal dashboard (custom CSS).

Environment setup (M. Barbetti, S. Giagu, S. Bordoni)

• Offline from Stefano G.

Dal punto di vista del lavoro su i framework non siamo ancora riusciti a lavorare sul problema con pennylane gpu (nel nostro setup locale tutto funziona), però siamo andati avanti con la preparazione di 3 notebook che illustrino e testino il framework con le librerie quibo/quiskit e pennylane (implementano tre algoritmi semplici di QML (classificazione, anomaly detection etc…) basato su circuiti variazionali.
Questa settimana li testiamo sul sistema e in parallelo cerchiamo di risolvere il problema pennylane-gpu.

• Laura Cappelli and Matteo Argenton offered help and support for testing the quantum environment

Offloading tests with virtual kubelets (G. Bianchini, D. Ciangottini)

• Status of AI_INFN target (GPU, ideal networking)
  • InterLink is properly setup, the sidecar translating pods to docker requires some additional massage
• Status of CloudVeneto target
  • Handshake with Federica and Antonino, will move forward this week
• We prepared a set of python package named vk-test-set to hammer an InterLink endpoint with trivial-to-complex pod setup and tested it on a “real node”.

Acquisto FPGA

• Ordine partito! Arriverà Macchinone 4.

User’s forum

• The indico page of the User’s forum (June 11-12) is accessible here: https://agenda.infn.it/event/40489/
• Received 10 abstracts.

Status legend

Active
Priority
Problems
Postponed or Blocked by others
Completed

1 News and setup

Relatore: Lucio Anderlini (Istituto Nazionale di Fisica Nucleare)

2 Discussion on tasks and priorities

Relatore: All

3 Any other business