Big Data Management infrastructures and Analytics

9 Dec 2019, 09:00 → 12 Dec 2019, 23:00 Europe/Rome

Barbara Martelli (INFN CNAF), Daniele Cesini (CNAF), Daniele Spiga (PG), Daniele Bonacorsi, Cristina Duma, Fabio Viola, Alessandro Costantini, Elisabetta Ronchieri, Enrico Vianello, Diego Ciangottini, Stefano Zani

Il corso si svolgera' presso la Sala Venturi di INFN-CNAF Viale Berti Pichat 6/2, Bologna 

Saranno affrontati temi riguardanti la gestione di infrastrutture scalabili per l'analisi dei big data, partendo dal livello piu' basso (cloud e container e loro orchestrazione), proseguendo con le tecnologie di gestione dei dati (HDFS, Spark, Kafka), fino ad arrivare ai tool di analisi dati e all'applicazione di tecniche di Machine Learning per l'estrazione di nuove informazioni dai dati disponibili.   

Monday, 9 December

1 Introduzione

Speaker: Barbara Martelli

corso-big-data-CCR-Martelli-intro-v2.pdf

2 Intelligent Systems

Speaker: Daniele Bonacorsi (BO)

CorsoCCR19_DBonacorsi_IntelligentSystems.pdf

11:30 Coffee Break

3 ML in HEP

Speaker: Daniele Bonacorsi (BO)

CorsoCCR19_DBonacorsi_MLDLinHEP.pdf

13:00 Lunch

4 AuthN/AuthZ with Indigo IAM

Speaker: Enrico Vianello (CNAF)

IAM-corso-big-data.pdf

15:30 Coffee Break

5 Cloud Infrastructure (Openstack + Hands-On)

Speaker: Alessandro Costantini (CNAF)

Cloud_tutorial_BD2019_AC_v1.pdf

Tuesday, 10 December

6 Container Infrastructure: Introduzione ai container

Speaker: Daniele Cesini (CNAF)

Containers_CCR_Corso_CNAF_Dec_2019_Cesini.pdf

11:00 Coffee Break

7 Container Infrastructure (Hands-on on containers)

Speaker: Daniele Cesini (CNAF)

Containers_CCR_Corso_CNAF_Dec_2019_Cesini.pdf

13:00 Lunch

8 Container Infrastructure (Orchestration: Swarm + Hands on)

Speakers: Doina Cristina Duma (CNAF), Alessandro Costantini (CNAF)

container_orchestration_v1.pdf

9 Visita Guidata al Datacenter Tier1

Speaker: Stefano Zani (CNAF)

10 Container Infrastructure (Orchestration: Kubernetes + Hands on)

Speakers: Doina Cristina Duma (CNAF), Alessandro Costantini

container_orchestration_v1.pdf

Wednesday, 11 December

11 Big Data Management infrastructures (Introduzione a Big data computing infrastructures (Apache software stack: HDFS, Hadoop, paradigma map-reduce, Spark, Flume, e tanto altro))

Speakers: Daniele Cesini (CNAF), Fabio Viola

BDI_Intro_Corso_CNAF_111219.pdf

Slide_bigdata_FV.pdf

11:00 Coffee Break

12 Big Data Management infrastructures (Hands-on on Big Data Computing Infrastructures)

Speakers: Fabio Viola, Daniele Cesini (CNAF)

Slide_bigdata_FV.pdf

13:00 Lunch

13 Big Data Management infrastructures: Astrazione risorse con Ansible e Tosca

Speakers: Doina Cristina Duma (CNAF), Alessandro Costantini (CNAF)

ansible_tosca_essentials_v0.pdf

15:30 Coffee Break

14 Big Data Management infrastructures (Automatic deployment of a Spark Cluster with DODAS)

Speaker: Daniele Spiga (PG)

Formazione-bigData-DodasSpark.pdf

Thursday, 12 December

15 Big Data Management infrastructures (Hands on su Installazione di Spark con DODAS)

Speaker: Diego Ciangottini (INFN Perugia)

Hands-on repository

pres.pdf

Presentation - Dodas Spark Hands-on

11:00 Coffee Break

16 Machine Learning (Introduzione al ML)

Speaker: Elisabetta Ronchieri (CNAF)

IntroductionToML.pdf

13:30 Lunch

17 Machine Learning (Hands-on)

Speaker: Elisabetta Ronchieri (CNAF)

ApplyML.ipynb