Big Data Management infrastructures and Analytics

9 Dec 2019, 09:00 → 12 Dec 2019, 23:00 Europe/Rome

Barbara Martelli (INFN CNAF), Daniele Cesini (CNAF), Daniele Spiga (PG), Daniele Bonacorsi, Cristina Duma, Fabio Viola, Alessandro Costantini, Elisabetta Ronchieri, Enrico Vianello, Diego Ciangottini, Stefano Zani

Il corso si svolgera' presso la Sala Venturi di INFN-CNAF Viale Berti Pichat 6/2, Bologna 

Saranno affrontati temi riguardanti la gestione di infrastrutture scalabili per l'analisi dei big data, partendo dal livello piu' basso (cloud e container e loro orchestrazione), proseguendo con le tecnologie di gestione dei dati (HDFS, Spark, Kafka), fino ad arrivare ai tool di analisi dati e all'applicazione di tecniche di Machine Learning per l'estrazione di nuove informazioni dai dati disponibili.   

Monday, 9 December

09:30 → 10:30 Introduzione

Speaker: Barbara Martelli

corso-big-data-CCR-Martelli-intro-v2.pdf

10:30 → 11:30 Intelligent Systems

Speaker: Daniele Bonacorsi (BO)

CorsoCCR19_DBonacorsi_IntelligentSystems.pdf

11:30 → 12:00 Coffee Break

12:00 → 13:00 ML in HEP

Speaker: Daniele Bonacorsi (BO)

CorsoCCR19_DBonacorsi_MLDLinHEP.pdf

13:00 → 14:00 Lunch

14:00 → 15:30 AuthN/AuthZ with Indigo IAM

Speaker: Enrico Vianello (CNAF)

IAM-corso-big-data.pdf

15:30 → 16:00 Coffee Break

16:00 → 18:00 Cloud Infrastructure (Openstack + Hands-On)

Speaker: Alessandro Costantini (CNAF)

Cloud_tutorial_BD2019_AC_v1.pdf

Tuesday, 10 December

09:00 → 11:00 Container Infrastructure: Introduzione ai container

Speaker: Daniele Cesini (CNAF)

Containers_CCR_Corso_CNAF_Dec_2019_Cesini.pdf

11:00 → 11:30 Coffee Break

11:30 → 13:00 Container Infrastructure (Hands-on on containers)

Speaker: Daniele Cesini (CNAF)

Containers_CCR_Corso_CNAF_Dec_2019_Cesini.pdf

13:00 → 14:00 Lunch

14:00 → 15:30 Container Infrastructure (Orchestration: Swarm + Hands on)

Speakers: Doina Cristina Duma (CNAF), Alessandro Costantini (CNAF)

container_orchestration_v1.pdf

15:30 → 16:30 Visita Guidata al Datacenter Tier1

Speaker: Stefano Zani (CNAF)

16:30 → 18:30 Container Infrastructure (Orchestration: Kubernetes + Hands on)

Speakers: Doina Cristina Duma (CNAF), Alessandro Costantini

container_orchestration_v1.pdf

Wednesday, 11 December

09:00 → 11:00 Big Data Management infrastructures (Introduzione a Big data computing infrastructures (Apache software stack: HDFS, Hadoop, paradigma map-reduce, Spark, Flume, e tanto altro))

Speakers: Daniele Cesini (CNAF), Fabio Viola

BDI_Intro_Corso_CNAF_111219.pdf

Slide_bigdata_FV.pdf

11:00 → 11:30 Coffee Break

11:30 → 13:00 Big Data Management infrastructures (Hands-on on Big Data Computing Infrastructures)

Speakers: Fabio Viola, Daniele Cesini (CNAF)

Slide_bigdata_FV.pdf

13:00 → 14:00 Lunch

14:00 → 15:30 Big Data Management infrastructures: Astrazione risorse con Ansible e Tosca

Speakers: Doina Cristina Duma (CNAF), Alessandro Costantini (CNAF)

ansible_tosca_essentials_v0.pdf

15:30 → 16:00 Coffee Break

16:00 → 18:00 Big Data Management infrastructures (Automatic deployment of a Spark Cluster with DODAS)

Speaker: Daniele Spiga (PG)

Formazione-bigData-DodasSpark.pdf

Thursday, 12 December

09:00 → 11:00 Big Data Management infrastructures (Hands on su Installazione di Spark con DODAS)

Speaker: Diego Ciangottini (INFN Perugia)

Hands-on repository

pres.pdf

Presentation - Dodas Spark Hands-on

11:00 → 11:30 Coffee Break

11:30 → 13:30 Machine Learning (Introduzione al ML)

Speaker: Elisabetta Ronchieri (CNAF)

IntroductionToML.pdf

13:30 → 14:30 Lunch

14:30 → 16:30 Machine Learning (Hands-on)

Speaker: Elisabetta Ronchieri (CNAF)

ApplyML.ipynb