Workshop CCR-INFN GRID 2010 - Acireale (CT)

17 May 2010, 15:00 → 21 May 2010, 18:30 Europe/Rome

Roof Garden (Hotel Santa Tecla Palace)

Summer Workshop della Commissione Calcolo e Reti INFN - INFN GRID

document POSTERA4_2010.pdf

Poster POSTERA4_2010v3.pdf

Slides NetApp_WorkShop.pdf

Monday, 17 May

Benvenuto

slides introduzione.pdf

Attività dei Servizi di Calcolo - I parte

1 Attivita' gruppo Auditing

Report scansioni gruppo Auditing + descrizione attivita' future

Speaker: Ombretta Pinazza (INFN Bologna)

Slides Auditing_presentazione[1].pdf (Protected)

2 Discussione - Attivita' gruppo Auditing

3 Sistema di monitoraggio integrato

Motivazioni che hanno portato alla scelta della soluzione in atto. Descrizione del sistema di monitoraggio e dei tool per il monitor di tutti i servizi di sezione, la sala macchine ed i sistemi UPS della sezione di Napoli. Il sistema utilizza degli strumenti particolarmente efficaci e facilmente riproducibili, con degli spunti anche per il monitoraggio Grid.

Speakers: Paolo Mastroserio (NA), Dr Silvio Pardi (INFN-Napoli)

Slides

• Sistema_di_Monitoraggio_Integrato-PARDI-2010.pdf
• Sistema_di_Monitoraggio_Integrato-PARDI-2010.ppt
• slides

4 Panoptes: cluster HA di monitoraggio della rete

Per rispondere alle esigenze sempre piu' pressanti di monitoraggio della rete, dei servizi e degli host, e' stata progettata e realizzata un'architettura basata su sistemi open source per consentire agli amministratori di avere in tempo reale tutte le informazioni utili, mediante un'interfaccia web all-in-one-page. Panoptes e' stato inoltre progettato per inoltrare notifiche di failure anche in assenza di connettivita' di rete mediante un sms-gateaway. La costante disponibilita' del servizio di monitoraggio e' garantita dall'architetura cluster in HA.

Speakers: Andrea Fornaia (INFN Sez. CT), Giuseppe Sava (CT)

Slides Panoptes.pdf Panoptes.pptx

5 Discussione (Q&A) - Sistemi di monitoraggio

6 Checkpoint e restore risorse e stato di un processo LSF

(20' +5' Q&A) Sospensione dei job (locali e GRID) con possibilita' di liberare risorse di calcolo (CPU e RAM) per permettere l'esecuzione di job a priorita' piu' elevata e successiva ripresa dei job sospesi.

Speaker: Lucio Strizzolo (TS)

Slides Checkpoint_restore_LSF.pdf Checkpoint_restore_LSF.ppt

17:00 Coffe break

Attività dei Servizi di Calcolo - II parte

7 Sistema ad alta disponibilita' e server load balancing basato su CISCO IOS

(25' Q&A comprese) L'infrastruttura prevede * Cluster di macchine fisiche Linux * Singoli nodi con 2 interfacce ethernet in bonding connesse a switch differenti (configurate in trunk per il passaggio di piu' VLAN) * Layer di virtualizzazione Xen * N gruppi di M macchine virtuali che esplicano servizi in alta disponibilita' (web service - mailing - Application server - etc.) * Server load balancing (SLB) e Failover Recovery basato su Cisco IOS (Catalyst 6500 con Multilayer Switching Feature Card, e Policy Feature Card) I tempi di switching in caso di fail di un nodo sono dell'ordine di 1 o 2 secondi, praticamente trasparenti all'utente. Il ripristino e' ovviamente automatico.

Speaker: Dael Maselli (INFN)

Slides maselli_ha+lb@lnf.pdf maselli_ha+lb@lnf.ppt

8 Processori per Worker Node HEP - 2010 state of the art

(25' Q&A comprese) I nuovi processori Intel e AMD per Worker Node. Prestazioni, Roadmap per il futuro prossimo.

Speaker: Michele Michelotto (INFN Padova)

Slides WS-CCR-10-Michelotto-HEPMARK.pdf WS-CCR-10-Michelotto-HEPMARK.ppt

9 Sviluppi di nuovi strumenti per la gestione delle farm di calcolo

(25' Q&A comprese) Stato e prospettive del progetto Docet. WebIT, una dashboard per il monitoring delle farm Grid di calcolo.

Speaker: Alberto Crescente (PD)

Slides docet.pdf

10 Aggiornamento sullo stato del sistema informativo INFN

(25' Q&A comprese)

Speaker: Guido Guizzunti (INFN-CNAF)

Slides SISINFO_ccr2010.pdf

19:00 cena

Tuesday, 18 May

MPI e GPU

11 Introduzione

Introduzione agli argomenti della sessione

Speaker: Giuseppe Andronico (CT)

Slides Introduzione.ppt

12 Survey MPI

Report sull'uso di MPI, stato dei cluster MPI, report sulle attivita' dell'MPI WG di EgeeIII e sottomissione MPI in gLite: stato e piani futuri.

Speaker: Roberto Alfieri (INFN Gruppo Collegato di Parma)

Slides mpi-survey.pdf

13 Discussione

14 Survey GPU

Report sulle attività INFN in ambito GPU, in relazione al gruppo di interesse per il GPU-computing, sulle attivita' dei singoli gruppi di ricerca teorici e sperimentali ad esso afferenti. Sarà inoltre riportata una panoramica sullo stato dell'arte della tecnologia GPU e verranno inoltre presentati gli sviluppi hardware in corso per l'implementazione di piattaforme di supercalcolo in ambiente multi-GPUs.

Speaker: Roberto Ammendola (RM2)

Slides talk.pdf

15 Discussione

16 Accounting DGAS per job MPI

Validazione dei dati di CPUtime, WallclockTime e Cpu utilizzate estrapolati dai log dei CE, usando diversi batch system, per Job MPI e la pubblicazione dei relativi valori nel sistema di accounting DGAS.

Speaker: Bencivenni Marco (CNAF)

Slides 2010Catania_MPIAccounting.pps

17 Discussione

18 Estensione del monitoring Nagios per MPI

Nell'ambito della recente architettura adottata a livello di Grid Operation (basata su Nagios e Fuse) è stato sviluppato un consumer che presi i risultati dei check MPI eseguiti su tutti i siti, produce un file in formato ldif che applicato a livello di Top-BDII modifica le informazioni pubblicate nel sistema informativo in modo da eliminare i tag MPI dai siti che falliscono i relativi test. Nel talk viene descritta l'architettura utilizzata e presentati i test di sottomissione di job MPI utilizzando un WMS collegato ad un Top-BDII standard e un WMS collegato al Top-BDII modificato.

Speaker: Veonesi Paolo (CNAF)

Slides Presentazione_ccr_infngrid.pdf

19 Discussione

10:50 coffee break

Calcolo non LHC

20 Calcolo per Esperimenti di Raggi Cosmici carichi e gamma di alta energia

Calcolo per Esperimenti di Raggi Cosmici carichi e gamma di alta energia An overview of the characteristics and the computing architectures of some of the INFN astroparticle physics experiments will be given. The focus will be on both ground and satelite based experiments. The actual or foreseen computing infrastructure and needs will be reviewed.

Speaker: Francesco Saverio Cafagna (BA)

21 Calcolo per Esperimenti di Neutrini di alta energia

I telescopi Cherenkov per neutrini di alta energia cui afferisce l'INFN (ANTARES, NEMO e KM3NeT), realizzati o previsti in siti abissali nel Mar Mediterraneo, prevedono un'acquisizione dei dati secondo il modello "all data to shore". Per questo motivo, il sistema di trigger e di elaborazione dei dati in tempo reale avviene completamente nelle stazioni di controllo a terra. L'intera infrastruttura di calcolo deve quindi poter sostenere un grosso flusso di dati (variabile a seconda delle dimensioni del rivelatore da 15 Gbps a 500 Gbps) in cui il segnale cercato è soppresso di almeno 4 ordini di grandezza rispetto ai contributi di fondo. Questa sfida ha richiesto lo sviluppo di speciali algoritmi di selezione veloce ed appropriati sistemi per la distribuzione del calcolo, il monitoraggio e lo stoccaggio dei dati acquisiti.

Speaker: Tommaso Chiarusi (BO)

Slides CCRWS2010_chiarusi.pdf.pdf

22 Calcolo per Esperimenti di Fisica Applicata (Gruppo V - INFN)

Le attivita' del Gruppo 5 dell'INFN comprendono un ampio spettro che include sia lo sviluppo di tecnologie innovative per esperimenti di fisica delle particelle - quali rivelatori, metodi di accelerazione, elettronica, software di simulazione - sia l'utilizzo di tecnologie proprie della fisica delle particelle per applicazioni interdisciplinari - quali fisica medica, conservazione dei beni culturali e monitoraggio ambientale. Ci sono essenzialmente tre classi di attivita' in Gruppo 5 che richiedono risorse intensive di calcolo: (1) sviluppo e validazione di codici Monte Carlo per la simulazione delle interazioni radiazione-materia; (2) applicazioni Monte Carlo in fisica medica, soprattutto per il calcolo di piani di trattamento in vari tipi di radioterapia per la cura di tumori; (3) applicazioni di fisica medica per lo sviluppo e la validazione di algoritmi di analisi automatizzata di immagini diagnostiche e per la creazione di database di immagini distribuiti. Lo sviluppo di codici Monte Carlo e' di fatto un'attivita' di fisica delle particelle e puo' dunque trarre vantaggio diretto dalle infrastrutture di calcolo progettate e sviluppate per gli esperimenti. D'altra parte, l'utilizzo di queste stesse infrastrutture per applicazioni cliniche ospedialiere di fisica medica e' meno immediata, a causa dei diversi requisiti e del diverso background degli utenti medici rispetto ai fisici. Nella presentazione sono descritti alcuni esempi di attivita' di Gruppo 5 che fanno uso di risorse di calcolo, nonche' le possibilita' e i problemi da risolvere (interattivita', privacy, installazione) per un utilizzo diffuso delle risorse di calcolo GRID in applicazioni di fisica medica, anche a livello clinico-ospedaliero.

Speaker: Luciano Pandola (LNGS)

Slides Pandola-Slides.pdf.pdf

23 Calcolo per il progetto Super B

Speaker: Luca Tomassetti (FE)

Slides CalcoloSuperB.pdf

24 Discussione

13:00 pranzo

Virtualizzazione (I)

The first part of the session is mainly dedicated to examine virtualization experiences gained at some INFN sites

25 From VMWare to Proxmox

How to migrate a production virtual infrastructure from VMware to Proxmox: exploiting automatic tools and cluster features. Proxmox cluster enables central management of multiple physical and virtual servers, console view to all virtual machines, migration of virtual machines between physical hosts; this is all done via a simple web management.

Speaker: Federico Calzolari (PI)

Slides Proxmox.pdf Proxmox.ppt

26 Working with OpenVZ and KVM in HA

I will describe some of the choises made at LNGS to improve availability of netowrk services. In particular I will describe the host virtualization cluster infrastructure and its use to build up and run HA services.

Speaker: Stefano Stalio (LNGS)

Slides virtual-ha-en.pdf

27 The KVM infrastructure at the INFN Tier-1

We will describe recent investigations, improvements and usage experiences on the latest release of KVM included natively in SL5.4. In particular we will focus the discussion on the following topics: * virt-manager integration * migration from xen to kvm * ksm * hugetlbfs * back-up solutions

Speaker: Mr Guido Guizzunti (INFN-CNAF)

Slides 20100518-KVM-ccr2010__v2.pdf

28 Report of the Hepix-Virt Working Group

A new working group has been created inside HEPiX community whose objective is to reach an agreement on the use of remotely generated virtual images at sites by the end of this year. We will summarize the discussions being held inside this group.

Speaker: Andrea Chierici (CNAF)

Slides 20100518_-_hepix-virt.pdf 20100518_-_hepix-virt.pptx

29 Evaluation of VMWare against Open Source virtualization software used within INFN

We will discuss the possibility to adopt VMWare commercial solutions inside INFN during a round table session.

Speaker: Andrea Chierici (CNAF)

Slides 20100518_-_vmware.pdf (Protected) 20100518_-_vmware.ppt (Protected)

30 Discussion

17:50 coffee break

Virtualizzazione (II)

This part of the session is dedicated to discussing virtualization applied to distributed computing technologies.

31 WNoDeS: status report and evolutions

Speaker: Alessandro Italiano (CNAF)

Slides italiano_WNoDeS-CCR-2010.pdf

32 The WNoDeS Cloud access layer: description and demo

Speaker: Davide Salomoni (CNAF)

Slides salomoni_wnodes_cloud_100518.pdf

33 Discussion

34 Grid and Cloud technologies in BiG Grid, the Dutch e-Science infrastructure

Speaker: Dr Sander Klous (NIKHEF)

Slides Klous_NFN_-_May_2010_-_SK.pdf Klous_NFN_-_May_2010_-_SK.pptx

35 Discussion

20:00 cena

Wednesday, 19 May

AAI - Lo stato delle cose

36 Utilizzo di GENIUS con certificati robot

Speaker: Giuseppe La Rocca (Sezione di Catania)

Slides LAROCCA_CCR.pdf

37 Integrazione X.509/Shibboleth/Kerberos

Verranno descritte alcune tecniche per fornire l'accesso a risorse grid e cloud a utenti non INFN tramite una CA online.

Speaker: Vincenzo Ciaschini (CNAF)

Slides CCR_-_Certificati.pdf CCR_-_Certificati.ppt

38 Discussione

39 INFN-AAI: una breve introduzione

Una breve introduzione agli scopi del progetto ed alla sue caratteristiche principali

Speaker: Silvia Arezzini (INFN)

Slides silvia_aai_introduzione.pdf

40 INFN-AAI - GODiVa: lo IAM di INFN-AAI

Speaker: Claudio Bisegni (LNF)

Slides AAI-CCR.pdf

41 INFN-AAI: stato dell'infrastruttura centrale; esperienze nelle sezioni pilota.

Speaker: Dael Maselli (LNF)

Slides AAI_-_stato_infrastruttura.pdf AAI_-_stato_infrastruttura.ppt

42 Discussione

10:50 Coffee break

AAI - Scenari a confronto

43 INFN-AAI: scenari futuri

Speaker: Enrico M.V. Fasanelli (INFN Lecce)

Slides Enrico_WS2010.pdf

44 Introduzione a VOMS e Argus

Breve introduzione ai servizi di Attribute Authority (VOMS) e di gestione di policy di autorizzazione (Argus) attualmente usati in Grid

Speaker: Francesco Giacomini

Slides argus.pdf voms.pdf

45 Integrazione VOMS/ARGUS/AA servizi

Verra' illustrato uno scenario di integrazione dei sistemi di autenticazione ed autorizzazione tra servizi Grid e calcolo.

Speaker: Vincenzo Ciaschini

Slides VOMS-Auth.ppt

46 Discussione finale

Tecnologie avanzate

47 Innovation for Data Intensive Storage Solutions

Annual data growth rates exceeding 20%? Performance bottlenecks with data processing? Spikes in demand and increasing collaboration needs? Hitachi harnesses the power of its research and innovation across multiple company disciplines including: telecommunications, networking, supercomputers, storage and sustainable manufacturing to drive development of storage solutions to support data intensive storage solutions. With the largest worldwide deployment of virtualisation in storage infrastructures, innovative controller and disk drive manufacture, the integration of hardware accelerated NAS architectures, clustering and data migration functionality there are many solutions available for specialist markets. Hear how Hitachi Data Systems can offer agile, differentiated solutions to the problems associated with massively scalable, high performance storage infrastructure requirements to support specialist computing applications.

Speaker: HITACHI

Slides INFN_Event_May2010.pdf

48 Discussione

49 Architetture di ultima generazione per il calcolo ad alte prestazioni in ambito HEP

Il rilascio contemporaneo delle nuove generazioni di CPU e GPU ha creato nuovi scenari per il calcolo ad alte prestazioni: verranno analizzate le principali novità del mercato, con riferimenti sia alle prestazioni dei sottosistemi (CPU,RAM, GPU, I/O) che a quelle globali, particolare enfasi verrà posta nella valutazione dei costi totali di gestione (TCO).

Speaker: E4

Slides E4_INFN_Workshop2010.pdf (Protected)

50 Discussione

14:00 pranzo

Roof Garden

14:30 gita e cena sociale

Thursday, 20 May

Analisi Tier2 e Tier3

Saranno descritte le esigenze degli esperimenti per quanto riguarda l'analisi dati da parte degli utenti LHC e le attuali procedure adottate dagli esperimenti

51 Introduzione

Sara' descritta l'ultima parte del processo di analisi (off-grid) e le richieste sull'infrastruttura informatica:login interattivo, accesso all'infrastruttura grid (installazione e mantenimento della User Interface), limitate capacita' di storage per immagazzinare l'output dell'analisi su grid (ntuple), limitate capacita' di calcolo per l'analisi interattiva evetualmente con piattaforme a-la proof, possibilita' di compilare e testare codice su piccoli samples di dati inclusa l' installazione del software di esperimento, servizio di backup, ...

Speaker: Claudio Grandi (INFN Bologna)

Slides Workshop-CCR-Tier3-100520.pdf Workshop-CCR-Tier3-100520.ppt

52 Report degli esperimenti

Saranno descritte in modo critico il modello di analisi degli esperimenti con le strategie gia' adottate e quelle che si pensa di adottare, con analisi di pro e contro delle diverse soluzioni prese in considerazione e le proposte alla comunita' dei servizi calcolo sullo sviluppo di soluzioni comuni. Dovranno essere descritte in modo piu' quantitativo le esigenze degli analisti (numero stimato di analisti, stime sulle richieste di storage e CPU per la fase off-grid, ...).

10:40 coffee break

Analisi Tier2 e Tier3 (II)

Saranno descritte in modo piu' specifico le esperienze gia' compiute in alcune sezioni ed eventuali proposte di lavoro futuro. Le presentazioni saranno "monotematiche" affrontando ognuna un contesto diverso (off-grid, grid/T3, grid/T2, proof su farm locale,...)

53 Esperienza con uso di PROOF

Speaker: Dario Berzano (INFN Torino/Nantes)

Slides PresProofCcrAcireale2010.pdf

54 Esperienze ai siti INFNGrid

esperienza di un sito INFNGrid che offre risorse di calcolo e supporto T3-like ad utenti locali

Speaker: Mirko Corosu (INFN Genova)

Slides WorkshopCCR_2010-corosu.pdf

55 Esperienze ai Tier-2

esperienza di un T2 che offre risorse di calcolo e supporto T3-like ad utenti locali e non

Speaker: Giacinto DONVITO (INFN Bari)

Slides tier3_tier2_ccr_infn.pdf

56 Esperienze con farm locali

esperienza di una farm locale (grigliata totalmente/parzialmente, o grigliabile) che offre risorse di calcolo e supporto T3-like ad utenti locali

Speaker: Paolo Dini (INFN Milano Bicocca)

Slides cmscluster2010-t3.pdf

57 Discussione

13:00 pranzo

Futuro dei progetti GRID

58 Il progetto EGI-InSPIRE

Nella presentazione verrà illustrato il progetto EGI-InSPIRE, cofinanziato dalla EC, le attività previste, sia a livello europeo che italiano, e la struttura organizzativa.

Speaker: Luciano Gaido (INFN-Torino)

Slides EGI-InSPIRE-acireale.ppt

59 Il progetto EMI

Speaker: Dr Francesco Giacomini (INFN-CNAF)

Slides emi.pdf

60 IGI: l'Infrastruttura Grid Italiana

Nella presentazione verrà illustrato il contesto in cui si colloca IGI, le attività previste e la sua struttura organizzativa. Verranno inoltre sintetizzate le discussioni avvenute recentemente all'interno dell'INFN sul contributo dell'INFN ad IGI

Speaker: Mirco Mazzucato (CNAF)

Slides igi.pptx

61 discussione

17:40 Coffee break

Storage

62 Introduzione

(con breve cenno allo stato del MSS al Tier1)

Speaker: Luca dell'Agnello (INFN CNAF)

Slides SC09_SHORT_v01.ppt sessione-storage.pptx

63 Esperienze in alcune sezioni su integrazione gestione sistemi storage per il calcolo e per i servizi

Speaker: Alessandro Brunengo (INFN Genova)

Slides Brunengo.pdf

64 Studio e test di file-system distribuiti per HEP

Saranno descritte alcune tecnologie software di storage per realizzare Storage Element per siti Tier2 e Tier3 di esperimenti HEP. Particolare enfasi verrà posta su esempi di infrastrutture realizzate con Lustre e Hadoop. Verrà inotre mostrata l'attività e i risultati del test di file-system con job di analisi di HEP all'interno del gruppo Hepix.

Speaker: Giacinto Donvito (INFN Bari)

Slides donvito_storage_per_hep.pdf

65 Evoluzione dello storage

Possibili scenari di evoluzione dello storage

Speaker: Vincenzo Vagnoni (INFN Bologna)

Slides StorageDarwin.pdf

66 discussione

20:00 Cena

22:30 Premiazione poster. Intrattenimento musicale "Cunti e Canti di Sicilia" e degustazione prodotti tipici.

Friday, 21 May

Middleware

67 Stato della transizione dal LCG-CE a CREAM

Esperienza sui primi mesi di uso di CREAM in produzione, stato del deployment e prospettive per il pensionamento del LCG-CE

Speaker: Massimo Sgaravatto (PD)

Slides cream-infngrid-ccr-ws-may10.ppt

68 Gestione di metadati

Stato di AMGA, esperienze di utilizzo e prospettive di sviluppo

Speaker: Antonio Calanducci (INFN Catania)

Slides AMGA_CCR_Workshop.pdf

69 Middleware dell'INFN

Spunti di discussione sul middleware INFN - Workshop INFN del 27-28 gennaio (https://agenda.cnaf.infn.it/conferenceDisplay.py?confId=305) e oltre

Speaker: Dr Francesco Giacomini (INFN-CNAF)

70 Discussione

Priorita' dello sviluppo middleware per l'INFN

10:50 break

GRID Operations

In questa sessione si affronteranno i temi piu' importanti relativi alla gestione, supporto e mantenimento della Grid di produzione. Verranno evidenziate sia le esigenze che sono soddisfatte con la versione di tool e servizi forniti ora (con eventuali esempi di configurazione) sia i piani di sviluppo dei tool stessi.

Conveners: Luciano Gaido (INFN), Tiziana Ferrari (INFN)

71 Il sistema di monitoring con Nagios: stato e prospettive

Nella presentazione verra' illustrato il cosiddetto Nagios di ROC ed in particolare il suo utilizzo per i test dello stato delle risorse e dei servizi (in sostituzione dei SAM test)

Speaker: Giuseppe Misurelli (INFN-CNAF)

Slides grid-nagios-ccr.pdf

72 L'organizzazione di uno CSIRT per IGI

La presentazione illustrera' una proposta per la costituzione di uno CSIRT per il progetto IGI e la sua relazione con il GARR-CERT

Speaker: Riccardo Brunetti (INFN-Torino)

Slides IGI-CSIRT.pdf IGI-CSIRT.ppt

73 Accounting: stato ed evoluzione di DGAS

Nella presentazione verranno illustrati i miglioramenti introdotti recentemente nella release del tool ed i piani di sviluppo definiti per il suo potenziamento (supporto di SGE, storage accounting, etc.)

Speaker: Andrea Guarise (INFN-Torino)

Slides 201005221_DGAS_guarise.pdf 201005221_DGAS_guarise.pptx

74 La normalizzazione puntuale dei dati di accounting

Nella presentazione verra' illustrata una soluzione per la normalizzazione 'puntuale' dei job basata sulla potenza effettiva del worker node sul quale il job e' stato eseguito

Speaker: Peter Solagna (INFN - Padova)

Slides solagna-dbdina.pdf

75 discussione

Conclusioni

slides conclusioni.pdf

13:00 pranzo

15:00 visita ai LNS e alla Sezione INFN di Catania / trasferimento in aeroporto