Trilaterale SD-Storage-User support

Europe/Rome
Description
    • 10:00 11:00
      Trilaterale SD-Storage-User support 1h

      Agenda

      • strategia deployment webdav haproxy vs dns round robin per consistenza
        autorizzazione
      • storm+ceph quale futuro?
      • strategia deployment e ridondanza server IAM
      • OIDC-agent
        • ottimizzazione per per sessioni inattive
        • deployment OIDC-AGENT a supporto esperimenti sulle UI
          • oidc-agent vs htgettoken
      • Tracciabilita' StoRM WebDAV

      strategia deployment webdav haproxy vs dns round robin per consistenza autorizzazione

      • Storage investiga il deployment di Redis per le sessioni @ T1
        • problematico, apparentemente, avere Redis in HA
        • Azione(SD): valutare infinispan, che non richiede deployment di servizi aggiuntivi
          • requirement: supporto multicast nella rete in cui è installato infinispan (AZIONE Storage: verificare con rete@t1 supporto multicast). Peche' non broadcast? requirement infinispan da manuale infinispan
            • perchè è un problema haproxy? occorrono sticky sessions per consistenza sessione. anche con sticky session se replica muore consistenza perduta, con sessioni esternalizzate questo non si verifica. Inoltre haproxy è un servizio in più da schierare in HA. Ok per load balancing, mentre per coerenza sessioni meglio approccio sessioni esternalizzate. Comunuqe non sono alternativi, haproxy per load balancing, redis o infinispan per coerenza sessioni auth.

      storm+CEPHFS quale futuro

      • Andrea: c'è in programma di supportare qualche esperimento con webdav su ceph?
        • La prossima settimana arrivano risorse adeguate. entro un mese dovrebbero essere diposnibili per qualche esperimento. Proposta o AMS o DS50 (da verificare. Azione per storage/US)
      • Per prossime agende: come gestire sia tape che disco con ceph?
        • Vlad: disorso per futuro non ravvivinato, al momento restiamo con organizzazione attuale

      ------------------------

      • CEPH come exit strategy da GPFS
        • 4PB acquistati, test in corso
      • A che livello si dovrebbe interfacciare StoRM?
        • su CEPHFS facile, su object storage da capire
      • Object storage deve fornire strumenti per l'accesso ai dati
        • Browsing dei dati (LS-like, stat)
        • POSIX access potenzialmente problematico
      • Cosa vogliono gli utenti?
        • In genere vogliono POSIX
      • Testare StoRM SRM e WebDAV su CEPHFS
        • FS fornito da storage da Antonio

      strategia deployment e ridondanza server IAM

      • requirement: ridondanza simil voms
        • primo step potrebbe essere ridondanza availability zone diverse, ma sempre cnaf, i.e. zona t1+zona sdds. database in ha
        • ridondnza multisito: attualmente in sviluppo nel contesto di infn cloud. deadline per escape pe avere iam in HA: marzo/aprile. probabilmente in relicazione master-slave. se multimaster  più complicato per relicazione anche sessioni non solo db. iam rispetto  voms non può funzionare in sola lettura perchè le sessioni sono salvate nel db
        • db in HA sarà richiesto all'infrastruttura
        • Discussione su creazione processo per affiancare sdds nel deployment (utilizzando però strumenti agili come attualmente is essere) da parte di personale t1 (AZIONE: Andrea/Daniele/LdA)
        • Organizzare handover gestione autorizzazioni da Andrea a US/Esperimenti (Azione Andrea: lista di IAM in cui sta facendo da VO manager) Comunque Andrea rimarrebbe per debugging purposes

       

      Tracciabilità WEBDAV-IAM

      • come avviene mapping utenti che si presentano con token?
        • al momento non c'è mapping in webdav -
        • in programma avere servizio che possa mappare identità openid connect/UidGid sopratutto per accesso ai CE/WN, al momento per accessso fs non è necessario
       
      • il token/le credenziali degli utenti è loggato su storm webdav?
        • da verificare se viene loggato a livello info le credenziali (subject e/o username)
          • se non logga a livello info è d correggere - (Azione Andrea/Lucia)
          • su storm-webdav-server-access.log INFO log:
            131.154.128.61 - - - 2021-01-29T09:54:10.111Z "6ef6b193-9dbf-48b6-aa7b-5f91e4dcde0f" "PUT /cta-lst/test_2901 HTTP/1.1" 201 0 128
          • su storm-webdav-server.log nulla

       

      OIDC-Agent

      • ottimizzazione per sessioni inattive
      • deployment OIDC-AGENT a supporto esperimenti sulle UI
        • oidc-agent vs htgettoken
          • htgettoken sviluppato da fermilab - delega a vault gestione flusso con iam
            • necessita deployment di vault davanti a iam
        • oid-agent per vo? potrebbe essere possibile ma dipende da come viene utilizzato dagli utenti
          • esiste "oid-agent server" da valutare  se è per utente o per vo
        • AZIONI: valutare le soluzioni di cui sopra (US/SD) in caso iniziare uno sviluppo interno per servizio di vo o di sito - formare gruppo valutazione (Daniele/Andrea)
          • valutare anche script per raggruppare i comandi necessari ad ottenere un toke

      Prossimo trilaterale: giovedì 25/2 ore 10:00

      Temi per prossima agenda:

      - rimpiazzo di SRM come da discussione in doma TPC

      - organizzare un paio d'ore di formazione su come debuggare httpd-tpc per storgae-user support: bignami su how to debug httpTPC e come è implementata in storm: per ora fissato  Venerdì 19 dalle 14 alle 17 post CdG 

      - smarcare problemi di performance su webdav - capire se rete è bottleneck o se problemi sw - aggiornamento da SD il 25/2 ma occorre  organizzare preventivamente meeting su questo prima del 25/2 (prossima settimana, Azione Vladimir/Lucia con Andrea)