1. Infrastrutture
di
Grid
e
Cloud
per
la
ricerca
Bioinformatica
Giacinto
DONVITO
INFN-­‐Bari

2. Agenda
Ê Supporto
alle
applicazioni
scientifiche
Ê Progetti
e
attività
del
gruppo
Ê Grid
Computing
Ê Cloud
Computing
orientato
all’infrastruttura
Ê PRISMA
Ê Cloud
Computing
orientata
ai
servizi
Ê BioVeL
Ê Conclusioni
2

3. Supporto
alle
applicazioni
scientifiche
Ê Il
gruppo
INFN-­‐Bari
ha
un
focus
specifico
nel
supporto
alle
attività
di
data
analisi
in
vari
contesti
scientifici
Ê Partendo
dall’esperienza
degli
esperimenti
di
LHC
Ê Ma
con
l’attenzione
alla
multidisciplinarietà:
Ê Bioinformatica,
Analisi
immagini
mediche,
Chimica
computazionale,
Cristallografia,
analisi
immagini
da
satellite,
etc
Ê Partecipazione
alla
JRU-­‐ELIXIR
Ê Dal
2004
è
coinvolto
in
attività
di
supporto
al
calcolo
della
bioinformatica
con
vari
progetti:
Ê FIRB
LIBI
(12/9/2005
all’11/9/2011)
Ê Bioinfogrid
(1/1/2006
al
31/12/2007)
Ê BioVeL
(1/09/2011
al
30/08/2014)
3

4. Grid
Computing
Ê Esperienza
di
grid
computing
per
l’uso
di
risorse
distribuite
geograficamente
per
il
supporto
all’analisi
dati
scientifici
Ê Supporto
agli
esperimenti
LHC
Ê Esperienza
di
supporto
alle
analisi
di
bioinformatica
che
necessitano
di
calcoli
complessi
(Blast,
MrBayes,
CSTminer,
etc)
Ê Supporto
per
grandi
challenge
che
hanno
richiesto
decine
o
anche
centinaia
di
anni
di
CPU
Ê Attività
svolta
sia
nell’ambito
dei
progetti
nazionali
che
europei
Ê Collaborazione
con
HmtDB
(prof.
Attimonelli)
Ê Attività
legate
a
NGS
4
Davide Salomoni
Hype in the Cloud, Stacks in the Ground
8

5. Evoluzione
delle
piattaforme
di
calcolo
5

6. Cloud
Computing:
PRISMA
Ê PRISMA
è
un
progetto
PON
Smart
Cities
che
si
pone
l’obiettivo
di
sviluppare
una
piattaforma
innovativa
aperta
e
interoperabile
di
cloud
computing.
Ê Il
progetto
nasce
nel
contesto
della
call
del
Programma
Operativo
Nazionale
Ricerca
e
Compatibilità
2007-­‐2013
Budget
complessivo
27.500.000
euro
Budget
INFN+UNIBA
UNIBA:
2.402.539
euro
+
INFN:
2.231.915
euro
6

7. Cloud
Computing:
PRISMA
Ê PRISMA è un progetto che comprende sia Università, Enti pubblici di ricerca, ma
anche aziende private
Ê Enti pubblici di ricerca:
Ê
Ê
Ê
CNR, Istituto di Acustica e sensoristica “O. Corbino”,
L’Istituto di Scienze e Tecnologie della Cognizione del CNR (ISTC)
Istituto Nazionale di Fisica, Bari, Catania and Napoli
Ê Organizazione non-profit :
Ê
EUCENTRE
Ê Università:
Ê
Università degli Studi di Bari, Enna Unikore, Catania
Ê Centri di calcolo
Ê
CINECA (ex CILEA)
Ê Aziende private:
Ê
Ê
Ê
Ê
Ê
Sielte Spa
Santer Reply
Cooperativa EDP La Traccia
InnovaPuglia
ATS - Advanced Technology Solutions Srl
7

8. Cloud
Computing:
PRISMA
8

9. Cloud
Computing:
PRISMA
(IaaS)
Interface
Layer
OpenNebula$
Market$Place$
9
Horizon$
Web$
FrontEnd$
Swift Storage
Service
Network$
Modified
Manager$
Quantum Server
Glance
Server
S3$
General
Services
ProgrammaHc$API$
CDMI$
OCCI$
Management Layer
NOVA+WNoDeS
Computing
Manager
EC2$
Keystone$AAI$
service$
Cinder Device
Storage
Meetering$
Abstraction Layer
KVM$
XEN$
XCP$
VMWare$
Virtualizzatori
CPU$
CPU$
SDN$
HyperV$
Progr. Net
CEPH/Lustre/GlusterFS/GPFS$
File Systems
Disk$
Disk$
Disk$
Network$
Network$
Network$
9
Disk$
Disk$
Disk$
Hardware layer
Monitoring$
RDBMS$

10. Cloud
Computing:
PRISMA
(PaaS)
AR 2.1 / OR 1.7
HTML5/JQuery portal
API
pubblic
access
Horizon – PRISMA portal interface
ORM
Database
Application server
MVC
Horizon - PRISMA Adapter layer
REST/
SOAP
REST/
SOAP
API set (IAAS+PAAS) (OCCI Standard)
OR1
Monitor
MSMQ
system
API IaaS
standard
EC2/S3/OCCI
REST/
SOAP
QoS
adapter
API
EC2?
openstack
ceilometer
API
BPM
WorkFlow
engine
API
API
adapter
API
Security
Ecommerce
/Billing
Accounting
Auth
AR 2.3
Openstack
Native API
REST/
SOAP
AR 2.2
adapter
API
adapter
API
adapter
API
API
API
HPC
Messaging
(SMTP/sms)
Interoperability
API
STORAGE
App Store
NETWORK
API
AR 2.4
AR 2.6
AR 2.5
10
Infrastructure
COMPUTE
API
Image service
adapter
Template
API
IAAS
Runtime
API
API
EC2?
openstack TROVE
API
adapter
Storage
Service
adapter
Database
AR 2.1
AR 2.1 AR 2.7 AR 2.8
API
adapter
AR 1.5
STORAGE
orchestrator

11. Cloud
Computing:
PRISMA
(SaaS)
Data
input
da
utente
SCENARIO
REAL
TIME
Scenario
rischio
sismico
DB
Scenario
Dati:
Magnitudo,
epicentro,
meccanismo
di
faglia,
traccia
di
faglia
OpenQuake
(ID
del
poligono
città
/
ID
edificio)
ID
scenario
DB
Vulnerabilità
ID
del
poligono
città
Dati:
N
edifici
x
tipologia
ID
edificio
/
ID
tipologia
Dati:
λ a
ξ curve
fragilità
da
D1
a
D5
Dati:
-­‐ Probabilità
di
superamento
(D1,
D2,
D3,
D4,
D5)
-­‐ Dati
evento
(Magnitudo,
epicentro,
meccanismo
di
faglia,
traccia
di
faglia)
Scenari
e-­‐Governement
Scenario
Sanità
11

12. Testbed
di
PRISMA
Ê HTC
Ê Risorse
del
testbed:
Ê Webdav
Ê 28
server
Ê 700
CPU/Core
Ê EGI
Cloud
Task
Force
Ê ~5TB
di
RAM
Ê Rischio
Sismico:
Ê 400TB
di
spazio
disco
Ê PostgreSQL
Ê Tomcat
Ê Utenti
già
supportati
o
in
fase
di
Ê HTC/HPC
set-­‐up:
Ê Supporto
all’attività
di
didattica
e
Ê Astrofisica
a
tutorial:
Ê Aleph
Ê
Macchine
virtuali
on
demand
per
esercitazioni
Ê Data
preservation
(data
analisys)
Ê Supporto
all’attività
di
ricerca
scientifica
dei
dottorandi
Ê BioVeL
/
Biomed
/
Medical
Imaging
Ê Tomcat
12

13. Cloud
computing
orientato
ai
servizi
scientifici:
BioVeL
Ê Biodiversity Virtual e-Laboratory
Ê È
un
progetto
che
ha
l’obbiettivo
di
costruire
un
laboratorio
virtuale
in
cui
ricercatori
nel
campo
della
biodiversità
ed
esperti
di
del
mondo
IT
possono
collaborare
per
costruire
servizi
e
workflow
per
l’analisi
dati
Ê Il
laboratorio
mette
a
disposizione
dei
ricercatori
alcuni
workflow
che
possono
essere
eseguiti
in
Taverna
o
nel
Taverna
Portal
in
modo
semplice
e
intuitivo.
Ê Gli
utenti
possono
o
comporre
nuovi
workflow
dai
servizi
messi
a
disposizione
dai
service
provider,
oppure
eseguire
i
workflow
creati
dai
ricercatori
più
esperti
Ê Applicazioni
già
disponibili:
Ê Hmmer,
MrBayes,
Blast,
PAML,
MUSCLE,
EMBOSS,
Biopython,
AmpliconNoise,
ABCtool,
Bowtie,
BayeSSC,
GeoKS,
hyphy,
raxmlHPC,
phylocom,
consensus_xml,
Matlab,
etc…
13

14. Cloud
computing
orientato
ai
servizi
scientifici:
BioVeL
EGI Grid Infrastructure
WebDav & ownCloud
storage
Web Service
Frontends
Local Batch Cluster
Backend
submission
DB Server
Dedicated
execution
host
14

15. Cloud
computing
orientato
ai
servizi
scientifici:
BioVeL
Upload'the'user s'inputs'
Run'MrBayes:'a'MPI'applica8on'
that'could'run'for'several'hours'
Pass'the'output'to'the'next'services''
Check'the'convergence'of'the'
model'
Retrieving'the'output'and'
parsing'the'XML''
calculate'the'consensus'tree'of'the'
posterior'distribu8on'of'MrBayes''
output'
Graphical'view'of'the'tree'
15
25!

16. Conclusioni
Ê Il
gruppo
di
INFN-­‐Bari/Uniba
del
dipartimento
di
Fisica
è
in
grado
di
mettere
a
disposizione
le
più
moderne
tecnologie
di
Grid
e
Cloud
Computing
per
vari
scopi
Ê Ricerca
Scientifica,
Amministrazioni
Pubbliche
Locali,
Piccole
e
Medie
Imprese
Ê In
base
agli
use-­‐case
possiamo
offrire
servizi
di
cloud
computing
di
vari
livelli:
Ê IaaS
per
la
gestione
delle
macchine
virtuali
Ê PaaS
per
il
supporto
allo
sviluppo
di
applicazioni
evolute
Ê SaaS
per
la
gestione
semplificata
di
complessi
algoritmi
di
analisi
16