Web12 Semantic Web: Grid computing -- descrieri semantice

<?xml version=“1.0” ?>
Semantic Web <curs desc=“…” />

Web semantic

Dr. SabinCorneliu Buraga
Facultatea de Informatica
Universitatea “A.I.Cuza” – Iasi, Romania

http://www.infoiasi.ro/~busaco/

Dr. Sabin Buraga http://www.purl.org/net/busaco


Grid descris semantic



“A successful tool is one that was used
to do something undreamt of by its author.”

Stephen C. Johnson



necesitati
O infrastructura computationala distribuita
destinata rezolvarii de probleme complexe,
necesitind putere mare de calcul



necesitati
Oferirea de suport pentru cautarea si regasirea
informatiilor (cunostintelor),
indiferent de localizarea lor fizica



grid computing
Analogie cu retelele electrice (power grids)
anii ’90 – Ian Foster

executarea de task‐uri pe mai multe masini,
privite ca un calculator unic

I. Foster & C. Kesselman,
The Grid: Blueprint for a New Computing Infrastructure,
Morgan Kaufmann, 1999



grid computing: scopuri (Abbas, 2004)

Partajarea flexibila, sigura & coordonata
a resurselor intre colectii dinamice de indivizi,
institutii si resurse




Abilitatea de a forma organizatii colaborative
virtuale (virtual organizations)
– eventual, constituite dinamic –
partajind aplicatii & date intr‐un mediu deschis si
eterogen pentru a rezolva mutual diverse probleme




Abilitatea de a agrega un volum considerabil
de resurse computationale dispersate geografic
in vederea solutionarii unor probleme complexe



grid computing: caracterizare
Infrastructura hardware & software care ofera
acces permanent, ieftin, de oriunde,
in maniera consistenta, la resurse de calcul

Modalitate de a procesa in maniera distribuita
informatiile (cunostintele) disponibile in Internet




Tehnologii inrudite:
Peertopeer (P2P)
Cluster computing
Internet computing
Web computing
Cloud computing




Resursa:
entitate partajabila, existenta in cadrul unui Grid

tipuri de resurse:
de calcul: PDA, PC, statie de lucru, server, cluster
de stocare: hard disk, RAID (Redundant Array of
Independent Disks), SAN (Storage Area Network),…
de tip I/O: senzori, retele, imprimante etc.
logice: utilizatori, contoare de timp,…


istoric

Generatia 1 – proiectul Globus (Goble & Foster)
aplicatii necesitind putere mare de calcul
include protocoale (X.509, LDAP, FTP) si
instrumente de dezvoltare eterogene
suport pentru accesul la & transferul de fisiere
foloseste tehnologiile Internet, dar ignora Web‐ul
dezvoltare in medii academice
partajarea resurselor se realizeaza via GridFTP
urmat de Legion, Condor, Unicore,…



istoric

Generatia 2 – OGSA
(Open Grid Services Architecture)
aplicatii necesitind prelucrarea unor cantitati
mari de date (data intensive knowledge intensive)
locul central este luat de serviciile Web
standardizare via GGF (Grid Global Forum)
dezvoltare in medii preponderent industriale
numeroase implementari, inclusiv Globus Toolkit



istoric
Generatia 3 – prezent & viitor
oferirea de servicii specifice
pentru aplicatii bazate pe arhitectura Grid
integrare de paradigme si tehnologii
privitoare la calcul distribuit si paralel:
agenti software
servicii Web
peertopeer
wireless
cloud computing


istoric
domenii de interes (Jeffery & Kacsuk, 2004):
infrastructura
arhitectura
middleware
programare
aplicatii
proiecte



istoric
directii de cercetare (mai ales in Europa):
tehnologii Grid generice
noi arhitecturi Grid
descrierea semantica a serviciilor Grid
modele de programare, integrarea datelor, colaborare,
descoperirea cunostintelor, securitate,...

dezvoltarea retelei de excelenta CoreGRID:
www.coregrid.net


arhitectura
Arhitecturile Grid utilizeaza simultan un numar
mare de resurse (hardware, software, logice)



arhitectura
Aspecte privind partajarea resurselor Grid:
Identitate & autentificare
Autorizare & asocieri de politici de acces (policy)
Descoperirea resurselor
Caracterizarea resurselor
Alocarea resurselor
Managementul resurselor
Contorizare, plata (billing), contracte privitoare
la serviciile oferite – Service Level Agreement (SLA)
Securitate


arhitectura
Aspecte de interes:
interoperabilitatea protocoale generice

arhitectura Grid ≡ arhitectura protocolului (Foster, 2002)

arhitectura Grid este o arhitectura a serviciilor utilizate
(de baza si de nivel inalt), independenta de API si SDK

punct de vedere impartasit de SOA



arhitectura
Ce servicii de baza trebuie oferite?
Numire (Naming)
Autorizare (Authorization)
Securitate (Security)
Confidentialitate (Privacy)
…



arhitectura
Ce servicii de nivel inalt trebuie oferite?
Controlul activitatilor – fluxuri de lucru (Workflows)
Tranzactii (Transactions)
Data/relation mining
Descoperirea cunostintelor (Knowledge discovery)
Managementul cunostintelor
…



arhitectura
Necesitatea unei arhitecturi stratificate (Abbas, 2004):



arhitectura

Fabric
Furnizeaza resurse – de calcul, de stocare, retea,
directory,… – pentru care accesul partajat e mediat de
protocoalele Grid‐ului

Ofera componente care implementeaza operatii
locale, specifice fiecarui tip de resursa



arhitectura

Connectivity
Nucleu al protocoalelor de comunicare si
de autentificare pentru tranzactiile de retea
Servicii minimale pentru comunicare:
transport, dirijare si numire
Moduri de autentificare:
inscriere singulara (user subscribe), delegare,
integrarea cu solutii de securitate locala,
relatii bazate pe incredere (trust)



arhitectura

Resource
Scop: definirea de protocoale (+API/SDK) pentru
negocieri sigure, monitorizare, control,
contabilitate si plata a operatiilor de partajare
a resurselor individuale

Protocoalele se concentreaza asupra resurselor
individuale, iar problemele legate de starea globala
sunt ignorate la acest nivel



arhitectura

Resource
Utilizarea de protocoale de informare
Obtinerea informatiilor despre structura si starea
unei resurse: configuratie, incarcare,
politica de utilizare,...



arhitectura

Resource
Protocoale de administrare
Negocierea accesului la resursele partajate:
solicitari
(e.g., calitatea serviciilor – QoS, rezervare)
operatii
(e.g., creare, accesare de date,…)
Instanțierea relatiilor de partajare
Monitorizarea/controlul starii unei operatii



arhitectura
Collective
Ofera protocoale si servicii ce privesc global resursele
Grid‐ului – e.g., faciliteaza interactiunile dintre seturi
de resurse
Poate implementa servicii de partajare a resurselor:
Catalogare (directory)
Co‐alocare, planificare si intermediere
Monitorizare si diagnosticare
Replicare si descoperire
Colaborare


arhitectura

Application
Cuprinde aplicatiile‐utilizator care opereaza
pe baza arhitecturii Grid
Medii de programare + biblioteci de nivel inalt
Exploatarea sinergiei dintre ebusiness & servicii Grid



protocoale & API‐uri

Nivelul fabric include protocoalele & API‐urile
oferind acces la resursele partajate

viziune logica asupra resurselor si nu una fizica




Connectivity layer include protocoale de baza
pentru tranzactii de retea specifice Grid‐ului

protocoalele Internet standard

protocoale vizind securitatea:
Grid Security Infrastructure (GSI)
autentificare, autorizare & protejare




Resource layer – protocoale pentru initierea &
controlul partajarii resurselor locale
managementul alocarii resurselor Grid‐ului:
Grid Resource Allocation Management (GRAM)
alocarea, rezervarea, monitorizarea & controlul
de la distanta ale resurselor
GridFTP – acces & transport eficient al datelor
serviciul de informare privind resursele Grid:
Grid Resource Information Service (GRIS)
acces la structura si starea unui nod al Grid‐ului



Nivelul collective specifica protocoale oferind
servicii la nivel de sistem pentru exploatarea
pe scara larga a unui sistem Grid

servicii de indexare si meta‐catalogare pentru structurarea
si accesarea resurselor

broker‐i de resurse pentru descoperirea si
alocarea resurselor conform cerintelor aplicatiilor



Arhitectura stratificata conceptuala a Grid‐ului (R. Buyya, 2002)



tipuri

Tipuri de Grid – la nivelul localizarii
conform (Buyya, 2002):
Global Grid
Enterprise Grid
Cluster Grid



tipuri



tipuri

Global Grid
reprezinta o colectie de Grid‐uri de tip enterprise
si cluster, plus alte resurse distribuite geografic
pe o arie larga – continent sau planeta
politica de utilizare globala
protocoale generale de partajare a resurselor
numit si inter grid (IBM)



tipuri

Enterprise Grid
faciliteaza partajarea de resurse intre mai multe
departamente si colective ale unei organizatii
(virtuale)
politici de management a resurselor
numit si intra grid ori campus grid
in contextul extranet: Extraprise Grid



tipuri

Cluster Grid
reprezinta o colectie de calculatoare interconectate
folosite (si vazute) ca o resursa unica la nivel de
departament/grup
departmental grid (Sun) / infra grid (IBM)

face posibila utilizarea la maxim a resurselor colectiei
de calculatoare (PC‐uri, laptop‐uri, smartphone‐uri,…)

cluster ≡ ansamblu de calculatoare – dintr‐un LAN –
care formeaza o resursa unica de calcul


tipuri

Cluster Grid
alternative:
NOW (Networks of Workstations),
COW (Clusters of Networks Workstations)



tipuri

Categorii de clustere (Dan Grigoras):
dedicate
constituite din noduri omogene: procesor, OS,…
– rack de placi de baza
de intreprindere
eterogene, distribuite geografic, control limitat
activitatile locale au prioritate mai mare decat cele
ale intreprinderii



tipuri

Categorii de clustere (Dan Grigoras):
cyclesharing
partajeaza ciclurile procesoarelor
adhoc
create in mod dinamic pentru rezolvarea
unor probleme tranzitorii
mobile
pur mobile (dispozitive mobile: telefon, smartphone,
laptop, palmtop, consola de jocuri,…)
sau mixte (mobile + fixe)


tipuri

Aplicatii specifice cluster computing:
Procesari intensive
(HPC – High Performance Computing, supercomputing)
calcul numeric
grafica computationala 2D/3D
(rendering – e.g., raytracing, shading,…),
simulari: biocomputing, domeniul militar, meteo,…

Exemplu autohton: cluster raytracing
lucrare de licenta – Silviu Homoceanu, 2006


tipuri

Aplicatii specifice cluster computing:
Stocare distribuita a unui volum mare de date
(high availability) + depozite de date (warehouses)
a se vedea serviciile de stocare de la Amazon
Cautarea distribuita de resurse
Comert electronic pe scara larga
Aplicatii critice rulind in timp‐real – e.g., enhancing
trafic safety (Kashif Din, 2008): www.arsenal.ac.at
Divertisment – de exemplu: jocuri online



tipuri

Implementare: Beowulf – www.beowulf.org
(T. Sterling, W. Gropp & E. Lusk, 2003)
Suport pentru constituirea de clase de cluster‐e
(lowend/highend)
Calculatoarele pot fi adaugate dinamic
Comunicare via MPI (Message Passing Interface)
Model de programare independent de infrastructura,
de tehnologiile de retea sau de componente
Noduri master (coordonatori) si worker (procesatori)
Alternativa la alte abordari precum OpenMOSIX


tipuri

Pentru alte detalii privitoare la cluster computing
a se consulta:

www.openclustergroup.org

www.linuxhpc.org



tipuri

Tipuri de Grid – la nivelul logic
dupa tipul resurselor
(Jeffery, 2000; Moreau, 2002; Ruby & Miller, 2008)
Computational Grid
Information Grid
Knowledge Grid



tipuri

Computational Grid
nivel de baza, ofera servicii de calcul si date pe scara
larga: ACDC (Advanced Computational Data Center) Grid
necesitatea unei infrastructuri pentru monitorizarea
si controlul resurselor vazute ca un ansamblu
rafinari: desktop grid, server grid &
highperformance/cluster grid

exemple: procesari grafice intensive, machine learning,
rezolvarea problemelor de optimizare etc.


tipuri

Information Grid
permite accesul uniform la surse eterogene de
informatii si ofera servicii publice de baza
rulind pe resurse computationale distribuite
resursele computationale pot varia de la simple
invocari de metode la distanta pina la aplicatii (Web)
sofisticate
exemple: grid‐uri in domeniul bioinformaticii,
medicina computationala, stiintele pamintului etc.



tipuri

Knowledge Grid
nivel superior oferind (meta‐)servicii specializate
pentru managementul de resurse (cunostinte) stocate
in maniera distribuita si pentru gestiunea serviciilor

meta‐serviciile pot fi compuse din alte servicii
managementul resurselor poate implica utilizarea
sistemelor de multi‐agenti (Rana & Moreau, 2000;
Sycara & Payne, ‘03; Shi et al., ‘06; Ruby & Miller, ‘08)



tipuri

Conform specificului aplicatiilor disponibile intr‐un Grid
(Laszewski & Wagstrom, 2004):
arhitecturi multi‐strat (Ntiered)

aplicatii rolebased
aplicatii bazate pe servicii


tipuri (Laszewski & Wagstrom, 2004)



implementari

Open Grid Service Architecture (OGSA)
serviciile Grid sunt servicii Web extinse
serviciile Web sunt dependente de stare: stateful

managementul timpului de viata a serviciilor

existenta unei infrastructuri deschise:
OGSI (Open Grid Service Infrastructure)



implementari
OGSA defineste interfete si comportamente
(prin WSDL) pentru a specifica – via servicii Web –
un serviciu pentru Grid

precizarea unui profil pentru fiecare serviciu
(interfete obligatorii si optionale)



implementari
Serviciile Web vor putea fi extinse pentru a suporta
functionalitati specificate de Grid
serviciile trebuie sa fie dependente de stare (stateful)
notificare asincrona a schimbarii de stare
specificarea referintelor la instante de servicii
…



implementari

Mentinerea starii instantelor de servicii Web dintr‐un
sistem Grid via WSRF (Web Services Resource Framework)



implementari

Serviciile Grid constituite trebuie sa fie:
dinamice si volatile – multimi de servicii compuse
create, invocate si eliminate “din zbor”
adhoc – nu exista locatie centrala ori control central;
nu exista relatii de incredere
pe scara larga – orchestrarea unui numar mare
de servicii (>100) trebuie realizata oricind
disponibile, potential, pe termen lung
(e.g., o simulare poate dura saptamini)



implementari



implementari

Specificatii tehnice:
Open Grid Services Infrastructure (OGSI)
acces la & integrare a datelor,
înregistrarea şi managementul resurselor,
jurnalizare distribuită,
orchestrare a serviciilor , Java binding etc.

standardizate de Global Grid Forum



implementari

Globus Toolkit 4
implementare de referinta bazata pe OGSA
www.globus.org
varianta minimala: Glite
Java Grid Commodity Kit (CoG) – dezvoltatorul poate
evita interactiunea directa cu serviciile Globus
(executia job‐urilor prin GRAM, transfer via GridFTP,
descoperirea caracteristicilor resurselor etc.)
pyGlobus – implementare Python



implementari

Instrumente oferite de IBM, Microsoft, NEC, Oracle
si altii pentru UNIX/Linux sau Windows

Alte proiecte:
Apple Xgrid
Sun Grid Engine

Microsoft Windows Azure (?)



initiative

GridPP (UK Computing Grid for Particle Physics)
parte integranta a celui mai mare Grid din lume:
LCG (LHG Computing Grid),
unde LHG = Large Hadron Collider (CERN, din 2007)
LCG este compus din peste 5200 CPU‐uri,
4000 TB memorie, rulind >5000 de task‐uri simultan

face parte din cadrul proiectului EuroGrid

www.gridpp.ac.uk


initiative

Fraunhofer Grid Alliance – www.fhrg.fhg.de
scop: oferirea unui Grid computational pentru acces
facil la resursele Grid‐ului via un portal Web
pune la dispozitie un pachet middleware bazat pe
Globus Toolkit – eXeGrid Open‐Source Project:
www.exegrid.net
workflow specificat via GADL – Grid Application
Definition Language
functioneaza in mediul academic & industrial



initiative

JGrid
framework pentru Grid‐uri compuse din componente
hardware/software vazute ca servicii
se bazeaza pe tehnologia Jini – infrastructura & model
programatic pentru crearea de sisteme distribuite
dinamice in Java
aplicatiile JGrid pot fi dezvoltate via P‐Grade
(mediu de dezvoltare grafic)
http://jgrid.jini.org/


initiative

GRASP
framework pentru ASP (Application Service Provision)
bazat pe servicii Grid – aliniat OGSA
functionalitati pentru localizarea, instantierea si
orchestrarea serviciilor Grid
prototip implementat pe baza BPEL4WS, WS‐Security,
WS‐Trust etc.

www.eugrasp.net



initiative

GRASP ASP reliable, proprietar
ASP (Application
Service Provision)
concept business
(intre entitati
independente financiar)

GRASP
ASP componente pt.
orientat workflow‐uri business
componenta, in corporatii virtuale
Grid
interoperabil Servicii Web
intrastructura
interfete
de baza
pentru apeluri
pt. calcul distribuit
la distanta
dinamic
OGSA


initiative

D4Science (Distributed colLaboratories Infra
structure on GridENabled Technology for Science)
proiect de creare a unei infrastructuri stiintifice, prin
integrarea bibliotecilor digitale si a sistemelor Grid
e‐comunitati = organizatii virtuale + medii virtuale de
cercetare (virtual research environments)

www.d4science.eu



initiative

Exemple de aplicatii:

Vizualizarea 3D fotorealistica
rendering prin POV‐Ray, date distribuite via Grix

Chirurgie vasculara virtuala
CrossGrid – componenta‐cheie: Migrating Desktop
www.crossgrid.org



initiative

Exemple de aplicatii:
Rezolvarea problemelor de optimizare
proiectul TRACER (foloseste arhitecturi ca Globus,
Condor, Legion, Sun Grid Engine)
http://neo.lcc.uma.es/
Monitorizarea resurselor dintr‐un Grid – GriW
bazata pe paradigma SOA
implementare multi‐platforma:
Java, .NET, C#, JavaScript, SVG
lucrare de licenta – Alina Sirbu, 2008


web‐ul semantic & grid computing

Provocari – in contextul Grid computing:
formarea si managementul in maniera dinamica
a organizatiilor virtuale

negocierea online a accesului la servicii:
cine?, ce?, de ce?, cind?, cum?

configurarea automata a aplicatiilor/sistemelor
pentru asigurarea QoS



web‐ul semantic & grid computing
Provocari – in contextul Grid computing:
adoptarea unui punct de vedere abstract asupra resurselor
prin virtualizare

managementul inteligent al infrastructurilor, serviciilor,
aplicatiilor si resurselor distribuite la nivel de Grid

managementul starii globale a unei platforme Grid



grid semantic: initiative

myGrid
proiect in domeniul bioinformaticii
utilizeaza servicii Web descrise semantice si agenti
resurse eterogene, complexe si provenind din domenii
inrudite (problema accesului si notificarii modificarii)
foloseste servicii de meta‐date: servicii Grid + ontologii

www.mygrid.org.uk



Bioinformaticians

myGrid Registry Taverna
WF Builder
Query &
Query & register
Workflow
Retrieve
Annotation/description Execution
Discovery View
FreeFluo
invoking Enactor
Annotation
Interface Store data/
providers
Description knowledge
Pedro
Annotation tool mIR
Others
Service
WSDL Soap‐
Providers
Vocabulary Haystack
lab
Provenance
Ontology Store
Browser
Data descriptions
Scientists
Carole Goble (University of Manchester) & IBM



Rolul ontologiilor in proiectul myGrid




DB‐Annotator
proiect in domeniul bioinformaticii
adnotator de surse informationale structurate
(date relationale, descrieri XML) recurgind la RDF
folosit pentru adnotarea semantica a descrierilor
serviciilor Grid, la nivel de UDDI
permite si vizualizarea ontologiilor utilizate




Alchemi (Rajiv Ranjan et al., 2007)
sistem Grid bazat pe .NET Framework
asigura interoperabilitatea cu alte sisteme Grid
via Gridbus Grid Service Broker
utilizat in cadrul proiectului DisMy – Grid semantic
bazat pe modelul de coordonare Linda:
Andrei Iacob – lucrare de licenta, 2008
vezi si TripleSpace (Krummenacher et al., 2006):
http://tsc.deri.at/




DisMy
demo



in loc de concluzii

Grid‐ul reprezinta o aplicatie reala,
implicind un set larg de resurse eterogene,
cu scopul de a realiza calcul de inalta performanta
sau de a oferi acces transparent
la un volum mare de cunostinte indiferent
de localizarea lor in cadrul Internetului/Web‐ului



in loc de concluzii

Tehnologiile & aplicatiile pentru Grid implica
rezolvarea unor probleme de scalabilitate,
flexibilitate, performanta si securitate



in loc de concluzii

Intrebari:
Ce pot face tehnologiile Web‐ului semantic
pentru Grid?

Ce pot face tehnologiile Grid
pentru Web‐ul semantic?



www.semanticgrid.org


in loc de concluzii

Diverse aspecte avute in vedere de Web‐ul
semantic pot fi aplicatii ale Grid‐ului
e.g., cautare de informatii,
data/relation mining,
aplicatii de lingvistica computationala,
regasirea cunostintelor,
analizarea retelelor sociale,
procesarea & managementul ontologiilor
etc.


in loc de concluzii

Problematicile si aplicatiile destinate Grid‐ului
sunt un bun exemplu de aspecte pe care poate
sa le aiba in vedere Web‐ul semantic

Grid‐ul reprezinta o meta‐aplicatie middleware
implicind utilizarea meta‐datelor si ontologiilor
la nivel de resurse, infrastructura, servicii & aplicatii



Rezumat

Introducere in (semantic) Grid computing
caracterizare, arhitectura, servicii Grid, aplicatii


?


Web12 Semantic Web: Grid computing -- descrieri semantice

Recommended

Recommended

More Related Content

More from Sabin Buraga

More from Sabin Buraga (20)

Recently uploaded

Recently uploaded (6)

Web12 Semantic Web: Grid computing -- descrieri semantice