1. Grid és Adattárolás (storage)
Szalai Ferenc
szferi@niif.hu

2. Problémák
●
Informatika egyre kritikusabb
infrastruktúra és egyre nagyobb
rendelkezésre állást várnak el tőle
●
Növekvő teljesítmény igényeket nem
lehet erősebb gépekkel kielégíteni
gazdaságosan
●
Növekvő bonyolultságú informatikai
infrastruktúra (egyre több szerver a
szerverszobában)
●
Növekvő tárolandó adatmennyiség (kép,
videó, adatbázisok)

3. Kinek a problémája?
●
Üzemeltető:
– gyorsan, olcsón, egyszerűen valami ütőset
– kevés emberem van!
●
Fejlesztő:
– lusta vagyok módosítani a kódom, oldja meg
az infrastruktúra a párhuzamosítást, elosztást
(program, adat szinten egyaránt)
●
Felhasználó:
– Nagy méretű probléma, kis méretű házi
PC/klaszter

4. Megoldás
●
Infrastruktúra konszolidáció
– szerverek: vizualizáció (következő tutorial)
– adattárolás: központi, hálózati adattároló
hálózat (SAN)
– elosztott működés: klaszter rendszerek
– fejlesztés, üzemeltetés: Szolgáltatás orientált
architektúra (SOA), Grid

5. Ismert elosztott szolgáltatások
● Filecserélő hálózatok: adatterület
megosztás, sávszélesség megosztás
(torrent)
● SETI@Home jellegű rendszerek:
szabad számítási teljesítmény megosztás

6. Ismert elosztott szolgáltatások
problémái
●
Gyenge átjárhatóság a rendszerek között
●
Nem szabványos kommunikációs
protokollok
●
biztonság
Általánosítás: GRID

7. Mi a szösz az a grid? (ezen a héten)
●
Fogalmam sincs! De:
●
Szolgáltatás orientált szoftver infrastruktúra
virtuális szervezetek számára
●
Elemei szolgáltatások halmaza:
– információs rendszer: „hol vannak a
szolgáltatások, és milyenek azok?”
– feladat végrehajtás: „futtasd ezt, valahol, ahol
a legjobb”
– adattárolás: „az ország diskje”
– biztonság
– monitorozás, elosztott management

8. Mi nem grid?
●
A klaszter
●
A „Desktop Grid” - nincs virtuális
szervezet fogalom, nincs felhasználó
●
Elosztott adatbázis szerver, mert nem
infrastruktúra, hanem alkalmazás
●
P2P, mert mond semmit az alkalmazás
interfészekről

9. Kell-e nekem grid?
●
Kell, ha:
– >10 felhasználó, >10 -féle feladatot akar
futtatni rendszeresen
– nincs pénzed dedikált klaszerert építeni
– > 50TB adatterületre van szükséged
– autonóm rendszerek központi felügyeletére van
szükséged
– autonóm szervezeti egységek között
biztonságos szolgáltatás hozzáférést kell
biztosítanod (authentikáció, authorizáció)
– a megoldandó feladatod paraméter térképzés
jellegű

10. Hogyan építsünk?
●
Összetevők:
– Elosztott azonosítási rendszer: PKI, AAI
– köztes réteg, elemi szolgáltatásokkal
– komplex szolgáltatások
– alkalmazás portálok
●
Köztes réteg elvárások:
– pehelysúlyú
– multi-platform
– általános szolgáltatás konténer
– különféle protokollok támogatása (HTTP, SOAP,
BEEP, stb.)

11. Title:/home/szferi/my/presentations/nw
Creator:Dia v۰. ۹٥
CreationDate:Mon Apr ۹ ۱۳: ۰٥ :٥٥ ۲۰۰۷

12. Grid Underground
●
kutatási projekt (2005-től intenzíven)
●
általános web és grid szolgáltatás
keretrendszer és elosztott szolgáltatás
gyűjtemény
●
szabad szoftver: www.sf.net/projects/gug
Elosztott Szolgáltatások:
●
program futtatás (klaszter- és világméterben)
●
megbízható adattárolás - „az ország diszkje”
●
katalógus és információs rendszer
●
jogosultság kezelés és biztonság
●
szabványok megvalósítása

13. Célkitűzés
●
Web szolgáltatás orientált szabvány (W3C,
OGSA) implementációkat tartalmazó
általános keretrendszer
●
Konkrét grid szolgáltatások megvalósítása
●
Kicsi egyszerűen telepíthető, kezelhető
rendszer
●
több platform, OS támogatása
●
desktopon és szupergépeken is használható
legyen
●
kicsi memória és CPU használat az
erőforrásokon

14. Megoldás
●
Komponensek:
– Python programozási nyelv
– saját web alkalmazás keretrendszer
– ZSI – SOAP parser
– saját openssl wrapper - X509 tanúsítványok és
TLS kezelése
●
Core rendszer:
– minden szolgáltatás egy dinamikusan betölthető
interfész osztály + backendek
– kommunikációs réteget elrejti a szolgáltatások
elöl
– szolgáltatás életciklus kezelés

15. GUG Core
●
gugctl daemon
●
Két speciális szolgáltatás: Manager, Grid
Információs rendszer (GIS)
●
Szálkezelés
●
Manager:
– szolgáltatások életciklus kezelése: leállítás,
indítás, status, hirdetések begyűjtése stb.
– maga is web szolgáltatás -> távoli
szolgáltatás management

16. GUG Core
– GIS:
●
p2p rendszer a szolgáltatás hirdetések
terjesztésére és keresésére;
●
adat és meta adat szétválasztása
●
adat bármi lehet

17. GUG szolgáltatások: feladat
végrehajtás
●
SuperScheduler: grid (opcionálisan
klaszter) szintű ütemezés
– OGSA BES interfész, OGSA JSDL feladat leíró
– moduláris erőforrás és döntéshozási interfész
●
Job Controller: egységes interfész a
különféle helyi erőforrás kezelő
rendszerekhez (Condor, LSF, PBS, stb.)
– OGSA BES interfész, OGSA JSDL feladat leíró
– nem ütemező

18. GUG szolgáltatások: feladat
végrehajtás
– CM: Cluster Manager – klaszer szintű
ütemező, JSDL, BES, checkpointing
– Exec: SMP gépen programvégrehajtás
●
architektúra függő modulok
– Fordítás: a gridben elérhető összes
architektúrára lefordítja az alkalmazást és
előkészíti a feladat végrehajtásra

19. GUG szolgáltatások
●
Egyszerű követelmények:
– bármilyen Python osztály lehet
– a konstruktor megkapja: service id, local_gis_url,
konfigurációs állomány neve
– legyen egy get_description függvénye
– _ kezdődő függvények nem hívhatóak SOAP-on
keresztül
– opcionálisan lehet _clean függvénye takarításra
– publikus függvény első argumentuma az
authorizációs információt tartalmazza
●
A get_description a szolgáltatás leírását adja vissza
amit a GIS terjeszt. Bármilyen formátum lehet. Jelenleg
XML használatos

20. Egyéb GUG szolgáltatások
●
Virtuális szervezetek (VO): minden
feladat, felhasználó, szolgáltatás egy
vagy több VO-nak tagja. A VO határozza
meg az hozzáférési jogosultságokat. A
tagságot tagsági igazolvánnyal igazolja
●
Elosztott katalógus
●
Elosztott adattárolás: storage manager
(StM), storage controller (StC)
●
Állomány megosztás

21. Use case - klaszter

22. Use case -
ClusterGrid

23. Use case – destop grid

24. Grid felhasználói szemmel
●
Mit?
– Paraméter térképezés típusú alkalmazásokat
– Sok független komponensre bontható
alkalmazásokat
●
Hogyan?
– Alkalmazás leíró állomány: subáit fájl (pl.:
XML, név-érték pár, stb)
– submit, status, remove ciklus

25. Adattárolás

26. Bevezető
●
Adatot márpedig tárolni kell!
●
Klaszterek:
– nagy számítási kapacitás, egyszerű
komponensekből.
– Nagy rendelkezésre állás
– Terheléselosztás
●
Trend: adattároló klaszterek, adattároló
grid rendszerek

27. Amit mindenki ismerhet: NAS
●
Hálózati állomány megosztó protokollok
(NAS rendszerek):
– NFS, AFS, SMB (Samba, Windows)
●
Előny: könnyen kezelhető,
●
Hátrány: biztonság, klaszterezhetőség
hiánya, egyszeres hibapont, rossz
skálázhatóság

28. Title:/home/szferi/my/presentations/bm
Creator:Dia v۰.۹٥
CreationDate:Fri Feb ۲۳ ۱۰ :۳۳:۰ ۲۰۰۷
۳

29. Megosztott állományrendszerek
●
Valódi állományrendszer
●
Közös hálózati adattároló alrendszerre
(SAN) épít
●
állomány szintű lockolási megoldások
●
volume management
●
Hátrány: skálázhatóság, sebesség
●
Példa: RedHat GFS, IBM GPFS, Oracle
OCFS2

30. Title:/home/szferi/my/presentations/bm
Creator:Dia v ۰.۹٥
CreationDate:Fri Feb ۲۳ ۱۰ : ۱ :۲ ۲۰۰۷
Use case- RedHat
●
GFS
●
●
Klaszter
infrastruktúra: „kik
vannak éppen most a
klaszteben” - CMON
●
Klaszter Volume
Management – CLVM
●
Állományrendszer -
GFS

31. Objektum alapú rendszerek
●
Válasszuk szét a Title:/home/szferi/my/presentations/bm
Creator:Dia v۰.۹٥
CreationDate:Fri Feb ۲۳ ۱۲: ۰۰: ۲۲ ۲۰۰۷
۰
metaadatot az
adattól!
●
Legyen az adat egy
objektum
●
Nagy teljesítmény
●
Optimális hálózat
●
kihasználás
●
Probléma:
egyszeres
hibapontok
(MDS, SAN)

32. Title:/home/szferi/my/presentations/li
Creator:Dia v ۰.۹٥
CreationDate:Thu Nov ۲۳ ۲۱ :۰ :۲۲ ۲۰۰
۲
SAN klaszter
●
Adattároló klaszter nem csak
Xen-hez.
●
Moduláris adatkapcsolat,
igény szerint
●
Egyszerű elemek
●
Skálázható a sávszélesség és
a switchek erejéig
●
management eszköz kell
hozzá
●
storage virtualizáció képesség
NONSTOP =
NONSTOP Network Storage Platform

33. Grid szerű klaszter rendszerek I.
●
Sun ZFS:
– 128 bit állományrendszer
Title:/home/szferi/my/presentations/bm
– egyszerű adminisztráció Creator:Dia v۰. ۹٥
CreationDate:Fri Feb ۲۳ ۱۱:۱۷:٥۱ ۲۰۰۷
(RAID, LVM egyben)
– adatintegritás orientált:
minden copy-on-write
– tranzakció orientált
– Jelenleg csak Solarison
elérhető (Linux, FreeBSD,
Mac OS X folyamatban)
– Nem kell SAN

34. Grid szerű klaszter rendszerek II.
●
Isilon System ONEfs:
– RAID, Volume management egyben
– Linux, Windows, Mac OS X támogatás
●
Rackable System:
– Vigyünk mindent blokk szintre
– Klaszterizált iSCSI protokoll
– blokk szintű hozzáférés és lock

35. Lépjünk alkalmazás szintre!
●
Peer-to-peer állomány-megosztás:
– „Read-only” működés
– Oceanstore, Bittorent, Cleverstore
●
Xroot: CERN, Alkalmazás szintű állomány
hozzáférés, HSM modell
●
Amazon S3: Web szolgáltatás orientált
(WSDL, REST interface). Ár: Tárolt adat,
adatforgalom

36. A teljes GUG storage rendszer
architektúrája

37. Példa: cp (put)
$ grid storage cp proba /grid/tmp
cp: 'proba' is a directory.
$ grid storage cp -R proba /grid/tmp
entering directory proba
put proba/submit to /grid/tmp/proba/submit... done.
entering directory proba/bin
put proba/bin/ls to /grid/tmp/proba/bin/ls... done.
put proba/bin to /grid/tmp/proba/bin finished.
put proba to /grid/tmp/proba finished.

38. Példa: ls kimenet (storage)
$ grid storage ls -R /grid/tmp/proba
/grid/tmp/proba:
- 58 2006-04-12 17:09 submit
d 2006-04-12 17:09 bin
/grid/tmp/proba/bin:
x 75948 2006-04-12 17:09 ls

39. Példa: file feltöltése

40. GUG Storage felhasználás
● Elosztott backup
– titkosítás még hiányzik
● Elosztott archiválás
– meta adat indexelés hiányzik
● Általános on-line adattároló
– FUSE modul, Windows Shell Extension
hiányzik