Grazie ai social network, le nuove applicazioni web possono diventare virali e arrivare a milioni di utenti in poche settimane. I database relazionali si rivelano inadatti a sostenere questi livelli di traffico. In questa presentazione faremo un confronto tra i database relazionali e quelli NoSQL come Couchbase e illustreremo i vantaggi di quest'ultimi. Porteremo come esempio l'applicazione "Draw Something" di OMGPop

1. Supportare)Milioni)di)
Uten0)con)NoSQL)
Franco)Caporale)

2. Draw)Something)

3. Draw)Something)–)OMGPop)

4. Draw)Something)diventa)virale)in))
3)seCmane)
19#17#15#13#11#9#7#5#3#3/1#28#26#24#22#20#18#16#14#12#10#8#2/6#
Daily&Ac)ve&Users&(millions)&
21#
2#
4#
6#
8#
10#
12#
14#
16#

5. I)da0)crescono)in)modo)non)lineare…)
19#17#15#13#11#9#7#5#3#3/1#28#26#24#22#20#18#16#14#12#10#8#2/6#
Daily&Ac)ve&Users&(millions)&
21#
2#
4#
6#
8#
10#
12#
14#
16#
In)un)mese)30,000,000)di)downloads#della#app,#
oltre#5,000)disegni)al#secondo,#
oltre#2,200,000,000)disegni)immagazzina=,#
oltre#105,000#operazioni#al#secondo,#
e#oltre#3.3)terabytes#di#da=#in#totale.#
#

6. Invece)con)RDBMS……)
19#17#15#13#11#9#7#5#3#3/1#28#26#24#22#20#18#16#14#12#10#8#2/6#
The)Simpson’s:)Tapped)Out)
Daily&Ac)ve&Users&(millions)&
21#
2#
4#
6#
8#
10#
12#
14#
16#
#2)Free#app#on#iPad#
#3)Free#app#on#iPhone#

7. MySQL)o)NoSQL?)

8. La)maggioranza)delle)applicazioni)
u0lizzano)gli)RDBMS)

9. E)a)volte)puo’)diventare))
un)po’)grande…..)
hBp://www.seoclerks.com/imagedb/2005/BIGJCATJFOUNDJSpoh#

10. ……o)forse)enorme!)
hBp://www.2pep.com/extremeJfunnyJstuff/#

11. E)complicato!)

12. I)principali)mo0vi)per)l’adozione))
del)NoSQL)
Schema)rigido)e)
non)flessibile)
Difficolta’)a)
scalare))
Problemi)di)
performance)
Cos0) TuC)I))
preceden0)
Altri)
49%)
35%)
29%)
16%)
12%)
11%)
Source:#Couchbase#Survey,#December#2011,#n#=#1351.#

13. Architettura moderna di un’applicazione web
Application Scales Out
Just add more commodity web servers
Database Scales Up
Get a bigger, more complex server
Nota#–#I#database#relazionali#sono#una#tecnologia#eccellente#ma#non#per#questo#uso.#

14. I database NoSQL utilizzano la stessa logica
dell’applicazione
Application Scales Out
Just add more commodity web servers
Database Scales Out
Just add more commodity data servers
Scalando orizzontalmente si riducono I costi e aumentano
le performance
NoSQL#Database#Servers#

15. Una)Stru`ura)dei)Da0)Diversa)

16. Modello)Relazionale)vs.)A)Documento)
Modello)“Relazionale”) Modello)“A)documento”)
Collezione#di#documen=#complessi#con#
forma=#arbitrari#e#schema#variabile#
Tabelle#con#schema#rigido#e#struBura#
dei#da=#predefinita#
JSON)
JSON)
JSON)
C1) C2) C3) C4)
{)
)
)
)
})

17. Database)a)Documento)
• Ogni#record#e’#un#documento#a#se’#
stante#
• Ogni#documento#ha#una#struBura#
indipendente#
• I#documen=#possono#essere#complessi#
• Richiedono#una#chiave#unica#
• I#da=#sono#immagazzina=#in#formato#
JSON,#XML#o#simili#
• Il#contenuto#puo’#essere#indicizzato#e#
interrogato#
• Offrono#sharding#automa=co#e#
repliche#
{"
“UUID”:"“21f7f8de0805105b89086
“Time”:" “2011004001T13:01:02.42
“Server”:" “A2223E”,
“Calling"Server”:" “A2213W”,
“Type”:"“E100”,
“Initiating" User”:"“dsallings@spy.net”,
“Details”:"
{
“IP”:"“10.1.1.22”,
“API”:"“InsertDVDQueueItem”,
“Trace”:" “cleansed”,
“Tags”:"
[
“SERVER”,"
“US0West”,"
“API”
]
}
}

18. Esempio)Social)Game))
Profilo)Giocatore)
{#
#"jsonType":#"player",#
#"uuid":#"35767d02Ja958J4b83J8179J616816692de1",#
#"name":#"Keith4540",#
#"hitpoints":#75,#
#"experience":#663,#
#"level":#4,#
#"loggedIn":#false#
}#
#
ID)Utente)

19. Esempio)Social)Game)
Ogge`o)
{#
#"jsonType":#"item",#
#"name":#"Katana_e5890c94J11c6J65746ce6c560",#
#"uuid":#"e5890c94J11c6J4856Ja7a6J65746ce6c560",#
#"ownerId":#"Dale9887"#
}#
ID)Ogge`o)
ID)Utente)

20. Esempio)Social)Game)
Mostro)
{#
#"jsonType":#"monster",#
#"name":#"Bauchan9932",#
#"uuid":#"d10dfc1bJ0412J4140Jb4ecJaffdbf2aa5ec",#
#"hitpoints":#370,#
#"experienceWhenKilled":#52,#
#"itemProbability":#0.5050581341872865#
}#
ID)
Mostro)

21. Esempio)Blog))
Diviso)su)piu’)Documen0)
{"
“UUID”:"“21f7f8de0805105b89086
“Time”:" “2011004001T13:01:02.42
“Server”:" “A2223E”,
“Calling" Server”:" “A2213W”,
“Type”:" “E100”,
“Initiating" User”:" “dsallings@spy.net”,
“Details”:"
{
“IP”:"“10.1.1.22”,
“API”:" “InsertDVDQueueItem”,
“Trace”:" “cleansed”,
“Tags”:"
[
“SERVER”,"
“US0West”,"
“API”
]
}
}
{ !
“_id”: “Coucbase_Hello_World”,!
“author”: “dborkar”, !
“type”: “post”!
“title”: “Hello World”,!
“format”: “markdown”, !
“body”: “Hello from [Couchbase](
http://couchbase.com).”, !
“html”: “<p>Hello from <a href=“http: …!
“comments”:[!
! “comment1_Couchbase_Hello_world”!
! ]!
}!
{"
“UUID ”:"“2 1 f7 f8 de08 0 5 1 05 b89 08 6
“Time”:" “2 0 1 1 00 4 00 1 T1 3 :0 1 :0 2.4 2
“Server”:" “A2 2 2 3 E”,
“Calling" Server”:" “A2 2 1 3 W”,
“Type”:" “E1 0 0 ”,
“Initiating" Us er”:" “ds allings @s py.net”,
“D etails ”:"
{
“IP”:"“1 0 .1 .1 .2 2 ”,
“API”:" “Ins ertD VD QueueItem”,
“Trace”:" “cleans ed”,
“Tags ”:"
[
“SERVER”,"
“US0Wes t”,"
“API”
]
}
}
{!
“_id”: “comment1_Couchbase_Hello_World”,!
“format”: “markdown”, !
“body”:”Awesome post!” !
})
BLOG)
COMMENTI)

22. Esempio:)Profilo)Utente)
Database'Relazionale'
Indirizzo)Utente)
1) DEN) 30303)CO)
2) MV) 94040)CA)
3) CHI) 60609)IL)
Informazioni)Utente)
KEY) First) ZIP_id)Last)
4) NY) 10010)NY)
1) Dip0) 2)Borkar)
2) Joe
)
2)Smith)
3) Ali) 2)Dodson)
4) John) 3)Doe)
ZIP_id) CITY) ZIP)STATE)
1) 2)
2) MV) 94040)CA)
Per)o`enere)informazioni)su)un)utente)specifico,)devi)effe`uare)un)JOIN)tra)
due)tabelle)

23. TuC)I)da0)di)un)utente)in)un)singolo)documento)
){)
))))“ID”:)1,)
))))“FIRST”:)“Dip0”,)
))))“LAST”:)“Borkar”,)
))))“ZIP”:)“94040”,)
))))“CITY”:)“MV”,)
))))“STATE”:)“CA”)
))})
JSON)
=) +)
Esempio:)Profilo)Utente)
Database'a'Documento'

24. User)ID) Nome) Cognome) CAP)
1) Dip0) Borkar) 94040)
2) Joe) Smith) 94040)
3) Ali) Dodson) 94040)
4) Sarah) Gorin) NW1)
5) Bob) Young) 30303)
6) Nancy) Baker) 10010)
7) Ray) Jones) 31311)
8) Lee) Chen)
V5V3
M)
• ))
• ))
• ))
50000) Doug) Moore) 04252)
50001) Mary) White) SW195)
50002) Lisa) Clark) 12425)
ID)Paese)
TEL
3)
)001)
ID)Paese) Nome)Paese)
001) USA)
002) UK)
003) Argen0na)
004) Australia)
005) Aruba)
006) Austria)
007) Brazil)
008) Canada)
009) Chile)
• ))
• ))
• ))
130) Portugal)
131) Romania)
132) Russia)
133) Spain)
134) Sweden)
User)ID) Foto)ID) Commento)
2) d043) NYC)
2) b054) Bday)
5) c036) Miami)
7) d072) Sunset)
5002) e086) Spain)
Tabella)Foto)
))001)
))007)
))001)
))133)
))133)
User)ID) Status)ID) Text)
1) a42) At)conf)
4) b26) excited)
5) c32) hockey)
12) d83) Go)A’s)
5000) e34) sailing)
Tabella)Status)
))134)
007)
))008)
))001)
))005)
Tabella)Paese)
User)ID) Affl)ID) Affl)Name)
2) a42) Cal)
4) b96) USC)
7) c14) UW)
8) e22) Oxford)
Tabella)Affiliazioni)
ID)Paese)
))001)
))001)
))001)
))002)
ID)Paese)
ID)Paese)
001)
001)
002)
001)
001)
001)
008)
001)
002)
001)
Tabella)Utente)
.)
.)
.)
Effe`uare)una)Modifica)su)RDBMS)

25. Modifiche)su)un)database))
a)documento)
){)
))))“ID”:)1,)
))))“FIRST”:)“Don”,)
))))“LAST”:)“Pinto”,)
))))“ZIP”:)“94040”,)
))))“CITY”:)“MV”,)
))))“STATE”:)“CA”,)
))))“STATUS”:))
)))))){))“TEXT”:)“At)Conf”))
)
)
) ))
})
})
))))))“GEO_LOC”:)“134”)},)
“COUNTRY”:)”USA”)
Basta)aggiungere)le)informazioni)sul)documento)
JSON)
,)})

26. Il)NoSQL)e)i)Social)Games)

27. Catalogo)dei)NoSQL)
ChiavewValore)
Memcached# Redis#
Stru`ura)Da0) Documento) Colonna) Grafico)
MongoDB#
Couchbase# Cassandra#
Cache#
(memory#only)#
Database#
(memory/disk)#
Neo4J#

28. Come)scegliere)il)database)NoSQL))
piu’)ada`o?)
Crescita)rapida)
ReaCvita’)del)gioco)
Gioco)globalizzato)e)
sempre)aCvo)
Modifiche)frequen0)
e)veloci)
Scalabilita’)
Performance)
Sempre)live)
Modello)dei)
da0)flessibile)

29. Couchbase)Open)Source)
• Il#principale#database#NoSQL#
distribuito#
• Supporta#sia#le#applicazioni#
chiaveJvalore#che#a#documento#
• Tum#I#componen=#sono#
disponibili#con#licenza#Apache)
2.0)Public)License)
• Disponibile#come#paccheBo#
sonware#sia#nella#versione#
Community#che#in#quella#
Enterprise#
Couchbase
Open Source Project

30. ≠)

31. Scalabilita’#
Semplice#
Performance#
Elevate#e#Costan=#
Sempre#Live#
24x365#
Ingrandisci#il#tuo#cluster#con#un#
click#mentre#l’applicazione#
rimane#live#
Tempi#di#risposta#costan=#soBo#il#
millisecondo#per#operazioni#di#
scriBura#e#leBura##
L’applicazione#non#e’#mai#
inamva#anche#in#caso#di#
aggiornamen=,#manutenzione#
etc.#
Modello#Da=#
Flessibile#
Supporto#per#documen=#JSON#
senza#uno#schema#rigido#
Principi)Chiave)di)Couchbase)Server)

32. Differenze)Principali)Rispe`o)ad)Altri)
Database)NoSQL)
• PermeBe#un#al=ssimo#numero#di#
connessioni#contemporanee#
(fondamentale#per#applicazioni#
web#interamve)#
• Nessun#locks#
• Cache#na=va)
• Hash#par==oning#(non#range)####
!#non#si#formano#“hotspots”#
• Sharding#automa=co#

33. Dietro)le)Quinte)di)Couchbase)

34. 3#3# 2#
Server)Singolow)Operazione)Scri`ura)con)
Couchbase)
Managed#Cache#
Disk#Queue#
Replica=on#
Queue#
App#Server#
Doc)1’)
Doc)1)
Doc)1’)Doc)1)
Doc)1’)
Disk#
To#other#node#
Couchbase#Server#Node#

35. GET)
Doc)1)
3#3# 2#
Server)Singolow)Operazione)Le`ura)con)
Couchbase)
Disk#Queue#
Replica=on#
Queue#
App#Server#
Doc)1)
Doc)1)Doc)1)
Managed#Cache#
Disk#
To#other#node#
Couchbase#Server#Node#

36. COUCHBASE)SERVER))CLUSTER)
Operazioni)di)Base)sul)Cluster)
• TuC)I)nodi)sono)uguali)e)I)
documen0)sono)
ugualmente)distribui0)
• Ogni)server)con0ene)sia)I)
documen0)aCvi)che)
quelli)replica)
• La)mappa)del)cluster)ha)le)
coordinate)su)dove)si)
trovano)I)documen0)))))))))))))))))))
L’applicazione#non#ha#bisogno#di#
saperlo#
User#Configured#Replica#Count#=#1#
READ/WRITE/UPDATE)
)
)
ACTIVE)
Doc)5)
Doc)2)
Doc)
Doc)
Doc)
SERVER)1) )
)
ACTIVE)
Doc)4)
Doc)7)
Doc)
Doc)
Doc)
SERVER)2)
Doc)8)
)
)
ACTIVE)
Doc)1)
Doc)3)
Doc)
Doc)
Doc)
REPLICA)
Doc)4)
Doc)1)
Doc)8)
Doc)
Doc)
Doc)
REPLICA)
Doc)6)
Doc)3)
Doc)2)
Doc)
Doc)
Doc)
REPLICA)
Doc)7)
Doc)9)
Doc)5)
Doc)
Doc)
Doc)
SERVER)3)
Doc)6)
APP)SERVER)1)
COUCHBASE)Client)Library)
)
) CLUSTER)MAP)
COUCHBASE)Client)Library)
)
) CLUSTER)MAP)
APP)SERVER)2)
Doc)9)

37. Aggiungere)Nodi)al)Cluster)
• Due)servers)aggiun0)
con)un)solo)click)
• I)documen0)vengono)
automa0camente)
ribilancia0)a`raverso)il)
cluster)
Col#minimo#
spostamento#di#
documen=#possibile#
• La)mappa)del)cluster)
viene)aggiornata)
• L’applicazione)ora)e’)
supportata)da)un)
numero)maggiore)di)
servers.)
)
)
REPLICA)
ACTIVE)
Doc)5)
Doc)2)
Doc)
Doc)
Doc)4)
Doc)1)
Doc)
Doc)
SERVER)1) )
)
REPLICA)
ACTIVE)
Doc)4)
Doc)7)
Doc)
Doc)
Doc)6)
Doc)3)
Doc)
Doc)
SERVER)2) )
)
REPLICA)
ACTIVE)
Doc)1)
Doc)3)
Doc)
Doc)
Doc)7)
Doc)9)
Doc)
Doc)
SERVER)3) )
)
SERVER)4) )
)
SERVER)5)
REPLICA)
ACTIVE)
REPLICA)
ACTIVE)
Doc)
Doc)8) Doc)
Doc)9) Doc)
Doc)2) Doc)
Doc)8) Doc)
Doc)5) Doc)
Doc)6)
READ/WRITE/UPDATE) READ/WRITE/UPDATE)
APP)SERVER)1)
COUCHBASE)Client)Library)
)
) CLUSTER)MAP)
COUCHBASE)Client)Library)
)
) CLUSTER)MAP)
APP)SERVER)2)
COUCHBASE)SERVER))CLUSTER)
User#Configured#Replica#Count#=#1#

38. Caduta)di)un)Nodo)
)
)
REPLICA)
ACTIVE)
Doc)5)
Doc)2)
Doc)
Doc)
Doc)4)
Doc)1)
Doc)
Doc)
SERVER)1) )
)
REPLICA)
ACTIVE)
Doc)4)
Doc)7)
Doc)
Doc)
Doc)6)
Doc)3)
Doc)
Doc)
SERVER)2) )
)
REPLICA)
ACTIVE)
Doc)1)
Doc)10)
Doc)
Doc)
Doc)7)
Doc)9)
Doc)
Doc)
SERVER)3) )
)
SERVER)4) )
)
SERVER)5)
REPLICA)
ACTIVE)
REPLICA)
ACTIVE)
Doc)9)
Doc)8)
Doc) Doc)6) Doc)
Doc)
Doc)5) Doc)10)
Doc)2)
Doc)8) Doc)
Doc)
• I)server)della)app)accedono)
ai)da0)
• Le)richieste)al)Server)3)
falliscono)
• Il)Cluster)iden0fica)che)un)
nodo)e’)offline)
Le#repliche#vengono#promosse#ad#
amve#e#la#mappa#del#cluster#viene#
aggiornata#
• Le)richieste)della)app)ora)si)
dirigono)sul)server)
appropriato)
• Il)tu`o)e’)seguito)dal)
ribilanciamento)dei)da0)
Doc)
Doc)1) Doc)3)
APP)SERVER)1)
COUCHBASE)Client)Library)
)
) CLUSTER)MAP)
COUCHBASE)Client)Library)
)
) CLUSTER)MAP)
APP)SERVER)2)
User#Configured#Replica#Count#=#1#
COUCHBASE)SERVER))CLUSTER)

39. Cross)Data)Center)Replica0on)(XDCR))
COUCHBASE)SERVER))CLUSTER)
NY)DATA)CENTER)
)
) ACTIVE)
Doc))
Doc)2)
SERVER)1)
Doc)9)
)
)
SERVER)2) )
)
SERVER)3)
RAM#
Doc)) Doc)) Doc)
ACTIVE)
Doc)
Doc))
Doc))
RAM#
ACTIVE)
Doc))
Doc))
Doc)
RAM#
DISK#
Doc)) Doc) Doc))
DISK#
Doc) Doc) Doc)
DISK#
COUCHBASE)SERVER))CLUSTER)
SF)DATA)CENTER)
)
) ACTIVE)
Doc))
Doc)2)
SERVER)1)
Doc)9)
)
)
SERVER)2) )
)
SERVER)3)
RAM#
Doc)) Doc)) Doc)
ACTIVE)
Doc)
Doc))
Doc))
RAM#
ACTIVE)
Doc))
Doc))
Doc)
RAM#
DISK#
Doc)) Doc) Doc))
DISK#
Doc) Doc) Doc)
DISK#

40. Altri)Usi)Comuni)del)NoSQL)

41. Market)Adop0on)–)Customers)
Internet)Companies) Enterprises)
More)than)300)customers)ww)5,000)produc0on)deployments)worldwide)

42. Cara`eris0che)dei)Da0)
• Stru`ura)definita)dall’utente)(Twi`er)feeds))
• Serve)supporto)per)crescita)esponenziale)(Apps)virali))
• Stru`ura)dei)da0)non)omogenea)
• C’e’)necessita’)di)cambiare)stru`ura)frequentemente)
• Lunghezza)dei)documen0)variabile)
• Stru`ura)dei)da0)gerarchica)
)
Couchbase)e’)la)scelta)ideale))

43. Requisi0)di)Performance)
• Latenze)estremamente)basse)(es.)1millisecondo))
• Traffici)eleva0)(es.)200000)ops/sec))
• Numero)di)uten0)elevato)
• Domanda)non)preven0vabile)con)crescite)improvvise)
• C’e’)predominanza)di)accesso)dire`o)ai)documen0)
• Alto)traffico)in)le`ura)e)scri`ura)
)
Couchbase)e’)la)scelta)ideale))

44. Applicazioni)Comuni)
Social)Gaming)
)
• Couchbase#
con=ene#I#da=#sugli#
uten=#e#I#giochi#
• Esempi#clien=:#
Zynga,#Tapjoy,#
Ubison,#Tencent#
)
)
Apps)Mobili)
)
• Couchbase#con=ene#da=#
su#uten=#e#contenu=#
• Esempi#clien=:#Kobo,#
Play=ka##
)
)
Pubblicita’)Online)
)
• Couchbase#con=ene#
info#sugli#uten=#per#
un#accesso#veloce#
• Esempi#clien=:#AOL,#
Mediamind,#
Convertro##
)
Informazioni)di)Sessione)
)
• Couchbase#come#database#
chiaveJvalore#
• Esempi#clien=:#Concur,#Sabre#
)
Profili)Uten0)
)
• Couchbase#come#database#
chiaveJvalore#
• Esempi#clien=:#Tunewiki#
)
Cache)ad)Alta)Disponibilita’)
)
• Couchbase#u=lizzato#come#livello#di#cache#
• Esempi#clien=:#Orbitz#
Metadata)e)Contenu0)
• Couchbase#insieme#ad#
Elas=csearch#
• Esempi#clien=:#McGraw#Hill#
)
)
Aggregazione)Da0)
)
• Couchbase#aggrega#I#da=#dai#social#
media#
• Esempi#clien=:#Sambacloud#
)

45. Ques0ons?)

46. Non)dimen0cate)di………)
Scaricare)e)fare)pra0ca)con)Couchbase)
Server)
h`p://www.couchbase.com/download)
Iscrivervi)sul)gruppo)di)Couchbase)Italia)su)
LinkedIn)
h`p://www.linkedin.com/groups/CouchbasewItaliaw4932288)
Iscrivervi)sul)nostro)Community)Portal)
h`p://www.couchbase.com/communi0es/user/register)

47. Grazie)a)TuC!)
franco@couchbase.com)