Escalando um sistema sem fermento

Batch
Escalando um
sistema sem
“fermento”

@qmx
@scalone
1

terça-feira, 1 de junho de 2010

Batch?

2


pão?
3


lucro?
4


demanda
5


mais pão?
6


mais lucro?
7


mas....

8


isso escala?
9


NO

11


#comofaz?
11


padoca?
12


mais lucro?
13


e daí?

14


fazer software

15


é tão artesanal quanto

16


fazer pão

17


e daí?
18


portal do pão
19


ruby, obviamente

20


portal do pão

21


portal do pão

• fotos de pão caseiro

21


portal do pão

• produtos para fazer
pão

21


portal do pão

pão

• receitas de pão

21


portal do pão

pão

• comunidade

21


portal do pão

pão

• comunidade
• pão opensource?

21


caiu na rede
22


acessos / m

volume de acessos
23


200

150

100

50

0
10h 12h 14h 16h 18h

acessos / m

volume de acessos
23


200

150

100

50

0
1
10h 12h 14h 16h 18h

acessos / m

volume de acessos
23


200

150

100

50

0
1 1
10h 12h 14h 16h 18h

acessos / m

volume de acessos
23


200

150

100

50

0 10
1 1
10h 12h 14h 16h 18h

acessos / m

volume de acessos
23


200
200

150

100

50

0 10
1 1
10h 12h 14h 16h 18h

acessos / m

volume de acessos
23


200
200

150

100

50

0 10
1 1 0
10h 12h 14h 16h 18h

acessos / m

volume de acessos
23


R.I.P.
24


soluções!

25


problemas de banco?

26


problemas de banco?
DBA.current_dba.kill!

26


problemas de banco?
dba = DBA.new

26


problemas de banco?
dba = DBA.new
dba.acts_as_jedi

26


problemas de infra?

27


problemas de infra?

torrar grana pra aliviar consciência
27


problemas no código?

28


architecture fail
30


caffeine fail
31


no desespero...
32


consultoria [A-Z]{3}
33


qual era o problema mesmo?

34


qual era o problema
mesmo?

35


investigando o problema
36


37


upload de imagens?

37


imagemagick

38


o usuário precisa
mesmo ver a imagem
na hora?

39


DJ

41


DJ - Vantagens

• Excelente documentação e tutoriais
• Suporta prioridades
• Curva de aprendizado baixa
• Múltiplos Workers

42


DJ - Desvantagens

43


DJ - Desvantagens

• Depende de ActiveRecord, mas
suporta backend MongoMapper

43


DJ - Desvantagens

• Delayed Job usa UTC, cuidado

43


DJ - Desvantagens

• Delayed Job usa UTC, cuidado
• Engessado em tarefas rake

43


DJ - Detalhes

• sinatra-dj
• imcompatível com rails < 2.2
• usa daemon ou worker(s)

44


DJ
45


DJ
46


resolvendo o
problema

47


delayed_paperclip!
48


delayed_paperclip
49


upload de vídeo?

50


o usuário precisa
esperar até o ﬁm da
conversão?

51


BJ

53


BJ - Vantagens

54


BJ - Vantagens
• Simples e Robusta

54


BJ - Vantagens
• Instalação fácil

54


BJ - Vantagens

54


BJ - Vantagens
• Ambiente de execução no nível do SO
(syscall)

54


BJ - Vantagens
(syscall)

• Suporta níveis de prioridade

54


BJ - Vantagens
(syscall)

• Suporta níveis de prioridade
• Roda no windows, acredite!
54


BJ - Desvantagens

55


BJ - Desvantagens

• Execução serial

55


BJ - Desvantagens

• Dependente de ActiveRecord

55


BJ - Desvantagens

• Dependente de ActiveRecord
• Documentação, que documentação?

55


BJ
56


resolvendo o
problema

57


BJ
58


fácil, não?

59


aquele relatório
insano
#medo

60


precisa ser “online”?

61


resque
dj on steroids

63


resque

• persistente
• interface de administração
• rápido!!!

64


resque-web
65


let’s batch!

66


e daí?

67


feedback

• ajax
• email
• impedir de agendar diversas vezes a
mesma tarefa
• comet / websockets

68


monitoramento
porque, aﬁnal, ...

69


...se não cuidar...
70


...já viu né...
71


Monitoramento

• Monit
• God
• Munin

72


cases

• AutoSEG
• github

73


obrigado!
@qmx => http://qmx.me
@scalone => http://twitter.com/scalone

74


Fotos

Thanks creative commons!
http://www.flickr.com/photos/akshaydavis/186598700/sizes/o/
http://www.flickr.com/photos/snidely7/4374153874/sizes/o/
http://www.flickr.com/photos/clocky/2660785933/sizes/o/
http://hrblogatresearchvoice.files.wordpress.com/2009/05/borat1.jpg
http://www.flickr.com/photos/wheatfields/3673314570/sizes/o/
http://www.flickr.com/photos/daffyduke/2872752836/sizes/o/in/
set-72157607388359306/
set-72157607388359306/
http://www.flickr.com/photos/daffyduke/2871921629/sizes/l/in/
set-72157607388359306/
set-72157607388359306/
http://www.flickr.com/photos/kevinkemmerer/2998086908/sizes/l/
http://www.flickr.com/photos/bibliona/538164298/sizes/o/in/
photostream/
http://www.flickr.com/photos/jonmarulanda/3736708170/sizes/o/
http://www.flickr.com/photos/dirgon/446839052/sizes/o/
http://www.flickr.com/photos/miemo/210258035/sizes/l/
http://www.flickr.com/photos/m4tik/47714548/sizes/o/
http://www.flickr.com/photos/muehlinghaus/235334412/sizes/l/
http://www.flickr.com/photos/abusx/2181644630/sizes/l/
http://www.flickr.com/photos/arthur-caranta/2925352521/sizes/l/
http://www.flickr.com/photos/paulobrandao/2670585467/sizes/o/

75


Escalando um sistema sem fermento

Recomendados

Recomendados

Más contenido relacionado

Destacado

Destacado (20)

Escalando um sistema sem fermento