O documento discute abordagens de multitenancy em Rails, incluindo usar uma única instância e banco de dados, usar várias instâncias e bancos de dados separados, e como os autores implementaram multitenancy em um e-commerce usando Rails. Eles desenvolveram um middleware Rack que mapeia domínios para tenants e troca configurações como banco de dados ao processar requisições, permitindo escalar horizontalmente. Testes mostraram que a abordagem permite 300 requisições por segundo com consumo estável de memória.

1. MULTITENANCY EM RAILS
cortando custos e aumentando capacidade

2. RICARDO BERNARDELLI
@rbernardelli
http://github.com/bernardelli
http://rbernardelli.com

3. FERNANDO HAMASAKI
@prodis
http://github.com/prodis
http://prodis.blog.br

4. MULTITENANCY EM RAILS
cortando custos e aumentando capacidade

5. MULTITENANCY EM RAILS
cortando custos e aumentando capacidade

6. O QUE É MULTITENANCY?

7. COM O QUE SE PREOCUPAR?

8. COM O QUE SE PREOCUPAR?
separação de dados

9. COM O QUE SE PREOCUPAR?
separação de dados
customização

10. COM O QUE SE PREOCUPAR?
separação de dados
customização
escalabilidade

11. ABORDAGENS

12. ABORDAGENS
uma instância e uma base de dados

13. ABORDAGENS
uma instância e uma base de dados
• facilidade para novo tenant

14. ABORDAGENS
uma instância e uma base de dados
• facilidade para novo tenant
• deploy simples

15. ABORDAGENS
uma instância e uma base de dados
• facilidade para novo tenant
• deploy simples
• arquivos centralizados

16. ABORDAGENS
uma instância e uma base de dados
• facilidade para novo tenant
• deploy simples
• arquivos centralizados
• fácil gerenciamento dos dados compartilhados

17. ABORDAGENS
uma instância e uma base de dados
• facilidade para novo tenant
• deploy simples
• arquivos centralizados
• fácil gerenciamento dos dados compartilhados
• interferências na performance

18. ABORDAGENS

19. ABORDAGENS
uma instância com vários schemas

20. ABORDAGENS
uma instância com vários schemas
• facilidade de customização

21. ABORDAGENS
uma instância com vários schemas
• facilidade de customização
• gerenciamento das migrations

22. ABORDAGENS
uma instância com vários schemas
• facilidade de customização
• gerenciamento das migrations
• dificuldade no gerenciamento dos schemas

23. ABORDAGENS
uma instância com vários schemas
• facilidade de customização
• gerenciamento das migrations
• dificuldade no gerenciamento dos schemas
• postgresql, oracle

24. ABORDAGENS

25. ABORDAGENS
uma instância com bases separadas

26. ABORDAGENS
uma instância com bases separadas
• separação total de dados

27. ABORDAGENS
uma instância com bases separadas
• separação total de dados
• dificuldades no gerenciamento das bases

28. ABORDAGENS

29. ABORDAGENS
várias instâncias com várias bases

30. ABORDAGENS
várias instâncias com várias bases
• separação total de dados

31. ABORDAGENS
várias instâncias com várias bases
• separação total de dados
• escalabilidade de um único tenant

32. ABORDAGENS
várias instâncias com várias bases
• separação total de dados
• escalabilidade de um único tenant
• dificuldade no gerenciamento das bases

33. ABORDAGENS
várias instâncias com várias bases
• separação total de dados
• escalabilidade de um único tenant
• dificuldade no gerenciamento das bases
• dificuldade de deploys

34. ABORDAGENS
várias instâncias com várias bases
• separação total de dados
• escalabilidade de um único tenant
• dificuldade no gerenciamento das bases
• dificuldade de deploys
• alto custo de infra

35. ABORDAGENS
várias instâncias com várias bases
• separação total de dados
• escalabilidade de um único tenant
• dificuldade no gerenciamento das bases
• dificuldade de deploys
• alto custo de infra
(multi-instância)

36. EXEMPLOS PARA RAILS

37. EXEMPLOS PARA RAILS
• multitenant (https://github.com/wireframe/multitenant)

38. EXEMPLOS PARA RAILS
• multitenant (https://github.com/wireframe/multitenant)
• acts_as_tenant (https://github.com/ErwinM/acts_as_tenant)

39. EXEMPLOS PARA RAILS
• multitenant (https://github.com/wireframe/multitenant)
• acts_as_tenant (https://github.com/ErwinM/acts_as_tenant)
• devise + inherited_resources

40. EXEMPLOS PARA RAILS
• multitenant (https://github.com/wireframe/multitenant)
• acts_as_tenant (https://github.com/ErwinM/acts_as_tenant)
• devise + inherited_resources
• ...

41. MULTITENANCY EM RAILS
cortando custos e aumentando capacidade

42. MULTITENANCY EM RAILS
cortando custos e aumentando capacidade

43. MULTITENANCY EM RAILS
cortando custos e aumentando capacidade
(ou como nós fizemos)

45. HISTÓRICO
loja pronta (antigo e-commerce Locaweb)

46. HISTÓRICO
equipe inicial sem experiência
em ruby on rails

47. FATORES EXTERNOS

48. FATORES EXTERNOS
time to market

49. FATORES EXTERNOS
time to market
pressão

50. DECISÕES

51. DECISÕES
aplicação do zero?

52. DECISÕES
aplicação do zero?
utilizar solução já existente open-source?

53. DECISÕES
* http://2.bp.blogspot.com/_wWmWqyCEKEs/TA_SiflDXsI/AAAAAAAADlc/TOg9IwXGZfQ/s400/spree.png

54. DECISÕES
* http://2.bp.blogspot.com/_wWmWqyCEKEs/TA_SiflDXsI/AAAAAAAADlc/TOg9IwXGZfQ/s400/spree.png

55. COMO VAMOS ATENDER
VÁRIOS CLIENTES ?

56. IDÉIAS

57. IDÉIAS

58. CLOUD ?
* http://jodsonfritz.files.wordpress.com/2011/03/illustratie-illustration_cloud-computing-lek-leak-wolken1-450x299.jpg

59. CLOUD ?
* http://jodsonfritz.files.wordpress.com/2011/03/illustratie-illustration_cloud-computing-lek-leak-wolken1-450x299.jpg

60. ?

61. MULTI-INSTÂNCIA

62. PRIMEIRO SERVIDOR
16 cpus
18 gb ram
apache + passenger
mysql
arquivos locais

63. PRIMEIRA ARQUITETURA

64. PRIMEIRA ARQUITETURA

65. MAGIC NUMBER

66. MAGIC NUMBER
600

67. MAGIC NUMBER
600

68. MAGIC NUMBER
600
não aguentou 400!

69. O QUE FAZER AGORA?

74. 12

75. DIFICULDADES

76. DIFICULDADES
deploy

77. DIFICULDADES
deploy
migrations

78. DIFICULDADES
deploy
migrations
um tenant afetando tenants vizinhos

79. DIFICULDADES
deploy
migrations
um tenant afetando tenants vizinhos
tenant com muitos arquivos distribuídos

80. DIFICULDADES
deploy
migrations
um tenant afetando tenants vizinhos
tenant com muitos arquivos distribuídos
manutenção

81. ALTA DISPONIBILIDADE
* http://thatcrazytattooedbaldbroad.files.wordpress.com/2011/07/finger-pointing1.jpg

82. PRECISAMOS DE UMA NOVA
ARQUITETURA

83. VANTAGENS A NOSSO FAVOR

84. VANTAGENS A NOSSO FAVOR
rails usa rack

85. VANTAGENS A NOSSO FAVOR
rails usa rack
domínios centralizados

86. DESVANTAGENS

87. DESVANTAGENS
bases separadas

88. DESVANTAGENS
bases separadas
tenants descentralizados

89. BRAINSTORM

90. BRAINSTORM
trocar a conexão do banco

91. MAS, PODE ISSO ?
* http://fjblogger.com/triboaser/files/2011/06/duvida.jpg

92. PROVA DE CONCEITO

93. RACK MIDDLEWARE

94. RACK MIDDLEWARE
config.middleware.use MultiTenant::Middleware

95. RACK MIDDLEWARE
def call(env)
begin
tenant = map.get_tenant(:address => address(env))
return respond_302 unless tenant
return respond_403 if tenant.suspended?
tenant.current!
@status, @headers, @response = @app.call(env)
[@status, @headers, @response]
rescue Exception => ex
@logger.error ex.message + "n" + ex.backtrace.join("n")
respond_500
end
end

96. RACK MIDDLEWARE
def call(env)
begin
tenant = map.get_tenant(:address => address(env))
return respond_302 unless tenant
return respond_403 if tenant.suspended?
tenant.current!
@status, @headers, @response = @app.call(env)
[@status, @headers, @response]
rescue Exception => ex
@logger.error ex.message + "n" + ex.backtrace.join("n")
respond_500
end
end

97. RACK MIDDLEWARE
module MultiTenant
class TenantAddressMap
...
def get_tenant(options = {})
tenant_hash = @manager.get_tenant(options[:address])
tenant_hash ? Tenant.new(tenant_hash) : nil
end
...
end
end

98. RACK MIDDLEWARE
def call(env)
begin
tenant = map.get_tenant(:address => address(env))
return respond_302 unless tenant
return respond_403 if tenant.suspended?
tenant.current!
@status, @headers, @response = @app.call(env)
[@status, @headers, @response]
rescue Exception => ex
@logger.error ex.message + "n" + ex.backtrace.join("n")
respond_500
end
end

99. RACK MIDDLEWARE
def call(env)
begin
tenant = map.get_tenant(:address => address(env))
return respond_302 unless tenant
return respond_403 if tenant.suspended?
tenant.current!
@status, @headers, @response = @app.call(env)
[@status, @headers, @response]
rescue Exception => ex
@logger.error ex.message + "n" + ex.backtrace.join("n")
respond_500
end
end

100. RACK MIDDLEWARE
module MultiTenant
class Tenant
...
def current!
database_switcher.switch!(self)
log_switcher.switch!(self)
assets_switcher.switch!(self)
end
...
end
end

101. RACK MIDDLEWARE
module MultiTenant
class Tenant
...
def current!
database_switcher.switch!(self)
log_switcher.switch!(self)
assets_switcher.switch!(self)
end
...
end
end

102. RACK MIDDLEWARE
module MultiTenant
class DatabaseSwitcher
...
def switch!(tenant)
if ActiveRecord::Base.connection.current_database !=
tenant.config['database']
ActiveRecord::Base.establish_connection(tenant.config)
end
end
...
end
end

103. RACK MIDDLEWARE
def call(env)
begin
tenant = map.get_tenant(:address => address(env))
return respond_302 unless tenant
return respond_403 if tenant.suspended?
tenant.current!
@status, @headers, @response = @app.call(env)
[@status, @headers, @response]
rescue Exception => ex
@logger.error ex.message + "n" + ex.backtrace.join("n")
respond_500
end
end

104. RACK MIDDLEWARE
def call(env)
begin
tenant = map.get_tenant(:address => address(env))
return respond_302 unless tenant
return respond_403 if tenant.suspended?
tenant.current!
@status, @headers, @response = @app.call(env)
[@status, @headers, @response]
rescue Exception => ex
@logger.error ex.message + "n" + ex.backtrace.join("n")
respond_500
end
end

105. ESCALA ?

106. TESTES DE DESEMPENHO
o que utilizamos:

107. TESTES DE DESEMPENHO
o que utilizamos:
máquina idêntica de produção

108. TESTES DE DESEMPENHO
o que utilizamos:
máquina idêntica de produção
jmeter para fazer a carga

109. TESTES DE DESEMPENHO

110. TESTES DE DESEMPENHO
$ request-log-analyzer all-production.log

111. TESTES DE DESEMPENHO
$ request-log-analyzer all-production.log
TaxonsController#show.html [GET] 71297 hits 25.9%
ProductsController#index.html [GET] 68717 hits 25.0%
ProductsController#show.html [GET] 64132 hits 23.3%

112. RESULTADOS

113. RESULTADOS

114. RESULTADOS
antes depois
sem
instância/tenant 2
preocupações
req/s ? 300
consumo total
toda estável
de memória

115. RESULTADOS
antes depois
sem
instância/tenant 2
preocupações
req/s ? 300
consumo total
toda estável
de memória

116. RESULTADOS
antes depois
sem
instância/tenant 2
preocupações
req/s ? 300
consumo total
toda estável
de memória

117. RESULTADOS
antes depois
sem
instância/tenant 2
preocupações
req/s ? 300
consumo total
toda estável
de memória

118. RESULTADOS
antes depois
sem
instância/tenant 2
preocupações
req/s ? 300
consumo total
toda estável
de memória

119. RESULTADOS
antes depois
sem
instância/tenant 2
preocupações
req/s ? 300
consumo total
toda estável
de memória

120. RESULTADOS
antes depois
sem
instância/tenant 2
preocupações
req/s ? 300
consumo total
toda estável
de memória

121. RESULTADOS
antes depois
sem
instância/tenant 2
preocupações
req/s ? 300
consumo total
toda estável
de memória

122. RESULTADOS
antes depois
sem
instância/tenant 2
preocupações
req/s ? 300
consumo total
toda estável
de memória

123. RESULTADOS
antes depois
sem
instância/tenant 2
preocupações
req/s ? 300
consumo total
toda estável
de memória

124. RESULTADOS
antes depois
sem
instância/tenant 2
preocupações
req/s ? 300
consumo total
toda estável
de memória

125. RESULTADOS
antes depois
sem
instância/tenant 2
preocupações
req/s ? 300
consumo total
toda estável
de memória

126. E DEPOIS DO TESTE ?

127. METAS

128. METAS
ser fácil de escalar

129. METAS
ser fácil de escalar
reduzir custos

130. METAS
ser fácil de escalar
reduzir custos
alta disponibilidade

131. EXTRAÇÃO DE BASES

132. EXTRAÇÃO DE ARQUIVOS

133. NOVA ARQUITETURA

134. SERVIDOR
16 cpus
18 gb ram

135. SERVIDOR
16 cpus
18 gb ram
baixo consumo de memória e processamento

136. CLOUD ?
* http://jodsonfritz.files.wordpress.com/2011/03/illustratie-illustration_cloud-computing-lek-leak-wolken1-450x299.jpg

137. CLOUD ?
* http://jodsonfritz.files.wordpress.com/2011/03/illustratie-illustration_cloud-computing-lek-leak-wolken1-450x299.jpg

138. SERVIDOR

139. SERVIDOR
8 cpus

140. SERVIDOR
8 cpus
10 gb ram

141. PROPAGANDA

142. PROPAGANDA

143. PROPAGANDA
crescimento em 5x a quantidade de tenants

144. COMO ESCALAR AINDA MAIS?

145. BALANCEADOR DE CARGA

146. BALANCEADOR DE CARGA
Linux Virtual Server (LVS)

147. NOVA ARQUITETURA

148. NOVA ARQUITETURA

149. O QUE ESTÁ POR VIR

150. O QUE ESTÁ POR VIR
número de banco de dados crescendo

151. O QUE ESTÁ POR VIR
número de banco de dados crescendo
logs estão distribuídos

152. CONCLUSÕES

153. CONCLUSÕES
tenha números concretos

154. CONCLUSÕES
tenha números concretos
experimente, teste se funciona

155. CONCLUSÕES
tenha números concretos
experimente, teste se funciona
tenha solução ideal para o seu problema

156. CONCLUSÕES
tenha números concretos
experimente, teste se funciona
tenha solução ideal para o seu problema
execute em pequenos passos

157. OBRIGADO !

158. PERGUNTAS ?

159. Ricardo Bernardelli Fernando Hamasaki
@rbernardelli @prodis
WebStore
http://www.locaweb.com.br/Loja

160. REFERÊNCIAS
http://www.tectura.com.br/topics/abordagens_de_multitenant
http://msdn.microsoft.com/en-us/library/aa479086.aspx
imagem fail: http://hidefgames.com.br/wp-content/uploads/2011/04/failed1.gif
imagem approved: http://3.bp.blogspot.com/-fKxVGdl1KMo/TcdEdjCMuMI/
AAAAAAAABQM/FFJOzalJ7EU/s1600/approved-stamp-hi.png