Многие современные высоконагруженные системы построены с использованием очередей. Не является исключением и внутренний сервис обработки OAuth токенов, который создала наша команда. Исключением является то, что и в качестве основного хранилища, и в качестве всех очередей используется один и тот же продукт - Tarantool. Более того, мы поставили себе амбициозную цель по отказоустойчивости - полную доступность сервиса, когда уходят любые два из трёх датацентров, и успешно её достигли. При решении мы столкнулись с массой интересных инженерных задач и в нашем докладе мы расскажем вам о том, какие технологии и подходы использовались. В частности, рассмотрим более детально такие вещи, как: - создание deadline очереди и проблемы, с ней связанные; - создание кольцевой очереди; - интеграция между собой шардинга, Raft и очередей; - как мы победили split brain ;)

1. Отказоустойчивая
обработка 10 миллионов
OAuth токенов на Tarantool
Mons Anderson
Игорь Латкин

2. супероптимальность и
производительность
дисковое хранилище - vinyl
json документы
2 / 67

3. Что ещё…
3 / 67

4. Get your
data in RAM
Compute
close to data
Enjoy the
performance
4 / 67

5. О чём мы будем рассказывать?
5 / 67

6. О чём мы будем рассказывать?
Оглянемся назад: что было 3 года назад?
6 / 67

7. О чём мы будем рассказывать?
Оглянемся назад: что было 3 года назад?
Какие проблемы были?
7 / 67

8. О чём мы будем рассказывать?
Оглянемся назад: что было 3 года назад?
Какие проблемы были?
Master ⟷ Master репликация
8 / 67

9. О чём мы будем рассказывать?
Оглянемся назад: что было 3 года назад?
Какие проблемы были?
Master ⟷ Master репликация
В поисках Ra 'а
9 / 67

10. О чём мы будем рассказывать?
Оглянемся назад: что было 3 года назад?
Какие проблемы были?
Master ⟷ Master репликация
В поисках Ra 'а
Объединяем Ra и шардинг
10 / 67

11. О чём мы будем рассказывать?
Оглянемся назад: что было 3 года назад?
Какие проблемы были?
Master ⟷ Master репликация
В поисках Ra 'а
Объединяем Ra и шардинг
Оцениваем результат
11 / 67

12. Зачем?
Сборщики почты
Вход внешней почтой
Хранение адресных книг
Выдача действующего access_token
12 / 67

13. Что такое OAuth токен?
{
"token_type" : "bearer",
"access_token" : "XXXXXX",
"refresh_token" : "YYYYYY",
"expires_in" : 3600
}
13 / 67

14. 2013 г.
первая схема
классика (M-S)
Ref Ref
rw
Master Slave
F
rw
F
rw
ro
rw
replication
ro
14 / 67

15. Что такое OAuth токен?
{
"token_type" : "bearer",
"access_token" : "XXXXXX",
"refresh_token" : "YYYYYY",
"expires_in" : 3600
}
15 / 67

16. Проблемы?
16 / 67

17. Проблемы?
25% Outage за 15 минут
50% Outage за 30 минут
100% Outage за 1 час
17 / 67

18. Проблемы?
25% Outage за 15 минут
50% Outage за 30 минут
100% Outage за 1 час
2015 г. - 100% CPU (много бизнес-логики и индексов)
Вторичная логика влияет на основную задачу
18 / 67

19. 1.6 +
Новый Tarantool
Master-Master
replica on
19 / 67

20. ⓘ
3 датацентра
3 копии
MM - репликация
20 / 67

21. Ref
Ref
M
M
M
Ref
M100
Datapro
Dataline
21 / 67

22. Ref
Ref
M
M
M
Ref
M100
Datapro
Dataline
в 3 раза
больше
запросов
нужен
выбор
лидера
22 / 67

23. Paxos ?
23 / 67

24. Paxos ?
24 / 67

25. Ra !
25 / 67

26. M
M
M
M100
Datapro
Dataline
net.box
26 / 67

27. M
M
M
M100
Datapro
Dataline
net.box
require 'net.box'
--[[
tarantool
to tarantool
connector
]]
27 / 67

28. M
M
M
M100
Datapro
Dataline
Ra
Leader
Follower Follower
реализуем
только
выбор
лидера
28 / 67

29. Ra Leader Elec on (on lua)
local r = self.pool.call(self.FUNC.request_vote, self.term, self.uuid)
self._vote_count = self:count_votes(r)
if self._vote_count > self._nodes_count / 2 then
log.info("[raft-srv] node %d won elections", self.id)
self:_set_state(self.S.LEADER)
self:_set_leader({ id=self.id, uuid=self.uuid })
self._vote_count = 0
self:stop_election_timer()
self:start_heartbeater()
else
log.info("[raft-srv] node %d lost elections", self.id)
self:_set_state(self.S.IDLE)
self:_set_leader(msgpack.NULL)
self._vote_count = 0
self:start_election_timer()
end
29 / 67

30. Ref
Ref
M
M
M
Ref
M100
Datapro
Dataline
Leader
Follower Follower
30 / 67

31. Ref
Ref
M
M
M
Ref
M100
Datapro
Dataline
Leader
Follower Follower
⅓
⅓
⅓
только
лидер
раздаёт
задачи
x 1
запросов
31 / 67

32. Ref
Ref
M
M
M
Ref
M100
Datapro
Dataline
Leader
Abandoned Follower
Ra
?
случился split
две ноды ok,
одна оторвана
32 / 67

33. x = 1x = 1
x := 2 x := 3
x = 3 x = 2
x = 2 x = 3
M-M
реплицирует
все изменения
33 / 67

34. x = 1x = 1
x := 2 x := 3
x = 3 x = 2
x = 2 x = 3
M-M
реплицирует
все изменения
консистентность?
34 / 67

35. OAuth Token
Refresh-T
Access-T
∞*
1 h
Token
Refresh( Refresh-T ) = Access-T1
Refresh( Refresh-T ) = Access-T2
...
:
:
35 / 67

36. R+A1
Leader Follower
replicate R+A1
split
R+A2 R+A3
split ends
R+A3 R+A2
R+A4
replicate
R+A4
Abandoned
refresher
работает и
с leader и с
abandoned
36 / 67

37. Обычно
связанных нод
N/2 + 1
запросов max
1x
Доступность
37 / 67

38. Обычно
связанных нод
N/2 + 1
запросов max
1x
У нас
связанных нод
1
запросов max
Nx
Доступность
38 / 67

39. 100% CPU
Осталась ещё одна проблема
39 / 67

40. 100% CPU Sharding!
Осталась ещё одна проблема
40 / 67

41. 100% CPU Sharding!
Осталась ещё одна проблема
Кто знает что такое шардинг?
41 / 67

42. 100% CPU Sharding!
Осталась ещё одна проблема
Кто знает что такое шардинг?
Кто делал свой шардинг?
42 / 67

43. Shard #2
Master 2
Slave 2
f(key) ➝ shard #
Shard #1
Master 1
Slave 1
43 / 67

44. Client1 f(key) Client2f(key)
Shard #1
Shard #2
Shard #N
44 / 67

45. Client1 Client2
Shard #1
Shard #2
Shard #N
f(key)
f(key)
f(key)
45 / 67

46. Shard #1
M
M M M
MM
Leader
Leader
Shard #2
46 / 67

47. Shard #1
M
M M M
MM
f(key) = sh #1
Leader
Leader
Shard #2
47 / 67

48. Shard #1
M
M M M
MM
f(key) = sh #2
Leader
Leader
Shard #2
48 / 67

49. А не много
ли соединений?
49 / 67

50. Проблема Full mesh:
N2 соединений
N × (N-1)
50 / 67

51. Shard #1
M
M M M
MM
Leader
Leader
Shard #2
P P
51 / 67

52. N × const
const = p + n - 1
(n = 3, p = 3)
52 / 67

53. MM + Ra + Shard + Proxy = Cluster
53 / 67

54. F F
R R... Rab Rab...
1 1Tokens
Cluster
Address Book
Cluster
54 / 67

55. Shard #1
M
M M M
MM
Leader
Leader
Shard #2
P P
55 / 67

56. to refresh no need to refreshexpired
60s
first
order
old age
second
order
4 min
third
order
1 hour
expira on me index
Refresh
56 / 67

57. no fy
put()
index
lookup or wait
wait
take()
session
stash
disconnect
channel
id status payloadme
pk
57 / 67

58. queue:put
function put(data)
local t = box.space.queue:auto_increment({
'r', --[[ status ]]
util.time(), --[[ time ]]
data --[[ any payload ]]
})
return t
end
58 / 67

59. queue:take
function take(timeout)
local start_time = util.time()
local q_ind = box.space.tokens.index.queue
local _,t
while true do
local it = util.iter(q_ind, {'r'}, { iterator = box.index.GE })
_,t = it()
if t and t[F.tokens.status] ~= 't' then
break
end
local left = (start_time + timeout) - util.time()
if left <= 0 then return end
t = q:wait(left)
if t then break end
end
t = q:taken(t)
return t
end
59 / 67

60. queue:taken
function queue:taken(task)
local sid = box.session.id()
if self._consumers[sid] == nil then
self._consumers[sid] = {}
end
local k = task[self.f_id]
local t = self:set_status(k, 't')
self._consumers[sid][k] = { util.time(), box.session.peer(sid), t }
self._taken[k] = sid
return t
end
60 / 67

61. queue:on_disconnect
function on_disconnect()
local sid = box.session.id
local now = util.time()
if self._consumers[sid] then
local consumers = self._consumers[sid]
for k,rec in pairs(consumers) do
time, peer, task = unpack(rec)
local v = box.space[self.space].index[self.index_primary]:get({k})
if v and v[self.f_status] == 't' then
v = self:release(v[self.f_id])
end
end
self._consumers[sid] = nil
end
end
61 / 67

62. Возможно ли
альтернативное решение?
62 / 67

63. Shard #1
Master 1
Slave 1
Shard #2
Master 2
Slave 2
DB Queue
Q3
Q2
Quorum
Validator
Q1
63 / 67

64. Итог
Проблема outage решена
Горизонтальное масштабирование
Проблема N2 сведена к N×const
Релизована логика на очереди под бизнес-задачу
64 / 67

65. Получено очень много опыта при
написании собственной реализации
Ra
65 / 67

66. Get your
data in RAM
Compute
close to data
Enjoy the
performance
66 / 67

67. tarantool.orgDocumenta on:
try.tarantool.orgTry it online:
github.com/tarantoolExplore it:
Ques ons?
67 / 67