1. OS DESAFIOS COMPUTACIONAIS DE
INDEXAR TERABYTES DE DADOS

2. AGENDA
● MOTIVAÇÃO
● COMO INDEXAR?
● COMO NOTIFICAR?
● COMO AGREGAR?
● COMO DISTRIBUIR?

3. COMPLEX EVENT
PROCESSING

4. TIME SERIES
REAL-TIME

5. LOGS

7. MILHARES DE
EQUIPAMENTOS

8. marvin@goldenheart ~ $ ssh root@deepthought
****
WELCOME TO 1 OF YOUR 38,157,987 SERVERS.
TRY THE VEAL. IT'S THE BEST IN THIS FARM.
****
root@deepthought ~ $ tail -f /var/log.txt
COMO ACESSAR
OS LOGS?

9. COMO
"DEBUGAR"?

10. LOG É
TEXTO

11. MUITO TEXTO

12. 3TB / DIA

13. 3TB / DIA
10.000.000.000 MSGS / DIA
36 MB / SEGUNDO

14. JAVA

15. VISÃO GERAL
ARMAZENAR
mensagens INTERPRETAR INDEXAR
NOTIFICAR

16. RFC 3164: SYSLOG
<34>Oct 11 22:14:15 mymachine su: 'su
root' failed for lonvick on /dev/pts/8
<priority = facility*8+severity>
<date/time>
<host>
<process>
<message>

17. CHAVE: VALOR
message <34>Oct 11 22:14:15 mymachine su: 'su root'
failed for lonvick on /dev/pts/8
text su, root, failed, for, lonvick, on, /dev/pts/8
facility AUTH
severity CRITICAL
date 20121011
time 221415
host mymachine
process su

18. <TERM, DOC*>
ABACATE ➜ 12
ABACAXI ➜ 1, 3, 9
BANANA ➜ 2, 3, 42
CAJU ➜ 3, 11, 42, 50
DAMASCO ➜ 17, 18, 19
...

19. CAJU E BANANA
CAJU ∩ BANANA
BANANA ➜ 2, 3, 42
CAJU ➜ 3, 11, 42, 50
CAJU ∩ BANANA ➜ 3, 42

20. CAJU OU BANANA
CAJU U BANANA
BANANA ➜ 2, 3, 42
CAJU ➜ 3, 11, 42, 50
CAJU U BANANA ➜ 2, 3, 11, 42, 50

21. QUERIES
TERM abacaxi
PREFIX abaca*
WILDCARD ab*a?i
FUZZY abacazi~
RANGE [abacaxi TO banana]

22. QUERIES
(cajá~ || bana*) -damasco
Registros que contenham algo parecido com
cajá (talvez cajú) ou algo que comece com
bana, mas que definitivamente não contenham
damasco.

23. ORDENAÇÃO
(2, 3, 10, 11, 42, 50)
(10, 2, 11, 3, 42, 50)

24. ORDENAÇÃO
Como ordenar 100M+ inteiros
em tempo hábil?
Arrays.sort(data) ➜ ~5s

25. ORDENAÇÃO SELEÇÃO
Como encontrar os 1000
menores inteiros de um total
de 100M+ em tempo hábil?
introSelect(data, 1000) ➜ 300ms

26. ORDENAÇÃO SELEÇÃO
public void select(int[] data, int begin, int end, int m) {
if (begin >= end) return;
m = Math.min(m, end - begin);
for (int depth = 0; depth < MAX_DEPTH; depth++) {
int pivot = partition(data, begin, end, begin + (end - begin) / 2);
int d = pivot - begin + 1;
if (d == m) {
return;
} else if (m < d) {
end = pivot;
} else {
m -= d;
begin = pivot + 1;
}
}
//fall back to heap sort when too deep
heap.select(data, begin, end, m);
}

27. BAIXA ENTROPIA

28. <10% de termos únicos
menor overhead por mensagem
MESSAGE BAG

29. <TERM, <DOC, POSITION*>*>
ABACATE ➜ <12, 1, 2>
ABACAXI ➜ <1, 1>, <3, 2>, <9, 1>
BANANA ➜ <2, 1, 5>, <3, 2>, <10, 1>
...

30. BUSCAS NO HISTÓRICO
Thread #1
ids+positions
Thread #2
busca ids+positions ids+positions mensagens
.
.
.
Thread #n
ids+positions
ÍNDICE STORAGE

32. REALTIME (AKA TAIL -F)
MENSAGENS
subscriber

33. REALTIME (AKA TAIL -F)
MENSAGENS
subscriber
subscriber
subscriber
#n

34. 60 MessageBags / segundo +
20 mil termos / MessageBag +
100+ queries registradas =
#FAIL

35. TRANSIENT TERM TRIE
ABACAXI
ABACATE
BANANA
<RAIZ>
ABACA BANANA
XI TE

36. AGREGAÇÃO
MENSAGENS
agregador
subscriber

37. ~10.000 eventos / segundo
http

38. 1 evento / segundo
http => count()

39. ~20 eventos / segundo
http => count()
by host

40. ~20 eventos / 30 segundos
http => count()
by host
every 30 seconds

41. ~20 eventos / 30 segundos
http => avg(cputime#)
by host
every 30 seconds

43. <aggregationQuery>
<subtraction>
<aggregation> <aggregation>
<parseNumber> <parseNumber>
<search> <property> <property>
http => avg(cputime#) - avg(systemtime#)

44. type:http status:404
=> :count
=> :avglast(5) c5, :avglast(60) c60
=> c5 > 1.25*c60 as alarm
=> alarm != alarm:prev as changed
=> alarm by host every minute if changed

45. DISTINCT COUNT
CARDINALIDADE
http => dcount(session_id)
every hour

46. DISTINCT COUNT
CARDINALIDADE
http => dcount(session_id)
every hour
Usar HashSet<T> significaria manter
todos os session_ids em memória.

47. DISTINCT COUNT
CARDINALIDADE
HYPERLOGLOG SKETCH
hash(input)
observar padrões de bits
acumular estimadores

48. DISTINCT COUNT
CARDINALIDADE
HYPERLOGLOG SKETCH
hash(input)
observar padrões de bits
acumular estimadores
"m" estimadores de 5 bits
Std error: 104% / sqrt(m)
m=216 ➜ 40KiB ➜ ~0.41%

49. É PRECISO
ESCALAR

50. taxa de leitura
MODERADA
taxa de escrita
ALTÍSSIMA
dependência entre os dados
BAIXA

51. SHARDING
engine
Load
UDP/TCP 514 engine
Balancer
engine

52. Cluster
engine
engine engine

53. Cluster
engine
Web HTTP
Server
engine engine usuário
Broker

54. Cluster
engine
Web HTTP
Server
engine engine usuário

55. Cluster
engine
engine
engine

56. Cluster
engine
Multicast engine HTTP
engine usuário

58. MULTICAST
JChannel channel = new JChannel();
channel.setReceiver(new ReceiverAdapter() {
public void receive(Message msg) {
System.out.println(
msg.getSrc() + ": " + msg.getObject());
}
});
channel.connect("meuCanalDeChat");
BufferedReader reader = new BufferedReader(
new InputStreamReader(System.in));
while(true) {
String line = reader.readLine();
channel.send(null, line);
}

59. STACK CONFIGURÁVEL

60. TUDO ESTÁ DISTRIBUÍDO

61. BUSCA
engine
10
mergesort, take 10
10 last 10 "http_status: 10
engine
404"
usuário
10
engine

62. BUSCA
engine
10
mergesort, take 10
10 last 10 "http_status: 10
engine 404"
before {id:84324814}
usuário
10
engine

63. AGREGAÇÃO
http 200 => count() by host
host count
foo 1234
bar 2345
baz 3456

64. AGREGAÇÃO
count() + count() + count()
engine engine engine

65. AGREGAÇÃO
http 200 => avg(time) by host
host avg_time
foo 0.888889
bar 0.224568
baz 5.623424

66. AGREGAÇÃO
avg(time) + avg(time) + avg(time)
?
engine engine engine

67. AGREGAÇÃO
sum(time) + sum(time) + sum(time)
count(time) + count(time) + count(time)
engine engine engine

68. E EM PRODUÇÃO?

69. 9 BILHÕES DE LINHAS DE LOG
3TB EM DADOS ORIGINAIS
350GB DE ÍNDICE
3 SERVIDORES

70. 2100+
TESTES
98%
LINHAS
COBERTAS

71. OBRIGADO!
/juanplopes
@juanplopes
intelie.com.br
slideshare.net/juanplopes