Una veloce introduzione allo stack elastic (noto in precedenza come stack ELK). Talk tenuto al PUG Roma nell'incontro di aprile 2016

1. Scrivere e leggere log con Elastic
Roma 26 aprile 2016

2. naming things...
Lo stack ELK
Lo stack Elastic

3. log

6. log

7. Problemi con i classici file di log
1. sono destrutturati
2. sono sparsi sul filesystem
3. possono essere sparsi su macchine diverse
4. possono essere sparsi su N macchine
5. potrebbero essere molto grandi e contenere info di dominio

9. logstash
https://www.elastic.co/products/logstash
Process Any Data, From Any Source
● centralizzare il processamento dei dati
● normalizzare schemi e formati
● estendere su formati personalizzati
● aggiungere facilmente plugin

10. Installazione di logstash
wget -qO - https://packages.elastic.co/GPG-KEY-elasticsearch | sudo apt-
key add -
echo "deb http://packages.elastic.co/elasticsearch/2.x/debian stable
main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-2.x.list
sudo apt-get update && sudo apt-get install logstash

11. elasticsearch
https://www.elastic.co/products/elasticsearch
Actionable Insight at Your Fingers
● Distribuito, scalabile, ad alta disponibilità
● Ricerche e analisi in tempo reale
● API RESTful

12. Installazione di elasticsearch
echo "deb http://packages.elastic.co/elasticsearch/2.x/debian stable
main" | sudo tee -a /etc/apt/sources.list.d/elasticsearch-2.x.list
sudo apt-get update && sudo apt-get install elasticsearch

13. Configurazione /etc/logstash/conf.d/logstash.conf
input {
gelf {
type => gelf
}
}
output {
elasticsearch {
hosts => [‘localhost’]
}
}

14. Configurazione /etc/logstash/conf.d/logstash.conf
input {
file {
type => apache-access
path => /var/log/apache/access.log
}
}
filter {
}

15. Monolog
GelfMessageFormatter / GelfHandler

16. Symfony
monolog:
handlers:
stash:
type: gelf
publisher: { hostname: 127.0.0.1 }
level: debug
formatter: monolog.formatter.gelf_message
composer require graylog2/gelf-php

17. log
$this->logger->info(‘fooEvent’, [‘foo’ => ‘bar’, ‘user’ => ‘pippo’])
[2016-04-26 19:16:23] app.INFO: fooEvent {‘foo’: ‘bar’, ‘user’: ‘pippo’} []

18. Kibana
https://www.elastic.co/products/kibana
See the Value in Your Data
● Analisi e visualizzazione flessibile
● Sintesi e grafici in tempo reale
● Interfaccia intuitiva per gli utenti
● Cruscotti condisivibili ed embeddabili

19. Installazione di kibana
echo "deb http://packages.elastic.co/kibana/4.4/debian stable main" |
sudo tee -a /etc/apt/sources.list.d/kibana.list
sudo apt-get update && sudo apt-get install kibana

20. configurazione
# kibana.yml
server.port: 5601
server.host: "127.0.0.1"

21. configurazione
<VirtualHost *:80>
ServerName kibana.example.org
ProxyPass / http://localhost:5601/
ProxyPassReverse / http://localhost:5601/
<Location />
AuthType Basic
[...]
</Location>
</VirtualHost>

22. http://logstash.openstack.org