Welche Mittel benötigen wir, um ein zentralisiertes Logging mit ELK zu erstellen? Vom Daten sammeln und verarbeiten bis hin zur Skalierung und Absicherung werden ein paar Beispiele gezeigt, mit denen man es recht einfach schafft, eine Logfile-Suche zu bauen. Dabei werden gängige Tools kurz vorgestellt und auch gerne Alternativen diskutiert. Unsere Erfahrungen stammen aus dem Aufbau eines ELK stacks bei FILIADATA. Der Vortrag wurde beim inovex Search-Meetup in Karlsruhe am 29.01.2015 gehalten. Speaker: Nico Heid (inovex), Timo Goebel (FILIADATA). Mehr inovex-Meetups: Karlsruhe: http://www.meetup.com/inovex-karlsruhe/ Köln: http://www.meetup.com/inovex-cologne München: http://www.meetup.com/inovex-munich/

4. server redis
logstash
kibana
user

5. bysematext.com

6. Monitoring
● Marvel
by Elasticsearch
● Kopf - ES Plugin
○ https://github.com/lmenezes/elasticsearch-kopf
● Monitoring
○ Nagios, Zabbix, Icinga, Munin ….

7. why redis?
- decoupling for scaling
- more producer / consumer
- buffer
- softening spikes
- downtime of logstash service

8. one Logstash to rule them all
input {
redis {}
}
output{
elasticsearch_http{}
}

9. one Logstash to rule them all
input {
redis { tag => “filtertag123”}
}
output{
if “filtertag123” in [tags] {
elasticsearch_http{}
}
}

10. Wald

11. Wald

12. Wald

13. cluster optimization
- memory
- amount
- tuning for read or write
- refresh interval of lucene index
- disk performance
- shards
- sizes, amount, distribution

14. demo time
- keep fingers crossed
- fallback -> whiteboard?

15. nginx proxy

16. elasticsearch shield
- coming soon ;)
- realized as ES plugin
- role based access
- authentication support
- encrypted communications
- audit logging
- at least gold subscription

17. Questions - Alternatives