Logstash ist eine schlanke Open Source Lösung welche es erlaubt bei entsprechender Hardware Millionen von Logdaten zu verarbeiten und genau so schnell wieder in einem Frontend - Kibana - darzustellen. Neben der Funktionsweise, der Architektur und den Möglichkeiten von Logstash, wollen wir in diesem Webinar zeigen, wie Windows und Linux Logmeldungen sauber integriert werden können. Webinare Archiv Link: https://www.netways.de/webinare/archiv/logstash_webinare/logstash_windows_und_linux_log_management/ Aktuell: https://www.netways.de/webinare/webinare_aktuell/ NETWAYS Konferenzen: https://www.netways.de/events_schulungen/home/ Schulungen: https://www.netways.de/events_schulungen/schulungen/home/ Shop: https://shop.netways.de/ Blog: http://blog.netways.de/ Social Media YouTube: https://www.youtube.com/channel/UC8nIBEFmjzXjXeJV_hkkeIQ Facebook: https://www.facebook.com/netways Google+: https://plus.google.com/+netways/ Twitter: https://twitter.com/netways

1. www.netways.de // blog.netways.de // @netways
We love Open Source
WEBINAR | 07.11.2014
LOGSTASH: WINDOWS UND LINUX
LOGMANAGEMENT
THOMAS WIDHALM, CHRISTIAN STEIN | NETWAYS GMBH

2. www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG MITARBEITER
￭ Christian Stein
 Account Manager
 Bei NETWAYS seit 2012
￭ Thomas Widhalm
 Senior Consultant
 Bei NETWAYS seit 2013

3. www.netways.de // blog.netways.de // @netways
We love Open Source
AGENDA
￭ Vorstellung NETWAYS
￭ Was ist Logstash
￭ Logstash Architektur
￭ Live Demo
￭ Fragen und Antworten

4. www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG NETWAYS

5. www.netways.de // blog.netways.de // @netways
We love Open Source
VORSTELLUNG NETWAYS
￭ Firmengründung 1995
￭ Open Source seit 1997
￭ Aktuell 40 Mitarbeiter
￭ Spezialisierung in den Bereichen
Open Source Systems Management
und Open Source Datacenter

6. www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KOMPETENZEN
￭ Monitoring
￭ Graphing
￭ Logmanagement
￭ Konfigurationsmanagement
￭ Reporting
￭ Private Cloud
￭ Backup
￭ Projektmanagement
￭ Consulting
￭ Hosting
￭ Managed Services
￭ Development
￭ Support
￭ Betrieb
￭ Schulungen
￭ Konferenzen
￭ Monitoring Hardware

7. www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS PRODUKTE
GRAPHITE

8. www.netways.de // blog.netways.de // @netways
We love Open Source
￭ Open Source Monitoring Conference
• 18. – 20. November 2014 (Nürnberg)
• 250 Teilnehmer (2013)
• Monitoring Best Practices
￭ OpenNebula Conference
• 02. – 04. Dezember 2014 (Berlin)
• 100 Teilnehmer (2013)
• Cloud Virtualisierung
NETWAYS KONFERENZEN

9. www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS SCHULUNGEN – MONITORING UND REPORTING

10. www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS SCHULUNGEN – PUPPET KONFIGURATIONSMANAGEMENT

11. www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS COMMUNITY
www.netways.org
￭ NETWAYS Addons
￭ NETWAYS Plugins
www.icinga.org
￭ Development
￭ Hosting
exchange.icinga.org
￭ Icinga / Nagios Addons und Plugins
￭ > 2000 Projekte

12. www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KUNDEN – CONSULTING (AUSZUG)

13. www.netways.de // blog.netways.de // @netways
We love Open Source
NETWAYS KUNDEN – HOSTING (AUSZUG)

14. www.netways.de // blog.netways.de // @netways
We love Open Source
UNSERE LEISTUNGEN IM ÜBERBLICK
￭ Konzeptionierung und Planung
￭ Workshops & Consulting zur Implementierung vor Ort
￭ Betrieb
 Komplette Logmanagementsysteme
 Teilweise Betriebsunterstützung
￭ Entwicklungsleistungen
 Plugins und Filter
 Systemintegration
￭ Schulungen
 Standardisierte Schulungsmodule
 Individuell vor Ort
￭ Support
 Standardverträge
 Individuelle Supportkonzepte
￭ Konferenzen

15. www.netways.de // blog.netways.de // @netways
We love Open Source
OPEN SOURCE LOGMANAGEMENT
WAS IST LOGSTASH

16. www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH
￭ Ziele
 Logdateien in großen Mengen behandeln
 Analyse der Daten
 Anbindung an Monitoringsysteme
 Dashboards für Visualisierung und Analyse
 Weiterleitung der Daten an Drittsyteme

17. www.netways.de // blog.netways.de // @netways
We love Open Source
PROBLEMSTELLUNG
￭ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 6666 "https://logstash.demo.netways.de/"
"Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
￭ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 492955
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:10 +0100] "GET /app/partials/inspector.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
￭ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 17140
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
￭ 91.198.2.65 - - [04/Dec/2013:08:53:10 +0100] "POST /_all/_search HTTP/1.1" 200 498624
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/micropanel.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/styleEditor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/editor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/queriesEditor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/histogram/editor.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"
￭ 91.198.2.65 - logstash [04/Dec/2013:08:53:11 +0100] "GET /app/panels/table/pagination.html HTTP/1.1" 304 245
"https://logstash.demo.netways.de/" "Mozilla/5.0 (X11; Linux x86_64; rv:25.0) Gecko/20100101 Firefox/25.0"

18. www.netways.de // blog.netways.de // @netways
We love Open Source
VORGEHEN OHNE LOGMANGEMENT
￭ Regex Magic
^([d.]+) (S+) (S+) [([w:/]+s[+-
]d{4})] "(.+?)" (d{3}) (d+) "([^"]+)"
"([^"]+)"
￭ Pro Logformat eine eigene Regex
￭ Aufwendig und zeitintensiv
￭ Nur für technisch Versierte
￭ Schlecht für die Teamarbeit

19. www.netways.de // blog.netways.de // @netways
We love Open Source
SORTIERUNG UND VISUALSIERUNG DER DATEN MIT LOGSTASH

20. www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH FEATURES
￭ Zentrales Speichern von Logs und Events
￭ Sammeln von verschiedenen Quellen
￭ Logs verändern / strukturieren
￭ Transportieren der Logs
￭ Einfache Installation
￭ Integration in bestehende Infrastruktur
￭ Lightweight
￭ Open Source

21. www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR

22. www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
Logstash:
Pipe on Steroids
Input
Filter
Output

23. www.netways.de // blog.netways.de // @netways
We love Open Source
SORTIERUNG DER DATEN
￭ Vorher
 192.168.1.10 – guest [04/Dec/2013:08:54:23 +0100] "POST /icinga-web/web/api/json
HTTP/1.1" 200 788 "https://icinga-private.demo.netways.de/icinga-
web/modules/web/portal" "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101
Firefox/22.0"
￭ Nachher
 "http_clientip": "192.168.1.10",
 "http_ident": "-",
 "http_auth": "guest",
 "timestamp": "04/Dec/2013:08:54:23 +0100",
 "http_verb": "POST",
 "http_request": "/icinga-web/web/api/json",
 "http_httpversion": "1.1",
 "http_response": "200",
 "http_bytes": "788",
 "http_referrer": "https://icinga-private.demo.netways.de/icinga-
web/modules/web/portal",
 "http_agent": "Mozilla/5.0 (X11; Linux x86_64; rv:22.0) Gecko/20100101
Firefox/22.0"
￭ Pattern
 "%{COMBINEDAPACHELOG}"

24. www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH ARCHITEKTUR
Server
Switch
Webapplikation
• Input
• Output
• Key-Value
Store
• Puffer
• Input
• Filter
• Output
• Index
• Queries

25. www.netways.de // blog.netways.de // @netways
We love Open Source
REDIS
￭ Key-Value Store
￭ Einfache Installation
￭ Eingebaute Replikation
￭ Sehr schnell
￭ Einträge werden nach Abholung gelöscht

26. www.netways.de // blog.netways.de // @netways
We love Open Source
ELASTICSEARCH
￭ Effizientes Speichern von Daten
￭ Automatische Indexes
￭ RESTful API
￭ Hochverfügbar
￭ Clusterfähig (Nodes, Shards, Replika)
￭ Realtime Analyse der Daten
￭ Basiert auf Apache Lucene
￭ Empfohlener Output

27. www.netways.de // blog.netways.de // @netways
We love Open Source
INTEGRATION IN DIE IT-LANDSCHAFT

28. www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH PLUGINS UND FILTER
￭ drupal_dblog
￭ elasticsearch
￭ eventlog
￭ exec
￭ file
￭ ganglia
￭ gelf
￭ gemfire
￭ generator
￭ graphite
￭ heroku
￭ imap
￭ irc
￭ log4j
￭ lumberjack
￭ pipe
￭ rabbitmq
￭ redis
￭ relp
￭ s3
￭ snmptrap
￭ sqlite
￭ sqs
￭ stdin
￭ stomp
￭ syslog
￭ tcp
￭ twitter
￭ udp
￭ unix
￭ varnishlog
￭ websocket
￭ wmi
￭ xmpp
￭ zenoss
￭ zeromq
￭ advisor
￭ alter
￭ anonymize
￭ checksum
￭ cidr
￭ cipher
￭ clone
￭ collate
￭ csv
￭ date
￭ dns
￭ drop
￭ environment
￭ extractnumbers
￭ gelfify
￭ geoip
￭ grep
￭ grok
￭ grokdiscovery
￭ json
￭ json_encode
￭ kv
￭ metaevent
￭ metrics
￭ multiline
￭ mutate
￭ noop
￭ prune
￭ railsparallel-
request
￭ range
￭ ruby
￭ sleep
￭ split
￭ syslog_pri
￭ translate
￭ urldecode
￭ useragent
￭ uuid
￭ xml
￭ zeromq
￭ boundary
￭ circonus
￭ cloudwatch
￭ datadog
￭ datadog_metrics
￭ elasticsearch
￭ elasticsearch_http
￭ elasticsearch_river
￭ email
￭ exec
￭ file
￭ ganglia
￭ gelf
￭ gemfire
￭ google_cloud_stor
age
￭ graphite
￭ graphtastic
￭ hipchat
￭ http
￭ irc
￭ jira
￭ juggernaut
￭ librato
￭ loggly
￭ lumberjack
￭ metriccatcher
￭ mongodb
￭ nagios
￭ nagios_nsca
￭ null
￭ opentsdb
￭ pagerduty
￭ pipe
￭ rabbitmq
￭ redis
￭ riak
￭ riemann
￭ s3
￭ sns
￭ sqs
￭ statsd
￭ stdout
￭ stomp
￭ syslog
￭ tcp
￭ udp
￭ websocket
￭ xmpp
￭ zabbix
￭ zeromq
Input (36) Filter (40) Output (50)

29. www.netways.de // blog.netways.de // @netways
We love Open Source
LOGSTASH FEATURES
￭ Integration in nahezu jede Umgebungen
 Syslog
 TCP / UDP
 Lumberjack
 fertige Pattern
 Elasticsearch
￭ Skalierbarkeit
 Auslagerung auf dedizierte Server
 Multiple Redis-Server
 Mehrere Logstash-Indexer möglich
 Elasticsearch ist clusterfähig (Nodes, Shards, Replika)

30. www.netways.de // blog.netways.de // @netways
We love Open Source
ANWENDUNGSMÖGLICHKEITEN
￭ Systemlogs (Problemanalyse)
￭ Webserver Access- und Errorlogs
￭ Logs der eigenen Applikation (Profiling)
￭ Alerts via Icinga, E-Mail, XMPP, …
￭ Statistiken (Graphite)
￭ uvm.

31. www.netways.de // blog.netways.de // @netways
We love Open Source
LIVE DEMO

32. www.netways.de // blog.netways.de // @netways
We love Open Source
FRAGEN UND ANTWORTEN

33. www.netways.de // blog.netways.de // @netways
We love Open Source
WEBINAR KALENDER
￭ Icinga Web 2: Modernes Web-Framework der nächsten Generation
 25. November 2014 - 10:30 Uhr
￭ Puppet: Windows Configuration Management
 12. Dezember 2014 – 10:30 Uhr
￭ NETWAYS: Jahresrückblick 2014
 18. Dezember 2014 – 10:30 Uhr

34. www.netways.de // blog.netways.de // @netways
We love Open Source
KONTAKTDATEN
Vielen Dank für Ihre
Aufmerksamkeit!
NETWAYS GmbH
Deutschherrnstrasse 15-19
90429 Nürnberg
Tel: +49 911 92885-0
Fax: +49 911 92885-77
E-Mail: info@netways.de
Website: www.netways.de
Twitter: twitter.com/netways
Facebook: facebook.com/netways
Blog: blog.netways.de