Präsentation über MySQL in großen Umgebungen CeBIT 2012

1. www.netways.de
Bernd Erk
07.03.2012 | CeBIT
MySQL in großen Umgebungen

3. KURZVORSTELLUNG

4. www.netways.de
 High Availability &
Clustering
 Cloud Computing
 Load Balancing
 Virtualization
 Database Management
NETWAYS Expertise
OPEN SOURCE
SYSTEMS MANAGEMENT
OPEN SOURCE
SYSTEMS MANAGEMENT
OPEN SOURCE
DATA CENTER
OPEN SOURCE
DATA CENTER
MANAGED
SERVICES
MANAGED
SERVICES
MONITORING
HARDWARE
MONITORING
HARDWARE
KONFERENZENKONFERENZEN
 Monitoring & Reporting
 Configuration Management
 Service Management
 Knowledge Management
 Backup & Recovery

5. www.netways.de
www.netways.org
NETWAYS Addons
NETWAYS Plugins
www.icinga.org
Development
Hosting
www.monitoringexchange.org
Repository of Icinga / Nagios
addons and plugins
~2000 projects
Community Aktiviäten

6. www.netways.de
Open Source Data Center
Conference
25 – 26 April 2012
100 Teilnehmer (2011)
“Agile Infrastructures”
Devops & methods
Databases
Scalability & infrastructure
Open Source Monitoring Conference
17 – 18 Oktober 2012
260 Teilnehmer (2011)
Icinga / Nagios case studies & best practices
•Latest monitoring technologies & addons
NETWAYS Konferenzen

7. www.netways.de
www.netways.de/jobs
Sonstiges

8. MYSQL – STATUS QUO

9. www.netways.de
MySQL 5.1
Partitioning
Row-based replication
Better XML-Support
MySQL 5.5
InnoDB Standard Engine
Performanceoptimierung
Semisychronous-Replikation
MySQL 5.6
Time-Delayed-Replication
Partitioning improvements
NoSQL Interface
MySQL Status Quo

10. STORAGE ENGINES

11. www.netways.de
InnoDB
Row-Level-Locking
Foreign-Key Constraints
Transaktionssicherheit
„Langsamer“
Hoher Speicher und Platzbedarf
MyISAM
Table-Level-Locking
Unterstützung Volltextindexierung
Support für Geodaten
InnoDB vs. MyISAM

12. www.netways.de
Prüfung der verfügbaren Features der Version
Prüfung auf Bedarf von Transaktionssicherheit
Prüfung des Datenmodells
Prüfung spezieller Anforderungen
DIE richtige Engine gibt es nicht!
Die richtige Wahl

13. MONITORING & MANAGEMENT

14. www.netways.de
Überwachung der vorhandenen DB-Services
Erkennung von Auslastungsveränderungen
Langfristige Identifizierung von Trends
Replikationsüberwachung
Unterstützung im Performancetuning
Sicherheitsüberwachung von DB-Accounts
Monitoring & Management

15. www.netways.de
MySQL mit allen gängigen Monitoringlösungen
überwachbar
Gute Plugins und Trendanalyse für Nagios & Icinga
Monitoring

16. www.netways.de
MySQL Enterprise Monitor
Grid Control
WebYog
Kontrollbase
Monitoring & Management

17. www.netways.de
Webbasierte Managementplattform
Open Source
Zentrale oder dezentrale Agenten
http://kontrollsoft.com/software-kontrollbase
Kontrollbase

18. ENTERPRISE FEATURES

19. www.netways.de
Partitionierung (5.1)
mysqlslap (5.1)
Performance Optimierung (5.1 und 5.5)
Replikation
Row-Based-Replikation (5.1)
Mixed-Mode-Replikation (5.5)
Semisychronous-Replikation (5.5)
Enterprise Features

20. www.netways.de
Partitionierung
Kundentabelle
Region 0-25 Region 76-100Region 51-75Region 26-50
Range-Partition
Tabelle
Beispiel Range-Partitioning

21. www.netways.de
Partitionierung
Region 0-25 Region 76-100Region 51-75Region 26-50
Beispiel Pruning
select name from customers where region = 30
DB-Optimizer

22. www.netways.de
RANGE Partitioning
Basierend auf Ausdrücken wie z.B. LESS THAN (100)
LIST Partitioning
Basierend auf Werten wie z.B. VALUES IN (1,10,20)
HASH Partitioning
Basierend auf Werteinhalt und Aufteilung
KEY Partitioning
Basierend auf internen Schlüsseln
Subpartitioning
Subpartition einer anderen Partition
Partitionierung

23. www.netways.de
Manuelle Teilselektion
SELECT * FROM customer PARTITION (p0, p2);
DELETE FROM customer PARTITION (p3, p4);
Partioning Import/Export
ALTER TABLE customer EXCHANGE PARTITION p0
WITH TABLE new_customer;
Partitionierung-Neuerungen

24. www.netways.de
Kleines Werkzeug zur Simulation von Userload
Durchführung kleiner Last- und Performanctests
Test und Benchmark in drei Phasen
Erstellung der entsprechenden Tabellen in EINER
Connection
Simulation von Last in einer konfigurierbaren Anzahl
Connections
Löschung der Tabellen in EINER Connection
mysqlslap

25. www.netways.de
mysqlslap --delimiter=";" --create="CREATE TABLE cebit (halle int, stand int);INSERT INTO cebit
VALUES (2, 144)" --query="SELECT * FROM cebit" --concurrency=50 --iterations=200
Benchmark
Average number of seconds to run all queries: 0.019 seconds
Minimum number of seconds to run all queries: 0.000 seconds
Maximum number of seconds to run all queries: 0.039 seconds
Number of clients running queries: 50
Average number of queries per client: 1
mysqlslap --delimiter=";" --create="CREATE TABLE cebit (halle int, stand int);INSERT INTO cebit
VALUES (2, 144)" --query="SELECT * FROM cebit" --concurrency=100 --iterations=200
Benchmark
Average number of seconds to run all queries: 0.022 seconds
Minimum number of seconds to run all queries: 0.000 seconds
Maximum number of seconds to run all queries: 0.083 seconds
Number of clients running queries: 100
Average number of queries per client: 1
mysqlslap - Beispiel

26. www.netways.de
Ersatz von Mutex durch atomare CPU-Instruktionen
Speicherallokation der InnoDB Engine
Optimierung - SMP (Google Patches)

27. www.netways.de
Performanceoptimierung - InnoDB I/O
prefetch
innodb_read_io_threads innodb_write_io_threads
threadthread
threadthread
memorymemory

28. www.netways.de
Memcached - Plugin

29. DATENBANKREPLIKATION

30. www.netways.de
Erhöht die Stabilität und bietet Ausfallschutz
Erlaubt die kostengünstige Kapazitätssteigerung bei
horizontaler Skalierung
Möglichkeit eines entkoppelten Datenbankbackups ohne
Störung des Hauptservers
Datenbankreplikation

31. www.netways.de
Replikationstypen
DB-Master DB-Slave
DatabaseDatabase DatabaseDatabase
Master-Slave
DB-Master DB-Master
DatabaseDatabase DatabaseDatabase
Master-Master

32. www.netways.de
Time-Delayed-Replikation
DB-Master DB-Slave
DatabaseDatabase DatabaseDatabase
Master-Slave
Delayed on Slave

33. www.netways.de
Statement-Based-Replication
Standard-Replikationsmechanismus
Logging aller Statements erlaubt sicheren Audit-Trail
Keine Replikation von nicht deterministischer Operation
Row-Based-Replikation
Alle Operation können repliziert werden, da ausschließlich
die Veränderungen übertragen werden
DDL werden automatisch mittels SBR übertragen
Deutlich weniger Locks und sehr schnell bei Verarbeitung
kleiner Datenmengen
Mixed-Mode-Replikation
Statement-Based vs. Row-Based

34. www.netways.de
Standard-Replikation
DB-Master
DB-Slave
DatabaseDatabase
DatabaseDatabase
BinlogBinlog

35. www.netways.de
Semisychronous-Replikation
DB-Master
DB-Slave
DatabaseDatabase
DatabaseDatabase
BinlogBinlog

36. FRAGEN UND ANTWORTEN

37. www.netways.de
NETWAYS GmbH
Deutschherrnstrasse 15-
19
90429 Nürnberg
Tel: +49 911 92885-0
Fax: +49 911 92885-77
Email: info@netways.de
Twitter: twitter.com/netways
Blog: blog.netways.de
?Question
& Answer
HALLE 2 – D58