SlideShare una empresa de Scribd logo
1 de 23
Descargar para leer sin conexión
Einführung in Bacula - Teil 2
und Aufbau eines Testsystems




         vorgestellt am 10.09.2010 in Pforzheim

               Daniel Bäurer
               inovex GmbH
               Systems Engineer Linux
Was ich mit Ihnen besprechen möchte
Einführung in Bacula

Agenda
1. Offene Punkte vom Vortag

2. Hardwareanforderung

3. Berechnung des benötigten Speicherplatz der Datensicherung

4. Planung der Backupstrategie

5. Aufbau des Testsystems




26.07.12                                                        2
Bacula
Ein Open-Source Netzwerk-Backupsystem




           Offene Punkte vom Vortag




26.07.12                                3
Bacula
Ein Open-Source Netzwerk-Backupsystem

Bacula – Offene Punkte vom Vortag: Kompression

   ●
       Wenn in den FileSets die Option „Compression = GZIPx“ aktiviert ist,
       wird die Komprimierung vom File-Daemon ausgeführt.

   ●
       Der Kompressionsalgorithmus ist GZIP. Durch die Benutzung von
       GZIP1 bis GZIP9 kann der Kompressionsgrad eingestellt werden.

   ●
       Sofern das Bandlaufwerk über die Funktion „Hardware
       Compression“ verfügt und diese aktiviert ist, sollte auf die
       softwareseitige Kompression verzichtet werden.

   ●
       Durch die Direktive „Allow Compression = no“ auf dem Storage-
       Daemon, kann eine softwareseitige Kompression generell
       abgeschaltet werden.



26.07.12                                                                      4
Bacula
Ein Open-Source Netzwerk-Backupsystem

Bacula – Offene Punkte vom Vortag: File-Daemon ohne Root-Rechte

   ●
       Der File-Daemon kann ohne Root-Rechte laufen, indem dieser mit
       den Schaltern -u (user, userid) und -g (group, groupid) gestartet
       wird.

   ●
       Hierzu müssen im Startscript /etc/init.d/bacula-fd der Option ARGS
       die entsprechenden Schalter übergeben werden.

   ●
       Alternativ kann ein Read-only File-Daemon konfiguriert werden.

   ●
       Hierzu wird zusätzlich zu den beiden Schaltern -u und -g der
       Schalter -k übergeben. Dadurch werden dem File-Daemon volle
       Leserechte aber keine Schreibrechte gewährt.




26.07.12                                                                    5
Bacula
Ein Open-Source Netzwerk-Backupsystem

Bacula – Offene Punkte vom Vortag: Logausgaben in syslog

   ●
       Die Ausgabe von Logs kann sehr einfach über die Messages-
       Ressource in verschiedenste Ziele umgeleitet oder dupliziert werden.

   ●
       Sobald einer Messages-Ressource der Eintrage „syslog = all, !
       skipped“ hinzugefügt wird, schreibt Bacula auch in syslog.




26.07.12                                                                      6
Bacula
Ein Open-Source Netzwerk-Backupsystem

Bacula – Offene Punkte vom Vortag: Verify als tripwire Ersatz?

   ●
       Damit Bacula ein Verify ausführen kann, müssen Initial die Datei-
       Informationen in den Bacula-Catalog übertragen werden.

   ●
       Hierzu muss für jeden Client (der kontrolliert werden soll), einmalig
       oder nach jeder Änderung, ein Job mit Level = InitCatalog
       ausgeführt werden.

   ●
       Hiernach kann ein täglicher Job zeitgesteuert ausgeführt werden, der
       die Datei-Informationen mit denen im Katalog abgleicht. Dies wird
       durch den Level = Catalog erreicht.

   ●
       Als Signatur kann SHA1 oder MD5 verwendet werden. Diese, sowie
       weitere Kriterien, werden über die FileSet-Ressource eingerichtet.



26.07.12                                                                       7
Bacula
Ein Open-Source Netzwerk-Backupsystem

Bacula – Offene Punkte vom Vortag: Auto-Restore Ort-1 => Ort-2

   ●
       Dies ist leider nicht möglich.

   ●
       Ein Restore kann nur über das Konsolen-Kommando „restore“
       ausgeführt werden.

   ●
       ABER: Es ist möglich die bconsole (Bacula-Console) mit Befehlen zu
       „füttern“
                   ./bconsole -c ./bconsole.conf <<END_OF_DATA
                   restore current all
                   yes
                   quit
                   END_OF_DATA




26.07.12                                                                    8
Bacula
Ein Open-Source Netzwerk-Backupsystem




           Hardwareanforderung




26.07.12                                9
Bacula
Ein Open-Source Netzwerk-Backupsystem

Bacula – Hardwareanforderungen

   ●
       Der Katalog benötigt mit die meisten Ressourcen, was CPU und
       Speicher angeht.

   ●
       Die größten verzeichneten Systeme im Bacula-Wiki (über 500 Mio.
       Zeilen in der File-Table) haben mindestens 6 GB RAM und verfügen
       über mindestens 4 Kern-CPUs.

   ●
       Die Größe des Katalog ist sehr stark davon abhängig wie lange
       Datei-Informationen vorgehalten werden.

   ●
       Bei der abzusehenden Größe des Backupsystems, sollten
       mindestens 8GB RAM und eine 4-Kern-CPU verbaut werden.




26.07.12                                                                  10
Bacula
Ein Open-Source Netzwerk-Backupsystem

Bacula – Hardwareanforderungen

   ●
       Der Festplattencontroller sollte den zu erwartenden Durchsatz
       bewältigen können.

   ●
       Anschlüsse für externe SCSI-Bandlaufwerke sollten ebenfalls
       bedacht werden.

   ●
       Eventuell kann es sinnvoll sein ein separates Backendnetz zur
       Datensicherung zu verwenden.




26.07.12                                                               11
Bacula
Ein Open-Source Netzwerk-Backupsystem




     Berechnung des benötigten
         Speicherplatz für die
           Datensicherung



26.07.12                                12
Bacula
Ein Open-Source Netzwerk-Backupsystem

Bacula – Berechnung des benötigten Speicherplatz: Ein Beispiel

   ●
       Ein Vollbackup aller Daten hat die Größe von 20GB.

   ●
       Wenn jeden Monat ein Vollbackup erzeugt wird und die Vorhaltezeit
       1 Jahr beträgt, liegt der Speicherbedarf bei 12*20GB = 240GB

   ●
       Aufbauend auf dem monatliche Vollbackup soll jede Woche ein
       differentielles Backup erzeugt werden. Die Datenmenge die sich
       wöchentlich ändert liegt bei 4GB. Daraus ergibt sich ein
       Speicherbedarf von 5*4GB = 20GB

   ●
       Schließlich wird jeden Tag noch ein inkrementelles Backup erzeugt.
       Daraus ergibt sich ein Speicherbedarf von 7*0,6GB = 4,2GB




26.07.12                                                                    13
Bacula
Ein Open-Source Netzwerk-Backupsystem

Bacula – Berechnung des benötigten Speicherplatz: Ein Beispiel

   ●
       Vollbackup MySQL-Dump, 60GB pro Tag, 30 Tage Vorhaltezeit:
       30*60GB = 1800GB

   ●
       Vollbackup restliche Daten, 40GB pro Woche, 3 Monate Vorhaltezeit:
       15*40GB = 600GB

   ●
       Inkrementelles Backup restliche Daten, 1GB pro Tag, 7 Tage
       Vorhaltezeit: 7*1GB = 7GB

   ●
       Bandlaufwerk, 2,4TB pro Monat, 12 Monate Vorhaltezeit: 12*2,4TB =
       28,8TB (LTO-4 = 36 Bänder oder LTO-5 = 20 Bänder unkomprimiert)




26.07.12                                                                    14
Bacula
Ein Open-Source Netzwerk-Backupsystem




   Planung der Backupstrategie




26.07.12                                15
Bacula
Ein Open-Source Netzwerk-Backupsystem

Bacula – Planung der Backupstrategie: Vorgaben, Wünsche

   ●
       Ein Vollbackup soll von folgenden Systemen erzeugt werden:
       
         Puppet
       
         MySQL-Server
       
         Gespeicherte Session-Informationen
       
         Weitere Teilbereiche

   ●
       Es wird kein Vollbackup von einem gesamten Rechner erzeugt.

   ●
       Zwei Speicherorte: Frankfurt (B2D) und Karlsruhe (B2D, später auch
       D2D2T)

   ●
       Bandsicherung soll als Archiv dienen.



26.07.12                                                                    16
Bacula
Ein Open-Source Netzwerk-Backupsystem

Bacula – Planung der Backupstrategie: Periphere Einflüsse

   ●
       Existieren gesetzliche Bestimmungen in dem zu sicherndem
       Umfeld?

   ●
       Wenn ja, entspricht die Sicherung auf Festplatte den Anforderungen?

   ●
       Vorgaben der strategischen und/oder operativen Geschäftsleitung?

   ●
       Vorgaben von Kundenseite?

   ●
       Zeiträume in denen geringe Lasten vorherrschen?

   ●
       Budget?



26.07.12                                                                     17
Bacula
Ein Open-Source Netzwerk-Backupsystem

Bacula – Planung der Backupstrategie: notwendige Informationen

   ●
       Zu sicherndes Datenvolumen (unterteilt der einzelnen Bereiche)

   ●
       Änderungsvolumen (pro Tag, Woche, Monat)

   ●
       Wachstum des Datenvolumens (pro Woche, Monat, Jahr)

   ●
       Vorhaltezeit auf dem B2D-Storage in Frankfurt

   ●
       Vorhaltezeit auf dem B2D-Storage in Karlsruhe

   ●
       Vorhaltezeit im Archiv (Bänder)




26.07.12                                                                18
Bacula
Ein Open-Source Netzwerk-Backupsystem

Bacula – Beschreibung eines möglichen Szenarios

   ●
       MySQL-Dumps werden einmal (oder mehrmals?) täglich erstellt und
       gesichert. Da sich die Dumps zu jedem Zeitpunkt unterscheiden,
       wird de facto täglich ein Vollbackup erstellt.

   ●
       Für die restlichen Bereiche könnte wöchentlich (für manche
       Teilbereiche mit geringem Datenaufkommen monatlich) ein Voll- und
       täglich ein inkrementelles-Backup erstellt werden.

   ●
       Die Vorhaltezeit am Speicherort in Frankfurt könnte 1-3 Monate
       betragen. In Karlsruhe könnte sie, da es nur ein Worst-Case-System
       ist, bei 1 Monat liegen.

   ●
       Am Ende des Monats würde die Archivierung auf Band erfolgen.



26.07.12                                                                    19
Bacula
Ein Open-Source Netzwerk-Backupsystem

Bacula – Überlegungen zur Konfiguration von Bacula

   ●
       Für die MySQL-Dumps würde sich ein eigenständiger Pool anbieten.
       Grund: Geringere Vorhaltezeiten für MySQL-Dumps möglich.

   ●
       Für die restlichen Bereiche könnten zwei Pools verwendet werden.
       Grund: Auch hier die unterschiedlichen Vorhaltezeiten.

   ●
       Für den Storage in Kalrsruhe genügt ein Pool, da sich die
       Vorhaltezeit nicht unterscheidet.

   ●
       Für das Archiv auf Band würde wiederum ein Pool genügen.




26.07.12                                                                  20
Bacula
Ein Open-Source Netzwerk-Backupsystem

Bacula – Überlegungen zur Konfiguration von Bacula

   ●
       Die Sicherung würde täglich auf beide Storge-Systeme in Frankfurt
       und Karlsruhe erfolgen.

   ●
       Gesteuert wird alles aus dem RZ in Frankfurt (auch sämtliche
       Komponenten in Karlsruhe).




26.07.12                                                                   21
Bacula
Ein Open-Source Netzwerk-Backupsystem




           Aufbau des Testsystems




26.07.12                                22
Vielen Dank für Ihre Aufmerksamkeit!




inovex GmbH

Pforzheim                 München               Köln
Karlsruher Straße 71      Konrad-Zuse-Platz 1   Hansaring 68-70
D-75179 Pforzheim         D-81829 München       D-50670 Köln

Más contenido relacionado

La actualidad más candente

MySQL Performance Tuning für Oracle-DBA's
MySQL Performance Tuning für Oracle-DBA'sMySQL Performance Tuning für Oracle-DBA's
MySQL Performance Tuning für Oracle-DBA'sFromDual GmbH
 
Der Datenbank-Backup ist gemacht - was nun?
Der Datenbank-Backup ist gemacht - was nun?Der Datenbank-Backup ist gemacht - was nun?
Der Datenbank-Backup ist gemacht - was nun?FromDual GmbH
 
Einstieg in relationale Datenbanken mit MySQL (Handout)
Einstieg in relationale Datenbanken mit MySQL (Handout)Einstieg in relationale Datenbanken mit MySQL (Handout)
Einstieg in relationale Datenbanken mit MySQL (Handout)Kerstin Puschke
 
MySQL-Server im Teamwork - Replikation und Cluster
MySQL-Server im Teamwork - Replikation und ClusterMySQL-Server im Teamwork - Replikation und Cluster
MySQL-Server im Teamwork - Replikation und ClusterFromDual GmbH
 
MySQL Cluster with Galera Cluster for MySQL
MySQL Cluster with Galera Cluster for MySQLMySQL Cluster with Galera Cluster for MySQL
MySQL Cluster with Galera Cluster for MySQLFromDual GmbH
 
System-Management-Trio: Zentrale Verwaltung mit facter, puppet und augeas
System-Management-Trio: Zentrale Verwaltung mit facter, puppet und augeasSystem-Management-Trio: Zentrale Verwaltung mit facter, puppet und augeas
System-Management-Trio: Zentrale Verwaltung mit facter, puppet und augeasSpeedPartner GmbH
 

La actualidad más candente (7)

MySQL Performance Tuning für Oracle-DBA's
MySQL Performance Tuning für Oracle-DBA'sMySQL Performance Tuning für Oracle-DBA's
MySQL Performance Tuning für Oracle-DBA's
 
Der Datenbank-Backup ist gemacht - was nun?
Der Datenbank-Backup ist gemacht - was nun?Der Datenbank-Backup ist gemacht - was nun?
Der Datenbank-Backup ist gemacht - was nun?
 
Einstieg in relationale Datenbanken mit MySQL (Handout)
Einstieg in relationale Datenbanken mit MySQL (Handout)Einstieg in relationale Datenbanken mit MySQL (Handout)
Einstieg in relationale Datenbanken mit MySQL (Handout)
 
Adar marek oracle-rman-internals
Adar marek oracle-rman-internalsAdar marek oracle-rman-internals
Adar marek oracle-rman-internals
 
MySQL-Server im Teamwork - Replikation und Cluster
MySQL-Server im Teamwork - Replikation und ClusterMySQL-Server im Teamwork - Replikation und Cluster
MySQL-Server im Teamwork - Replikation und Cluster
 
MySQL Cluster with Galera Cluster for MySQL
MySQL Cluster with Galera Cluster for MySQLMySQL Cluster with Galera Cluster for MySQL
MySQL Cluster with Galera Cluster for MySQL
 
System-Management-Trio: Zentrale Verwaltung mit facter, puppet und augeas
System-Management-Trio: Zentrale Verwaltung mit facter, puppet und augeasSystem-Management-Trio: Zentrale Verwaltung mit facter, puppet und augeas
System-Management-Trio: Zentrale Verwaltung mit facter, puppet und augeas
 

Similar a Bacula Workshop - Teil 2

MySQL Backup/Recovery
MySQL Backup/RecoveryMySQL Backup/Recovery
MySQL Backup/RecoveryFromDual GmbH
 
Integrierte und dedizierte Backup Lösung von GFI MAX
Integrierte und dedizierte Backup Lösung von GFI MAXIntegrierte und dedizierte Backup Lösung von GFI MAX
Integrierte und dedizierte Backup Lösung von GFI MAXMAX2014DACH
 
Hadoop aus IT-Operations-Sicht - Teil 2 (Hardware- und Netzwerkgrundlagen)
Hadoop aus IT-Operations-Sicht - Teil 2 (Hardware- und Netzwerkgrundlagen)Hadoop aus IT-Operations-Sicht - Teil 2 (Hardware- und Netzwerkgrundlagen)
Hadoop aus IT-Operations-Sicht - Teil 2 (Hardware- und Netzwerkgrundlagen)inovex GmbH
 
Automatisiertes disaster recovery testing mit der oracle cloud
Automatisiertes disaster recovery testing mit der oracle cloudAutomatisiertes disaster recovery testing mit der oracle cloud
Automatisiertes disaster recovery testing mit der oracle cloudTrivadis
 
Oracle Backup & Recovery für Einsteiger
Oracle Backup & Recovery für EinsteigerOracle Backup & Recovery für Einsteiger
Oracle Backup & Recovery für EinsteigerMarkus Flechtner
 
X$Tabellen und SgaScanner, DOAG 2009
X$Tabellen und SgaScanner, DOAG 2009X$Tabellen und SgaScanner, DOAG 2009
X$Tabellen und SgaScanner, DOAG 2009Frank
 
Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...
Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...
Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...Loopback.ORG
 
Ausgewählte Performance Technologien
Ausgewählte Performance TechnologienAusgewählte Performance Technologien
Ausgewählte Performance Technologienoraclebudb
 
Marek Adar – IT-Tage 2015 – Oracle Recovery Manager unter 12c
Marek Adar – IT-Tage 2015 – Oracle Recovery Manager unter 12cMarek Adar – IT-Tage 2015 – Oracle Recovery Manager unter 12c
Marek Adar – IT-Tage 2015 – Oracle Recovery Manager unter 12cInformatik Aktuell
 
Virtualized Exadata - the first 4 "productive" years...
Virtualized Exadata - the first 4 "productive" years...Virtualized Exadata - the first 4 "productive" years...
Virtualized Exadata - the first 4 "productive" years...Daniele Massimi
 
AnyARK Gluster Brick 270TB (198TB netto) Datenblatt
AnyARK Gluster Brick 270TB (198TB netto) DatenblattAnyARK Gluster Brick 270TB (198TB netto) Datenblatt
AnyARK Gluster Brick 270TB (198TB netto) DatenblattManfred Ostermann
 
MySQL für Oracle DBA's
MySQL für Oracle DBA'sMySQL für Oracle DBA's
MySQL für Oracle DBA'sFromDual GmbH
 
üBersicht 1
üBersicht 1üBersicht 1
üBersicht 1empalis
 
Caching mit Spring Boot - Pain & Gain @ JCON22
Caching mit Spring Boot - Pain & Gain @ JCON22Caching mit Spring Boot - Pain & Gain @ JCON22
Caching mit Spring Boot - Pain & Gain @ JCON22QAware GmbH
 
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im ÜberblickBig Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im ÜberblickKarin Patenge
 
Title is loading ... Cache is cold.
Title is loading ... Cache is cold.Title is loading ... Cache is cold.
Title is loading ... Cache is cold.QAware GmbH
 
Private Cloud mit Open Source
Private Cloud mit Open SourcePrivate Cloud mit Open Source
Private Cloud mit Open SourceDaniel Schneller
 
Marek Adar – IT-Tage 2015 – Oracle 12c Multitenant
Marek Adar – IT-Tage 2015 – Oracle 12c MultitenantMarek Adar – IT-Tage 2015 – Oracle 12c Multitenant
Marek Adar – IT-Tage 2015 – Oracle 12c MultitenantInformatik Aktuell
 

Similar a Bacula Workshop - Teil 2 (20)

MySQL Backup/Recovery
MySQL Backup/RecoveryMySQL Backup/Recovery
MySQL Backup/Recovery
 
Integrierte und dedizierte Backup Lösung von GFI MAX
Integrierte und dedizierte Backup Lösung von GFI MAXIntegrierte und dedizierte Backup Lösung von GFI MAX
Integrierte und dedizierte Backup Lösung von GFI MAX
 
Hadoop aus IT-Operations-Sicht - Teil 2 (Hardware- und Netzwerkgrundlagen)
Hadoop aus IT-Operations-Sicht - Teil 2 (Hardware- und Netzwerkgrundlagen)Hadoop aus IT-Operations-Sicht - Teil 2 (Hardware- und Netzwerkgrundlagen)
Hadoop aus IT-Operations-Sicht - Teil 2 (Hardware- und Netzwerkgrundlagen)
 
Automatisiertes disaster recovery testing mit der oracle cloud
Automatisiertes disaster recovery testing mit der oracle cloudAutomatisiertes disaster recovery testing mit der oracle cloud
Automatisiertes disaster recovery testing mit der oracle cloud
 
Oracle Backup & Recovery für Einsteiger
Oracle Backup & Recovery für EinsteigerOracle Backup & Recovery für Einsteiger
Oracle Backup & Recovery für Einsteiger
 
X$Tabellen und SgaScanner, DOAG 2009
X$Tabellen und SgaScanner, DOAG 2009X$Tabellen und SgaScanner, DOAG 2009
X$Tabellen und SgaScanner, DOAG 2009
 
Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...
Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...
Klonen von Exadata-Datenbanken mit der Oracle ZFS Appliance - Ein Erfahrungsb...
 
Ausgewählte Performance Technologien
Ausgewählte Performance TechnologienAusgewählte Performance Technologien
Ausgewählte Performance Technologien
 
Marek Adar – IT-Tage 2015 – Oracle Recovery Manager unter 12c
Marek Adar – IT-Tage 2015 – Oracle Recovery Manager unter 12cMarek Adar – IT-Tage 2015 – Oracle Recovery Manager unter 12c
Marek Adar – IT-Tage 2015 – Oracle Recovery Manager unter 12c
 
Virtualized Exadata - the first 4 "productive" years...
Virtualized Exadata - the first 4 "productive" years...Virtualized Exadata - the first 4 "productive" years...
Virtualized Exadata - the first 4 "productive" years...
 
AnyARK Gluster Brick 270TB (198TB netto) Datenblatt
AnyARK Gluster Brick 270TB (198TB netto) DatenblattAnyARK Gluster Brick 270TB (198TB netto) Datenblatt
AnyARK Gluster Brick 270TB (198TB netto) Datenblatt
 
MySQL für Oracle DBA's
MySQL für Oracle DBA'sMySQL für Oracle DBA's
MySQL für Oracle DBA's
 
NUMA vs. Hugepages
NUMA vs. HugepagesNUMA vs. Hugepages
NUMA vs. Hugepages
 
Digicomp sqlday admin
Digicomp sqlday adminDigicomp sqlday admin
Digicomp sqlday admin
 
üBersicht 1
üBersicht 1üBersicht 1
üBersicht 1
 
Caching mit Spring Boot - Pain & Gain @ JCON22
Caching mit Spring Boot - Pain & Gain @ JCON22Caching mit Spring Boot - Pain & Gain @ JCON22
Caching mit Spring Boot - Pain & Gain @ JCON22
 
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im ÜberblickBig Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
Big Data Community Webinar vom 16. Mai 2019: Oracle NoSQL DB im Überblick
 
Title is loading ... Cache is cold.
Title is loading ... Cache is cold.Title is loading ... Cache is cold.
Title is loading ... Cache is cold.
 
Private Cloud mit Open Source
Private Cloud mit Open SourcePrivate Cloud mit Open Source
Private Cloud mit Open Source
 
Marek Adar – IT-Tage 2015 – Oracle 12c Multitenant
Marek Adar – IT-Tage 2015 – Oracle 12c MultitenantMarek Adar – IT-Tage 2015 – Oracle 12c Multitenant
Marek Adar – IT-Tage 2015 – Oracle 12c Multitenant
 

Más de inovex GmbH

lldb – Debugger auf Abwegen
lldb – Debugger auf Abwegenlldb – Debugger auf Abwegen
lldb – Debugger auf Abwegeninovex GmbH
 
Are you sure about that?! Uncertainty Quantification in AI
Are you sure about that?! Uncertainty Quantification in AIAre you sure about that?! Uncertainty Quantification in AI
Are you sure about that?! Uncertainty Quantification in AIinovex GmbH
 
Why natural language is next step in the AI evolution
Why natural language is next step in the AI evolutionWhy natural language is next step in the AI evolution
Why natural language is next step in the AI evolutioninovex GmbH
 
Network Policies
Network PoliciesNetwork Policies
Network Policiesinovex GmbH
 
Interpretable Machine Learning
Interpretable Machine LearningInterpretable Machine Learning
Interpretable Machine Learninginovex GmbH
 
Jenkins X – CI/CD in wolkigen Umgebungen
Jenkins X – CI/CD in wolkigen UmgebungenJenkins X – CI/CD in wolkigen Umgebungen
Jenkins X – CI/CD in wolkigen Umgebungeninovex GmbH
 
AI auf Edge-Geraeten
AI auf Edge-GeraetenAI auf Edge-Geraeten
AI auf Edge-Geraeteninovex GmbH
 
Prometheus on Kubernetes
Prometheus on KubernetesPrometheus on Kubernetes
Prometheus on Kubernetesinovex GmbH
 
Deep Learning for Recommender Systems
Deep Learning for Recommender SystemsDeep Learning for Recommender Systems
Deep Learning for Recommender Systemsinovex GmbH
 
Representation Learning von Zeitreihen
Representation Learning von ZeitreihenRepresentation Learning von Zeitreihen
Representation Learning von Zeitreiheninovex GmbH
 
Talk to me – Chatbots und digitale Assistenten
Talk to me – Chatbots und digitale AssistentenTalk to me – Chatbots und digitale Assistenten
Talk to me – Chatbots und digitale Assistenteninovex GmbH
 
Künstlich intelligent?
Künstlich intelligent?Künstlich intelligent?
Künstlich intelligent?inovex GmbH
 
Das Android Open Source Project
Das Android Open Source ProjectDas Android Open Source Project
Das Android Open Source Projectinovex GmbH
 
Machine Learning Interpretability
Machine Learning InterpretabilityMachine Learning Interpretability
Machine Learning Interpretabilityinovex GmbH
 
Performance evaluation of GANs in a semisupervised OCR use case
Performance evaluation of GANs in a semisupervised OCR use casePerformance evaluation of GANs in a semisupervised OCR use case
Performance evaluation of GANs in a semisupervised OCR use caseinovex GmbH
 
People & Products – Lessons learned from the daily IT madness
People & Products – Lessons learned from the daily IT madnessPeople & Products – Lessons learned from the daily IT madness
People & Products – Lessons learned from the daily IT madnessinovex GmbH
 
Infrastructure as (real) Code – Manage your K8s resources with Pulumi
Infrastructure as (real) Code – Manage your K8s resources with PulumiInfrastructure as (real) Code – Manage your K8s resources with Pulumi
Infrastructure as (real) Code – Manage your K8s resources with Pulumiinovex GmbH
 

Más de inovex GmbH (20)

lldb – Debugger auf Abwegen
lldb – Debugger auf Abwegenlldb – Debugger auf Abwegen
lldb – Debugger auf Abwegen
 
Are you sure about that?! Uncertainty Quantification in AI
Are you sure about that?! Uncertainty Quantification in AIAre you sure about that?! Uncertainty Quantification in AI
Are you sure about that?! Uncertainty Quantification in AI
 
Why natural language is next step in the AI evolution
Why natural language is next step in the AI evolutionWhy natural language is next step in the AI evolution
Why natural language is next step in the AI evolution
 
WWDC 2019 Recap
WWDC 2019 RecapWWDC 2019 Recap
WWDC 2019 Recap
 
Network Policies
Network PoliciesNetwork Policies
Network Policies
 
Interpretable Machine Learning
Interpretable Machine LearningInterpretable Machine Learning
Interpretable Machine Learning
 
Jenkins X – CI/CD in wolkigen Umgebungen
Jenkins X – CI/CD in wolkigen UmgebungenJenkins X – CI/CD in wolkigen Umgebungen
Jenkins X – CI/CD in wolkigen Umgebungen
 
AI auf Edge-Geraeten
AI auf Edge-GeraetenAI auf Edge-Geraeten
AI auf Edge-Geraeten
 
Prometheus on Kubernetes
Prometheus on KubernetesPrometheus on Kubernetes
Prometheus on Kubernetes
 
Deep Learning for Recommender Systems
Deep Learning for Recommender SystemsDeep Learning for Recommender Systems
Deep Learning for Recommender Systems
 
Azure IoT Edge
Azure IoT EdgeAzure IoT Edge
Azure IoT Edge
 
Representation Learning von Zeitreihen
Representation Learning von ZeitreihenRepresentation Learning von Zeitreihen
Representation Learning von Zeitreihen
 
Talk to me – Chatbots und digitale Assistenten
Talk to me – Chatbots und digitale AssistentenTalk to me – Chatbots und digitale Assistenten
Talk to me – Chatbots und digitale Assistenten
 
Künstlich intelligent?
Künstlich intelligent?Künstlich intelligent?
Künstlich intelligent?
 
Dev + Ops = Go
Dev + Ops = GoDev + Ops = Go
Dev + Ops = Go
 
Das Android Open Source Project
Das Android Open Source ProjectDas Android Open Source Project
Das Android Open Source Project
 
Machine Learning Interpretability
Machine Learning InterpretabilityMachine Learning Interpretability
Machine Learning Interpretability
 
Performance evaluation of GANs in a semisupervised OCR use case
Performance evaluation of GANs in a semisupervised OCR use casePerformance evaluation of GANs in a semisupervised OCR use case
Performance evaluation of GANs in a semisupervised OCR use case
 
People & Products – Lessons learned from the daily IT madness
People & Products – Lessons learned from the daily IT madnessPeople & Products – Lessons learned from the daily IT madness
People & Products – Lessons learned from the daily IT madness
 
Infrastructure as (real) Code – Manage your K8s resources with Pulumi
Infrastructure as (real) Code – Manage your K8s resources with PulumiInfrastructure as (real) Code – Manage your K8s resources with Pulumi
Infrastructure as (real) Code – Manage your K8s resources with Pulumi
 

Bacula Workshop - Teil 2

  • 1. Einführung in Bacula - Teil 2 und Aufbau eines Testsystems vorgestellt am 10.09.2010 in Pforzheim Daniel Bäurer inovex GmbH Systems Engineer Linux
  • 2. Was ich mit Ihnen besprechen möchte Einführung in Bacula Agenda 1. Offene Punkte vom Vortag 2. Hardwareanforderung 3. Berechnung des benötigten Speicherplatz der Datensicherung 4. Planung der Backupstrategie 5. Aufbau des Testsystems 26.07.12 2
  • 3. Bacula Ein Open-Source Netzwerk-Backupsystem Offene Punkte vom Vortag 26.07.12 3
  • 4. Bacula Ein Open-Source Netzwerk-Backupsystem Bacula – Offene Punkte vom Vortag: Kompression ● Wenn in den FileSets die Option „Compression = GZIPx“ aktiviert ist, wird die Komprimierung vom File-Daemon ausgeführt. ● Der Kompressionsalgorithmus ist GZIP. Durch die Benutzung von GZIP1 bis GZIP9 kann der Kompressionsgrad eingestellt werden. ● Sofern das Bandlaufwerk über die Funktion „Hardware Compression“ verfügt und diese aktiviert ist, sollte auf die softwareseitige Kompression verzichtet werden. ● Durch die Direktive „Allow Compression = no“ auf dem Storage- Daemon, kann eine softwareseitige Kompression generell abgeschaltet werden. 26.07.12 4
  • 5. Bacula Ein Open-Source Netzwerk-Backupsystem Bacula – Offene Punkte vom Vortag: File-Daemon ohne Root-Rechte ● Der File-Daemon kann ohne Root-Rechte laufen, indem dieser mit den Schaltern -u (user, userid) und -g (group, groupid) gestartet wird. ● Hierzu müssen im Startscript /etc/init.d/bacula-fd der Option ARGS die entsprechenden Schalter übergeben werden. ● Alternativ kann ein Read-only File-Daemon konfiguriert werden. ● Hierzu wird zusätzlich zu den beiden Schaltern -u und -g der Schalter -k übergeben. Dadurch werden dem File-Daemon volle Leserechte aber keine Schreibrechte gewährt. 26.07.12 5
  • 6. Bacula Ein Open-Source Netzwerk-Backupsystem Bacula – Offene Punkte vom Vortag: Logausgaben in syslog ● Die Ausgabe von Logs kann sehr einfach über die Messages- Ressource in verschiedenste Ziele umgeleitet oder dupliziert werden. ● Sobald einer Messages-Ressource der Eintrage „syslog = all, ! skipped“ hinzugefügt wird, schreibt Bacula auch in syslog. 26.07.12 6
  • 7. Bacula Ein Open-Source Netzwerk-Backupsystem Bacula – Offene Punkte vom Vortag: Verify als tripwire Ersatz? ● Damit Bacula ein Verify ausführen kann, müssen Initial die Datei- Informationen in den Bacula-Catalog übertragen werden. ● Hierzu muss für jeden Client (der kontrolliert werden soll), einmalig oder nach jeder Änderung, ein Job mit Level = InitCatalog ausgeführt werden. ● Hiernach kann ein täglicher Job zeitgesteuert ausgeführt werden, der die Datei-Informationen mit denen im Katalog abgleicht. Dies wird durch den Level = Catalog erreicht. ● Als Signatur kann SHA1 oder MD5 verwendet werden. Diese, sowie weitere Kriterien, werden über die FileSet-Ressource eingerichtet. 26.07.12 7
  • 8. Bacula Ein Open-Source Netzwerk-Backupsystem Bacula – Offene Punkte vom Vortag: Auto-Restore Ort-1 => Ort-2 ● Dies ist leider nicht möglich. ● Ein Restore kann nur über das Konsolen-Kommando „restore“ ausgeführt werden. ● ABER: Es ist möglich die bconsole (Bacula-Console) mit Befehlen zu „füttern“ ./bconsole -c ./bconsole.conf <<END_OF_DATA restore current all yes quit END_OF_DATA 26.07.12 8
  • 9. Bacula Ein Open-Source Netzwerk-Backupsystem Hardwareanforderung 26.07.12 9
  • 10. Bacula Ein Open-Source Netzwerk-Backupsystem Bacula – Hardwareanforderungen ● Der Katalog benötigt mit die meisten Ressourcen, was CPU und Speicher angeht. ● Die größten verzeichneten Systeme im Bacula-Wiki (über 500 Mio. Zeilen in der File-Table) haben mindestens 6 GB RAM und verfügen über mindestens 4 Kern-CPUs. ● Die Größe des Katalog ist sehr stark davon abhängig wie lange Datei-Informationen vorgehalten werden. ● Bei der abzusehenden Größe des Backupsystems, sollten mindestens 8GB RAM und eine 4-Kern-CPU verbaut werden. 26.07.12 10
  • 11. Bacula Ein Open-Source Netzwerk-Backupsystem Bacula – Hardwareanforderungen ● Der Festplattencontroller sollte den zu erwartenden Durchsatz bewältigen können. ● Anschlüsse für externe SCSI-Bandlaufwerke sollten ebenfalls bedacht werden. ● Eventuell kann es sinnvoll sein ein separates Backendnetz zur Datensicherung zu verwenden. 26.07.12 11
  • 12. Bacula Ein Open-Source Netzwerk-Backupsystem Berechnung des benötigten Speicherplatz für die Datensicherung 26.07.12 12
  • 13. Bacula Ein Open-Source Netzwerk-Backupsystem Bacula – Berechnung des benötigten Speicherplatz: Ein Beispiel ● Ein Vollbackup aller Daten hat die Größe von 20GB. ● Wenn jeden Monat ein Vollbackup erzeugt wird und die Vorhaltezeit 1 Jahr beträgt, liegt der Speicherbedarf bei 12*20GB = 240GB ● Aufbauend auf dem monatliche Vollbackup soll jede Woche ein differentielles Backup erzeugt werden. Die Datenmenge die sich wöchentlich ändert liegt bei 4GB. Daraus ergibt sich ein Speicherbedarf von 5*4GB = 20GB ● Schließlich wird jeden Tag noch ein inkrementelles Backup erzeugt. Daraus ergibt sich ein Speicherbedarf von 7*0,6GB = 4,2GB 26.07.12 13
  • 14. Bacula Ein Open-Source Netzwerk-Backupsystem Bacula – Berechnung des benötigten Speicherplatz: Ein Beispiel ● Vollbackup MySQL-Dump, 60GB pro Tag, 30 Tage Vorhaltezeit: 30*60GB = 1800GB ● Vollbackup restliche Daten, 40GB pro Woche, 3 Monate Vorhaltezeit: 15*40GB = 600GB ● Inkrementelles Backup restliche Daten, 1GB pro Tag, 7 Tage Vorhaltezeit: 7*1GB = 7GB ● Bandlaufwerk, 2,4TB pro Monat, 12 Monate Vorhaltezeit: 12*2,4TB = 28,8TB (LTO-4 = 36 Bänder oder LTO-5 = 20 Bänder unkomprimiert) 26.07.12 14
  • 15. Bacula Ein Open-Source Netzwerk-Backupsystem Planung der Backupstrategie 26.07.12 15
  • 16. Bacula Ein Open-Source Netzwerk-Backupsystem Bacula – Planung der Backupstrategie: Vorgaben, Wünsche ● Ein Vollbackup soll von folgenden Systemen erzeugt werden:  Puppet  MySQL-Server  Gespeicherte Session-Informationen  Weitere Teilbereiche ● Es wird kein Vollbackup von einem gesamten Rechner erzeugt. ● Zwei Speicherorte: Frankfurt (B2D) und Karlsruhe (B2D, später auch D2D2T) ● Bandsicherung soll als Archiv dienen. 26.07.12 16
  • 17. Bacula Ein Open-Source Netzwerk-Backupsystem Bacula – Planung der Backupstrategie: Periphere Einflüsse ● Existieren gesetzliche Bestimmungen in dem zu sicherndem Umfeld? ● Wenn ja, entspricht die Sicherung auf Festplatte den Anforderungen? ● Vorgaben der strategischen und/oder operativen Geschäftsleitung? ● Vorgaben von Kundenseite? ● Zeiträume in denen geringe Lasten vorherrschen? ● Budget? 26.07.12 17
  • 18. Bacula Ein Open-Source Netzwerk-Backupsystem Bacula – Planung der Backupstrategie: notwendige Informationen ● Zu sicherndes Datenvolumen (unterteilt der einzelnen Bereiche) ● Änderungsvolumen (pro Tag, Woche, Monat) ● Wachstum des Datenvolumens (pro Woche, Monat, Jahr) ● Vorhaltezeit auf dem B2D-Storage in Frankfurt ● Vorhaltezeit auf dem B2D-Storage in Karlsruhe ● Vorhaltezeit im Archiv (Bänder) 26.07.12 18
  • 19. Bacula Ein Open-Source Netzwerk-Backupsystem Bacula – Beschreibung eines möglichen Szenarios ● MySQL-Dumps werden einmal (oder mehrmals?) täglich erstellt und gesichert. Da sich die Dumps zu jedem Zeitpunkt unterscheiden, wird de facto täglich ein Vollbackup erstellt. ● Für die restlichen Bereiche könnte wöchentlich (für manche Teilbereiche mit geringem Datenaufkommen monatlich) ein Voll- und täglich ein inkrementelles-Backup erstellt werden. ● Die Vorhaltezeit am Speicherort in Frankfurt könnte 1-3 Monate betragen. In Karlsruhe könnte sie, da es nur ein Worst-Case-System ist, bei 1 Monat liegen. ● Am Ende des Monats würde die Archivierung auf Band erfolgen. 26.07.12 19
  • 20. Bacula Ein Open-Source Netzwerk-Backupsystem Bacula – Überlegungen zur Konfiguration von Bacula ● Für die MySQL-Dumps würde sich ein eigenständiger Pool anbieten. Grund: Geringere Vorhaltezeiten für MySQL-Dumps möglich. ● Für die restlichen Bereiche könnten zwei Pools verwendet werden. Grund: Auch hier die unterschiedlichen Vorhaltezeiten. ● Für den Storage in Kalrsruhe genügt ein Pool, da sich die Vorhaltezeit nicht unterscheidet. ● Für das Archiv auf Band würde wiederum ein Pool genügen. 26.07.12 20
  • 21. Bacula Ein Open-Source Netzwerk-Backupsystem Bacula – Überlegungen zur Konfiguration von Bacula ● Die Sicherung würde täglich auf beide Storge-Systeme in Frankfurt und Karlsruhe erfolgen. ● Gesteuert wird alles aus dem RZ in Frankfurt (auch sämtliche Komponenten in Karlsruhe). 26.07.12 21
  • 22. Bacula Ein Open-Source Netzwerk-Backupsystem Aufbau des Testsystems 26.07.12 22
  • 23. Vielen Dank für Ihre Aufmerksamkeit! inovex GmbH Pforzheim München Köln Karlsruher Straße 71 Konrad-Zuse-Platz 1 Hansaring 68-70 D-75179 Pforzheim D-81829 München D-50670 Köln