bccon-2014 adm06 hony,_i_shrunk_the_data

HONEY, I Shrunk The Data !!
Ulrich Krause , 19.03.2014, BCCon 2014, Hamburg
More Space On The Domino Server

BCCon 2014 :: HONEY, I Shrunk The Data !!
About: Ulrich Krause
Administrator /Developer seit 1993
Senior Software Architect bei BCC
OpenNTF Contributor
IBM Champion 2011/2012/2013/2014
Blog http://www.eknori.de
Notes Forum (http://www.atnotes.de)

Notes Anwendung (vereinfacht)
Designelemente
Dokumente
• Text
• Attachments
• Embedded objects (Images, OLE2)
Ansichtenindex
Transaction Log
Fulltext Index
Design
Text
Attachments

Wo können wir ansetzen?
Compact Application
Design Note Compression
Document Body Compression
Attachment De-Duplication (DAOS)
Transaction Log Location
Fulltext Index Location

Compact im Frontend
Ein Compact reduziert nicht in jedem
Fall die Grösse einer Anwendung
Bei einer strukturelle Änderung
( z.B Wechsel des ODS ), wird ein
copy-style compact ausgeführt. (-L)
Ist die Transaktionsprotokollierung aktiviert, wird ein
einfaches in-place compact (-b) ausgeführt
Ist keine Transaktionsprotokollierung aktiviert, wird ein
in-place compact mit Reduzierung der Datenbankgrösse
ausgeführt. Entspricht dem –B

Copy-Style Compact
Compact -c
• Erstellt eine .TMP Datenbank
db.NSF db.TMP

Copy-Style Compact
Compact -c
• Kopiert alle Dokumente von .NSF in.TMP
db.NSF db.TMP

Copy-Style Compact
Compact -c
• Nach erfolgreichem Kopieren wird die .NSF gelöscht und die
.TMP in .NSF umbenannt
db.NSF db.TMP

Load compact -ODS <version>
Führt ein copy-style compact nur bei solchen
Datenbanken aus, deren ODS kleiner als das
angegebene ODS ist
Unterschied zwischen ODS 43 und ODS 51 = bis zu 80%
weniger File I/O auf Server UND Client Hardware
Neu in ND 9.0.x = ODS52

load compact #nn
Es werden nn parallele Komprimierungstasks gestartet
Es sollten nicht mehr als 8 Tasks parallel laufen

load compact -*
Komprimiert *.NTF und .BOX Dateien zusätzlich zu .NSF

load compact -upgrade
compact -upgrade
• neuer Parameter in Notes / Domino 9

load compact -upgrade
http://blog.nashcom.de/nashcomblog.nsf/dx/upgrading-ods-for-databases-with-old-db-class-in-domino-
9.htm?opendocument&comments

Weitere Optionen
W nn – Es werden nur die Datenbanken komprimiert,
die nicht innerhalb der letzten nn Tage erfolgreich
bearbeitet wurden
w – ohne Systemdatenbanken (log.nsf, names.nsf).
X nn – Dauer der Komprimierung einer Anwendung auf
nn Minuten beschränken (nur bei “in-place”
Komprimierung)
x nn – Gesamtdauer des Komprimierungslaufs auf nn
Minuten begrenzen
DEBUG_ENABLE_COMPACT_8_5=1 ( ab 8.5.1 )

ODS und Notes Client
Neu in IBM Notes 8.5.2
• NSF_UpdateODS = 1
• Create_R85_Database = 1
• Default: ODS 51
Datenbanken, die in Verwendung sind, werden beim
nächsten Programmstart komprimiert
Alle anderen Datenbanken werden im Hintergrund
komprimiert.
• Einmaliger Vorgang ( NSF_UpdatedToODS=51 )

ODS 52
CREATE_R9_DATABASES=1
Beseitigt ein sehr altes, sehr selten auftretendes
Problem bei mittel und hoch verschlüsselten
Datenbanken
Beseitigt ein Problem mit Attachments > 2GB
• http://www-01.ibm.com/support/docview.wss?rs=899&uid=swg21648607
Details: John Paganetti, Connect 2014 , ID 104
• Best Practices for Upgrading IBM Notes® and Domino® to 9.0.x

Medium Encryption  Strong Encryption
COMPACT_UPGRADE_MEDIUM_ENCRYPTION_TO_STRONG=1
Beim nächsten compact –c werden alle Datenbanken
mit mittlerer Verschlüsselung auf hohe Verschlüsselung
gehoben.
Workaround, wenn hohe Verschlüsselung nicht möglich
ist
• ENABLE_MEDIUM_ENCRYPTION_FIX=FFFFFFFB

Probleme beim compact
Das Problem bei compact –c
Grund
• Häufiges Hinzufügen / Löschen von Dokumenten
•  Fragmentierung der ID Table
Lösung / Workaround
• Neue Replik / Kopie oder Restore aus Backup
„Insufficient memory“
oder
“unable to extend an ID table - insufficient memory“
http://www-01.ibm.com/support/docview.wss?uid=swg21635439

Probleme beim compact
Compact –c
• Copy ( .tmp) und Replace
• Kein Zugriff für die Dauer der Komprimierung
• Behält NoteIDs bei
Kann im Zusammenspiel mit fixup zur Behebung von
Datenbankfehlern verwendet werden, bei stark
fragmentierten ID Tabellen kann es aber Probleme
geben

compact –REPLICA
Compact –REPLICA
• Replicate (.repl) und Replace
• Zugriff weiterhin möglich ( außer in der rename Phase)
• ID Tabellen werden reorganisiert;
• aber: NoteIDs werden nicht beibehalten
• In erster Linie präventiv, aber auch kurativ
• Kein Ersatz für compact –c, aber eine zusätzliche Option

compact –REPLICA Optionen
Parameter Erforderlich Beschreibung
-REPLICA Erforderlich Komprimierung mittels Replik
-REN_WAIT <n> Optional Zeitraum in Minuten, in denen der Compact Task die
.repl Datei versucht umzubenennen, nachdem die
Replikation und Synchronisation beendet wurde
-REN_WAIT 5
-RESTART Optional Domino Server Neustart wenn die Umbenennung
nicht erfolgreich durchgeführt werden kann.
Der Neustart wird erst ausgeführt, wenn ALLE System
Datenbanken für den Rename bereit sind.
-IDS_FULL <n> Optional Komprimierung wird nur dann durchgeführt, wenn die
ID Table zu einem gewissen Prozentsatz gefüllt ist.
(0 bedeutet immer komprimieren )
-IDS_FULL 80 ( in 9.0 –IDS_FULL 080 )

Beispiel 1
Wöchtliches Komprimieren aller in der system_dbs.ind
enthaltenen Dateien mit anschließendem Neustart des
Servers

Beispiel 2
Komprimieren aller in der comp_id_table.ind
enthaltenden Datenbanken, wenn die ID Table zu 70%
gefüllt ist

Domino Console

compact –REPLICA & Client
Die Funktion ist im Client vorhanden, ist aber zur Zeit
noch nicht supported
NSF_UpdateCompactReplica=1
Nach dem Neustart des Client zeigt der “Housekeeping”
Agent fir folgende Meldung im Log
• (n)compact -REPLICA -ODS -Quiet -Client -UpdateIndexes

Update Dokumentation
SPR # CSCT9ASJSX: 9.0 Admin Help incorrect for -
IDS_FULL and -REN_WAIT
• Indicates the incorrect need for “=”:
• HELP: -IDS_FULL=80
• CORRECT: -IDS_FULL 80
• Fixed in 9.0.1
SPR # TSOE95L8PY: Compact Replica -IDS_FULL
argument not properly parsing percentage argument
• EX: ... -REPLICA -IDS_Full 80 ...
• 9.0 Workaround: ... -REPLICA -IDS_Full 080
• Fixed in 9.0.1

Defrag
Fragmentierung beeinträchtigt die I/O Performance
Auch eine nur leichte Fragmentierung kann die
Leistung von Leseoperationen um bis zu 50%
reduzieren
Load compact –c reserviert keinen Speicherplatz für die
neue Datenbank..
Fragmentierung ist vorprogrammiert
Auch der Volltextindex einer Anwendung wird
fragmentiert
Die NLO Dateien des DAOS Repositories werden
ebenfalls im Laufe der Zeit immer mehr fragmentiert

DominoDefrag
Andrew Luder, OpenNTF
• http://www.openntf.org/Projects/pmt.nsf/ProjectLookup/Do
minoDefrag

Defrag Beispiel
Lotus Software KnowledgeBase ( 5 * compact –c )
Vorher
• 68 Fragmente
• 7550 ms
Nachher
• 1 Fragment
• 125 ms

Neues Feature seit Domino 8
Benötigt ODS 48 oder größer
• Create_R8_Databases=1
• oder Create_R85_Databases=1
• load compact -c
• load compact -c –n
“Compress database design” anhaken
Reduziert die Größe der
Designelemente um 55 – 50 %
Reduziert Disk I/O

Design
Text
Attachments
Design
Text
Attachments

Neues Feature seit Domino 8.0.1
Reduziert die Größe des Textanteils
im RichText Items um bis zu 60%
Benötigt ODS 48 oder größer
load compact -c –v
„Compress document data“ anhaken

Design
Text
Attachments
Design
Text
Attachments

LZ1 Attachment Compression

Gibt es schon seit Domino 6
Ersetzt den Huffmann Algorithmus
Bei neuen Datenbanken nicht aktiv
Vorhandene Anhänge komprimieren
• load compact -c –ZU
• Bei Domino 6.5.6 zusätzlich in notes.ini
DEBUG_ENABLE_LZ1_REPAIR=1
Probleme bei JAVA Applets in Domino <= 8.5 vermeiden
• DEBUG_ENABLE_LZ1_HOST_TYPES=0
• In 8.5.1 ist das Problem behoben und der Parameter nicht
mehr notwendig

Vereinzelt wurde von Problemen mit dem Volltextindex
einer Datenbank bei Verwendung der LZ1
Komprimierung berichtet.
Um Anhänge von LZ1 wieder zurück zu Huffmann zu
komprimieren
• Load compact –c –ZD
• In Domino 6.5.6 zusätzlich DEBUG_ENABLE_LZ1_REPAIR=1 in
die notes.ini eintragen

Design
Text
Attachments
Design
Text
Attachments

DAOS Estimator

DAOS Estimator
Tool zur Vorbereitung des DAOS Rollout
• Für alle unterstützten betriebssysteme
• http://www-01.ibm.com/support/docview.wss?rs=463&uid=swg24021920

DAOS Estimator (notes.ini)
Beim DAOS Estimator gibt es eine große Lücke bei der
Darstellung von Attachments zwischen 64k und 1 MB
• DAOSEST_BUCKETS=16,64,128,256,512,768,1024,2048,3072,4096
• Diese Einstellung in der notes.ini ändert die Darstellung wie folgt:
• 16K, 64K, 128K, 256K, 512K, 768K, 1MB, 2MB, 3MB and 4MB
Source: Lotus Software Knowledge Base
• http://www-
01.ibm.com/support/docview.wss?rs=0&q1=1418102&uid=swg21418102

LZ1 != HUFFMAN
Db1 – LZ1 aktiviert, Db2 – LZ1 nicht aktiviert
=> 2 .NLO Files !!

D A O S

DAOS
Domino Attachment Object Service
Anhänge werden nicht mehr in der Anwendung
gespeichert
Anhänge werden als NLO (Notes Large Object )
gespeichert
Das Notes Dokument enthält nur noch ein Ticket
Trennung von statischen und dynamischen Daten
Bit-identische Anhänge werden nur noch einmal als
NLO im DAOS Repository gespeichert
Für den Anwender und Programme von Drittanbietern
ist DAOS Volkommen transparent

Voraussetzungen für DAOS
Domino 8.5 (ODS 51)
SHARED MAIL OFF
Transaktionsprotokollierung
DAOS Repository erstellen
DAOS auf dem Server aktivieren
DAOS auf Anwendungen aktivieren

Shared Mail abschalten
Serverdocument – Shared Mail
Field Shared Mail = None
„Load object unlink shared.nsf“

Wird zwingend für DAOS benötigt
Serverdokument – Transactional Logging
Separates Laufwerk verwenden
Ausserhalb des Data Verzeichnisses
CREATE_R85_LOG=1
Erfordert Neustart des Servers

Protokollmethode
Circular
• 4GB Limit
Archive
• Keine Größenbegrenzung. Dateien werden
vom Backup Programm gelöscht
Linear
• Wie circular, aber ohne Größenbegrenzung

DAOS Repository
Separates Laufwerk verwenden
SAN, NAS
Pro Server ein Repository
• Max.1.000 Unterverzeichnisse
• Max 40.000 .NLO / Verzeichnis
• = 40.000.000 eindeutige .NLOs
• Daos.cfg ( im Domino Data Directory)
• Daoscat.nsf
.NLO wird mit der ServerID verschlüsselt
• Abschalten mit DAOS_ENCRYPT_NLO=0
Repository in Backupstrategie einplanen

DAOS Repository
Kann der Wert für die max. Anzahl von .NLO pro
Unterverzeichnissen geändert werden?
Ja, DAOS_MAX_FILES_PER_SUBCONTAINER=40000
Kann Performanceprobleme verursachen
Nachträgliches Ändern ändert nicht die bestehende
Struktur. Dateien werden lediglich ab dem Zeitpunkt
der Aktivierung entsprechend den neuen Vorgaben auf
die Verzeichnisse verteilt.
Bei Reduzierung des Wertes reduziert sich auch die
Anzahl der insgesamt möglichen .NLO
• 1.000 * DAOS_MAX_FILES_PER_SUBCONTAINER = MAX_NLO

DAOS auf dem Server aktivieren
Serverdokument – DAOS
Minimale Größe für Anhänge
• 64kB (= DEFAULT ab 8.5.1 )
• Wert mit DAOS Estimator ermitteln
DAOS Basispfad
• Außerhalb vom data directory!
Wann wird ein Objekt im Repository gelöscht?
• Hängt ab von der Backupstrategie
• 0 Tage = sofort, wenn der refcount = 0
• An der Serverkonsole: TELL DAOSMGR PRUNE 0
DAOS wird nach Neustart des Servers aktiviert

DAOS Object Size ändern. Und dann ?
Die minimale Grösse kann nachträglich im
Serverdokument geändert werden
Nach Neustart des Servers werden nur noch Anhänge ab
der neuen Größe in das DAOS Repository übernommen
Load compact –c db.nsf
Anhänge kleiner als die eingestellte Grösse werden
wieder in der Anwendung gespeichert.
Wenn Referenz Counter = 0, dann werden die NLOs beim
nächsten prune Lauf gelöscht.

DAOS auf Datenbanken aktivieren
Datenbank  Eigenschaften  „propeller hat“ für
einzelne Datenbanken
Verwenden Sie den Adminclient
für die Aktivierung mehrerer Datenbanken
Gültig für neue Attachments!
Bestehende Attachments werden mit folgendem Befehl
in das DAOS Repository übernommen
• Load compact –c –DAOS ON <PathNSFs>

Das Endresultat
Design
Text
Tickets
Design
Text
Attachments
DAOS Repository

Die Transaktionsprotokoll Falle
load compact –c –DAOS ON
Kein Attachment wird ins DAOS
Repository übernommen
tell daosmgr dbsummary count = 0
load compact -c -T -DAOS on

DAOS und Replizierung
DAOS ist ein Serverfeature!
Bei einer lokalen Replik auf dem Client werden auch die
Anhänge in der Replik gespeichert.
Das gilt auch für Repliken auf Servern, auf denen DAOS
nicht aktiv ist
Jeder Server im Cluster hat sein eigenes DAOS
Repository.

Client  Server (ab Release 8.5.1)
• Bekannte Anhänge werden nicht auf den Server übertragen =
„smart replication“
• Mailweiterleitung
• Antwort mit Historie
Server  Server (ab Release 8.5.1)
• Bekannte Anhänge werden nicht auf den Zielserver
übertragen

Domino 8.5
Domino 8.5.1
Achtung!!: ADMINP_ACCELERATED_REPLICA_OVERRIDE=4 !!

DAOS und die mail.box
RM_NO_LOG_OBJECTS_IN_MAILBOX aus notes.ini
entfernen
DAOS auf allen mail.box Dateien aktivieren
DAOS auf allen Maildateien der Anwender aktivieren
Erhöht die Performance bei der Mailzustellung

DAOS und Verschlüsselung
Ergibt mehr .NLO Dateien als ohne Verschlüsselung
• User A schickt eine verschlüsselte Mail an User B
• User B schickt ein verschlüsselte Mail mit dem gleichen
Anhang an User A
• Insgesamt werden 4 .NLO Dateien im Repository gespeichert
In diesem Fall gibt es also keine Platzersparnis.
Dennoch ergibt sich durch die Trennung von statischen
und dynamischen Daten eine Verbesserung der
Performance

DAOS und Quotas
Technote: 1405456
Verhalten abhängig von den Quota Einstellungen
Belegter Speicherplatz beim Einfügen einer Note prüfen
• Überprüft die physikalische Größe der Datenbank (ohne
Anhänge)
• Beim Deaktivieren von DAOS kann es aufgrund des 64GB
Limits für die maximale Datenbankgröße zu Problemen
kommen
Dateigröße beim Vergrößern der Datenbank prüfen
Dateigröße beim Einfügen einer Note prüfen
• Überprüft die logische Größe der Datenbank (mit Anhänge)

daoscat.nsf synchron halten
NICHT über DDM!!
Programmdokument verwenden
tell daosmgr resync
8.5.1 IF1 ermöglicht ein schnelleres Resync der
daoscat.nsf.
Der neue Schalter „quick“ aktualisiert die DIT und den
DOI, ohne jede Datenbank zu überprüfen und den
refcount zu aktualisieren.

Immer wieder „Needs Resync“
DDM enthält einen Hinweis auf die erste Datenbank, die
das „Needs Resync“ ausgelöst hat.
Wenn sich die Ursache nicht genau ermitteln lässt,
dann:
• debug_threadid=1
• console_log_enabled=1
• daos_logging=<path/daos.txt>STATE_CHANGE
In 8.5.2 wurden viele der Umstände adressiert, die zu
einem „Needs Resync“ führen können (SPR#
RCOR83NLQK)

DAOS abschalten
Was passiert, wenn DAOS wieder abgeschaltet wird
In den Datenbankeigenschaften
• Wenn sich keine Anhänge in einer Datenbank befinden
passiert nichts
• Wenn sich Anhänge in einer Datenbank befinden
• Im Adminclient wechselt der Status der Datenbank in der Übersicht zu
„Read Only / Nur Lesen“
• DAOS funktioniert weiter. Es werden aber keine neuen Anhänge mehr
im Repository gespeichert. Neue Anhänge verbleiben in der Datenbank
Im Serverdokument
• Wie bei den Datenbankeigenschaften

DAOS und fehlende NLO
Das NLO wurde auf Betriebssystemebene gelöscht
TELL DAOSMGR LISTNLO MISSING <application.nsf>
Ergebnis wird per Default in das data Verzeichnis
geschrieben

Daosmgr in Domino 8.5.2
Domino 8.5.2 erweitert die Optionen des daosmgr
Fehlende NLOs können nun über alle Datenbanken eines
Verzeichnisses gesucht werden
• tell daosmgr listnlo missing mail

Welches Attachment = welches .NLO Objekt?
DEBUG_DAOS_DIAGNOSTICS=1
tell daosmgr LISTNLO MAP -V maildatabase.nsf
DataDirectory  listNlo.txt

DAOS und Archivierung (8.5.2)
DAOS ON zusammen mit –a verwenden
• load compact -a -DAOS on maildb.nsf
Beim Erstellen der Archivdatenbank wird diese
automatisch DAOS enabled
• http://www-
01.ibm.com/support/docview.wss?rs=899&uid=swg21426481

DAOS und fehlende Datenbanken
Die Datenbank wurde auf Betriebssystemebene gelöscht
Fehlermeldung beim Serverstart
• „Informational - The DAOS catalog is not synchronized.
Deletions will be postponed. Please run 'tell daosmgr resync'
at the next convenient opportunity to re-synchronize“
Wurde die Datenbank zufällig gelöscht?
• Nein
• TELL DAOSMGR RESYNC oder RESYNC FORCE
• Ja
• Aus dem ( hoffentlich vorhandenem ) Backup zurückholen
• Eine neue Replik von einem Clusterserver erstellen
Gleiche Fehlermeldung, wenn Datenbanken auf
Betriebssystemebene verschoben werden

Nochmal 50% ?
Wenn wir die Verschlüsselung mit der ServerID
abschalten können, dann können wir doch alle NLO in
nur einem Repository speichern, oder ? …
Theoretisch ja, praktisch NEIN !!
IBM plant zur Zeit kein zentrales Repository
SAN ( z.B. ) NetApp kann hier einen Vorteil bieten
• http://blog.nashcom.de/nashcomblog.nsf/dx/domino-with-
netapp-storage.htm

NetApp Storage System
Block Storage Deduplication

Verlagerung des FullText Index
Neu in 8.5.3
FTBasePath=d:full_text
Trennung von NSF und FT
Kann auch auf einem anderen Laufwerk liegen
• seperate Spindel = anderer I/O channel
Verhindert zusätzliche Fragmentierung des Data Dir

Backup und Restore
Keine Änderung der Strategie bei .nsf Dateien
Ein zusätzlicher Job muss für .NLO Dateien eingeplant
werden
NLO Dateien benötigen keinen speziell Agenten oder
Software
WICHTIG: die Reihenfolge
• Wenn der Server während des Backups läuft
• NSF vor NLO sichern
• Wenn der Server während des Backups heruntergefahren ist
• Reihenfolge nach Belieben
IBM Technote # 1358548 - DAOS Backup und Restore

Admin Client (Dateiansicht)
Neue Spalten für DAOS
Neue Spalten für die Komprimierung

DBMT
DataBase Maintenance Tool
Neues Feature in Domino 9.0
Fasst viele bekannte Wartungsoptionen zu einem
konfigurierbaren Paket zusammen
Ziel ist es, den Wartungsaufwand für den Administrator
zu reduzieren und einen reibungslosen Betrieb des
Servers sicherzustellen

Was erledigt das DBMT ?
„Copy-style compact“ Operationen
Löschen von „deletion stubs“
Inkrementelles Aktualisieren von Ansichtenindizes
Reorganisation von Ordnern
Ablauf von “soft-deleted entries”
Aktualisierung von Ungelesenen-Markierungen
Reparatur von Datenbanken ( fixup )
Alles kann automatisiert und konfiguriert werden.

DBMT ersetzt das bisherige Komprimieren
DBMT muss aber an die bisherige
Komprimierungsstrategie angepasst und entsprechend
konfiguriert werden
DBMT beseitigt die im Falle eines Failover entstehenden
langen Wartezeiten beim Öffnen von für lange Zeit
ungenutzten oder neuen Datenbanken
In geclusterten Umgebungen überwacht DBMT die
CLDBDIR.NSF und stellt sicher, daß notwendige
Clusterrepliken verfügbar sind

DBMT ersetzt den UPDATE ALL Task aus der notes.ini.
Daher sollte der Eintrag dort entfernt werden
• ServerTasksAt2=Updall

DBMT vs Updall
UPDALL führt standardmäßig die folgenden Aktionen
aus
• Löschen von „deletion stubs“
• Ablauf von “soft-deleted entries”
• Aktualisierung von Ungelesenen-Markierungen
DBMT beinhaltet diese Aktionen und ist schneller
Wird DBMT verwendet, kann der normale UPDALL Task
durch den Parameter –nodbmt beschleunigt werden

DBMT ist ein Server Task und kann manuell über die
Server Konsole gestartet werden
Die Ausführung von DBMT kann auch über
Programmdokumente gesteuert und konfiguriert werden

Systemdatenbanken sind vom Compact ausgeschlossen
• -updall und -fti Operationen werden ausgeführt
Systemdatenbanken
• admin4.nsf, busytime.nsf, catalog.nsf, cldbdir.nsf,
clubusy.nsf, daoscat.nsf, ddm.nsf, domlog.nsf, events4.nsf,
log.nsf, lndfr.nsf, names.nsf, statrep.nsf, dbdirman.nsf,
dircat.nsf mtdatamtstore.nsf

Weitere (System) Datenbanken können über die
notes.ini variable DBMT_COMPACT_FILTER= zu der
(Ausschluss-)Liste hinzugefügt werden
• Einträge sind case-InSensitive
• Einträge sind relativ zum DataDir
• Trennen der Einträge duch Leerzeichen ( ), Komma (,) oder
Semikolon (;).
• DBMT_COMPACT_FILTER=mylog.nsf, pathMySysDb.nsf
Admin Hilfe ist falsch! DBMT_FILTER
“Specify any additional system databases using the notes.ini variable DBMT_FILTER. Separate entries in the
list either by a space ( ), a comma (,) or a semi-colon (;). The names are case-insensitive and are relative to
the data directory. ”

Anstelle des notes.ini Parameters kann auch eine Datei
DBMT_COMPACT_FILTER.IND im DOMINO DATA DIR
verwendet werden
• Einträge sind case-InSensitive
• Einträge sind relativ zum DataDir

DBMT_COMPACT_FILTER.IND wird automatisch
generiert, wenn
• ODS < 41
• Datenbanken innerhalb der „-range“ Zeit nicht komprimiert
werden können
• -noCompactLimit darf nicht gesetzt sein
Ist die Datenbank vorhanden, werden die Einträge vom
DBMT ergänzt

Werden Datenbanken nicht im festgelegten Zeitrahmen
bearbeitet, kann der Administrator entsprechend
reagieren
• Zusätzliche DBMT Instanz für bestimmte Datenbanken
• Anpassen von -compactNdays
• Anpassen von -range oder -timeLimit
• Anpassen von -compactThreads
• Manuelle Komprimierung anstoßen

Mehrere Instanzen von DBMT
Wird keine Datenbank, Ordner oder .ind Datei
angegeben, dann wird die Aktion auf alle Datenbanken
ausgeführt.
Eine 2. Instanz bricht nach dem Start sofort wieder ab

DBMT Statistics
Nach jedem DBMT Lauf werden die Ergebnisse auf der
Konsole ausgegeben
Das Ergebnis des letzten Laufs kann auch über „sh stat
dbmt“ angezeigt werden

DBMT und DAOS
• DAOS kann auf Datenbanken mit „compact –c –daos on“
aktiviert werden.
• Diese Option steht unter DBMT nicht zur Verfügung
DAOS ist für DBMT transparent

DBMT verwendet „compact –c“ für die Komprimierung,
immer …
neue DBIID wird generiert
volles Backup der Datenbank muss durchgeführt werden
• Das ist bei Transaktionsprotokollierung mit Option
„archivierend“ nicht optimal

Fragmentierung
http://ab1osborne.blogspot.com/2013/05/dbmt-has-nasty-little-side-effect.html

DBMT Pre-Allocation
DBMT & compact –c
• DBMT preallocs the .TMP file to the used space of the .NSF.
• On non-windows platforms it writes to the file in large blocks so get
the file less fragmented. On Windows, it does the write as well, but it
appears that is not necessary (it seems just setting the file size makes
the files more contiguous)
• To change the prealloc size, DBMT_PREFORMAT_PERCENT.
• DBMT uses the current used space for the .nsf and multiply by the
specified percent, so if you specify 200, DBMT doubles the size of the
.NSF, if you specify 80, DBMT only allocates 80% of the used space

DBMT Pre-Allocation vs Compact

DBMT & Cluster
DBMT erstellt keine Clusterrepliken
Wird DBMT im Cluster ausgeführt, stellt DBMT sicher,
daß nicht alle Clusterrepliken zur gleichen Zeit offline
genommen werden.

DBMT Compact & Mailrouting
MailFileDisableCompactAbort=1
• Dieser Parameter verhindert, daß der Router das
Komprimieren der Datenbank abbricht, wenn eine Mail
zugestellt werden soll.
• Damit bleibt ein auszulieferendes Mail so lange in der
mail.box bis der Compact Task abgeschlossen ist.
• Bei großen Datenbanken kann das „sehr lange“ dauern. User informieren!

DBMT Compact & Mailrouting
MailFileEnableDeliveryFailover=1
Der Router liefert eine Mail an eine vorhandene
ClusterReplik aus
• compact –c
• fixup ( Konsistenzcheck )
• wenn Datei nicht vorhanden ist
Out Of Office, Regeln arbeiten weiter

DBMT & Mailtemplates
Per Default werden spezifische Views in Mail
Datenbanken erstellt und aktualisert was eine
erhebliche Verbesserung im Falle eines Failover mit sich
bringt
Voraussetzung dafür ist, dass eine Schablonen-
Vererbung gesetzt ist und einer der folgenden Template
Namen verwendet wird:
• StdR7Mail,StdR8Mail,StdR85Mail oder StdR9Mail

DBMT und angepasste Schablonen
Sollten Sie angepasste Mail Templates verwenden
können Sie diese mit folgendem Notes.ini Eintrag mit
einbeziehen:
• DBMT_MailTemplate=tname1,tname2,tname3

DMBT & Ansichten
Administratoren können auch weitere Views definieren,
die von dem DBMT verwaltet werden sollten
Auch hierfür muss die Vererbung gesetzt und ein
Template Name auf der Datenbank definiert sein
DBMT_TemplateName=
ViewNameOrAlias1; ...ViewNameOrAliasN
• Ersetzen SieTemplateName mit dem vererbten Template Name
• Ersetzen Sie ViewNameOrAlias1-N mit dem Datenbank View
Namen oder Alias
• DBMT_StdNotesLog=SecurityEvents, ReplicationEvents,
MailRoutingEvents
notes.ini Einträge sind auf 128 Zeichen begrenzt

DBMT Optionen

Beispiel 1
Zeitgesteuert, Start um 03:00, alle Dateien im Ordner
„mail“, maximale Laufzeit 120 Minuten

Beispiel 2
Zeitgesteuert, Start um 03:00, alle Dateien im Ordner
„mail“, maximale Laufzeit 120 Minuten
Laufender Compact Task wird bis zum Ende ausgeführt,
aber kein neuer gestartet

Beispiel 3
DBMT wird beim Serverstart geladen und läuft in der
Zeit von 2:00 – 3:00 in 2 Compact / Update Threads
über alle Datenbanken, die innerhalb der letzten 5 Tage
nicht komprimiert wurden.
Sonntags wird ein zusätzliches Fixup durchgeführt

Korrektur Dokumentation
SPR #JPAI965RZM: Compacting of DBMT in Cluster will
only do certain databases unless -force N specified
• Fixed in 9.0.1
SPR# TSOE99PKSJ: Confusing message when no work is
needed:
• Fixed in 9.0.1

Feedback gern auch per Email
ulrich.krause@bcc.biz
Fragen?

bccon-2014 adm06 hony,_i_shrunk_the_data

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (10)

Ähnlich wie bccon-2014 adm06 hony,_i_shrunk_the_data

Ähnlich wie bccon-2014 adm06 hony,_i_shrunk_the_data (20)

Mehr von ICS User Group

Mehr von ICS User Group (12)

bccon-2014 adm06 hony,_i_shrunk_the_data