[B25] 【詳解】インメモリーデータベース SAP HANA：永続化の仕組みと障害／災害対応を踏まえた運用を理解しよう！by Toshihisa Hanaki

花木敏久
toshihisa.hanaki@sap.com
SAPジャパン株式会社
db tech showacase Osaka 2014
【詳解】インメモリーデータベース SAP HANA：
永続化の仕組みと障害／災害対応を踏まえた運用を理解しよう！

©  2013 SAP AG or an SAP affiliate company. All rights reserved. 2
免責条項
このプレゼンテーションに含まれる情報は機密であり、SAPの専有情報であり、SAPの許可なく開示するこ
とはできません。このプレゼンテーションは、御社とのライセンス契約やその他のサービス、SAPとのサブ
スクリプションに関する合意書とは無関係です。SAPはこの文書や関連するプレゼンテーションに記載され
た事業を遂行することについて、またそれらに記載されている機能の開発やリリースについて何ら義務を負
いません。この文書や関連するプレゼンテーション、SAPの戦略や将来的な開発、製品やプラットフォーム
の方針や機能についてはすべて、予告なく変更される場合があります。この文書に含まれる情報は、何らか
の資料、コードまたは機能の提供を確約したり、約束したりするものではなく、また法的な義務を負うもの
ではありません。この文書は、明示・黙示を問わず、また商品性、特定目的適合性、非侵害に関する暗黙の
保証等（これらに限りません）何らの保証も提供するものではありません。この文書は情報提供の目的のも
ので、契約書には含まれません。SAPは誤字・脱字や誤りなどに責任を負わず、またこの文書の使用により
生じた直接損害、間接損害、結果損害等（これらに限りません）、いかなる種類の損害にも責任を負いませ
ん。
将来に関する記述にはすべてに様々なリスクや不確定要素があり、実際の結果が期待値と大きく異なる場合
もあります。これらの将来的な記述は書かれた時点の情報にすぎませんので、過度に信頼しないようご注意
いただくとともに、購入の意思決定の根拠としないようにしてください。

SAP HANAの復習
インメモリーデータベース

Ÿ OLTP DBは通常、ロー(⾏行行)ベースのストアを利利⽤用
Ÿ SAP HANAはロー(⾏行行)に加え、カラム(列列)をサポート
Order
Country
Product
Sales

456
France
corn
1000

457
Italy
wheat
900

458
Italy
corn
600

459
Spain
rice
800

SAP HANAの復復習
カラム&ローストアの両⽅方をサポート
456
France
corn
1000

457
Italy
wheat
900

458
Italy
corn
600

459
Spain
rice
800

456

457

458

459

France

Italy

Italy

Spain

corn

wheat

corn

rice

1000

900

600

800

ローストア
カラムストア
単⼀一レコードアクセス:
SELECT * FROM SalesOrders
WHERE Order = ʻ‘457ʼ’
SQL
単⼀一スキャン・集計:
SELECT Country, SUM(sales) FROM
SalesOrders WHERE Product=ʻ‘cornʼ’ GROUP
BY Country
Σ

Order
Country
Product
Sales

456
France
corn
1000

457
Italy
wheat
900

458
Spain
rice
600

459
Italy
rice
800

460
Denmark
corn
500

461
Denmark
rice
600

462
Belgium
rice
600

463
Italy
rice
1100

…
…
…
…

カラムストア→Dictionary/Value-‐‑‒ID配列列構造
Ÿ 列列単位で辞書を作成
Ÿ データ指向の固定⻑⾧長ビットエンコーディング
Ÿ データ操作は圧縮データに直接実施（整数型を利利⽤用)
Ÿ キャッシュに格納し、メインメモリアクセスを低減
1
Belgium

2
Denmark

3
France

4
Italy

5
Spain

1
3

2
4

3
5

4
4

5
2

6
2

7
1

8
4

…
…

1
7

2
5,6

3
1

4
2,4,8

5
3

Logical Table
Dictionaryには
5件のデータ。
従って、3bitで
符号化可能
Value-ID配列
(bit fields)
Inverted
indexDictionary
Where was
order 460?
Which orders
in Italy?

SAP HANAの復習
カラムストア→圧縮
Ÿ カラムメモリ内の繰り返し値を圧縮
Ÿ ソート済カラムで有効に動作
Order
Country
Product
Sales

456
France
corn
1000

457
Italy
wheat
900

458
Spain
rice
600

459
Italy
rice
800

460
Denmark
corn
500

461
Denmark
rice
600

462
Belgium
rice
600

463
Italy
rice
1100

…
…
…
…

1
Belgium

2
Denmark

3
France

4
Italy

5
Spain

3

4

5

4

2x2

1

4

…

Logical Table Country
1
corn

2
wheat

3
rice

1

2

2x3

1

3x3

…

Product

集約データ不不要
Ÿ 伝統的アプリケーションでは、分析のパ
フォーマンス向上のために、”マテリアライ
ズド集約” を利利⽤用
Ÿ こうした集約は、データ変更更時、または定期
的に再計算が必要
Ÿ HANAは⾼高速に⼤大量量データの集約をオンザフ
ライで実施するため、集約作成が不不要
Ÿ データモデルやアプリロジックをより簡素に、
より最新に、ログ記録動作を少なく
インメモリーDB
インフォメーションビュー

SAP HANAの復習
カラムストア→Insert only & デルタマージ
メインストレージデルタストレージ
Consistent 　
View Manager
メモリ
" メインストレージとは
Ø  データをカラムの構造で格納するエリア
Ø  読み取りに最適化
" デルタストレージとは
Ø  更更新データをInsert Onlyで格納するエリア
Ø  圧縮され書き込みに最適化されたエリア
" Consistent View Managerとは
Ø  メイン/デルタストレージを隠蔽し、仮想的な
テーブルの概観を提供
q  デルタマージ
Ø  トランザクション処理理とは⾮非同期でデルタを
メインにマージする
ü  Read Onlyのデータ
ü  Read⽤用に最適化
ü  更更新データ
(Ins/Upd/Del）
ü  Write⽤用に最適化
検索索
+
+
+ +
デルタマージ

1つのデータベースでOLTPとOLAPを!
Consistent 　
View Manager
インメモリーDB
カラムストアでOLTP
インフォメーションビュー
オンザフライで集約
レスポンス改善
バッチ処理理削減
現在のデータで分析DBサーバー削減
サマリーデータ不不要
モバイル化推進
ストレージ削減
テスト⼯工数削減
バッチロードから
リアルタイム連携へ
指標ドリブンのアプリへ
In-‐‑‒DB分析推進
システムのシンプル化
思考速度度の
分析・レポーティング

本日のアジェンダ
【詳解】インメモリーデータベース SAP HANA：
永続化の仕組みと障害／災害対応を踏まえた運用を理解しよう！
Ÿ  SAP HANAのデータ永続化とテーブルローディングのメカニズム
Ÿ  SAP HANAのバックアップ/リカバリー機能
Ÿ  ノードフェールオーバー（スタンバイシステム）
Ÿ  システムレプリケーション
– 概要
– 種類(sync,syncmem,async,fullsync)
– マルチティア設定
Ÿ  ストレージレプリケーション

SAP HANAの永続化メカニズム
パーシスタンスレイヤ
パーシスタンスレイヤ
Ÿ  HANAデータベースのストレージ管理、トランザクション
ログ管理、システムリスタート時のリストア管理など
Ÿ データボリューム
– データとundoログを維持するストレージ領域
Ÿ ログボリューム
– トランザクションログ(Redo)を維持するストレージ領域
– データベースの変更ログを保存するエリア
Ÿ セーブポイント
– データの変更分をデータボリュームに書き込む
– バッファー領域をログ領域に書き込む
Ÿ Commit
– ログエントリーをログボリュームに書き込む
メモリ
ストレージ
データベース
ログボリュームデータボリューム
Commitによる変更更
の書き出し
定期的な⾃自動
セーブポイント
SAP HANA
©  2012 SAP AG. All rights reserved. 11
ローストアカラムストア
Undoログ Data
Redoログ

データ書込の概要
Write(カラムストア,ローストア)、Commit
アプリケーションカラムストアローストア
トランザクション
マネージャ
パーシスタンス
レイヤー
レイヤー(ディスク)
Write
オペレーション
Write
Commit
インメモリーオペレーション
Virtual Fileをデルタログに書く
Virtual Fileとredoログ/
undoログエントリを書く
インメモリーオペレーション
ログを書く
Commit
Commitを書く
Commitログエ
ントリーを書く
ログをディスク
に書く

データ書込の概要
デルタマージ、セーブポイント
アプリケーションカラムストアローストア
トランザクション
マネージャ
レイヤー
レイヤー(ディスク)
デルタマージ
（テーブル毎）
Phase1で変更更されたページ
をコピー
リスタート情報とオープン
トランザクションを書く
コピーページを書く
他のページを書く
Phase1
Phase2
Phase3
変更更ページの永続化
永続化されていないページの取得
取得したページの永続化
セーブポイント
ディスク

テーブルロードのメカニズム
Ÿ テーブルロード
– ストレージ上のData Volumeからメ
モリー上にテーブルをロード
o ブート時、または、初回アクセス時
– 適用すべきログが存在するときは、
ログリプレイを行い、最新の状態に
メモリ
ストレージ
データベース
Data Volume
SAP HANA
ブート時にメモリー
上にロードされる
Log
Volume
ログリプレイ
即ち、Data Volume, Log VolumeはHANAインメモリーデータベースのバックアップ

バックアップのメカニズム

SAP HANAのバックアップ/リカバリ機能
Ÿ  バックアップ
–  メモリー上のデータベースを直接バックアップするものではな
い（メモリーtoディスクはパーシスタンスレイヤーの役割）
–  リカバリのデータソース
o データボリューム
o ログボリューム
o オンラインredoログ
–  ストレージ上のデータボリューム/ログボリュームを複製する
作業
o 常にデータ/ログボリュームの全体が対象
o HANA Boxの外部にバックアップを配置することが望まし
い
–  バックアップが始まると、メモリー上の未永続化情報はスト
レージに書き込まれるので最新の状態がバックアップされる
メモリ
ストレージ
データベース
Log
Volume
Data
Volume
SAP HANA Box
Log
Volume
Data
Volume
Log
Volume
Data
Volume
Log
Volume
Data
Volume

Requirements and Options
オプション条件ステップ
1 データバックアップの状態にリ
ストアする。
（データバックアップ以降の変
更は失われる）
データバックアップが存在
すること
データバックアップからセーブポイントをデータ領域にリストアする
リストアされたセーブポイントからデータベースをリスタートする
オンラインログをクリアする
2 直近のコミットされた状態にリ
ストアする
データバックアップと以降
のログが存在すること
ログバックアップからログをリプレイする。（可能ならば、オンライン
ログも）
3 ポイント・イン・タイムリカバリ
– 任意の指定時間の状態にリ
ストアする
指定する時点を含むデー
タバックアップとログバッ
クアップが存在すること
ログバックアップとオンラインログから、指定した時点までログをリ
プレイする

データベース
クライアント
バックアップ
マネージャ
Server1 Server2 Server3
バックアップマネージャ
にフォワード
バックアップリクエスト
Global savepointの開始
データベースのスナップショットとして保存
データバックアップの内部プロセス
変更更ページをディスク
に書く
に書く
に書く
Phase2
Savepointのphase2
を実⾏行行
Savepointのphase2
を実⾏行行
Savepointのphase2
を実⾏行行
Phase3
残りのデータを書く残りのデータを書く残りのデータを書く
Savepointに基づいた
内部スナップショットを作る
内部」スナップショットを作る
データベース全体のスナップショットの作成

データバックアップの内部プロセス
データベース
クライアント
バックアップ
マネージャ
Server1 Server2 Server3
内部」スナップショットを作る
Backup Executorにsavepointをファイルに
書き出すように指⽰示
スナップショットをファイルへ出⼒力力
レイヤからのsavepoint
のページを読みこみ、
⼀一貫性チェックを⾏行行い、
バックアップファイルに
書く
書く
書く
Backup 終了了のエントリーをバックアップカタログ
に出⼒力力

SAP HANAのバックアップ/リカバリー機能
Ÿ リカバリー
– 以下の一連の作業が実行される
o バックアップからデータボリューム、ログボ
リュームをリストアする
o HANAインスタンスのリブート
o テーブルのメモリーへのロード
o ログリプレイ
– リカバリーポイント
o Data + Log → 最新状態
o Data→ ログ内容は反映されない
o ポイント・イン・タイム
SAP HANA Box
Log
Volume
Data
Volume
Log
Volume
Data
Volume
Log
Volume
Data
Volume
メモリ
ストレージ
データベース
Data Volume
Log
Volume
メモリー上にロード
ログリプレイ

障害・災害対策のための冗長化手段

データセンター
障害対策、災害対策のための冗長化手段
スケールアウト構成（Distributed system）
Ÿ  1インスタンスを複数ノードから構成（超並列処理システム）
Ÿ  スタンバイノードを設定可能
Ÿ  ノード単位の障害に対応可能
システムレプリケーション
Ÿ  インスタンス間のインメモリーDBレプリケーション
Ÿ  3通りのレプリケーションモード
– 距離（伝送幅）とRPOにより使い分け
インスタンス
ノード
ノード
ノード
インスタンス
ノード
ノード
ノード
インスタンス
ノード
ノード
ノード
インスタンス
ノード
ノード
ノード

スケールアウト構成
HANAインスタンス障害、サーバー障害時に待機
系サーバーで処理理を継続する
Ÿ  1ノードの障害まで継続可能
Ÿ  障害ノードのData/Logを待機系ノードに再マウント後、
ブート
Ÿ  検知時間＋再マウント時間＋ブート時間がサービス停
⽌止時間
システム条件
Ÿ  スケールアウト構成（N+1、共有ストレージ）
Ÿ  Data/Logが配置されるファイルシステムは、全ノード
にマウント

スケールアウト構成対応ハードウェア

Ÿ  HANA組込みのインメモリーDBレプリケーション機能
構成
Ÿ  最小構成は、プライマリ／セカンダリーの２サイト
Ÿ  プライマリーサイト：稼働系
Ÿ  セカンダリサイト：同一のデータ内容を保持する待機
– データのプリロードが必要
クラスターマネージャソフト
Ÿ  HP ServiceGuard
Ÿ  SUSE Cluster
Ÿ  SAP Landscape Virtualization Manager
Ÿ  その他~動作確認中、または、個別の導入コンサルティ
ングサービスで対応

レプリケーションモード
レプリケーショ
ンモード
同期レベルオプション接続が失われた時の動作
Syncronous データ、ログはセカンダリーサイトに同
期転送される
ログ転送は、セカンダリーサイトでの
ディスク保存まで
FullSync プライマリのサービスを停止(同期
の崩れを防ぐため）
- プライマリのサービスを継続
Syncronous
in memory
データ、ログはセカンダリーサイトに同
期転送される
ログ転送は、セカンダリーサイトでのメ
モリー保存まで
Asyncronous データ、ログはセカンダリーサイトに非
同期転送される

システムレプリケーションモード
Syncronous with Full Sync option
SR_REGISTERシステムテーブルでは、
Ÿ  SYNC(Full Syncオプションは設定パラメータで。)
動作
Ÿ  ログバッファーの書き込みがプライマリー、セカンダリー両イン
スタンスのログボリュームに書き込まれると、ログ書き込みは
完了する。
Ÿ  セカンダリーシステムが接続を失うと、プライマリーシステムは
トランザクションをサスペンドし、セカンダリーシステムへの接続
が回復するまで待ち状態になる。
設定
Ÿ  global.ini/[system_replication]/enable_full_sync = true.
Ÿ  hdbnsutil -sr_fullsync [--enable|--disable]

Syncronous
Ÿ  SYNC
動作
Ÿ  ログバッファーの書き込みがプライマリー、セカンダリー両イン
スタンスのログボリュームに書き込まれると、ログ書き込みは
完了する。
Ÿ  セカンダリーシステムへの接続が失われると、パラメータで設定
した時間が経過(logshipping_timeout=30)後、プライマリシステ
ムはトランザクション処理を継続し、変更内容はローカルのディスクにのみ書き込む。
Ÿ  セカンダリーシステムへの接続が生きている限り、データは失われない。
Ÿ  セカンダリーシステムへの接続が失われた後、障害によるデータロスはあり得る。

Syncronous in Memory
Ÿ  SYNCMEM
動作
Ÿ  ログバッファーの書き込みがプライマリーシステムに行われ、
セカンダリーシステムにログが転送されメモリー上にコピーされ、
ackが返されると、ログ書き込みは完了する。
Ÿ  セカンダリーシステムへの接続が失われると、パラメータで設定
した時間が経過(logshipping_timeout=30)後、プライマリシステ
ムはトランザクション処理を継続し、変更内容はローカルのディス
クにのみ書き込む。
Ÿ  セカンダリーでの永続化前にプライマリーに障害が発生するとデータロスがあり得る。

Asyncronous
Ÿ  ASYNC
動作
Ÿ  ログバッファーの書き込みがプライマリーシステムに行われ、
ネットワーク経路に対してセカンダリーシステムへのログ転送が
行われると、ログ書き込みは完了する。
Ÿ  セカンダリーシステムへのログ転送は、プライマリー側でバッファ
リングされ、バッファーがフルの状態の時にトランザクション処理
とログ転送を待ち状態にする事が可能。
Ÿ  バッファーのサイズ設定（index serverの設定だけで十分）
– Indexserver.ini/[system_replication]/logshipping_async_buffer size = 67108864
Ÿ  バッファーフル時に
– global.ini/[system_replication]/logshipping_async_wait_on_buffer_full = true
Ÿ  セカンダリーシステムへの接続が失われると、データロスの可能性がある
Ÿ  バッファーがフルの時に、処理を継続する設定であれば、データロスの可能性がある

SAP HANA システムレプリケーション
データセンター間の設定全体像
Campus
cluster
Metro
cluster
Geo
cluster
Cascading Systems – First 1:n relation
1:1 ASYNC
1:1 SYNC

Extended HA and DR Configurations
Cascading Systems – Chained Setups with pure System Replication
Production Local standby Remote standby systems
Planned for SAP HANA (Cascading Systems with SPS7)
Campus
cluster
Metro
cluster
Geo
cluster
Sync
Async
Sync
RPO ≠ 0
RTO < 30 min

ストレージ製品による災害対策ソリューション

HP Disaster Tolerant solution – Normal Operation
Step 1: log file write
(example)
Step 2: write to remote array
(Continuous Access)
Step 3: remote write
confirmed
Step 4: write complete
End State: primary and
remote databases are in
current and consistent
state
1
3
２
4

HP Disaster Tolerant Solution – Recovery Mode
Step 1: system administrator
determines that failure has
occurred and initiates failover
steps
Step 2: Storage Management
Server used to change state
of remote disk array to permit
read/write access
Step 3: StoreAll 9300
gateways are booted/
rebooted to present shared
storage to HANA nodes
Step 4: HANA nodes are
booted/rebooted to restart
database
End State: HANA database
performs scripted recovery
and begins normal
operation
1
2
3
4

小森博之
すべてのデータをメモリー上で処理するアーキテクチャーを備えたデータベースシステムが今脚光を浴びてい
ます。独SAPの「Hana」を始め、米マイクロソフトが「SQL Server 2014」で実装し、米Oracleが次期バー
ジョンで追随します。それぞれ実装技術は異なり、何を選択したらいいのか、またその高速性ゆえ、「リアル
タイム処理」も期待され、ますます悩み多きとなりました。そんな皆様のご要望にそれぞれの製品を徹底的に
比較し、得意、不得意を明らかにします。またコンピュータシステムとの親和性も忘れてはいけません。コン
ピューターメーカーの視線も交え、事例を織り交ぜつつご紹介します。
三宅祐典
インメモリーデータベースの時代は確実にやってきています。HPは現在の業界の動きと2020年までに実現を
目指す技術をご紹介。また、今導入できるS/W技術を最適に実装できるコンピューター、サーバーをご紹介し
ます。インメモリーテクノロジーはS/W技術と、H/W技術の双方が高度に融合して実現します。あなたも近未
来を体感してみませんか。
Software (Database System) Perspective
Hardware Perspective
Future Technology
SAP HANAに出会える次のセッションご紹介
日本ヒューレット・パッカードがインメモリーを語るセッション
Ÿ [CORE TECH] Hardware
Ÿ インメモリーデータベース徹底比較
Ÿ 6月20日 D35
Ÿ 16:00-16:50
Ÿ [CORE TECH] Hardware
Ÿ HDDからインメモリーテクノジーへ
Ÿ 6月20日 A34
Ÿ 15:00-15:50

最新のSAP HANAホワイトペーパー
最新のSAP HANA SPS08に対応したリニューアル版！
SAP Forum、Auto Forumで配布開始です。
n  SAP Forurm
u  東京7⽉月11⽇日（⾦金金）グランドハイアット
u  ⼤大阪7⽉月23⽇日（⽔水）リッツカールトン⼤大阪
n  Auto Forum
u  名古屋7⽉月29⽇日（⽕火）

[B25] 【詳解】インメモリーデータベース SAP HANA：永続化の仕組みと障害／災害対応を踏まえた運用を理解しよう！by Toshihisa Hanaki

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Similar a [B25] 【詳解】インメモリーデータベース SAP HANA：永続化の仕組みと障害／災害対応を踏まえた運用を理解しよう！by Toshihisa Hanaki

Similar a [B25] 【詳解】インメモリーデータベース SAP HANA：永続化の仕組みと障害／災害対応を踏まえた運用を理解しよう！by Toshihisa Hanaki (20)

Más de Insight Technology, Inc.

Más de Insight Technology, Inc. (20)

Último

Último (8)

[B25] 【詳解】インメモリーデータベース SAP HANA：永続化の仕組みと障害／災害対応を踏まえた運用を理解しよう！by Toshihisa Hanaki