SlideShare una empresa de Scribd logo
1 de 79
Descargar para leer sin conexión
CUSTOMER
今さら聞けない
SAP HANAの基本と最新情報
SAPPORO Tech Bar #21
新久保 浩二(しんくぼ こうじ)
SAPジャパン株式会社
プラットフォーム事業本部
ビジネス開発部
シニア アーキテクト
3CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ
Who are you?
2000 2002? 2003 20052004 2006 2010 2011 2015 2016 2017
PISO開発
なんとなく社会人
になってずっとPro*Cと
PL/SQLを書く日々
2018
この辺でちょっとだけドイツの
HANA開発チームに
Insight TechnologyにOracleコンサル
として入社
この辺でSAPにJOIN
この辺でOracle Ace(ちなみに
より先に認定)
この辺でOracle Ace剥奪
(ちなみに も剥奪済み ☺)
この辺からプロダクト開発 HANA担当でイマココ
多分このあたりで 氏に遭遇
この辺でJapan Oracle User
Group(JPOUG)設立
このあたりはOracle DMA的な盛り
上がりを見せ始めた時期。でOracle
Oak Tableのメンバーが結構、日本
に来始めた時期。Insight
Technologyでは、DMA技術をPIでは
なくPISOに適用。
4CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 4
SAP HANAにまつわる疑問1
SAP HANAって、OLAP(DWH)専用
のデータベースなんですよね?
5CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 5
SAP HANAにまつわる疑問1
そう。。。じゃないんです。
SAP HANAって、OLAP(DWH)専用
のデータベースなんですよね?
6CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 6
SAPとデータベース開発の歴史
TREX
(Text Retrieval and information EXtraction)
‘97
ADABAS D SAP DB
‘03 ‘07
‘98
‘05
P*TIME
‘10
HANA 1.0
Sybase
Column based in-memory data storage & processing
& distributed infra(no SQL, no transaction support) And
some processing engines are supported. (graph, search,
classification, mining…)
Row based on disk SQL access data
storage & processing
Data Integration (Data Services -
ETL)
Row based disk oriented Sybase ASE, Column
based disk oriented Sybase IQ, Sybase SQL
Anywhere, Sybase Replication Server …
Row based in-memory SQL access data
storage & processing
BusinessObjectsMaxDB
‘16
HANA 2.0
‘18
HANA 2.0
SPS03
By MySQL AB
7CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 7
SAP HANAの進化の歴史 (OLAPからHTAPへの進化)
ミッションクリティカルシステム
のための強固な基盤
SPS12
デジタル改革支援機能の強化と
オープン化の促進SPS112015
IoTやビッグデータとの接続性と信頼性を強化
プラットフォーム機能の進化とシンプル化の促進
エコシステムの拡張
プラットフォームとしての柔軟性の強化
プラットフォーム化 (Smart Data Access)
OLAP / OLTP 統合 (SAP Business Suite on SAP HANA)
ビッグデータアプリ対応 (PAL/R言語対応)
アジャイルデータマート対応 (SAP BW on HANA)
アナリティクス対応 (SAP BusinessObjects 4.0 対応)
インメモリーデータベースマーケットの開拓SPS1
SPS2
SPS3
SPS4
SPS5
SPS6
SPS7
SPS8
SPS9
SPS10
2010
2011
2012
2013
2014
2016
2016/11月
SAP次世代
デジタルプラットフォームへ躍進
データベース管理の進化
データ管理の進化
分析インテリジェンスの進化
アプリケーション開発の進化
BW/4HANAのサポート
S/4HANAのサポート
SoH / BWoHのサポート
(NetWeaver 7.49以降)
現在はHANA2.0 SPS03
OLAP用途
OLAP用途に加え、
OLTP用途
データベースに加え、
プラットフォームと
して進化
8CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 8
アナリストの評価
SAPは、
データベース、データ管理で
リーダー
として認められました The Forrester Wave
• In-Memory Database Platforms
• Translytical Data Platform
• Streaming Analytics
• Big Data Warehouse
• Enterprise Data Virtualization
• Predictive Analytics and Machine Learning
Gartner Magic Quadrant
• Operational Database Management System
• Data Management Solutions for Analytics
• Data Integration Tools
• Data Quality Tools
Challenges Contenders Strong
Performers
Leaders
Strong
Weak
Current
offering
Weak Strong
Strategy
Market presence
Challengers Leaders
Niche Players Visionaries
Abilitytoexecute
Completeness of Vision
As of November 2017
Figure 1: Magic Quadrant for Operational Database
ManagementSystems, Source: Gartner (November 2017)
9CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 9
SAP HANAにまつわる疑問2
データベースでカラムストアって
流行ってるらしいけど、SAP HANA
は、どうなの?
10CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 10
SAP HANAにまつわる疑問2
データベースでカラムストアって
流行ってるらしいけど、SAP HANA
は、どうなの?
まず、カラムストアのおさらい
からしましょうか...
11PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 11© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
データベースのワークロード
OLTP vs. OLAP
OLTP OLAP
データソース 日々のビジネスデータ: OLTPのデータはオリジ
ナルのデータ (ビジネスデータの発生源)
統合されたデータ: OLAPのデータは多くの
OLTPデータベースのデータから構成される
データの目的 ビジネスの実行とコントロール 計画、意思決定のサポート
求められる処理スピード 低レイテンシー 高スループット
データベース設計 多くのテーブルによる高度な正規化 一般的に非正規化された少ないテーブル
(star/snowflake schema)
クエリー 一般的に定型的で、シンプル 一般的に集約を含む非定型で、複雑
オペレーション 追加、変更、削除、読み取り 読み取り
データセット 6-18ヶ月 数年-十数年
12PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 12© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
データベースのワークロードとデータストアの最適化
Row Store vs. Column Store
Column Store
• OLAP向き
• 大量データのバルクロード、スキャン
• 集計、最大/最小、平均、演算
• 高スループットな参照性能
一
般
的
な
認
識
• OLTP向き
• 少量データのRead/Write
• 更新、ショートトランザクション
• 低レイテンシーなトランクション性能
• リアルタイムプラットホームとしての位置付け
• OLAP処理高速化テクノロジーの実装
• OLTP性能向上テクノロジーの実装
• OLTPとOLAPの性能両立
SAPHANA
• 超高速OLTPデータベース
Row Store
*SAP HANAのテーブルは、カラム/ローのいずれかを選択。カラム⇄ロー変換も可能
13PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 13© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
データベースのワークロードとデータストアの最適化
Row Store vs. Column Store
SAP HANAはRow StoreテーブルとColumn Storeテーブルの両方をサポートします。
一般的には全てのワークロードに対してColumn Storeテーブルを使用することを推奨します。
Country Product Sales
US Alpha 3,000
US Beta 1,250
JP Alpha 700
US
Alpha
3,000
US
Beta
1,250
JP
Alpha
700
Row #1
Row #2
Row #3
US
US
JP
Alpha
Beta
Alpha
3,000
1,250
700
Country
Product
Sales
テーブル
Row Storeテーブル
Column Storeテーブル
アプリケーションからはRow Store Tableも
Column Store Tableも同一のTableのように
透過的に扱えます
14PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 14© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
Column Store
Dictionary compression
Nameカラム
無圧縮
Miller
John
Millman
Zsuwalski
Baker
Miller
Jones
Miller
Johnson
John
Millman
Nameカラム
ディクショナリーエンコーディング
4
1
5
N
0
4
3
4
2
1
5
Value ID配列
0 Baker
1 John
2 Johnson
3 Jones
4 Miller
5 Millman
N Zsuwalski
…
ディクショナリー配列
実データとしてはディクショナリー配列を参照するValue IDを格納
カラム単位でDictionary/Value ID配列を作成
• Dictionary:ユニークなカラム値を格納 (位置がValue IDを示す)
• Value ID配列:全てのエントリーのValue IDを格納 (位置がRecord IDを示す)
15PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 15© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
Column Store
Advanced compression
プレフィックスエンコーディング
4 4 4 4 4 4 4 4 3 5 3 1 1 0Uncompressed
8 4 3 5 3 1 1 0Prefixed Encoded
値
出現回数
ランレングスエンコーディング
5 5 5 4 4 4 4 3 3 2 2 2 2 2Uncompressed
5 4 3 2Run-Length Encoded 値
開始位置0 3 7 9
Advanced compression
• Prefix Encoding
連続する値を値+繰り返し回数にエンコード
• Run Length Encoding (RLE)
連続する値に対して反復を削除して配列の開始位置を保持
• Cluster Encoding
配列を分割、全数同じであれば1文字置換
• Sparse Encoding
最も頻出する値を削除
• Indirect encoding
配列を分割、低カーディナリティであれば再度辞書圧縮
16PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 16© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
Column Store
Advanced compression
4 4 4 4 4 4 4 3 3 0 0 0Uncompressed
4 4 4 3 3 0Cluster Encoded
Bit Vector 1 1 0 1
クラスターが単一数値に
置き換えられた場合は1
4 4 4 3 3 1 0 0 0 4 4 4 4 0Uncompressed
4 3 3 1 0 0 0 0Sparse Encoded
Bit Vector
頻出の値が削除された場合は1
1 1 1 0 0 0 0 0 0 1 1 1 1 0
2 1 576 9 1 2 2 9 88 21 3 19 46 79 45 13 9 6 9 6 3 6 9 3Uncompressed
Compressed 1 0 3 2 0 1 1 2 88 21 3 19 46 79 45 13 2 1 2 1 0 1 2 0
0 1
1 2
2 9
3 576
0 3
1 6
2 9
Dictionary for block#1 Dictionary for block#3
block#2はカーディナリティが高いため
追加のディクショナリ圧縮は行わない
クラスターエンコーディング スパースエンコーディング
インダイレクトエンコーディング
17PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 17© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
Column Store
デルタマージ
インメモリデータベース
デルタストレージ メインストレージ
Write
デルタマージ
Consistent View マネージャー(Read)
書き込みに最適化された領域(デルタストレージ)に対し
て、Insert/Update/Deleteを全てInsertで実行する(追記のみ
のシンプルなオペレーション)
Readオペレーションから、メイン/デルタストレー
ジを隠蔽し、仮想的に1テーブルの外観を提供。
Deleteオペレーションによるローの無効化も実行。
トランザクションのIsolation Level(MVCC)も管理。
トランザクション処理とは非同期でデルタストレージを
メインストレージにマージする
書き込みに最適化された領域(ディクショナリー圧縮のみ) 読み取りに最適化された領域(圧縮)
デルタストレージは純粋なカラムストアでは
なく書き込みにも最適された形式
18CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 18
SAP HANAにまつわる疑問3
インメモリーDBとかカラムストア
とかって、ちゃんとトランザク
ションをサポートできるの?
19CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 19
SAP HANAにまつわる疑問3
インメモリーDBとかカラムストア
とかって、ちゃんとトランザク
ションをサポートできるの?
もちろん、リレーショナルDBな
ので、きっちりトランザクショ
ンもサポートしてますよ。
20PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 20
Transaction
トランザクション分離レベルと特徴
トランザクション分離レベル ダーティリード ファジーリード ファントムリード
READ UNCOMMITTED 発生する 発生する 発生する
READ COMMITTED 発生しない 発生する 発生する
REPEATABEL READ 発生しない 発生しない 発生する
SERIALIZABLE 発生しない 発生しない 発生しない
トランザクション分離レベル ダーティリード ファジーリード ファントムリード ロストアップデート
READ UNCOMMITTED 非サポート 非サポート 非サポート 非サポート
READ COMMITTED 発生しない 発生する 発生する 発生する
REPEATABEL READ 発生しない 発生しない 発生しない 発生しない
SERIALIZABLE 発生しない 発生しない 発生しない 発生しない
- ANSI定義のトランザクション分離レベル
- HANAのトランザクション分離レベル
21PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 21
Transaction
同時実行性制御(MVCC)とデルタマージ
udiv Invalid CTS DTS X Y
1 0 42 undef 1 100
Create column table T (x int primary key, y int);
Insert into T values (1, 100); (by transaction 42, new recordversion is appended)
Update T set Y=Y+1 where x=1; (by transaction 44)
udiv Invalid CTS DTS X Y
1 0 42 44 1 100
2 0 44 undef 1 101
CTS=Valid From
DTS=Valid To
Consistent View マネージャーにより計算され、各トランザクションで整合性の
とれたデータがフィルターされます
22PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 22
Transaction
同時実行性制御(MVCC)とデルタマージ
• MVCC garbage collection:
トランザクションがcommitされるとMVCC garbage collectionが実行される
Before garbage collection
After garbage collection (udiv:1を参照するト
ランザクションが存在しない場合)
udiv Invalid CTS DTS X Y
1 0 42 44 1 100
2 0 44 undef 1 101
udiv Invalid CTS DTS X Y
1 1 undef undef 1 100
2 0 undef undef 1 101
udiv Invalid CTS DTS X Y
2 0 undef undef 1 101
• Delta Merge:
定期的に実行されるDelta Mergeにより全てのトランザクションからInvisible(Invalid)なレコードは削除される
23CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 23
SAP HANAにまつわる疑問4
IntelとかIBM POWERチップに最適
化されていると聞くんですけど、
具体的に何ですか?
24CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 24
SAP HANAにまつわる疑問4
そう。それ、すごい大事 なん
ですよ。
IntelとかIBM POWERチップに最適
化されていると聞くんですけど、
具体的に何ですか?
25CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 25
CPU/Memoryのパフォーマンストレンド
Performance
100,000
CPU自体の純粋なスピード(クロックスピード)
の向上は見込めないので、CPU内、CPUコア間
での効率の良い並列処理が必要になる。
In-Memoryの世界だと、メインメモリーはCPUに比較して圧倒的
に低速なので、メインメモリーに対して何も考えずにアクセスす
ると、皆さんが思うほどのパフォーマンスアップは望めない。
1980 1985 1990 1995 2000 2005 2010
10
100
1,000
10,000
Processor
CPU/Memory Performance GAP
Processor-Memory
Performance GAP
Memory
1978 1980 1982 1984 1986 1988 1990 1992 1994 1996 1998 2000 2002 2004 2006
10
100
1,000
10,000
1.5, VAX-11/785
VAX-11/780
VAX8700
Sun-4/260
MIPS M/120
MIPS M2000
IBM RS6000/540
HP PA-RISC, 0.05GHz
Alpha 21064, 0.2GHz
PowerPC 604, 0.1GHz
Alpha 21064A, 0.3GHz
Alpha 21164A, 0.3GHz
Alpha 21164, 0.5GHz
Alpha 21164, 0.6GHz
Alpha 21264, 0.6GHz
Alpha 21264A, 0.7GHz
Intel Pentium Ⅲ,1.0GHz
AMD Athlon, 1.6GHz
Intel Pentium 4, 3.0GHz
AMD Opteron, 2.2GHz
Intel Xeon, 3.6GHz
64bit Intel Xeon, 3.6GHz
9
13
18
24
51
80
117
183
280
481
649
993
1267
1779
2584
4195
5367
5764
6505
Performance(vs.VAX-11/780)
25%/Year
52%/Year
20%/Year
History of CPU Performance
5
26CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 26
インメモリーの世界でのボトルネックはどこか?
Disk
ディスクは信じられないくらい遅いので、
アーカイブとトランザクションの永続化くら
いの用途で、それ以上は、もう考えない。
- CPUのクロックスピードは頭打ちなので、
もっと賢くCPUを使わないとね
- 同じコードを書いていても、CPUの
進化に合わせて勝手にスピードアッ
プする時代は終わり
- 効率の良いコードに書き換えないと
(SIMDとかTSXとかを使うように)
- さらにはメインメモリーへのアクセ
スを削減しないとね
CPU1 CPU2
CPU3 CPU4
- メインメモリーは速くないよ
- 帯域は広くなっているけど、レイテンシー
が全然ダメ
- 特に(CPU)キャッシュミスした時のメインメ
モリーアクセスは本当に悪夢
- あと、NUMAアーキテクチャーに即した
データローカリティを考えないとね
- CPUのクロックスピードは頭打ちなので、
もっと賢くCPUを使わないとね
- 同じコードを書いていても、CPUの
進化に合わせて勝手にスピードアッ
プする時代は終わり
- 効率の良いコードに書き換えないと
(SIMDとかTSXとかを使うように)
- さらにはメインメモリーへのアクセ
スを削減しないとね
CPU core
CPU cache
CPU core
CPU cache
CPU core
CPU cache
CPU core
CPU cache
メインメモリー
27CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 27
ハードウェアとOLAPの最適化のおさらい(の一部)
Pentium ⅢよりSSE(Streaming SIMD Extensions)として搭載されSIMDレジスタのサイズは128bit、Sandy BridgeよりIntel AVX
(Advanced Vector eXtensions)となりSIMDレジスタのサイズは256bit。Intel SkylakeはSIMDレジスタサイズは512bitとなり、
今後SIMDレジスタサイズは増加していくと考えられる。(* ここではIntel版のみ言及)
1 2 3 4 4個のデータの集合A(配列A)
1 2 3 4 4個のデータの集合B(配列B)
を順番に足し算したい
1 2 3 4
1 2 3 4
2 4 6 8
+ + + +
=
=
=
=
1 2 3 4
1 2 3 4
+ (SIMD_Plus)
2 4 6 8
=
+演算は 4回
従来の処理では、4個のデータ
を処理するのに+演算(足し
算)が4回必要
+演算は 1回
SIMD演算では、4個のデータ
を1回の+演算(足し算)で実行
=> CPU演算の削減
SIMDレジスタサイズ(この場合は128bit ← ココのサイズが大きるなる傾向)
A:
B:
28CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 28
OLTPの(インメモリー)データベースとしての課題(の一部)
OLTPでの同時実行性の制御
- ロックやラッチ(semaphore、mutex)
古典的な手法で、あまり細かい粒度でリソースを管理するとパフォーマンスが良くないので、適度な粒度でまとめてリソースを管理します。
まとめて管理されるため、影響を受ける範囲が広がり、同時実効性が悪くなる場合があります。また、パフォーマンス向上のために各所に
スピンロック(いわゆる無限ループ)も使用されるためロックの頻度によってはパフォーマンスオーバーヘッドが大きい場合があります。
さらに、容易にデッドロックが発生させることが可能なのでコードの安定性とメンテナンスには常に困難が伴います。
インメモリーの世界では、I/Oボトルネックは排除される反面、
高トランザクション状態ではトランザクションシリアライズに
多くの時間がかかる
トランザクションの16-25%はlock manager関連との調査結果
“Lightweight Locking for Main Memory Database Systems”
http://www.vldb.org/pvldb/vol6/p145-ren.pdf
29CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 29
OLTPの課題のSAP HANAとしての最適化(の一部)
- トランザクショナル・メモリー
H/W(CPU)で古典的なロック処理を実装。ユーザー(データベース)はH/Wがロック違反
を検知した場合のみを実装すれば良い。
多くの場合は、スピンロックが不要になり、基本的にデッドロックも発生しない。
同時実行時の競合がない場合は、OSのスケジューラーのオーバーヘッドも発生しない。
ただ、パフォーマンスの最適化はコンパイラー次第
なので、チップベンダー (≒コンパイラーベンダー)との協業が大事
START
XBEGIN
投機的実行
競合判定 or
XABORT
Write-set反映、破棄
XEND
END
Write-set破棄
ABORTの状態をレ
ジスタに記憶
* TSXのRTM(Restricted Transactional Memory)の場合
基
本
的
に
ハ
ー
ド
ウ
ェ
ア
実
装
で
の
処
理
(
ト
ラ
ン
ザ
ク
シ
ョ
ナ
ル
メ
モ
リ
ー
)
競
合
発
生
時
は
ソ
フ
ト
ウ
ェ
ア
実
装
で
の
処
理
(
従
来
の
ロ
ッ
ク
や
ラ
ッ
チ
)
TSX使用時のイメージ
通常の処理
OLTPでの同時実行性の制御
30CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 30
SAP HANAにまつわる疑問5
インメモリーデータベースのSAP
HANAって揮発性なんですよね?
31CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 31
SAP HANAにまつわる疑問5
そうそう。シャットダウンすると全部消えて無くなります。
とかありませんから!
インメモリーデータベースのSAP
HANAって揮発性なんですよね?
32CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 32© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANAの永続化の話をする前に
一般的なデータベースの永続化
キャッシュ(バッファー)
データ
Tx Tx
ログ
ユーザーの要求により
ディスク上のデータブ
ロック or ページをキャッ
シュに載せる
1
各トラザクションの更新
はキャッシュを直接更新
する
3
有限のキャッシュ領域を
LRUで管理
2
更新の確定の前には必ずログ
に更新履歴を同期書き込みで
書く(Write Ahead Log=WAL)
3
更新されたキャッシュは
遅延書き込みによりディ
スク上に永続化される
(Checkpoint)
4
基本的にディスク上
のブロックイメージ
がキャッシュ上に存
在する
LRU
Tx
33CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 33© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANAの永続化の話
インメモリーといえどもデータベースの永続化はディスク
インメモリーデータベース
Tx Tx 各トラザクションの更新
はメモリーを直接更新す
る
3
更新の確定の前には必ずログ
に更新履歴を同期書き込みで
書く (Write Ahead
Log=WAL)
3
更新されたデータは遅延
書き込みによりディスク
上に永続化される
(Savepoint)
4
ディスク上のブロッ
クイメージとインメ
モリーデータベース
のページイメージは
異なる
テ
ー
ブ
ル
インメモリー
データベース
LRU
データ
ログ
起動時にディスク上のカ
ラム全体 or ユーザー要求
によりデータページをメ
モリーに載せる
1
Tx
有限のメモリー領域を
LRUで管理(カラム or ペー
ジ単位)
2
34CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 34© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANAの永続化の話
SAP HANAの永続化レイヤー
パーシスタンスレイヤー(永続化レイヤー)
HANAデータベースのストレージ管理、トランザクションログ
管理、システムリスタート時のリカバリー管理などを行う
• データボリューム
✓ データとUndoを保持するストレージ領域
• ログボリューム
✓ トランザクションログ(REDO)を保持するストレージ領域
✓ データベースの変更(トランザクション)ログを保存するエリア
同期、非同期によるディスクへの書き込み
• セーブポイント(非同期)
✓ メモリー上の変更データをデータボリュームに書き込む(デフォルトで
300秒ごとの遅延書き込み)
• コミット(同期)
✓ トランザクション確定のログエントリーを含むログバッファー上のデー
タをログボリュームに書き込む
メモリー
ストレージ
データベース
ログボリューム
データボリューム
トランザクションログ
(WAL)の書き出し
- Log Buffer FULL
- Commit/Rollback
定期的な自動
セーブポイント
(Shadow Paging)
SAP HANA
UNDO DATAREDO
Log Buffer Row Store Column Store
ログセグメント
ログセグメント
ログセグメント
35CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 35© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANAの永続化の話
SAP HANAでのストレージへのI/Oパターンのまとめ
シナリオ Data Volume Log Volume Backup Storage
書き込みトランザクション - WRITE
OLTP – 概ね4KBのシーケンシャルI/O
OLAP – より大きなI/Oサイズ (1 MBを上
限に可変)
-
セーブポイント、スナップショット、
デルタマージ
WRITE
4 KB – 64 MB 非同期、並列I/O (データ量
はシステム負荷に依存)
- -
DB再起動、フェイルオーバー、テイ
クオーバー
READ
4 KB – 64 MB 非同期、並列I/O (データ量
はRow Storeのサイズに依存)
READ
256 KB 非同期I/O
-
Column Storeのテーブルロード READ
4 KB – 16 MB 非同期、並列I/O
- -
データボリューム・バックアップ READ
4 KB – 64 MB 非同期I/O (バッファーサイ
ズは512 MB)
- WRITE
512 MB シーケンシャルI/O (設定可能)
ログ・バックアップ - READ
4 KB – 128 MB 非同期I/O (バッファーサ
イズは128 MB)
WRITE
4 KB – 128 MB シーケンシャルI/O
リカバリー WRITE
4 KB – 64 MB 非同期、並列I/O
READ
256 KB 非同期I/O
READ
Data backup: 512 MBのバッファーI/O
Log backup: 128 MBのバッファーI/O
36CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 36
SAP HANAにまつわる疑問6
SAP HANAってエンタープライズ系
の機能(バックアップ、高可用性、
災害対策とか) ないんでしょ。
37CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 37
SAP HANAにまつわる疑問6
実はエンタープライズど真ん中で
信頼性は抜群ですよ。
SAP HANAってエンタープライズ系
の機能(バックアップ、高可用性、
災害対策とか) ないんでしょ。
38CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 38© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANAのバックアップ、リカバリー
共通
– 圧縮データのため短時間で完了
– 3rdパーティー製バックアップツール利用可能
バックアップ
– メモリー上のDBの永続化は通常運用中に行われる (セーブ
ポイント)
– フル、差分、増分バックアップ
▫ データボリュームのコピー(オンライン)
– ログバックアップ (自動)
▫ ログボリュームのコピー (*1)
(*1) バックアップは自動ですが、外部ストレージへの退避等は手動で実行する必要があります。
リカバリー
– ポイントインタイムリカバリー可能
バックアップ
管理上のメリット
◼ バックアップカタログによる世代管理、整合性チェック
◼ ストレージ・スナップショットの利用も可能(HANAのスナップショットを利用して)
リカバリー
メモリー
ストレージ
データベース
ログ
ボリューム
データ
ボリューム
Log
Volume
Data
Volume
Log
Volume
Data
Volume
ログ
ボリューム
データ
ボリューム
バックアップ
メモリー
ストレージ
ログ
ボリューム
データ
ボリューム
Log
Volume
Data
Volume
Log
Volume
Data
Volume
ログ
ボリューム
データ
ボリューム
バックアップ
メモリー上にロード
(+ UNDO)
REDO
39CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 39© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANAの高可用性
Geo clusters
ビジネスの継続性
データセンター内の
高可用性
データセンター間の
ディザスタリカバリー
SAP HANA Host Auto-Failover
(Scale-Outのスタンバイ構成)
SAP HANA System Replication
SAP HANA Storage Replication
SAP HANA System Replication
40CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 40© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANAの災害対策 / 高可用性
SAP HANA System Replication
HANA Worker Server
HANA Worker Server
HANA Worker Server
HANA Standby Server
HANA Worker Server
HANA Worker Server
HANA Worker Server
Cluster ClusterLog shipping(*)
Delta data shipping
System Replication
 HANA組込みのデータベースレプリケーション機能
 自動での切り替え(Takeover)機能はないので、クラスターマネージャーと連携が必要
41CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 41© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANAの災害対策 / 高可用性
SAP HANA System Replication : Replication mode
セカンダリーと接続が失われるとプライマリーとの整合性の維持はしない
セカンダリーと接続が失われても障害が回復されるまでプライマリも待ち状態
Synchronous(Fullオプション)
プライマリー セカンダリー
LogData Data Log
⚫ ログはセカンダリーサイ
トに同期転送される
⚫ ログ転送は、セカンダ
リーサイトのディスク保
存まで
プライマリー セカンダリー
LogData Data Log
Synchronous
⚫ 正常時の動きは
Synchronous(Fullオプ
ション)と同様
Synchronous in memory
⚫ ログはセカンダリーサイ
トに同期転送される
⚫ ログ転送は、セカンダ
リーサイトでのメモリー
保存まで
プライマリー セカンダリー
LogData Data Log
メモリ
Asynchronous
プライマリー セカンダリー
LogData Data Log
バ
ッ
フ
ァ
ー
⚫ ログはセカンダリーサイ
トと接続されているネッ
トワーク経路にログ転送
が開始されると完了。
⚫ 非同期転送される
TransactionBy
e
Transaction Transaction
Transaction
42CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 42© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANAの災害対策 / 高可用性
SAP HANA System Replication : Active/Active read enabled
OS: DNS, hostname, Virtual IP
HASolutionPartner
HASolutionPartner
Primary
Name Server
Index Server
ログ
ボリュー
ム
データ
ボリュー
ム
Secondary
Name Server
Index Server
ログ
ボリュー
ム
データ
ボリュー
ム
② Log Shipping
① Initial Data Copy
③
HANA 2 SPS 00 〜
mode=logreplay_readaccess
④ 継続的に(プライマリーとは非同期)ログボリュームをリカバリー(リプレイ)
SAP HANA Client Library
アプリケーション
I : Primaryに接続
Ⅱ : Secondaryに接続
I : Primaryに接続 Ⅱ : Secondaryに接続
認証
リソース及び処理内容から
Primary/Secondaryでの実行を
dispatch (Hint文でSecondary
での実行を強制可能)
認証をPrimaryに依頼
必要に応じてSecondaryで
クエリーを実行
43CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 43
SAP HANAにまつわる疑問7
メモリーだけだと、そんなに多く
のデータを管理できないよね?
44CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 44
SAP HANAにまつわる疑問7
メモリーだけだと、そんなに多く
のデータを管理できないよね?
大丈夫です。様々なデータ管理の
手法を提供しています。ビッグ
データとの連携も可能ですよ。
45© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANA Dynamic Tiering
SAP HANA + Extended Table + SAP IQ + Hadoop
各ドメインの強みを生かしたデータ処理
• In-Memory Platform
• リアルタイムでのOLTP/OLAP処理
• テキスト、地理情報などのへのネイ
ティブな分析関数
• Diskベースのカラムストア
• 高速かつ効率の高い圧縮
• データ定義、バックアップなどが
HANAから透過的に実行可能
• TB〜PBまでの構造化データに対して
クエリーが可能
• データの重複保持はしない
• ネイティブなHANAの機能ではない
• システムのデータの配置場所をIQに変更
• NLSとして読み込み専用ストレージとして
使用
• データにより異なるSLA要求に柔軟に対応
HANA
Hot
Dynamic Tiering
Warm
SAP IQ
Cold
• SDAによるHive/Sparkでの接続
• vUDFによる既存のMarReduceジョブの活
用
• vUDFはSQLとして実行も可能
Raw
Hadoop
46© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANA Dynamic Tiering
概要
SAP HANA Database System
SAP HANA Hot store Table
(Classical HANA Table)
SAP HANA Warm store Table
(Extended Table)
参照更新 参照更新
アプリケーション
Hot storeから
Warm storeに
データを移動
Dynamic Tiering単体としては、HANAに統合された(とはいえ、単純な)ディスクベースのテーブルの
提供のみ(<= SPS12)。データの参照、更新、移動はアプケーション側の実装に依存。
データの場所(hot/warm)がアプリケーションから透過的ではない!
47© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANA Dynamic Tiering
Data Lifecycle Manager
SAP HANA Database System
SAP HANA Hot store Table
(Classical HANA Table)
SAP HANA Warm store Table
(Extended Table)
参照更新 更新
アプリケーション
Hot storeから
Warm storeに
データを移動
Data Warehousing Foundation
Data Lifecycle Manager(DLM)
Union View (HANA Calc View)
DLMにより自動化が可能
DLMにより参照はアプリケーショ
ンから透過的にすることが可能
データの参照に関しては、DLMによりアプリケーションから透過的。
データの更新に関しては、DLMを使用してもデータの場所(hot/warm)がアプリケーションから透過
的ではない!
参照 参照
48© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANA Dynamic Tiering
Multistore Table
SAP HANA Database System
SAP HANA Hot store Partition
(Classical HANA Table/Partition)
SAP HANA Warm store Partition
(Extended Table/Partition)
参照更新
アプリケーション
Hot storeから
Warm storeに
データを移動
(逆も)
Partitioned Table (Multistore Table)
データの参照/更新に関して、Multistore Tableによりアプリケーションから完全に透過的。
Part#1 Part#2
Part#3 Part#4
Partition単位でデータ移動 Part#5 Part#6
Part#7 Part#8
49CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 49
SAP HANAにまつわる疑問8
SAP HANAは良いのだけど、既存に
データベースがいっぱいあって、
統合するのは大変そう…
50CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 50
SAP HANAにまつわる疑問8
SAP HANAは良いのだけど、既存に
データベースがいっぱいあって、
統合するのは大変そう…
そのためにデータ統合機能(仮想、
物理)もあります。
そもそも、全てをSAP HANAに置く必要はないかもしれませんよ。
51CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 51© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANA Platform : Data Integration Services
SAP HANA
Virtual Physical
ETL
Virtual Model
Real-Time
No-Data movement
Flexible data model
Integration Service
OData
SAP IQ, SAP ASE, Oracle,
SQL Server, Teradata …
Data federation
Real time/Batch ETL
Streaming Service
Remote Data Sync
Streaming Lite
(IoT Gateway)
Device/Sensor
SAL SQL Anywhere Ultra Lite
SAL SQL Anywhere Ultra Lite
SAL SQL Anywhere Ultra Lite
既存データ資産の保護とシステム構成のシンプル化
データ仮想化による仮想DWHの構築
Real-Time/BatchによるETLのサポート
ストリームデータからリアルタイムをアクション
Enterprise Architecture Designer:
- ビジネス/ITプロセスで一貫性のあるモデリング
Agile Data Preparation:
- セルフサービスによるデータの準備、加工、品質
Smart Data Access:
- 既存のデータベース、HadoopへのData Virtualization
- 双方向の参照、更新のサポート
Smart Data Integration/Quality:
- 各アダプターにより既存データベース/APIからReal-
Time/BatchによるETL/Replicationをサポート
Smart Data Streaming:
- 断続的にデバイスから送信されるストリーミングデー
タをSAP HANAに蓄積される前に効率的に処理
- SAP HANAの前にゲートウェイとしてStreaming Liteを
配置可能
Remote Data Sync:
- SAP HANAとSAP SQL Anywhereとの双方向同期
- 断続接続環境、低帯域ネットワーク環境のサポート
52CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 52© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANA Platform : Data Integration Services
Smart Data Access
ベネフィット
⚫ ローカルテーブルのようにリモートデータへアクセスが可能
⚫ 述語のプッシュダウン、他のデータベース上の各機能の補完
などのクエリの分析を含むスマートなクエリ処理
⚫ データのある場所によらず開発が可能
⚫ 異なるデータソースのアクセスに特別な構文は不要
データソース
⚫ Oracle, SQL Server, Teradata, DB2, Netezza
⚫ Hadoop – Hive (Hortonworks, Cloudera, MapR, etc.), Spark
⚫ SAP HANA
⚫ SAP Vora
⚫ SAP ASE, SAP IQ, SAP MaxDB, SAP SQLAnywhere, SAP ESP
⚫ Google BigQuery
SAP HANA
3rd パーティーデータソース
Netezza
ビッグデータ
Db2 SQL Server Oracle
SAP HANA SAP ASE SAP IQ SAP ESP
Teradata
VirtualPhysical
SAP HANA
Smart Data Access データモデル
53CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 53© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANA Platform : Data Integration Services
Smart Data Integration
機能概要:
⚫ さまざまなデータ配信方式をサポート
• データ仮想化 (フェデレーション)
• リアルタイムレプリケーション (対応データソースのみ)
• バッチ (ETL / ELT)
⚫ 他ターゲットへのデータの配布のサポート (双方向)
⚫ オンプレミス、クラウド、ハイブリットに対応する
アーキテクチャの採用
⚫ 直観的でわかりやすい Web ベースの設計ツール
⚫ オープンフレームワークの採用
• 一般的なソースに対するすぐに利用できるアダプタ
• カスタムアダプタを作成するためのオープンなSDK
Data Provisioning Agent(dpagent)
SAP HANA
Data Provisioning Server(dpserver)
非データベース
アダプタ
カスタムアダプタ
(SDK)
データベース
アダプタ
Smart Data Accessと違って、Server/Agent方式によりオンプレ/クラウド
連携や、Firewallを超えられないネットワーク環境でも柔軟にデータ連携
が可能
VirtualPhysical
OData
データベース ビッグデータ ファイル API連携 ソーシャル
54CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 54© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANA Platform : Data Integration Services
Hadoop Integration
SAP HANA
VirtualPhysical
SAP HANA
Smart Data Access データモデル
Data Provisioning Server(dpserver)
Data Provisioning Agent(dpagent)
Hive
Hadoopクラスター
SAP HANA spark
controller
Spark SQL Hive ODBC Virtual UDF
WebHDFS
WebCAT
Impala HDFS
HDFS
55CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 55
SAP HANAにまつわる疑問9
Hadoopといえば、SAPさんには、
ビッグデータのソリューションな
いの?
56CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 56
SAP HANAにまつわる疑問9
Hadoopといえば、SAPさんには、
ビッグデータのソリューションな
いの?
いっぱいあって説明が大変なくら
いあります。。。
SAP Cloud Platform Big Data Services
Ashburn, VA
Santa Clara, CA
St. Leon-Rot
SAP Vora
Distributed Computing Cluster
Files
Vora Spark
Extension
Spark
…
Files
Vora Spark
Extension
Spark
Files
Vora Spark
Extension
Spark
Microsoft
Azure Data
Lake Store*
Amazon S3
Apache
Hadoop HDFS
MapR-FS
Kubernetes:
オンプレミス or クラウド:
Hadoop / Spark cluster
分散トランザクションログ
Disk Based Relational
データモデラー
In-Memory
Relational
Time Series Graph Doc Store
Kubernetes Cluster
データ
サイエンス
予測分析 ビジネス
インテリジェンス
レポーティング
アプリケーション
Vora 2.0系からHadoopは必須コンポーネント
ではなくなりました。
SAP Vora
Cloud Storage
SAP Data Hub
• Orchestrate : デジタルランドスケープ内のデータを調整
してビジネス上の意思決定を促す
• Integrate : SAP EIMポートフォリオによるデータ統合機能
とSAP Voraによるデータ処理を分散ランタイムとして統合
• Open : ビッグデータ中心のオープンなアーキテクチャー
(Hadoop、Cloudストレージ、Kafka、機械学習…)
• Innovative : Kubernetesに基づく革新的なサーバーレス・
コンピューティング アーキテクチャー
エンタープライズ全体のデータ駆動型プロセスを統合
SAP Data Hub
データ取得ツール スクリプト/コード データ準備ツール
SAP HANA BI/BA
データ
オーケストレーション
SAP Vora
データ
パイプライン
• 分断されたシステムとツール
• スクラッチでのコードやスクリプト
• プロセスの自動化が困難
• ガバナンスとプロジェクトのスケール
が困難
• アプリケーションに様々なデータを
提供可能
• ビジュアルモデリング(コーディング
の必要なし)
• プロセスの自動化とスケジュール
• ガバナンスとデータ管理
SAP Data Hub
センサーデータ
エンタープライズ
データ
ヘルスケア
データ
自動運転
61CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 61
SAP HANAにまつわる疑問10
そもそも、SAP HANAって普通に
SQLでアクセスするRDBMSなんで
したっけ?
62CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 62
SAP HANAにまつわる疑問10
そもそも、SAP HANAって普通に
SQLでアクセスするRDBMSなんで
したっけ?
そう。でも、それだけじゃないん
ですよ。
63CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 63© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
SAP HANA Platform : Advanced Analytical Processing Service
Advanced Analytical Processing Service
Hadoop(Text, Historical Data…), SAP Vora /
SAP IQ, SAP ASE,
Oracle, SQL Server, Teradata …
R-Scripts
PAL
APL
In-Database Analytics
R-Engine
C4.5
decision tree
Weighted score
tables
Regression
ABC classification
KNN classification
K-means
Associate
analysis:
market basket
SAP HANA
Spatial, IoT, Stream
Database Service
Virtual Physical
ETL
Virtual Model
Real-Time
No-Data movement
Flexible data model
Graph Engine
Spatial Engine
Text Analysis Engine
SQL Engine
Series Engine
構造化データに縛られない様々なデータ処理
各エンジン間でシームレスな連携
Spatial Engine:
- OGC準拠
- 地理空間の情報をデータベースの中で直接
保存、処理、生成、共有、取得
Graph Engine:
- ACID準拠のスキーマフレキシブルなグラフ
エンジン
- Pattern Matching/Graph Algorithms
Text Analysis Engine:
- ファイルフィルタリング/エンティティの抽
出、分類/ドメインファクトの認識
Time Series Engine:
- 効率的なシリーズデータの蓄積
- 等距離、非等距離のシリーズのサポート
Document Store:
- Schema on ReadのJSONドキュメントストア
{JSON}
Document Store
EML Tensor Flow
64CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 64© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
PAL (Predictive Analysis Library)
Classification Analysis
▪ CART
▪ C4.5 Decision Tree Analysis
▪ CHAID Decision Tree Analysis
▪ K Nearest Neighbor
▪ Logistic Regression Elastic Net
▪ Back-Propagation (Neural Network)
▪ Naïve Bayes
▪ Support Vector Machine
▪ Random Forests
▪ Gradient Boosting Decision Tree
(GBDT)*
▪ Linear Discriminant Analysis (LDA)*
▪ Confusion Matrix
▪ Area Under Curve (AUC)
▪ Parameter Selection / Model Evaluation
Regression
▪ Multiple Linear Regression Elastic Net
▪ Polynomial, Exponential, Bi-Variate
Geometric, Bi-Variate Logarithmic
Regression
▪ Generalized Linear Model (GLM)*
▪ Cox Proportional Hazards Model*
Association Analysis
▪ Apriori, Apriori Lite
▪ FP-Growth
▪ KORD – Top K Rule Discovery
▪ Sequential Pattern Mining*
Probability Distribution
▪ Distribution Fit/ Weibull analysis
▪ Cumulative Distribution Function
▪ Quantile Function
▪ Kaplan-Meier Survival Analysis
Outlier Detection
▪ Inter-Quartile Range Test (Tukey’s
Test)
▪ Variance Test
▪ Anomaly Detection
▪ Grubbs Outlier Test
Recommender Systems
▪ Factorized Polynomial Regression
Models**
▪ Alternating least squares****
▪ Field-aware Factorization
Machines (FFM) ****
Social Network Analysis Algorithms
▪ Link Prediction - Common
Neighbors, Jaccard’s Coefficient,
Adamic/Adar, Katzβ
▪ PageRank
* New in HANA 2 SPS 00
** New in HANA 2 SPS 01
*** New in HANA 2 SPS 02
**** New in HANA 2 SPS 03
Statistical Functions
▪ Mean, Median, Variance, Standard
Deviation, Kurtosis, Skewness
▪ Covariance Matrix
▪ Pearson Correlations Matrix
▪ Chi-squared Tests:
- Test of Quality of Fit
- Test of Independence
▪ F-test (variance equal test)
▪ Data Summary*
▪ ANOVA**
▪ One-sample Median Test**
▪ T Test**
▪ Wilcox Signed Rank Test**
Data Preparation
▪ Sampling, Binning, Scaling, Partitioning
▪ Principal Component Analysis (PCA)/PCA
Projection
▪ Factor Analysis
▪ Multi dimensional scaling
Other
▪ Weighted Scores Table
▪ Substitute Missing Values
Cluster Analysis
▪ ABC Classification
▪ DBSCAN
▪ K-Means/Accelerated K-Means**
▪ K-Medoid Clustering
▪ K-Medians
▪ Kohonen Self Organized Maps
▪ Agglomerate Hierarchical
▪ Affinity Propagation
▪ Latent Dirichlet Allocation (LDA)
▪ Gaussian Mixture Model (GMM)
▪ Cluster Assignment
Time Series Analysis
▪ Single/Double/ Brown/Triple Exp. Smoothing
▪ Forecast Smoothing
▪ Auto – ARIMA/Seasonal ARIMA
▪ Croston Method
▪ Forecast Accuracy Measure
▪ Linear Regression with Damped Trend and
Seasonal Adjust
▪ Test for White Noise, Trend, Seasonality
▪ Fast Fourier Transform (FFT)*
▪ Correlation Function*
▪ Hierarchical Forecast
65CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 65© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER
EML (External Machine Learning)
▪ TensorFlowは、機械学習のための一般的なフ
レームワーク(Googleが開発し、現在はオープ
ンソース)
▪ ノードが演算を表し、エッジがデータ配列を表
すデータフローグラフ
▪ C/C++がバックエンド, Python APIなど
▪ ハードウェアアクセラレータ(GPU/TPU)と分散
処理をサポート
▪ 画像処理、言語処理などのディープラーニング
を組み込みでサポート
▪ 機械学習モデルをサービスとして公開する
TensorFlow Servingを提供
SQL / SQLScript
Stored Procedure
S A P H A N A P L A T F O R M Serving
66CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 66
SAP HANAにまつわる疑問11
そういえば、メモリー関連で最近
新しいデバイスが出るらしいね。
SAP HANAとして対応は?
67CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 67
SAP HANAにまつわる疑問11
そういえば、メモリー関連で最近
新しいデバイスが出るらしいね。
SAP HANAとして対応は?
あー、あれですね。きっちり準備
していて、すでに対応済みですよ。
68PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 68
SAP HANA2 SPS03
SAP HANA不揮発メモリー*のネイティブサポート
* ハードウェアに依存
Benefit
ビジネス継続性の向上によりさら
に低いTCOでより多くのデータを
リアルタイム処理が可能
Persistent Memory
non-volatile
Data Reliability
faster starts
Higher Capacity
than DRAM
Transforming
the memory hierarchy
従来のメモリー技術と比較して、より
大きなメモリー領域
より低いTCOでハイパフォーマンスの
メモリー
ダウンタイムを小さくするための高速
な起動時間
Intel®との共同開発
より低いTCOでより高い容量を提供する新しいイノベーションを活用するためのゲームの変革
12.5x
起動時間の短縮**
** SAP HANAの6TBデータセットで測定された内部ベンチマーク
> 3 TB
1CPUあたりのメモリー容量の増大
69PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 69
Persistent MemoryのHANAでの利用イメージ
▪ SAP HANA 2.0 SPS03では、不揮発メモリーをサポート
例) Intel Optane DC Persistent Memory (aka. Intel 3D Xpoint)
– PCI Expressインターフェースではなく、DIMMフォームファクター
(DDR4互換)
▪ カラムストアのメインストレージに不揮発メモリーを利用
– メインストレージにSAP HANAの実データの95%以上が格納される
– Database、Table、Column、Partitionのレベルで不揮発メモリーを使う
か否かの設定可能(PERSISTNET MEMORY ON|OFF句)
– メインストレージを永続化レイヤーからロードする必要がなくなるた
め、再起動が非常に高速化(=可用性の向上)される。
– DRAMと比較して、TCOが低い(容量が大きく、低価格)
▪ 永続化レイヤーに変更なし(既存の運用に変更の必要なし)
▪ 現時点で不揮発メモリー自体はリリースされていません
Disk
DATA
LOG
In-memory data storage
Row Store
Column Store
Main
Delta
DRAM
SSD
© Intel
NVRAM
Operational
70PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 70
Intel + Google + SAPのリリース@Google Next 2018
https://twitter.com/LeukertB/status/1021477716644618241
71CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 71
SAP HANAにまつわる疑問12
SAP HANAってアプライアンスだか
ら、興味があっても簡単に触れな
いんだよね…
72CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 72
SAP HANAにまつわる疑問12
SAP HANAってアプライアンスだか
ら、興味があっても簡単に触れな
いんだよね…
確かにアプライアンスの提供形態
もありますが、エンジニアが簡単
に試せる環境もいろいろ用意して
ますよ。
73PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 73
SAP HANA, express edition
SAP HANA, express edition
▪ 素早く、継続的なアプリケーション開発に最適化され
た(シンプルな)バージョンのSAP HANA
▪ ラップトップ、デスクトップコンピュータ用に
仮想マシンのイメージ、サーバー上でネイティ
ブモジュールのインストール、またはクラウド
で利用可能な柔軟なデプロイオプション
▪ SAP HANAを無料で提供することで、革新的な次
世代アプリケーションとトライアルを実現
74PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 74
SAP HANA, express edition
SAP HANAへの無料アクセス
▪ 32 GBのメモリーサイズまでは無料で利用
可能です。(商用、非商用)
▪ 以下からアクセス可能
– ラップトップ、デスクトップ、サーバー
(最低 16 GBメモリーを推奨)
– SAP Cloud Appliance Library(CAL)
(AWS or Azure)
– Public Cloud (AWS, Azure, GCP …)
▪ SAP Communityによるコミュニティ
サポート
必要に応じて柔軟に拡張
▪ 128 GBのメモリーサイズまでは追加料金
により拡張可能。(商用、非商用)
▪ 必要な場合は、上位エディションにアップ
グレードが可能
– 128 GB以上のキャパシティーが必要に
なった場合
– 上位エディションでサポートされる機能
が必要になった場合
素早いアプリケーション開発
▪ SAP開発者コミュニティのチュートリアル
とサンプルコード
▪ JDBC, ODBC, .Netなどオープンなインター
フェース、接続プロトコル、開発言語の使
用
▪ SAP HANAに組み込まれたデータベース、
データ分析、アプリケーション、データ
統合サービスを活用する
▪ 開発者のPCでいつでもどこでもアプリ
ケーションを構築可能
75PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 75
SAP HANA, express edition
柔軟なデプロイ先
1. SAP Developer CenterからSAP HANA, express edition
Download Managerをダウンロード
https://www.sap.com/japan/developer/topics/sap-hana-express.html
2. インストールするモジュールのタイプを選択(バイナ
リ or 仮想マシンイメージ)
* 最低8GB程度のメモリーが必要です
3. SAP HANA, express editionをダウンロード
4. ラップトップ、デスクトップ、PCサーバーなどに
デプロイ
ダウンロード &
インストール
クラウド上で使う
 SAP Cloud Appliance Library(CAL)からアクセス
→ SAPからクラウドベンダーにアクセス
http://cal.sap.com
* 各クラウドベンダーへのサービスには別途費用がかかります* インストールする先のハードウェアは無料の範囲ではありません
 クラウドベンダーのサービス/Market Placeとし
てSAP HANA, express editionをサポート*
* 2018.06時点
76PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 76
SAP HANA, express edition
2種類のインストールパッケージ
バイナリパッケージ
▪ SUSE Linux Enterprise Server (SLES) for SAPもしくは
Red Hat Enterprise Linux (RHEL) for SAPに、SAP
HANA, express editionをインストールするための
パッケージ
▪ (追加で)SAP HANA XSA (Extended Application
Services, advanced model)をインストール
仮想マシンイメージ
▪ WindowsやMacにSAP HANA, express editionを簡単
にデプロイするためにSLES for SAPを含んだ仮想マ
シンイメージ
▪ 選択可能なイメージ:
– SAP HANA server only
– SAP HANA server + application (SAP HANA XSA)
77PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 77
SAP HANA, express edition
各種パッケージの選択方針のまとめ
78PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 78
使ってみる? SAP HANA, express edition
Thank you!
No part of this publication may be reproduced or transmitted in any form or for any purpose without the express permission of SAP SE or an SAP affiliate company.
The informationcontained herein may be changed without prior notice. Some software products marketed by SAP SE and its distributors contain proprietary software components
of other software vendors. Nationalproduct specifications may vary.
These materials are provided by SAP SE or an SAP affiliate company for informational purposes only, without representation or warranty of any kind, and SAP or its affiliated
companies shall not be liable for errors or omissions with respect to the materials. The only warranties for SAP or SAP affiliate company products and services are those that are
set forth in the express warranty statements accompanying such products and services, if any. Nothing herein should be construed as constituting an additionalwarranty.
In particular, SAP SE or its affiliated companies have no obligation to pursue any course of business outlined in this document or any related presentation, or to develop or release
any functionality mentioned therein. This document, or any related presentation, and SAP SE’s or its affiliated companies’ strategy and possible future developments,products,
and/or platform directions and functionality are all subject to change and may be changed by SAP SE or its affiliated companies at any time for any reason without notice. The
information in this document is not a commitment, promise, or legal obligationto deliver any material, code, or functionality. Allforward-looking statements are subject to various
risks and uncertainties that could cause actual results to differ materially from expectations. Readers are cautioned not to place undue reliance on these forward-looking statements,
and they should not be relied upon in making purchasing decisions.
SAP and other SAP products and services mentioned herein as well as their respective logos are trademarks or registered trademarks of SAP SE (or an SAP affiliate company)
in Germany and other countries. All other product and service names mentioned are the trademarks of their respective companies.
See http://global.sap.com/corporate-en/legal/copyright/index.epx for additional trademark informationand notices.
© 2018 SAP SE or an SAP affiliate company. All rights reserved.

Más contenido relacionado

La actualidad más candente

あなたの知っているSAPは古いかもしれません
あなたの知っているSAPは古いかもしれませんあなたの知っているSAPは古いかもしれません
あなたの知っているSAPは古いかもしれませんMana Matsudate
 
SAP HANA 2 SPS03 highlights and SAP HANA express edition
SAP HANA 2 SPS03 highlights and SAP HANA express editionSAP HANA 2 SPS03 highlights and SAP HANA express edition
SAP HANA 2 SPS03 highlights and SAP HANA express editionKoji Shinkubo
 
[D35] インメモリーデータベース徹底比較 by Komori
[D35] インメモリーデータベース徹底比較 by Komori[D35] インメモリーデータベース徹底比較 by Komori
[D35] インメモリーデータベース徹底比較 by KomoriInsight Technology, Inc.
 
SAP HANA SP10最新情報詳細版
SAP HANA SP10最新情報詳細版SAP HANA SP10最新情報詳細版
SAP HANA SP10最新情報詳細版Mana Matsudate
 
AWSではじめるSAP HANA入門
AWSではじめるSAP HANA入門AWSではじめるSAP HANA入門
AWSではじめるSAP HANA入門Mana Matsudate
 
[db tech showcase Tokyo 2014] B11: [In-Memory DB: SAP HANA] OLTP/OLAPをシングルデータ...
[db tech showcase Tokyo 2014] B11: [In-Memory DB: SAP HANA] OLTP/OLAPをシングルデータ...[db tech showcase Tokyo 2014] B11: [In-Memory DB: SAP HANA] OLTP/OLAPをシングルデータ...
[db tech showcase Tokyo 2014] B11: [In-Memory DB: SAP HANA] OLTP/OLAPをシングルデータ...Insight Technology, Inc.
 
Sap business suite on hana適合シナリオ診断 bsr サンプルレポート
Sap business suite on hana適合シナリオ診断 bsr サンプルレポートSap business suite on hana適合シナリオ診断 bsr サンプルレポート
Sap business suite on hana適合シナリオ診断 bsr サンプルレポートShiroh Kinoshita
 
[D14] 【詳解】インメモリーデータベース SAP HANA:実際の仕組みと動きを理解しよう!by Toshiro Morisaki
[D14] 【詳解】インメモリーデータベース SAP HANA:実際の仕組みと動きを理解しよう!by Toshiro Morisaki[D14] 【詳解】インメモリーデータベース SAP HANA:実際の仕組みと動きを理解しよう!by Toshiro Morisaki
[D14] 【詳解】インメモリーデータベース SAP HANA:実際の仕組みと動きを理解しよう!by Toshiro MorisakiInsight Technology, Inc.
 
[db tech showcase Tokyo 2014] B25: [In-Memory DB: SAP HANA] 障害・災害対策のメカニズム by...
[db tech showcase Tokyo 2014] B25: [In-Memory DB: SAP HANA] 障害・災害対策のメカニズム  by...[db tech showcase Tokyo 2014] B25: [In-Memory DB: SAP HANA] 障害・災害対策のメカニズム  by...
[db tech showcase Tokyo 2014] B25: [In-Memory DB: SAP HANA] 障害・災害対策のメカニズム by...Insight Technology, Inc.
 
B23,B31 sap sybase iq ~全部話します。IQのカラムストア方式、ビットワイズインデックス、DQP、カラム圧縮、等々 by Toshih...
B23,B31 sap sybase iq ~全部話します。IQのカラムストア方式、ビットワイズインデックス、DQP、カラム圧縮、等々 by Toshih...B23,B31 sap sybase iq ~全部話します。IQのカラムストア方式、ビットワイズインデックス、DQP、カラム圧縮、等々 by Toshih...
B23,B31 sap sybase iq ~全部話します。IQのカラムストア方式、ビットワイズインデックス、DQP、カラム圧縮、等々 by Toshih...Insight Technology, Inc.
 
20150329 SAP InfiniteInsight(SAPが提供する機械学習エンジン)
20150329 SAP InfiniteInsight(SAPが提供する機械学習エンジン)20150329 SAP InfiniteInsight(SAPが提供する機械学習エンジン)
20150329 SAP InfiniteInsight(SAPが提供する機械学習エンジン)kiyoshi_iwabuchi
 
[db tech showcase Tokyo 2015] B27:インメモリーDBとスケールアップマシンによりBig Dataの課題を解決する by S...
[db tech showcase Tokyo 2015] B27:インメモリーDBとスケールアップマシンによりBig Dataの課題を解決する by S...[db tech showcase Tokyo 2015] B27:インメモリーDBとスケールアップマシンによりBig Dataの課題を解決する by S...
[db tech showcase Tokyo 2015] B27:インメモリーDBとスケールアップマシンによりBig Dataの課題を解決する by S...Insight Technology, Inc.
 
企業におけるHTML5を⽤いたスマートデバイス向けアプリ開発
企業におけるHTML5を⽤いたスマートデバイス向けアプリ開発企業におけるHTML5を⽤いたスマートデバイス向けアプリ開発
企業におけるHTML5を⽤いたスマートデバイス向けアプリ開発Kazuhiro Iguchi
 
DBP-001_SAP on Azure 移行事例の紹介
DBP-001_SAP on Azure 移行事例の紹介DBP-001_SAP on Azure 移行事例の紹介
DBP-001_SAP on Azure 移行事例の紹介decode2016
 
[db tech showcase Tokyo 2015] D22:インメモリープラットホームSAP HANAのご紹介と最新情報 by SAPジャパン株式...
[db tech showcase Tokyo 2015] D22:インメモリープラットホームSAP HANAのご紹介と最新情報 by SAPジャパン株式...[db tech showcase Tokyo 2015] D22:インメモリープラットホームSAP HANAのご紹介と最新情報 by SAPジャパン株式...
[db tech showcase Tokyo 2015] D22:インメモリープラットホームSAP HANAのご紹介と最新情報 by SAPジャパン株式...Insight Technology, Inc.
 
Talend勉強会 20150414
Talend勉強会 20150414Talend勉強会 20150414
Talend勉強会 20150414kuroiwa
 
Oracle Cloud Platform - クラクドにおける 新たなデータベース開発
Oracle Cloud Platform - クラクドにおける新たなデータベース開発Oracle Cloud Platform - クラクドにおける新たなデータベース開発
Oracle Cloud Platform - クラクドにおける 新たなデータベース開発オラクルエンジニア通信
 
Talend5.4~もう少し深く知る~(技術セッション)
Talend5.4~もう少し深く知る~(技術セッション)Talend5.4~もう少し深く知る~(技術セッション)
Talend5.4~もう少し深く知る~(技術セッション)Talend KK
 
Oracle Database Cloud と無料の純正開発ツールで開発効率を改善しよう!(db tech showcase 2016 Oracle セッ...
Oracle Database Cloud と無料の純正開発ツールで開発効率を改善しよう!(db tech showcase 2016 Oracle セッ...Oracle Database Cloud と無料の純正開発ツールで開発効率を改善しよう!(db tech showcase 2016 Oracle セッ...
Oracle Database Cloud と無料の純正開発ツールで開発効率を改善しよう!(db tech showcase 2016 Oracle セッ...オラクルエンジニア通信
 

La actualidad más candente (20)

あなたの知っているSAPは古いかもしれません
あなたの知っているSAPは古いかもしれませんあなたの知っているSAPは古いかもしれません
あなたの知っているSAPは古いかもしれません
 
SAP HANA 2 SPS03 highlights and SAP HANA express edition
SAP HANA 2 SPS03 highlights and SAP HANA express editionSAP HANA 2 SPS03 highlights and SAP HANA express edition
SAP HANA 2 SPS03 highlights and SAP HANA express edition
 
[D35] インメモリーデータベース徹底比較 by Komori
[D35] インメモリーデータベース徹底比較 by Komori[D35] インメモリーデータベース徹底比較 by Komori
[D35] インメモリーデータベース徹底比較 by Komori
 
SAP HANA SP10最新情報詳細版
SAP HANA SP10最新情報詳細版SAP HANA SP10最新情報詳細版
SAP HANA SP10最新情報詳細版
 
AWSではじめるSAP HANA入門
AWSではじめるSAP HANA入門AWSではじめるSAP HANA入門
AWSではじめるSAP HANA入門
 
[db tech showcase Tokyo 2014] B11: [In-Memory DB: SAP HANA] OLTP/OLAPをシングルデータ...
[db tech showcase Tokyo 2014] B11: [In-Memory DB: SAP HANA] OLTP/OLAPをシングルデータ...[db tech showcase Tokyo 2014] B11: [In-Memory DB: SAP HANA] OLTP/OLAPをシングルデータ...
[db tech showcase Tokyo 2014] B11: [In-Memory DB: SAP HANA] OLTP/OLAPをシングルデータ...
 
Sap business suite on hana適合シナリオ診断 bsr サンプルレポート
Sap business suite on hana適合シナリオ診断 bsr サンプルレポートSap business suite on hana適合シナリオ診断 bsr サンプルレポート
Sap business suite on hana適合シナリオ診断 bsr サンプルレポート
 
[D14] 【詳解】インメモリーデータベース SAP HANA:実際の仕組みと動きを理解しよう!by Toshiro Morisaki
[D14] 【詳解】インメモリーデータベース SAP HANA:実際の仕組みと動きを理解しよう!by Toshiro Morisaki[D14] 【詳解】インメモリーデータベース SAP HANA:実際の仕組みと動きを理解しよう!by Toshiro Morisaki
[D14] 【詳解】インメモリーデータベース SAP HANA:実際の仕組みと動きを理解しよう!by Toshiro Morisaki
 
[db tech showcase Tokyo 2014] B25: [In-Memory DB: SAP HANA] 障害・災害対策のメカニズム by...
[db tech showcase Tokyo 2014] B25: [In-Memory DB: SAP HANA] 障害・災害対策のメカニズム  by...[db tech showcase Tokyo 2014] B25: [In-Memory DB: SAP HANA] 障害・災害対策のメカニズム  by...
[db tech showcase Tokyo 2014] B25: [In-Memory DB: SAP HANA] 障害・災害対策のメカニズム by...
 
B23,B31 sap sybase iq ~全部話します。IQのカラムストア方式、ビットワイズインデックス、DQP、カラム圧縮、等々 by Toshih...
B23,B31 sap sybase iq ~全部話します。IQのカラムストア方式、ビットワイズインデックス、DQP、カラム圧縮、等々 by Toshih...B23,B31 sap sybase iq ~全部話します。IQのカラムストア方式、ビットワイズインデックス、DQP、カラム圧縮、等々 by Toshih...
B23,B31 sap sybase iq ~全部話します。IQのカラムストア方式、ビットワイズインデックス、DQP、カラム圧縮、等々 by Toshih...
 
20150329 SAP InfiniteInsight(SAPが提供する機械学習エンジン)
20150329 SAP InfiniteInsight(SAPが提供する機械学習エンジン)20150329 SAP InfiniteInsight(SAPが提供する機械学習エンジン)
20150329 SAP InfiniteInsight(SAPが提供する機械学習エンジン)
 
[db tech showcase Tokyo 2015] B27:インメモリーDBとスケールアップマシンによりBig Dataの課題を解決する by S...
[db tech showcase Tokyo 2015] B27:インメモリーDBとスケールアップマシンによりBig Dataの課題を解決する by S...[db tech showcase Tokyo 2015] B27:インメモリーDBとスケールアップマシンによりBig Dataの課題を解決する by S...
[db tech showcase Tokyo 2015] B27:インメモリーDBとスケールアップマシンによりBig Dataの課題を解決する by S...
 
企業におけるHTML5を⽤いたスマートデバイス向けアプリ開発
企業におけるHTML5を⽤いたスマートデバイス向けアプリ開発企業におけるHTML5を⽤いたスマートデバイス向けアプリ開発
企業におけるHTML5を⽤いたスマートデバイス向けアプリ開発
 
DBP-001_SAP on Azure 移行事例の紹介
DBP-001_SAP on Azure 移行事例の紹介DBP-001_SAP on Azure 移行事例の紹介
DBP-001_SAP on Azure 移行事例の紹介
 
[db tech showcase Tokyo 2015] D22:インメモリープラットホームSAP HANAのご紹介と最新情報 by SAPジャパン株式...
[db tech showcase Tokyo 2015] D22:インメモリープラットホームSAP HANAのご紹介と最新情報 by SAPジャパン株式...[db tech showcase Tokyo 2015] D22:インメモリープラットホームSAP HANAのご紹介と最新情報 by SAPジャパン株式...
[db tech showcase Tokyo 2015] D22:インメモリープラットホームSAP HANAのご紹介と最新情報 by SAPジャパン株式...
 
Talend勉強会 20150414
Talend勉強会 20150414Talend勉強会 20150414
Talend勉強会 20150414
 
Oracle Cloud Platform - クラクドにおける 新たなデータベース開発
Oracle Cloud Platform - クラクドにおける新たなデータベース開発Oracle Cloud Platform - クラクドにおける新たなデータベース開発
Oracle Cloud Platform - クラクドにおける 新たなデータベース開発
 
Talend5.4~もう少し深く知る~(技術セッション)
Talend5.4~もう少し深く知る~(技術セッション)Talend5.4~もう少し深く知る~(技術セッション)
Talend5.4~もう少し深く知る~(技術セッション)
 
Oracle Database Cloud と無料の純正開発ツールで開発効率を改善しよう!(db tech showcase 2016 Oracle セッ...
Oracle Database Cloud と無料の純正開発ツールで開発効率を改善しよう!(db tech showcase 2016 Oracle セッ...Oracle Database Cloud と無料の純正開発ツールで開発効率を改善しよう!(db tech showcase 2016 Oracle セッ...
Oracle Database Cloud と無料の純正開発ツールで開発効率を改善しよう!(db tech showcase 2016 Oracle セッ...
 
Oracle Spatial 概要説明資料
Oracle Spatial 概要説明資料Oracle Spatial 概要説明資料
Oracle Spatial 概要説明資料
 

Similar a Sapporo tech bar 21

SAP Inside Track Tokyo 2019 Data Intelligence の展望とMLプロジェクト事例
SAP Inside Track Tokyo 2019 Data Intelligence の展望とMLプロジェクト事例SAP Inside Track Tokyo 2019 Data Intelligence の展望とMLプロジェクト事例
SAP Inside Track Tokyo 2019 Data Intelligence の展望とMLプロジェクト事例Yasuko Sekiguchi
 
SAP S/4HANA on AWS Tシャツモデル
SAP S/4HANA on AWS TシャツモデルSAP S/4HANA on AWS Tシャツモデル
SAP S/4HANA on AWS TシャツモデルTetsuya Kawahara
 
今さら聞けない HANAのハナシの基本のほ
今さら聞けない HANAのハナシの基本のほ今さら聞けない HANAのハナシの基本のほ
今さら聞けない HANAのハナシの基本のほKoji Shinkubo
 
非SAPの人に贈るSAP on AWS
非SAPの人に贈るSAP on AWS非SAPの人に贈るSAP on AWS
非SAPの人に贈るSAP on AWSRyusaburo Tanaka
 
Sap inside track2019tokyo_d3-in2_processvisibility_public
Sap inside track2019tokyo_d3-in2_processvisibility_publicSap inside track2019tokyo_d3-in2_processvisibility_public
Sap inside track2019tokyo_d3-in2_processvisibility_publicMasashi Yamazawa
 
SAP HANAのソースエンドポイントとしての利用
SAP HANAのソースエンドポイントとしての利用SAP HANAのソースエンドポイントとしての利用
SAP HANAのソースエンドポイントとしての利用QlikPresalesJapan
 
SAP on AWS 実際の導入例と導入効果
SAP on AWS 実際の導入例と導入効果SAP on AWS 実際の導入例と導入効果
SAP on AWS 実際の導入例と導入効果Amazon Web Services Japan
 
インメモリーデータベースを手軽にスケールアップ!逆仮想化ソリューションTidalScaleとは?
インメモリーデータベースを手軽にスケールアップ!逆仮想化ソリューションTidalScaleとは?インメモリーデータベースを手軽にスケールアップ!逆仮想化ソリューションTidalScaleとは?
インメモリーデータベースを手軽にスケールアップ!逆仮想化ソリューションTidalScaleとは?Tetsuo Yamamoto
 
[db tech showcase Tokyo 2018] #dbts2018 #E24 『インメモリデータベースを気軽にスケールアップ! 次世代サーバ仮...
[db tech showcase Tokyo 2018] #dbts2018 #E24 『インメモリデータベースを気軽にスケールアップ! 次世代サーバ仮...[db tech showcase Tokyo 2018] #dbts2018 #E24 『インメモリデータベースを気軽にスケールアップ! 次世代サーバ仮...
[db tech showcase Tokyo 2018] #dbts2018 #E24 『インメモリデータベースを気軽にスケールアップ! 次世代サーバ仮...Insight Technology, Inc.
 
Qlik TECH TALK 20210706 SAPデータ分析を加速するQlikのアクセレレーターパッケージご紹介
Qlik TECH TALK 20210706 SAPデータ分析を加速するQlikのアクセレレーターパッケージご紹介Qlik TECH TALK 20210706 SAPデータ分析を加速するQlikのアクセレレーターパッケージご紹介
Qlik TECH TALK 20210706 SAPデータ分析を加速するQlikのアクセレレーターパッケージご紹介QlikPresalesJapan
 
kintoneではじめるビジネスインテリジェンス
kintoneではじめるビジネスインテリジェンスkintoneではじめるビジネスインテリジェンス
kintoneではじめるビジネスインテリジェンスSakae Saito
 
Oracle Cloud PaaS & IaaS:2018年12月度サービス情報アップデート
Oracle Cloud PaaS & IaaS:2018年12月度サービス情報アップデートOracle Cloud PaaS & IaaS:2018年12月度サービス情報アップデート
Oracle Cloud PaaS & IaaS:2018年12月度サービス情報アップデートオラクルエンジニア通信
 
RayPen_製品資料_231101.pdf
RayPen_製品資料_231101.pdfRayPen_製品資料_231101.pdf
RayPen_製品資料_231101.pdfGrapeCity, inc.
 
20210217_sitTokyo_SAP CAI でユーザに優しくしたい
20210217_sitTokyo_SAP CAI でユーザに優しくしたい20210217_sitTokyo_SAP CAI でユーザに優しくしたい
20210217_sitTokyo_SAP CAI でユーザに優しくしたいMino Kato
 
Oracle Cloud PaaS & IaaS:2018年4月度サービス情報アップデート
Oracle Cloud PaaS & IaaS:2018年4月度サービス情報アップデートOracle Cloud PaaS & IaaS:2018年4月度サービス情報アップデート
Oracle Cloud PaaS & IaaS:2018年4月度サービス情報アップデートオラクルエンジニア通信
 
今だからこそ考えるSAP on SQL Server
今だからこそ考えるSAP on SQL Server今だからこそ考えるSAP on SQL Server
今だからこそ考えるSAP on SQL ServerHitoshi Ikemoto
 
継続?移行?Oracle SE2 RACのサポート終了に向けた備え
継続?移行?Oracle SE2 RACのサポート終了に向けた備え継続?移行?Oracle SE2 RACのサポート終了に向けた備え
継続?移行?Oracle SE2 RACのサポート終了に向けた備え株式会社クライム
 
ビジネスインテリジェンス入門~OSSでBIを始めよう~
ビジネスインテリジェンス入門~OSSでBIを始めよう~ビジネスインテリジェンス入門~OSSでBIを始めよう~
ビジネスインテリジェンス入門~OSSでBIを始めよう~Kensuke SAEKI
 

Similar a Sapporo tech bar 21 (20)

SAP Inside Track Tokyo 2019 Data Intelligence の展望とMLプロジェクト事例
SAP Inside Track Tokyo 2019 Data Intelligence の展望とMLプロジェクト事例SAP Inside Track Tokyo 2019 Data Intelligence の展望とMLプロジェクト事例
SAP Inside Track Tokyo 2019 Data Intelligence の展望とMLプロジェクト事例
 
SAP S/4HANA on AWS Tシャツモデル
SAP S/4HANA on AWS TシャツモデルSAP S/4HANA on AWS Tシャツモデル
SAP S/4HANA on AWS Tシャツモデル
 
今さら聞けない HANAのハナシの基本のほ
今さら聞けない HANAのハナシの基本のほ今さら聞けない HANAのハナシの基本のほ
今さら聞けない HANAのハナシの基本のほ
 
JAWS-UG Tokyo SAP
JAWS-UG Tokyo SAP JAWS-UG Tokyo SAP
JAWS-UG Tokyo SAP
 
非SAPの人に贈るSAP on AWS
非SAPの人に贈るSAP on AWS非SAPの人に贈るSAP on AWS
非SAPの人に贈るSAP on AWS
 
Sap inside track2019tokyo_d3-in2_processvisibility_public
Sap inside track2019tokyo_d3-in2_processvisibility_publicSap inside track2019tokyo_d3-in2_processvisibility_public
Sap inside track2019tokyo_d3-in2_processvisibility_public
 
SAP HANAのソースエンドポイントとしての利用
SAP HANAのソースエンドポイントとしての利用SAP HANAのソースエンドポイントとしての利用
SAP HANAのソースエンドポイントとしての利用
 
SAP on AWS 実際の導入例と導入効果
SAP on AWS 実際の導入例と導入効果SAP on AWS 実際の導入例と導入効果
SAP on AWS 実際の導入例と導入効果
 
はじめての SAP on AWS
はじめての SAP on AWSはじめての SAP on AWS
はじめての SAP on AWS
 
インメモリーデータベースを手軽にスケールアップ!逆仮想化ソリューションTidalScaleとは?
インメモリーデータベースを手軽にスケールアップ!逆仮想化ソリューションTidalScaleとは?インメモリーデータベースを手軽にスケールアップ!逆仮想化ソリューションTidalScaleとは?
インメモリーデータベースを手軽にスケールアップ!逆仮想化ソリューションTidalScaleとは?
 
[db tech showcase Tokyo 2018] #dbts2018 #E24 『インメモリデータベースを気軽にスケールアップ! 次世代サーバ仮...
[db tech showcase Tokyo 2018] #dbts2018 #E24 『インメモリデータベースを気軽にスケールアップ! 次世代サーバ仮...[db tech showcase Tokyo 2018] #dbts2018 #E24 『インメモリデータベースを気軽にスケールアップ! 次世代サーバ仮...
[db tech showcase Tokyo 2018] #dbts2018 #E24 『インメモリデータベースを気軽にスケールアップ! 次世代サーバ仮...
 
Qlik TECH TALK 20210706 SAPデータ分析を加速するQlikのアクセレレーターパッケージご紹介
Qlik TECH TALK 20210706 SAPデータ分析を加速するQlikのアクセレレーターパッケージご紹介Qlik TECH TALK 20210706 SAPデータ分析を加速するQlikのアクセレレーターパッケージご紹介
Qlik TECH TALK 20210706 SAPデータ分析を加速するQlikのアクセレレーターパッケージご紹介
 
kintoneではじめるビジネスインテリジェンス
kintoneではじめるビジネスインテリジェンスkintoneではじめるビジネスインテリジェンス
kintoneではじめるビジネスインテリジェンス
 
Oracle Cloud PaaS & IaaS:2018年12月度サービス情報アップデート
Oracle Cloud PaaS & IaaS:2018年12月度サービス情報アップデートOracle Cloud PaaS & IaaS:2018年12月度サービス情報アップデート
Oracle Cloud PaaS & IaaS:2018年12月度サービス情報アップデート
 
RayPen_製品資料_231101.pdf
RayPen_製品資料_231101.pdfRayPen_製品資料_231101.pdf
RayPen_製品資料_231101.pdf
 
20210217_sitTokyo_SAP CAI でユーザに優しくしたい
20210217_sitTokyo_SAP CAI でユーザに優しくしたい20210217_sitTokyo_SAP CAI でユーザに優しくしたい
20210217_sitTokyo_SAP CAI でユーザに優しくしたい
 
Oracle Cloud PaaS & IaaS:2018年4月度サービス情報アップデート
Oracle Cloud PaaS & IaaS:2018年4月度サービス情報アップデートOracle Cloud PaaS & IaaS:2018年4月度サービス情報アップデート
Oracle Cloud PaaS & IaaS:2018年4月度サービス情報アップデート
 
今だからこそ考えるSAP on SQL Server
今だからこそ考えるSAP on SQL Server今だからこそ考えるSAP on SQL Server
今だからこそ考えるSAP on SQL Server
 
継続?移行?Oracle SE2 RACのサポート終了に向けた備え
継続?移行?Oracle SE2 RACのサポート終了に向けた備え継続?移行?Oracle SE2 RACのサポート終了に向けた備え
継続?移行?Oracle SE2 RACのサポート終了に向けた備え
 
ビジネスインテリジェンス入門~OSSでBIを始めよう~
ビジネスインテリジェンス入門~OSSでBIを始めよう~ビジネスインテリジェンス入門~OSSでBIを始めよう~
ビジネスインテリジェンス入門~OSSでBIを始めよう~
 

Más de Insight Technology, Inc.

グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?Insight Technology, Inc.
 
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~Insight Technology, Inc.
 
事例を通じて機械学習とは何かを説明する
事例を通じて機械学習とは何かを説明する事例を通じて機械学習とは何かを説明する
事例を通じて機械学習とは何かを説明するInsight Technology, Inc.
 
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーンInsight Technology, Inc.
 
MBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごとMBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごとInsight Technology, Inc.
 
グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?Insight Technology, Inc.
 
DBREから始めるデータベースプラットフォーム
DBREから始めるデータベースプラットフォームDBREから始めるデータベースプラットフォーム
DBREから始めるデータベースプラットフォームInsight Technology, Inc.
 
SQL Server エンジニアのためのコンテナ入門
SQL Server エンジニアのためのコンテナ入門SQL Server エンジニアのためのコンテナ入門
SQL Server エンジニアのためのコンテナ入門Insight Technology, Inc.
 
db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉 db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉 Insight Technology, Inc.
 
db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也Insight Technology, Inc.
 
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー Insight Technology, Inc.
 
難しいアプリケーション移行、手軽に試してみませんか?
難しいアプリケーション移行、手軽に試してみませんか?難しいアプリケーション移行、手軽に試してみませんか?
難しいアプリケーション移行、手軽に試してみませんか?Insight Technology, Inc.
 
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介Insight Technology, Inc.
 
そのデータベース、クラウドで使ってみませんか?
そのデータベース、クラウドで使ってみませんか?そのデータベース、クラウドで使ってみませんか?
そのデータベース、クラウドで使ってみませんか?Insight Technology, Inc.
 
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...Insight Technology, Inc.
 
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。 複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。 Insight Technology, Inc.
 
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...Insight Technology, Inc.
 
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]Insight Technology, Inc.
 

Más de Insight Technology, Inc. (20)

グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?
 
Docker and the Oracle Database
Docker and the Oracle DatabaseDocker and the Oracle Database
Docker and the Oracle Database
 
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
 
事例を通じて機械学習とは何かを説明する
事例を通じて機械学習とは何かを説明する事例を通じて機械学習とは何かを説明する
事例を通じて機械学習とは何かを説明する
 
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
 
MBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごとMBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごと
 
グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?
 
DBREから始めるデータベースプラットフォーム
DBREから始めるデータベースプラットフォームDBREから始めるデータベースプラットフォーム
DBREから始めるデータベースプラットフォーム
 
SQL Server エンジニアのためのコンテナ入門
SQL Server エンジニアのためのコンテナ入門SQL Server エンジニアのためのコンテナ入門
SQL Server エンジニアのためのコンテナ入門
 
Lunch & Learn, AWS NoSQL Services
Lunch & Learn, AWS NoSQL ServicesLunch & Learn, AWS NoSQL Services
Lunch & Learn, AWS NoSQL Services
 
db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉 db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉
 
db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也
 
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
 
難しいアプリケーション移行、手軽に試してみませんか?
難しいアプリケーション移行、手軽に試してみませんか?難しいアプリケーション移行、手軽に試してみませんか?
難しいアプリケーション移行、手軽に試してみませんか?
 
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
 
そのデータベース、クラウドで使ってみませんか?
そのデータベース、クラウドで使ってみませんか?そのデータベース、クラウドで使ってみませんか?
そのデータベース、クラウドで使ってみませんか?
 
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
 
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。 複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
 
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
 
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
 

Último

Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Danieldanielhu54
 
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。iPride Co., Ltd.
 
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxAtomu Hidaka
 
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価sugiuralab
 
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directoryosamut
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000Shota Ito
 
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツールプレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツールsugiuralab
 
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ       2024/04/12の勉強会で発表されたものです。新人研修のまとめ       2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。iPride Co., Ltd.
 

Último (8)

Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
 
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
 
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
 
プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価プレイマットのパターン生成支援ツールの評価
プレイマットのパターン生成支援ツールの評価
 
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
 
プレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツールプレイマットのパターン生成支援ツール
プレイマットのパターン生成支援ツール
 
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ       2024/04/12の勉強会で発表されたものです。新人研修のまとめ       2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
 

Sapporo tech bar 21

  • 1. CUSTOMER 今さら聞けない SAP HANAの基本と最新情報 SAPPORO Tech Bar #21 新久保 浩二(しんくぼ こうじ) SAPジャパン株式会社 プラットフォーム事業本部 ビジネス開発部 シニア アーキテクト
  • 2. 3CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ Who are you? 2000 2002? 2003 20052004 2006 2010 2011 2015 2016 2017 PISO開発 なんとなく社会人 になってずっとPro*Cと PL/SQLを書く日々 2018 この辺でちょっとだけドイツの HANA開発チームに Insight TechnologyにOracleコンサル として入社 この辺でSAPにJOIN この辺でOracle Ace(ちなみに より先に認定) この辺でOracle Ace剥奪 (ちなみに も剥奪済み ☺) この辺からプロダクト開発 HANA担当でイマココ 多分このあたりで 氏に遭遇 この辺でJapan Oracle User Group(JPOUG)設立 このあたりはOracle DMA的な盛り 上がりを見せ始めた時期。でOracle Oak Tableのメンバーが結構、日本 に来始めた時期。Insight Technologyでは、DMA技術をPIでは なくPISOに適用。
  • 3. 4CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 4 SAP HANAにまつわる疑問1 SAP HANAって、OLAP(DWH)専用 のデータベースなんですよね?
  • 4. 5CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 5 SAP HANAにまつわる疑問1 そう。。。じゃないんです。 SAP HANAって、OLAP(DWH)専用 のデータベースなんですよね?
  • 5. 6CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 6 SAPとデータベース開発の歴史 TREX (Text Retrieval and information EXtraction) ‘97 ADABAS D SAP DB ‘03 ‘07 ‘98 ‘05 P*TIME ‘10 HANA 1.0 Sybase Column based in-memory data storage & processing & distributed infra(no SQL, no transaction support) And some processing engines are supported. (graph, search, classification, mining…) Row based on disk SQL access data storage & processing Data Integration (Data Services - ETL) Row based disk oriented Sybase ASE, Column based disk oriented Sybase IQ, Sybase SQL Anywhere, Sybase Replication Server … Row based in-memory SQL access data storage & processing BusinessObjectsMaxDB ‘16 HANA 2.0 ‘18 HANA 2.0 SPS03 By MySQL AB
  • 6. 7CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 7 SAP HANAの進化の歴史 (OLAPからHTAPへの進化) ミッションクリティカルシステム のための強固な基盤 SPS12 デジタル改革支援機能の強化と オープン化の促進SPS112015 IoTやビッグデータとの接続性と信頼性を強化 プラットフォーム機能の進化とシンプル化の促進 エコシステムの拡張 プラットフォームとしての柔軟性の強化 プラットフォーム化 (Smart Data Access) OLAP / OLTP 統合 (SAP Business Suite on SAP HANA) ビッグデータアプリ対応 (PAL/R言語対応) アジャイルデータマート対応 (SAP BW on HANA) アナリティクス対応 (SAP BusinessObjects 4.0 対応) インメモリーデータベースマーケットの開拓SPS1 SPS2 SPS3 SPS4 SPS5 SPS6 SPS7 SPS8 SPS9 SPS10 2010 2011 2012 2013 2014 2016 2016/11月 SAP次世代 デジタルプラットフォームへ躍進 データベース管理の進化 データ管理の進化 分析インテリジェンスの進化 アプリケーション開発の進化 BW/4HANAのサポート S/4HANAのサポート SoH / BWoHのサポート (NetWeaver 7.49以降) 現在はHANA2.0 SPS03 OLAP用途 OLAP用途に加え、 OLTP用途 データベースに加え、 プラットフォームと して進化
  • 7. 8CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 8 アナリストの評価 SAPは、 データベース、データ管理で リーダー として認められました The Forrester Wave • In-Memory Database Platforms • Translytical Data Platform • Streaming Analytics • Big Data Warehouse • Enterprise Data Virtualization • Predictive Analytics and Machine Learning Gartner Magic Quadrant • Operational Database Management System • Data Management Solutions for Analytics • Data Integration Tools • Data Quality Tools Challenges Contenders Strong Performers Leaders Strong Weak Current offering Weak Strong Strategy Market presence Challengers Leaders Niche Players Visionaries Abilitytoexecute Completeness of Vision As of November 2017 Figure 1: Magic Quadrant for Operational Database ManagementSystems, Source: Gartner (November 2017)
  • 8. 9CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 9 SAP HANAにまつわる疑問2 データベースでカラムストアって 流行ってるらしいけど、SAP HANA は、どうなの?
  • 9. 10CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 10 SAP HANAにまつわる疑問2 データベースでカラムストアって 流行ってるらしいけど、SAP HANA は、どうなの? まず、カラムストアのおさらい からしましょうか...
  • 10. 11PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 11© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER データベースのワークロード OLTP vs. OLAP OLTP OLAP データソース 日々のビジネスデータ: OLTPのデータはオリジ ナルのデータ (ビジネスデータの発生源) 統合されたデータ: OLAPのデータは多くの OLTPデータベースのデータから構成される データの目的 ビジネスの実行とコントロール 計画、意思決定のサポート 求められる処理スピード 低レイテンシー 高スループット データベース設計 多くのテーブルによる高度な正規化 一般的に非正規化された少ないテーブル (star/snowflake schema) クエリー 一般的に定型的で、シンプル 一般的に集約を含む非定型で、複雑 オペレーション 追加、変更、削除、読み取り 読み取り データセット 6-18ヶ月 数年-十数年
  • 11. 12PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 12© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER データベースのワークロードとデータストアの最適化 Row Store vs. Column Store Column Store • OLAP向き • 大量データのバルクロード、スキャン • 集計、最大/最小、平均、演算 • 高スループットな参照性能 一 般 的 な 認 識 • OLTP向き • 少量データのRead/Write • 更新、ショートトランザクション • 低レイテンシーなトランクション性能 • リアルタイムプラットホームとしての位置付け • OLAP処理高速化テクノロジーの実装 • OLTP性能向上テクノロジーの実装 • OLTPとOLAPの性能両立 SAPHANA • 超高速OLTPデータベース Row Store *SAP HANAのテーブルは、カラム/ローのいずれかを選択。カラム⇄ロー変換も可能
  • 12. 13PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 13© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER データベースのワークロードとデータストアの最適化 Row Store vs. Column Store SAP HANAはRow StoreテーブルとColumn Storeテーブルの両方をサポートします。 一般的には全てのワークロードに対してColumn Storeテーブルを使用することを推奨します。 Country Product Sales US Alpha 3,000 US Beta 1,250 JP Alpha 700 US Alpha 3,000 US Beta 1,250 JP Alpha 700 Row #1 Row #2 Row #3 US US JP Alpha Beta Alpha 3,000 1,250 700 Country Product Sales テーブル Row Storeテーブル Column Storeテーブル アプリケーションからはRow Store Tableも Column Store Tableも同一のTableのように 透過的に扱えます
  • 13. 14PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 14© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER Column Store Dictionary compression Nameカラム 無圧縮 Miller John Millman Zsuwalski Baker Miller Jones Miller Johnson John Millman Nameカラム ディクショナリーエンコーディング 4 1 5 N 0 4 3 4 2 1 5 Value ID配列 0 Baker 1 John 2 Johnson 3 Jones 4 Miller 5 Millman N Zsuwalski … ディクショナリー配列 実データとしてはディクショナリー配列を参照するValue IDを格納 カラム単位でDictionary/Value ID配列を作成 • Dictionary:ユニークなカラム値を格納 (位置がValue IDを示す) • Value ID配列:全てのエントリーのValue IDを格納 (位置がRecord IDを示す)
  • 14. 15PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 15© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER Column Store Advanced compression プレフィックスエンコーディング 4 4 4 4 4 4 4 4 3 5 3 1 1 0Uncompressed 8 4 3 5 3 1 1 0Prefixed Encoded 値 出現回数 ランレングスエンコーディング 5 5 5 4 4 4 4 3 3 2 2 2 2 2Uncompressed 5 4 3 2Run-Length Encoded 値 開始位置0 3 7 9 Advanced compression • Prefix Encoding 連続する値を値+繰り返し回数にエンコード • Run Length Encoding (RLE) 連続する値に対して反復を削除して配列の開始位置を保持 • Cluster Encoding 配列を分割、全数同じであれば1文字置換 • Sparse Encoding 最も頻出する値を削除 • Indirect encoding 配列を分割、低カーディナリティであれば再度辞書圧縮
  • 15. 16PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 16© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER Column Store Advanced compression 4 4 4 4 4 4 4 3 3 0 0 0Uncompressed 4 4 4 3 3 0Cluster Encoded Bit Vector 1 1 0 1 クラスターが単一数値に 置き換えられた場合は1 4 4 4 3 3 1 0 0 0 4 4 4 4 0Uncompressed 4 3 3 1 0 0 0 0Sparse Encoded Bit Vector 頻出の値が削除された場合は1 1 1 1 0 0 0 0 0 0 1 1 1 1 0 2 1 576 9 1 2 2 9 88 21 3 19 46 79 45 13 9 6 9 6 3 6 9 3Uncompressed Compressed 1 0 3 2 0 1 1 2 88 21 3 19 46 79 45 13 2 1 2 1 0 1 2 0 0 1 1 2 2 9 3 576 0 3 1 6 2 9 Dictionary for block#1 Dictionary for block#3 block#2はカーディナリティが高いため 追加のディクショナリ圧縮は行わない クラスターエンコーディング スパースエンコーディング インダイレクトエンコーディング
  • 16. 17PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ 17© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER Column Store デルタマージ インメモリデータベース デルタストレージ メインストレージ Write デルタマージ Consistent View マネージャー(Read) 書き込みに最適化された領域(デルタストレージ)に対し て、Insert/Update/Deleteを全てInsertで実行する(追記のみ のシンプルなオペレーション) Readオペレーションから、メイン/デルタストレー ジを隠蔽し、仮想的に1テーブルの外観を提供。 Deleteオペレーションによるローの無効化も実行。 トランザクションのIsolation Level(MVCC)も管理。 トランザクション処理とは非同期でデルタストレージを メインストレージにマージする 書き込みに最適化された領域(ディクショナリー圧縮のみ) 読み取りに最適化された領域(圧縮) デルタストレージは純粋なカラムストアでは なく書き込みにも最適された形式
  • 17. 18CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 18 SAP HANAにまつわる疑問3 インメモリーDBとかカラムストア とかって、ちゃんとトランザク ションをサポートできるの?
  • 18. 19CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 19 SAP HANAにまつわる疑問3 インメモリーDBとかカラムストア とかって、ちゃんとトランザク ションをサポートできるの? もちろん、リレーショナルDBな ので、きっちりトランザクショ ンもサポートしてますよ。
  • 19. 20PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 20 Transaction トランザクション分離レベルと特徴 トランザクション分離レベル ダーティリード ファジーリード ファントムリード READ UNCOMMITTED 発生する 発生する 発生する READ COMMITTED 発生しない 発生する 発生する REPEATABEL READ 発生しない 発生しない 発生する SERIALIZABLE 発生しない 発生しない 発生しない トランザクション分離レベル ダーティリード ファジーリード ファントムリード ロストアップデート READ UNCOMMITTED 非サポート 非サポート 非サポート 非サポート READ COMMITTED 発生しない 発生する 発生する 発生する REPEATABEL READ 発生しない 発生しない 発生しない 発生しない SERIALIZABLE 発生しない 発生しない 発生しない 発生しない - ANSI定義のトランザクション分離レベル - HANAのトランザクション分離レベル
  • 20. 21PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 21 Transaction 同時実行性制御(MVCC)とデルタマージ udiv Invalid CTS DTS X Y 1 0 42 undef 1 100 Create column table T (x int primary key, y int); Insert into T values (1, 100); (by transaction 42, new recordversion is appended) Update T set Y=Y+1 where x=1; (by transaction 44) udiv Invalid CTS DTS X Y 1 0 42 44 1 100 2 0 44 undef 1 101 CTS=Valid From DTS=Valid To Consistent View マネージャーにより計算され、各トランザクションで整合性の とれたデータがフィルターされます
  • 21. 22PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 22 Transaction 同時実行性制御(MVCC)とデルタマージ • MVCC garbage collection: トランザクションがcommitされるとMVCC garbage collectionが実行される Before garbage collection After garbage collection (udiv:1を参照するト ランザクションが存在しない場合) udiv Invalid CTS DTS X Y 1 0 42 44 1 100 2 0 44 undef 1 101 udiv Invalid CTS DTS X Y 1 1 undef undef 1 100 2 0 undef undef 1 101 udiv Invalid CTS DTS X Y 2 0 undef undef 1 101 • Delta Merge: 定期的に実行されるDelta Mergeにより全てのトランザクションからInvisible(Invalid)なレコードは削除される
  • 22. 23CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 23 SAP HANAにまつわる疑問4 IntelとかIBM POWERチップに最適 化されていると聞くんですけど、 具体的に何ですか?
  • 23. 24CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 24 SAP HANAにまつわる疑問4 そう。それ、すごい大事 なん ですよ。 IntelとかIBM POWERチップに最適 化されていると聞くんですけど、 具体的に何ですか?
  • 24. 25CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 25 CPU/Memoryのパフォーマンストレンド Performance 100,000 CPU自体の純粋なスピード(クロックスピード) の向上は見込めないので、CPU内、CPUコア間 での効率の良い並列処理が必要になる。 In-Memoryの世界だと、メインメモリーはCPUに比較して圧倒的 に低速なので、メインメモリーに対して何も考えずにアクセスす ると、皆さんが思うほどのパフォーマンスアップは望めない。 1980 1985 1990 1995 2000 2005 2010 10 100 1,000 10,000 Processor CPU/Memory Performance GAP Processor-Memory Performance GAP Memory 1978 1980 1982 1984 1986 1988 1990 1992 1994 1996 1998 2000 2002 2004 2006 10 100 1,000 10,000 1.5, VAX-11/785 VAX-11/780 VAX8700 Sun-4/260 MIPS M/120 MIPS M2000 IBM RS6000/540 HP PA-RISC, 0.05GHz Alpha 21064, 0.2GHz PowerPC 604, 0.1GHz Alpha 21064A, 0.3GHz Alpha 21164A, 0.3GHz Alpha 21164, 0.5GHz Alpha 21164, 0.6GHz Alpha 21264, 0.6GHz Alpha 21264A, 0.7GHz Intel Pentium Ⅲ,1.0GHz AMD Athlon, 1.6GHz Intel Pentium 4, 3.0GHz AMD Opteron, 2.2GHz Intel Xeon, 3.6GHz 64bit Intel Xeon, 3.6GHz 9 13 18 24 51 80 117 183 280 481 649 993 1267 1779 2584 4195 5367 5764 6505 Performance(vs.VAX-11/780) 25%/Year 52%/Year 20%/Year History of CPU Performance 5
  • 25. 26CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 26 インメモリーの世界でのボトルネックはどこか? Disk ディスクは信じられないくらい遅いので、 アーカイブとトランザクションの永続化くら いの用途で、それ以上は、もう考えない。 - CPUのクロックスピードは頭打ちなので、 もっと賢くCPUを使わないとね - 同じコードを書いていても、CPUの 進化に合わせて勝手にスピードアッ プする時代は終わり - 効率の良いコードに書き換えないと (SIMDとかTSXとかを使うように) - さらにはメインメモリーへのアクセ スを削減しないとね CPU1 CPU2 CPU3 CPU4 - メインメモリーは速くないよ - 帯域は広くなっているけど、レイテンシー が全然ダメ - 特に(CPU)キャッシュミスした時のメインメ モリーアクセスは本当に悪夢 - あと、NUMAアーキテクチャーに即した データローカリティを考えないとね - CPUのクロックスピードは頭打ちなので、 もっと賢くCPUを使わないとね - 同じコードを書いていても、CPUの 進化に合わせて勝手にスピードアッ プする時代は終わり - 効率の良いコードに書き換えないと (SIMDとかTSXとかを使うように) - さらにはメインメモリーへのアクセ スを削減しないとね CPU core CPU cache CPU core CPU cache CPU core CPU cache CPU core CPU cache メインメモリー
  • 26. 27CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 27 ハードウェアとOLAPの最適化のおさらい(の一部) Pentium ⅢよりSSE(Streaming SIMD Extensions)として搭載されSIMDレジスタのサイズは128bit、Sandy BridgeよりIntel AVX (Advanced Vector eXtensions)となりSIMDレジスタのサイズは256bit。Intel SkylakeはSIMDレジスタサイズは512bitとなり、 今後SIMDレジスタサイズは増加していくと考えられる。(* ここではIntel版のみ言及) 1 2 3 4 4個のデータの集合A(配列A) 1 2 3 4 4個のデータの集合B(配列B) を順番に足し算したい 1 2 3 4 1 2 3 4 2 4 6 8 + + + + = = = = 1 2 3 4 1 2 3 4 + (SIMD_Plus) 2 4 6 8 = +演算は 4回 従来の処理では、4個のデータ を処理するのに+演算(足し 算)が4回必要 +演算は 1回 SIMD演算では、4個のデータ を1回の+演算(足し算)で実行 => CPU演算の削減 SIMDレジスタサイズ(この場合は128bit ← ココのサイズが大きるなる傾向) A: B:
  • 27. 28CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 28 OLTPの(インメモリー)データベースとしての課題(の一部) OLTPでの同時実行性の制御 - ロックやラッチ(semaphore、mutex) 古典的な手法で、あまり細かい粒度でリソースを管理するとパフォーマンスが良くないので、適度な粒度でまとめてリソースを管理します。 まとめて管理されるため、影響を受ける範囲が広がり、同時実効性が悪くなる場合があります。また、パフォーマンス向上のために各所に スピンロック(いわゆる無限ループ)も使用されるためロックの頻度によってはパフォーマンスオーバーヘッドが大きい場合があります。 さらに、容易にデッドロックが発生させることが可能なのでコードの安定性とメンテナンスには常に困難が伴います。 インメモリーの世界では、I/Oボトルネックは排除される反面、 高トランザクション状態ではトランザクションシリアライズに 多くの時間がかかる トランザクションの16-25%はlock manager関連との調査結果 “Lightweight Locking for Main Memory Database Systems” http://www.vldb.org/pvldb/vol6/p145-ren.pdf
  • 28. 29CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 29 OLTPの課題のSAP HANAとしての最適化(の一部) - トランザクショナル・メモリー H/W(CPU)で古典的なロック処理を実装。ユーザー(データベース)はH/Wがロック違反 を検知した場合のみを実装すれば良い。 多くの場合は、スピンロックが不要になり、基本的にデッドロックも発生しない。 同時実行時の競合がない場合は、OSのスケジューラーのオーバーヘッドも発生しない。 ただ、パフォーマンスの最適化はコンパイラー次第 なので、チップベンダー (≒コンパイラーベンダー)との協業が大事 START XBEGIN 投機的実行 競合判定 or XABORT Write-set反映、破棄 XEND END Write-set破棄 ABORTの状態をレ ジスタに記憶 * TSXのRTM(Restricted Transactional Memory)の場合 基 本 的 に ハ ー ド ウ ェ ア 実 装 で の 処 理 ( ト ラ ン ザ ク シ ョ ナ ル メ モ リ ー ) 競 合 発 生 時 は ソ フ ト ウ ェ ア 実 装 で の 処 理 ( 従 来 の ロ ッ ク や ラ ッ チ ) TSX使用時のイメージ 通常の処理 OLTPでの同時実行性の制御
  • 29. 30CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 30 SAP HANAにまつわる疑問5 インメモリーデータベースのSAP HANAって揮発性なんですよね?
  • 30. 31CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 31 SAP HANAにまつわる疑問5 そうそう。シャットダウンすると全部消えて無くなります。 とかありませんから! インメモリーデータベースのSAP HANAって揮発性なんですよね?
  • 31. 32CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 32© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAの永続化の話をする前に 一般的なデータベースの永続化 キャッシュ(バッファー) データ Tx Tx ログ ユーザーの要求により ディスク上のデータブ ロック or ページをキャッ シュに載せる 1 各トラザクションの更新 はキャッシュを直接更新 する 3 有限のキャッシュ領域を LRUで管理 2 更新の確定の前には必ずログ に更新履歴を同期書き込みで 書く(Write Ahead Log=WAL) 3 更新されたキャッシュは 遅延書き込みによりディ スク上に永続化される (Checkpoint) 4 基本的にディスク上 のブロックイメージ がキャッシュ上に存 在する LRU Tx
  • 32. 33CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 33© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAの永続化の話 インメモリーといえどもデータベースの永続化はディスク インメモリーデータベース Tx Tx 各トラザクションの更新 はメモリーを直接更新す る 3 更新の確定の前には必ずログ に更新履歴を同期書き込みで 書く (Write Ahead Log=WAL) 3 更新されたデータは遅延 書き込みによりディスク 上に永続化される (Savepoint) 4 ディスク上のブロッ クイメージとインメ モリーデータベース のページイメージは 異なる テ ー ブ ル インメモリー データベース LRU データ ログ 起動時にディスク上のカ ラム全体 or ユーザー要求 によりデータページをメ モリーに載せる 1 Tx 有限のメモリー領域を LRUで管理(カラム or ペー ジ単位) 2
  • 33. 34CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 34© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAの永続化の話 SAP HANAの永続化レイヤー パーシスタンスレイヤー(永続化レイヤー) HANAデータベースのストレージ管理、トランザクションログ 管理、システムリスタート時のリカバリー管理などを行う • データボリューム ✓ データとUndoを保持するストレージ領域 • ログボリューム ✓ トランザクションログ(REDO)を保持するストレージ領域 ✓ データベースの変更(トランザクション)ログを保存するエリア 同期、非同期によるディスクへの書き込み • セーブポイント(非同期) ✓ メモリー上の変更データをデータボリュームに書き込む(デフォルトで 300秒ごとの遅延書き込み) • コミット(同期) ✓ トランザクション確定のログエントリーを含むログバッファー上のデー タをログボリュームに書き込む メモリー ストレージ データベース ログボリューム データボリューム トランザクションログ (WAL)の書き出し - Log Buffer FULL - Commit/Rollback 定期的な自動 セーブポイント (Shadow Paging) SAP HANA UNDO DATAREDO Log Buffer Row Store Column Store ログセグメント ログセグメント ログセグメント
  • 34. 35CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 35© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAの永続化の話 SAP HANAでのストレージへのI/Oパターンのまとめ シナリオ Data Volume Log Volume Backup Storage 書き込みトランザクション - WRITE OLTP – 概ね4KBのシーケンシャルI/O OLAP – より大きなI/Oサイズ (1 MBを上 限に可変) - セーブポイント、スナップショット、 デルタマージ WRITE 4 KB – 64 MB 非同期、並列I/O (データ量 はシステム負荷に依存) - - DB再起動、フェイルオーバー、テイ クオーバー READ 4 KB – 64 MB 非同期、並列I/O (データ量 はRow Storeのサイズに依存) READ 256 KB 非同期I/O - Column Storeのテーブルロード READ 4 KB – 16 MB 非同期、並列I/O - - データボリューム・バックアップ READ 4 KB – 64 MB 非同期I/O (バッファーサイ ズは512 MB) - WRITE 512 MB シーケンシャルI/O (設定可能) ログ・バックアップ - READ 4 KB – 128 MB 非同期I/O (バッファーサ イズは128 MB) WRITE 4 KB – 128 MB シーケンシャルI/O リカバリー WRITE 4 KB – 64 MB 非同期、並列I/O READ 256 KB 非同期I/O READ Data backup: 512 MBのバッファーI/O Log backup: 128 MBのバッファーI/O
  • 35. 36CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 36 SAP HANAにまつわる疑問6 SAP HANAってエンタープライズ系 の機能(バックアップ、高可用性、 災害対策とか) ないんでしょ。
  • 36. 37CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 37 SAP HANAにまつわる疑問6 実はエンタープライズど真ん中で 信頼性は抜群ですよ。 SAP HANAってエンタープライズ系 の機能(バックアップ、高可用性、 災害対策とか) ないんでしょ。
  • 37. 38CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 38© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAのバックアップ、リカバリー 共通 – 圧縮データのため短時間で完了 – 3rdパーティー製バックアップツール利用可能 バックアップ – メモリー上のDBの永続化は通常運用中に行われる (セーブ ポイント) – フル、差分、増分バックアップ ▫ データボリュームのコピー(オンライン) – ログバックアップ (自動) ▫ ログボリュームのコピー (*1) (*1) バックアップは自動ですが、外部ストレージへの退避等は手動で実行する必要があります。 リカバリー – ポイントインタイムリカバリー可能 バックアップ 管理上のメリット ◼ バックアップカタログによる世代管理、整合性チェック ◼ ストレージ・スナップショットの利用も可能(HANAのスナップショットを利用して) リカバリー メモリー ストレージ データベース ログ ボリューム データ ボリューム Log Volume Data Volume Log Volume Data Volume ログ ボリューム データ ボリューム バックアップ メモリー ストレージ ログ ボリューム データ ボリューム Log Volume Data Volume Log Volume Data Volume ログ ボリューム データ ボリューム バックアップ メモリー上にロード (+ UNDO) REDO
  • 38. 39CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 39© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAの高可用性 Geo clusters ビジネスの継続性 データセンター内の 高可用性 データセンター間の ディザスタリカバリー SAP HANA Host Auto-Failover (Scale-Outのスタンバイ構成) SAP HANA System Replication SAP HANA Storage Replication SAP HANA System Replication
  • 39. 40CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 40© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAの災害対策 / 高可用性 SAP HANA System Replication HANA Worker Server HANA Worker Server HANA Worker Server HANA Standby Server HANA Worker Server HANA Worker Server HANA Worker Server Cluster ClusterLog shipping(*) Delta data shipping System Replication  HANA組込みのデータベースレプリケーション機能  自動での切り替え(Takeover)機能はないので、クラスターマネージャーと連携が必要
  • 40. 41CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 41© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAの災害対策 / 高可用性 SAP HANA System Replication : Replication mode セカンダリーと接続が失われるとプライマリーとの整合性の維持はしない セカンダリーと接続が失われても障害が回復されるまでプライマリも待ち状態 Synchronous(Fullオプション) プライマリー セカンダリー LogData Data Log ⚫ ログはセカンダリーサイ トに同期転送される ⚫ ログ転送は、セカンダ リーサイトのディスク保 存まで プライマリー セカンダリー LogData Data Log Synchronous ⚫ 正常時の動きは Synchronous(Fullオプ ション)と同様 Synchronous in memory ⚫ ログはセカンダリーサイ トに同期転送される ⚫ ログ転送は、セカンダ リーサイトでのメモリー 保存まで プライマリー セカンダリー LogData Data Log メモリ Asynchronous プライマリー セカンダリー LogData Data Log バ ッ フ ァ ー ⚫ ログはセカンダリーサイ トと接続されているネッ トワーク経路にログ転送 が開始されると完了。 ⚫ 非同期転送される TransactionBy e Transaction Transaction Transaction
  • 41. 42CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 42© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANAの災害対策 / 高可用性 SAP HANA System Replication : Active/Active read enabled OS: DNS, hostname, Virtual IP HASolutionPartner HASolutionPartner Primary Name Server Index Server ログ ボリュー ム データ ボリュー ム Secondary Name Server Index Server ログ ボリュー ム データ ボリュー ム ② Log Shipping ① Initial Data Copy ③ HANA 2 SPS 00 〜 mode=logreplay_readaccess ④ 継続的に(プライマリーとは非同期)ログボリュームをリカバリー(リプレイ) SAP HANA Client Library アプリケーション I : Primaryに接続 Ⅱ : Secondaryに接続 I : Primaryに接続 Ⅱ : Secondaryに接続 認証 リソース及び処理内容から Primary/Secondaryでの実行を dispatch (Hint文でSecondary での実行を強制可能) 認証をPrimaryに依頼 必要に応じてSecondaryで クエリーを実行
  • 42. 43CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 43 SAP HANAにまつわる疑問7 メモリーだけだと、そんなに多く のデータを管理できないよね?
  • 43. 44CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 44 SAP HANAにまつわる疑問7 メモリーだけだと、そんなに多く のデータを管理できないよね? 大丈夫です。様々なデータ管理の 手法を提供しています。ビッグ データとの連携も可能ですよ。
  • 44. 45© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Dynamic Tiering SAP HANA + Extended Table + SAP IQ + Hadoop 各ドメインの強みを生かしたデータ処理 • In-Memory Platform • リアルタイムでのOLTP/OLAP処理 • テキスト、地理情報などのへのネイ ティブな分析関数 • Diskベースのカラムストア • 高速かつ効率の高い圧縮 • データ定義、バックアップなどが HANAから透過的に実行可能 • TB〜PBまでの構造化データに対して クエリーが可能 • データの重複保持はしない • ネイティブなHANAの機能ではない • システムのデータの配置場所をIQに変更 • NLSとして読み込み専用ストレージとして 使用 • データにより異なるSLA要求に柔軟に対応 HANA Hot Dynamic Tiering Warm SAP IQ Cold • SDAによるHive/Sparkでの接続 • vUDFによる既存のMarReduceジョブの活 用 • vUDFはSQLとして実行も可能 Raw Hadoop
  • 45. 46© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Dynamic Tiering 概要 SAP HANA Database System SAP HANA Hot store Table (Classical HANA Table) SAP HANA Warm store Table (Extended Table) 参照更新 参照更新 アプリケーション Hot storeから Warm storeに データを移動 Dynamic Tiering単体としては、HANAに統合された(とはいえ、単純な)ディスクベースのテーブルの 提供のみ(<= SPS12)。データの参照、更新、移動はアプケーション側の実装に依存。 データの場所(hot/warm)がアプリケーションから透過的ではない!
  • 46. 47© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Dynamic Tiering Data Lifecycle Manager SAP HANA Database System SAP HANA Hot store Table (Classical HANA Table) SAP HANA Warm store Table (Extended Table) 参照更新 更新 アプリケーション Hot storeから Warm storeに データを移動 Data Warehousing Foundation Data Lifecycle Manager(DLM) Union View (HANA Calc View) DLMにより自動化が可能 DLMにより参照はアプリケーショ ンから透過的にすることが可能 データの参照に関しては、DLMによりアプリケーションから透過的。 データの更新に関しては、DLMを使用してもデータの場所(hot/warm)がアプリケーションから透過 的ではない! 参照 参照
  • 47. 48© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Dynamic Tiering Multistore Table SAP HANA Database System SAP HANA Hot store Partition (Classical HANA Table/Partition) SAP HANA Warm store Partition (Extended Table/Partition) 参照更新 アプリケーション Hot storeから Warm storeに データを移動 (逆も) Partitioned Table (Multistore Table) データの参照/更新に関して、Multistore Tableによりアプリケーションから完全に透過的。 Part#1 Part#2 Part#3 Part#4 Partition単位でデータ移動 Part#5 Part#6 Part#7 Part#8
  • 48. 49CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 49 SAP HANAにまつわる疑問8 SAP HANAは良いのだけど、既存に データベースがいっぱいあって、 統合するのは大変そう…
  • 49. 50CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 50 SAP HANAにまつわる疑問8 SAP HANAは良いのだけど、既存に データベースがいっぱいあって、 統合するのは大変そう… そのためにデータ統合機能(仮想、 物理)もあります。 そもそも、全てをSAP HANAに置く必要はないかもしれませんよ。
  • 50. 51CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 51© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Platform : Data Integration Services SAP HANA Virtual Physical ETL Virtual Model Real-Time No-Data movement Flexible data model Integration Service OData SAP IQ, SAP ASE, Oracle, SQL Server, Teradata … Data federation Real time/Batch ETL Streaming Service Remote Data Sync Streaming Lite (IoT Gateway) Device/Sensor SAL SQL Anywhere Ultra Lite SAL SQL Anywhere Ultra Lite SAL SQL Anywhere Ultra Lite 既存データ資産の保護とシステム構成のシンプル化 データ仮想化による仮想DWHの構築 Real-Time/BatchによるETLのサポート ストリームデータからリアルタイムをアクション Enterprise Architecture Designer: - ビジネス/ITプロセスで一貫性のあるモデリング Agile Data Preparation: - セルフサービスによるデータの準備、加工、品質 Smart Data Access: - 既存のデータベース、HadoopへのData Virtualization - 双方向の参照、更新のサポート Smart Data Integration/Quality: - 各アダプターにより既存データベース/APIからReal- Time/BatchによるETL/Replicationをサポート Smart Data Streaming: - 断続的にデバイスから送信されるストリーミングデー タをSAP HANAに蓄積される前に効率的に処理 - SAP HANAの前にゲートウェイとしてStreaming Liteを 配置可能 Remote Data Sync: - SAP HANAとSAP SQL Anywhereとの双方向同期 - 断続接続環境、低帯域ネットワーク環境のサポート
  • 51. 52CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 52© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Platform : Data Integration Services Smart Data Access ベネフィット ⚫ ローカルテーブルのようにリモートデータへアクセスが可能 ⚫ 述語のプッシュダウン、他のデータベース上の各機能の補完 などのクエリの分析を含むスマートなクエリ処理 ⚫ データのある場所によらず開発が可能 ⚫ 異なるデータソースのアクセスに特別な構文は不要 データソース ⚫ Oracle, SQL Server, Teradata, DB2, Netezza ⚫ Hadoop – Hive (Hortonworks, Cloudera, MapR, etc.), Spark ⚫ SAP HANA ⚫ SAP Vora ⚫ SAP ASE, SAP IQ, SAP MaxDB, SAP SQLAnywhere, SAP ESP ⚫ Google BigQuery SAP HANA 3rd パーティーデータソース Netezza ビッグデータ Db2 SQL Server Oracle SAP HANA SAP ASE SAP IQ SAP ESP Teradata VirtualPhysical SAP HANA Smart Data Access データモデル
  • 52. 53CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 53© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Platform : Data Integration Services Smart Data Integration 機能概要: ⚫ さまざまなデータ配信方式をサポート • データ仮想化 (フェデレーション) • リアルタイムレプリケーション (対応データソースのみ) • バッチ (ETL / ELT) ⚫ 他ターゲットへのデータの配布のサポート (双方向) ⚫ オンプレミス、クラウド、ハイブリットに対応する アーキテクチャの採用 ⚫ 直観的でわかりやすい Web ベースの設計ツール ⚫ オープンフレームワークの採用 • 一般的なソースに対するすぐに利用できるアダプタ • カスタムアダプタを作成するためのオープンなSDK Data Provisioning Agent(dpagent) SAP HANA Data Provisioning Server(dpserver) 非データベース アダプタ カスタムアダプタ (SDK) データベース アダプタ Smart Data Accessと違って、Server/Agent方式によりオンプレ/クラウド 連携や、Firewallを超えられないネットワーク環境でも柔軟にデータ連携 が可能 VirtualPhysical OData データベース ビッグデータ ファイル API連携 ソーシャル
  • 53. 54CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 54© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Platform : Data Integration Services Hadoop Integration SAP HANA VirtualPhysical SAP HANA Smart Data Access データモデル Data Provisioning Server(dpserver) Data Provisioning Agent(dpagent) Hive Hadoopクラスター SAP HANA spark controller Spark SQL Hive ODBC Virtual UDF WebHDFS WebCAT Impala HDFS HDFS
  • 54. 55CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 55 SAP HANAにまつわる疑問9 Hadoopといえば、SAPさんには、 ビッグデータのソリューションな いの?
  • 55. 56CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 56 SAP HANAにまつわる疑問9 Hadoopといえば、SAPさんには、 ビッグデータのソリューションな いの? いっぱいあって説明が大変なくら いあります。。。
  • 56. SAP Cloud Platform Big Data Services Ashburn, VA Santa Clara, CA St. Leon-Rot
  • 57. SAP Vora Distributed Computing Cluster Files Vora Spark Extension Spark … Files Vora Spark Extension Spark Files Vora Spark Extension Spark Microsoft Azure Data Lake Store* Amazon S3 Apache Hadoop HDFS MapR-FS Kubernetes: オンプレミス or クラウド: Hadoop / Spark cluster 分散トランザクションログ Disk Based Relational データモデラー In-Memory Relational Time Series Graph Doc Store Kubernetes Cluster データ サイエンス 予測分析 ビジネス インテリジェンス レポーティング アプリケーション Vora 2.0系からHadoopは必須コンポーネント ではなくなりました。 SAP Vora Cloud Storage
  • 58. SAP Data Hub • Orchestrate : デジタルランドスケープ内のデータを調整 してビジネス上の意思決定を促す • Integrate : SAP EIMポートフォリオによるデータ統合機能 とSAP Voraによるデータ処理を分散ランタイムとして統合 • Open : ビッグデータ中心のオープンなアーキテクチャー (Hadoop、Cloudストレージ、Kafka、機械学習…) • Innovative : Kubernetesに基づく革新的なサーバーレス・ コンピューティング アーキテクチャー エンタープライズ全体のデータ駆動型プロセスを統合
  • 59. SAP Data Hub データ取得ツール スクリプト/コード データ準備ツール SAP HANA BI/BA データ オーケストレーション SAP Vora データ パイプライン • 分断されたシステムとツール • スクラッチでのコードやスクリプト • プロセスの自動化が困難 • ガバナンスとプロジェクトのスケール が困難 • アプリケーションに様々なデータを 提供可能 • ビジュアルモデリング(コーディング の必要なし) • プロセスの自動化とスケジュール • ガバナンスとデータ管理 SAP Data Hub センサーデータ エンタープライズ データ ヘルスケア データ 自動運転
  • 60. 61CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 61 SAP HANAにまつわる疑問10 そもそも、SAP HANAって普通に SQLでアクセスするRDBMSなんで したっけ?
  • 61. 62CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 62 SAP HANAにまつわる疑問10 そもそも、SAP HANAって普通に SQLでアクセスするRDBMSなんで したっけ? そう。でも、それだけじゃないん ですよ。
  • 62. 63CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 63© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER SAP HANA Platform : Advanced Analytical Processing Service Advanced Analytical Processing Service Hadoop(Text, Historical Data…), SAP Vora / SAP IQ, SAP ASE, Oracle, SQL Server, Teradata … R-Scripts PAL APL In-Database Analytics R-Engine C4.5 decision tree Weighted score tables Regression ABC classification KNN classification K-means Associate analysis: market basket SAP HANA Spatial, IoT, Stream Database Service Virtual Physical ETL Virtual Model Real-Time No-Data movement Flexible data model Graph Engine Spatial Engine Text Analysis Engine SQL Engine Series Engine 構造化データに縛られない様々なデータ処理 各エンジン間でシームレスな連携 Spatial Engine: - OGC準拠 - 地理空間の情報をデータベースの中で直接 保存、処理、生成、共有、取得 Graph Engine: - ACID準拠のスキーマフレキシブルなグラフ エンジン - Pattern Matching/Graph Algorithms Text Analysis Engine: - ファイルフィルタリング/エンティティの抽 出、分類/ドメインファクトの認識 Time Series Engine: - 効率的なシリーズデータの蓄積 - 等距離、非等距離のシリーズのサポート Document Store: - Schema on ReadのJSONドキュメントストア {JSON} Document Store EML Tensor Flow
  • 63. 64CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 64© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER PAL (Predictive Analysis Library) Classification Analysis ▪ CART ▪ C4.5 Decision Tree Analysis ▪ CHAID Decision Tree Analysis ▪ K Nearest Neighbor ▪ Logistic Regression Elastic Net ▪ Back-Propagation (Neural Network) ▪ Naïve Bayes ▪ Support Vector Machine ▪ Random Forests ▪ Gradient Boosting Decision Tree (GBDT)* ▪ Linear Discriminant Analysis (LDA)* ▪ Confusion Matrix ▪ Area Under Curve (AUC) ▪ Parameter Selection / Model Evaluation Regression ▪ Multiple Linear Regression Elastic Net ▪ Polynomial, Exponential, Bi-Variate Geometric, Bi-Variate Logarithmic Regression ▪ Generalized Linear Model (GLM)* ▪ Cox Proportional Hazards Model* Association Analysis ▪ Apriori, Apriori Lite ▪ FP-Growth ▪ KORD – Top K Rule Discovery ▪ Sequential Pattern Mining* Probability Distribution ▪ Distribution Fit/ Weibull analysis ▪ Cumulative Distribution Function ▪ Quantile Function ▪ Kaplan-Meier Survival Analysis Outlier Detection ▪ Inter-Quartile Range Test (Tukey’s Test) ▪ Variance Test ▪ Anomaly Detection ▪ Grubbs Outlier Test Recommender Systems ▪ Factorized Polynomial Regression Models** ▪ Alternating least squares**** ▪ Field-aware Factorization Machines (FFM) **** Social Network Analysis Algorithms ▪ Link Prediction - Common Neighbors, Jaccard’s Coefficient, Adamic/Adar, Katzβ ▪ PageRank * New in HANA 2 SPS 00 ** New in HANA 2 SPS 01 *** New in HANA 2 SPS 02 **** New in HANA 2 SPS 03 Statistical Functions ▪ Mean, Median, Variance, Standard Deviation, Kurtosis, Skewness ▪ Covariance Matrix ▪ Pearson Correlations Matrix ▪ Chi-squared Tests: - Test of Quality of Fit - Test of Independence ▪ F-test (variance equal test) ▪ Data Summary* ▪ ANOVA** ▪ One-sample Median Test** ▪ T Test** ▪ Wilcox Signed Rank Test** Data Preparation ▪ Sampling, Binning, Scaling, Partitioning ▪ Principal Component Analysis (PCA)/PCA Projection ▪ Factor Analysis ▪ Multi dimensional scaling Other ▪ Weighted Scores Table ▪ Substitute Missing Values Cluster Analysis ▪ ABC Classification ▪ DBSCAN ▪ K-Means/Accelerated K-Means** ▪ K-Medoid Clustering ▪ K-Medians ▪ Kohonen Self Organized Maps ▪ Agglomerate Hierarchical ▪ Affinity Propagation ▪ Latent Dirichlet Allocation (LDA) ▪ Gaussian Mixture Model (GMM) ▪ Cluster Assignment Time Series Analysis ▪ Single/Double/ Brown/Triple Exp. Smoothing ▪ Forecast Smoothing ▪ Auto – ARIMA/Seasonal ARIMA ▪ Croston Method ▪ Forecast Accuracy Measure ▪ Linear Regression with Damped Trend and Seasonal Adjust ▪ Test for White Noise, Trend, Seasonality ▪ Fast Fourier Transform (FFT)* ▪ Correlation Function* ▪ Hierarchical Forecast
  • 64. 65CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 65© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER EML (External Machine Learning) ▪ TensorFlowは、機械学習のための一般的なフ レームワーク(Googleが開発し、現在はオープ ンソース) ▪ ノードが演算を表し、エッジがデータ配列を表 すデータフローグラフ ▪ C/C++がバックエンド, Python APIなど ▪ ハードウェアアクセラレータ(GPU/TPU)と分散 処理をサポート ▪ 画像処理、言語処理などのディープラーニング を組み込みでサポート ▪ 機械学習モデルをサービスとして公開する TensorFlow Servingを提供 SQL / SQLScript Stored Procedure S A P H A N A P L A T F O R M Serving
  • 65. 66CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 66 SAP HANAにまつわる疑問11 そういえば、メモリー関連で最近 新しいデバイスが出るらしいね。 SAP HANAとして対応は?
  • 66. 67CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 67 SAP HANAにまつわる疑問11 そういえば、メモリー関連で最近 新しいデバイスが出るらしいね。 SAP HANAとして対応は? あー、あれですね。きっちり準備 していて、すでに対応済みですよ。
  • 67. 68PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 68 SAP HANA2 SPS03 SAP HANA不揮発メモリー*のネイティブサポート * ハードウェアに依存 Benefit ビジネス継続性の向上によりさら に低いTCOでより多くのデータを リアルタイム処理が可能 Persistent Memory non-volatile Data Reliability faster starts Higher Capacity than DRAM Transforming the memory hierarchy 従来のメモリー技術と比較して、より 大きなメモリー領域 より低いTCOでハイパフォーマンスの メモリー ダウンタイムを小さくするための高速 な起動時間 Intel®との共同開発 より低いTCOでより高い容量を提供する新しいイノベーションを活用するためのゲームの変革 12.5x 起動時間の短縮** ** SAP HANAの6TBデータセットで測定された内部ベンチマーク > 3 TB 1CPUあたりのメモリー容量の増大
  • 68. 69PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 69 Persistent MemoryのHANAでの利用イメージ ▪ SAP HANA 2.0 SPS03では、不揮発メモリーをサポート 例) Intel Optane DC Persistent Memory (aka. Intel 3D Xpoint) – PCI Expressインターフェースではなく、DIMMフォームファクター (DDR4互換) ▪ カラムストアのメインストレージに不揮発メモリーを利用 – メインストレージにSAP HANAの実データの95%以上が格納される – Database、Table、Column、Partitionのレベルで不揮発メモリーを使う か否かの設定可能(PERSISTNET MEMORY ON|OFF句) – メインストレージを永続化レイヤーからロードする必要がなくなるた め、再起動が非常に高速化(=可用性の向上)される。 – DRAMと比較して、TCOが低い(容量が大きく、低価格) ▪ 永続化レイヤーに変更なし(既存の運用に変更の必要なし) ▪ 現時点で不揮発メモリー自体はリリースされていません Disk DATA LOG In-memory data storage Row Store Column Store Main Delta DRAM SSD © Intel NVRAM Operational
  • 69. 70PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER 70 Intel + Google + SAPのリリース@Google Next 2018 https://twitter.com/LeukertB/status/1021477716644618241
  • 70. 71CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 71 SAP HANAにまつわる疑問12 SAP HANAってアプライアンスだか ら、興味があっても簡単に触れな いんだよね…
  • 71. 72CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 72 SAP HANAにまつわる疑問12 SAP HANAってアプライアンスだか ら、興味があっても簡単に触れな いんだよね… 確かにアプライアンスの提供形態 もありますが、エンジニアが簡単 に試せる環境もいろいろ用意して ますよ。
  • 72. 73PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 73 SAP HANA, express edition SAP HANA, express edition ▪ 素早く、継続的なアプリケーション開発に最適化され た(シンプルな)バージョンのSAP HANA ▪ ラップトップ、デスクトップコンピュータ用に 仮想マシンのイメージ、サーバー上でネイティ ブモジュールのインストール、またはクラウド で利用可能な柔軟なデプロイオプション ▪ SAP HANAを無料で提供することで、革新的な次 世代アプリケーションとトライアルを実現
  • 73. 74PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 74 SAP HANA, express edition SAP HANAへの無料アクセス ▪ 32 GBのメモリーサイズまでは無料で利用 可能です。(商用、非商用) ▪ 以下からアクセス可能 – ラップトップ、デスクトップ、サーバー (最低 16 GBメモリーを推奨) – SAP Cloud Appliance Library(CAL) (AWS or Azure) – Public Cloud (AWS, Azure, GCP …) ▪ SAP Communityによるコミュニティ サポート 必要に応じて柔軟に拡張 ▪ 128 GBのメモリーサイズまでは追加料金 により拡張可能。(商用、非商用) ▪ 必要な場合は、上位エディションにアップ グレードが可能 – 128 GB以上のキャパシティーが必要に なった場合 – 上位エディションでサポートされる機能 が必要になった場合 素早いアプリケーション開発 ▪ SAP開発者コミュニティのチュートリアル とサンプルコード ▪ JDBC, ODBC, .Netなどオープンなインター フェース、接続プロトコル、開発言語の使 用 ▪ SAP HANAに組み込まれたデータベース、 データ分析、アプリケーション、データ 統合サービスを活用する ▪ 開発者のPCでいつでもどこでもアプリ ケーションを構築可能
  • 74. 75PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 75 SAP HANA, express edition 柔軟なデプロイ先 1. SAP Developer CenterからSAP HANA, express edition Download Managerをダウンロード https://www.sap.com/japan/developer/topics/sap-hana-express.html 2. インストールするモジュールのタイプを選択(バイナ リ or 仮想マシンイメージ) * 最低8GB程度のメモリーが必要です 3. SAP HANA, express editionをダウンロード 4. ラップトップ、デスクトップ、PCサーバーなどに デプロイ ダウンロード & インストール クラウド上で使う  SAP Cloud Appliance Library(CAL)からアクセス → SAPからクラウドベンダーにアクセス http://cal.sap.com * 各クラウドベンダーへのサービスには別途費用がかかります* インストールする先のハードウェアは無料の範囲ではありません  クラウドベンダーのサービス/Market Placeとし てSAP HANA, express editionをサポート* * 2018.06時点
  • 75. 76PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 76 SAP HANA, express edition 2種類のインストールパッケージ バイナリパッケージ ▪ SUSE Linux Enterprise Server (SLES) for SAPもしくは Red Hat Enterprise Linux (RHEL) for SAPに、SAP HANA, express editionをインストールするための パッケージ ▪ (追加で)SAP HANA XSA (Extended Application Services, advanced model)をインストール 仮想マシンイメージ ▪ WindowsやMacにSAP HANA, express editionを簡単 にデプロイするためにSLES for SAPを含んだ仮想マ シンイメージ ▪ 選択可能なイメージ: – SAP HANA server only – SAP HANA server + application (SAP HANA XSA)
  • 76. 77PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 77 SAP HANA, express edition 各種パッケージの選択方針のまとめ
  • 77. 78PUBLIC© 2018 SAP SE or an SAP affiliate company. All rights reserved. ǀ CUSTOMER© 2018 SAP SE or an SAP affiliate company.All rights reserved. ǀ 78 使ってみる? SAP HANA, express edition
  • 79. No part of this publication may be reproduced or transmitted in any form or for any purpose without the express permission of SAP SE or an SAP affiliate company. The informationcontained herein may be changed without prior notice. Some software products marketed by SAP SE and its distributors contain proprietary software components of other software vendors. Nationalproduct specifications may vary. These materials are provided by SAP SE or an SAP affiliate company for informational purposes only, without representation or warranty of any kind, and SAP or its affiliated companies shall not be liable for errors or omissions with respect to the materials. The only warranties for SAP or SAP affiliate company products and services are those that are set forth in the express warranty statements accompanying such products and services, if any. Nothing herein should be construed as constituting an additionalwarranty. In particular, SAP SE or its affiliated companies have no obligation to pursue any course of business outlined in this document or any related presentation, or to develop or release any functionality mentioned therein. This document, or any related presentation, and SAP SE’s or its affiliated companies’ strategy and possible future developments,products, and/or platform directions and functionality are all subject to change and may be changed by SAP SE or its affiliated companies at any time for any reason without notice. The information in this document is not a commitment, promise, or legal obligationto deliver any material, code, or functionality. Allforward-looking statements are subject to various risks and uncertainties that could cause actual results to differ materially from expectations. Readers are cautioned not to place undue reliance on these forward-looking statements, and they should not be relied upon in making purchasing decisions. SAP and other SAP products and services mentioned herein as well as their respective logos are trademarks or registered trademarks of SAP SE (or an SAP affiliate company) in Germany and other countries. All other product and service names mentioned are the trademarks of their respective companies. See http://global.sap.com/corporate-en/legal/copyright/index.epx for additional trademark informationand notices. © 2018 SAP SE or an SAP affiliate company. All rights reserved.