SlideShare a Scribd company logo
1 of 37
Download to read offline
© Hitachi, Ltd. 2014. All rights reserved.
超高速データベースエンジンを用いた
TPC-Hベンチマーク100TBクラス世界初登録への挑戦
㈱日立製作所 情報・通信システム社
ITプラットフォーム事業本部 開発統括本部
ソフトウェア開発本部 DB設計部 主管技師
藤原 真二
2014/6/18
db tech showcase 2014 Osaka
© Hitachi, Ltd. 2014. All rights reserved.
超高速データベースエンジンとは
1
Hitachi Advanced Data Binder プラットフォーム
Hitachi Advanced Data Binder プラットフォーム
日立ラックサーバ
日立ストレージ
超高速データベースエンジン
□自社従来比100倍(*3)の検索性能を誇る、超高速データベースエンジン
Hitachi Advanced Data Binder (HADB)を搭載。
□可用性の高い日立のサーバと高速ストレージをセット化。
(*1) 世界のトップを目指した先端的研究を推進することで、産業、安全保障等の分野における我が国の中長期的な国際的競争力、底力の強化を図るとともに、研究開発成果の
国民および社会への確かな還元を図ることを目的として創設された国の研究開発プログラム。
(*2) 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評
価」(中心研究者:喜連川 東大教授/国立情報学研究所所長)の成果を利用』。
(*3) 当社従来製品との比較。解析系データベースに関する標準的なベンチマークを元に作成した、各種のデータ解析要求の実行性能を計測。データ解析要求の種類によって高
速化率には差が見られるが、データベースにおいて特定の条件を満たす一定量のデータを絞り込んで解析を行うデータ解析要求を対象とした結果。
 最先端研究開発支援プログラム(*1)において、国立大学法人東京大学が
推進している超高速データベースエンジンの研究開発(*2)の成果を利用して
日立が製品化したリレーショナルデータベースシステム。
© Hitachi, Ltd. 2014. All rights reserved.
研究開発の経緯
2
200920082007 201220112010 2013
内閣府/総合科学技術会議 最先端研究開発支援プログラム
「超巨大データベース時代に向けた最高速データベースエン
ジンの開発と当該エンジンを核とする戦略的社会サービスの
実証・評価」
2700億円
2010年3月末で発展的
解消し、下記に一本化
製品開発
Hitachi Advanced Data Binder (HADB)
研究成果を利用
 東京大学と共同で2007年度から文科省PJで開始、2009年度から内閣府PJで推進
 日立は、2011年から、本研究成果を利用したDB製品の開発を開始
内閣府の最先端研究開発
支援プログラムに引継ぎ
文科省「非順序実行原理に基づく
超高性能タベースエンジンの開発」
プロジェクト
TPC-H 100TBクラス
世界初登録
(中心研究者:
喜連川 東大教授/
国立情報学研究所所長)
2012年 V1 2013年 V2
© Hitachi, Ltd. 2014. All rights reserved.
目次
1. TPC-Hベンチマーク100TBクラスへの挑戦
2. 超高速データベースエンジンの新技術
3. 今後の展開
3
© Hitachi, Ltd. 2014. All rights reserved.
目次
1. TPC-Hベンチマーク100TBクラスへの挑戦
2. 超高速データベースエンジンの新技術
3. 今後の展開
4
© Hitachi, Ltd. 2014. All rights reserved.
■TPC協会が定めるデータベースの業界標準ベンチマークのひとつ
■TPC-Hは、Decision Support向けのベンチマークとして1999年にリリース
■データ規模で7つのクラス(100GB~100TB)がある
1.1 TPC-Hベンチマークとは?
5
...TPC-H登録リスト
優れた性能を示す
客観的な証
出典:TPC-H - Top Ten Performance Results Version 2 Results
(http://www.tpc.org/tpch/results/tpch_perf_results.asp)
グローバル市場では
DB製品としての
名刺のようなもの
目標:TPC-Hの最大規模
(100TBクラス)に登録
© Hitachi, Ltd. 2014. All rights reserved.
1.2 なぜ100TBクラスを狙ったのか?
6
■100TBクラスは30TBクラスと共に2003年に追加された最大規模のクラス
■30TBは2007年に1件登録されているが、100TBは2011年時点で未登録
© Hitachi, Ltd. 2014. All rights reserved.
1.3 目標性能をどのように設定したのか?
7
■100TBクラスは未登録のため、目標性能(TPC-Hスコア)の設定が難しい
■1TB以上のHDDベースのTPC-H登録スコア上位10件から外挿して、
80,000QphH@100TBに設定
目標:TPC-Hの最大規模(100TBクラス)に
トップレベルの性能で世界初登録
© Hitachi, Ltd. 2014. All rights reserved.
1.4 TPC-H登録に向けて必要な準備は?
8
■製品開発! TPC-Hは商用のデータベース製品のみ登録可能
■Auditorの確保 性能評価の監査役。登録にはAuditorの承認が必須
TPCベンチマークのAuditorは世界で5人
日立がBS1000で登録したときのAuditorに依頼
■評価環境の準備
4 Hitachi BladeSymphony BS2000
WITH:
32 10 core Intel E7-8870 2.40GHz *1)
8 TB Memory
128 8Gbps Fiber Channel Adapters (dual-port)
60 600GB 15Krpm SAS Disk Drives
16 Hitachi Unified Storage 150
WITH:
1,600 900GB 10K rpm SAS Disks
(*1)Intel Xeonは,米国およびその他の国におけるIntel Corporationの商標です。
HDD1600台の巨大システムで
HADBが安定稼動
© Hitachi, Ltd. 2014. All rights reserved.
1.5 HDD1600台って多すぎない?
9
■DB規模当たりのHDD台数は既存の登録結果と比較して1/4以下と少ない
「非順序実行原理※」によりハードウェア性能を最大限に引き出す
※)喜連川 東大教授/国立情報学研究所所長・合田 東大特任准教授が考案した原理
© Hitachi, Ltd. 2014. All rights reserved.
1.6 TPC-Hベンチマーク登録の手順は?
10
■TPC-Hベンチマーク登録流れ
①商用データベース製品としての機能検証
サンプルクエリの実行、ACIDテストの実施
Auditorにオンサイト監査をしていただく
②TPC-Hベンチマークの性能測定
データロード及び性能測定
性能測定を2回実施(悪いほうのスコアを登録)
評価機にリモートからログインして頂き、リモート監査を実施
③TPC事務局への報告書の提出と登録
ベンチマーク測定結果を報告書にまとめ、Auditorがレビュー
Auditorの証明書を付けたレポートをTPC事務局に提出
測定結果が公式に登録され、60日間のレビューを経て確定
© Hitachi, Ltd. 2014. All rights reserved.
1.7 機能検証の内容は?
11
■機能検証テスト
Auditor立会いのもと、以下を実施した
(1)評価環境の確認 評価環境が構成情報と合致しているかを確認
(2)評価プログラムの確認 評価用のプログラムが規定書に合致しているか確認
(3)Query Validationテスト
1GBの機能検証要データベースを評価環境に作成し、
Q1~Q22を指定のパラメータで実行し結果が正しいかを確認
(4)ACIDテスト
Atomicityテスト: COMMIT/ROLLBACKの基本動作を確認
Consistencyテスト: 更新トランザクションを多重実行し一貫性を確認
Isolationテスト: 6種類のテストでトランザクション分離レベルを確認
Durabilityテスト: 更新トランザクション多重実行中に、HDD障害、RAID障害、
サーバ障害、電源断を発生させてDBが回復できることを確認
オンサイト監査
AuditorによるTPC-Hオンサイト監査の結果
© Hitachi, Ltd. 2014. All rights reserved. 12
4日間の予定でオンサイト監査を実施し、3日間で監査項目をほぼ完了
ハード障害のテストパターンを追加されたものの、全ての監査項目をクリア!
⇒ 「新製品で1回でクリアするケースは珍しい」とのコメントを頂いた
© Hitachi, Ltd. 2014. All rights reserved.
■評価環境に100TBのデータをロードし、検索系22種類、更新系2種類のクエリを実行
(1)ロードテスト
評価環境で100TBのデータロードし、統計情報収集、Verificationの各テストを実施
(2)パフォーマンステスト
(1)で作成したDBに対して、PowerテストとThroughputテストを2回実施
(3)DB整合性確認
測定終了後、AuditorがリモートからVerificationテストを実施
query22個RF1 RF2
query22個
RF1 RF2
query22個
query22個
RF1 RF2
Power test Throughput test
ロードテスト パフォーマンステスト
データ
ロード
時間
SFに応じた並列度が必要。
SF=100Kでは11多重以上。
refresh stream。並列度数分
のRF1とRF2を実行する。
2回実行
統計情
報収集
Verifi-
cation
(6日間) (12日x2回=24日間)
1.8 ベンチマークの性能測定
13
Verifi-
cation
DB整合性
確認
リモート監査
RF1/2 更新系クエリ
query 参照系クエリ
© Hitachi, Ltd. 2014. All rights reserved. 14
さて、測定結果は?
© Hitachi, Ltd. 2014. All rights reserved. 15
最大の100TBクラスで
唯一の登録
10TBクラス
30TBクラス
2013/10/19にTPC-Hの最大規模である100TBクラスに
82,678QphHで世界初登録!
HADB 10/19RHELBS2000 82,678
100TBクラス
© Hitachi, Ltd. 2014. All rights reserved.
目次
1. TPC-Hベンチマーク100TBクラスへの挑戦
2. 超高速データベースエンジンの新技術
3. 今後の展開
16
© Hitachi, Ltd. 2014. All rights reserved.
2.1 ビッグデータ処理における性能ボトルネックの特性
17
ひとつのデータベース問合せ処理(SQL)が長大になる
大規模データ処理では、処理時間の殆どをディスクI/O
が占めている。
RDBMSの代表的なボトルネック
CPU
ディスクI/O
ネットワーク
SQL処理時間=
CPU時間+I/O時間+通信時間
ディスクI/O処理時間の短縮が、高速化の鍵
ディスク
I/O
CPU
ネット
ワーク
ネット
ワーク
DBサーバ
ストレージ
クライアント
© Hitachi, Ltd. 2014. All rights reserved.
2.2 I/O速度の向上手法
18
■ストレージ装置の高速化(フラッシュドライブ等)
フラッシュドライブ(フラッシュメモリで構成)を使用することで
高速にI/Oが可能。アクセス頻度の高いデータをキャッシュして高速化。
■インメモリDB
全てのデータをメモリに展開(ローディング)してから処理。
ディスクへのI/Oが発生しないため、非常に高速。
従来(ディスクDB) インメモリDBストレージ装置の高速化
フラッシュドライブハードディスク
ドライブ
メモリは高額になり、
扱えるデータ量も
限られる。
HDDに比べ高額。
高速化は10数倍
程度。
×1 ×10 ×100
ビッグデータへの適用を考えると、これらの技術だけでは不十分
© Hitachi, Ltd. 2014. All rights reserved.
2.3 I/O処理の並列化手法 ~ 一般的な方式 ~
19
パラレルクエリ スケールアウトパーティショニング
プロセス
□ I/O箇所の局所化(パーティショニング)
1つの表を分割して管理し、データ検索範囲を局所化。
□ 処理プロセスの並列化(パラレルクエリ)
1つの検索処理(SQL)を複数のプロセスで並列処理。
□ 処理ノードの並列化(スケールアウト)
1つのSQLを複数ノードに分散して並列度を向上。
2月 3月1月
プロセス プロセス
プロセス
プロセス
プロセス
プロセス
プロセス
プロセス
プロセス
プロセス
プロセス
プロセス
プロセス
プロセス
×1 ×3 ×9
システム構成が煩雑になり、初期コストや運用コストが増大
© Hitachi, Ltd. 2014. All rights reserved.
2.4 なぜスケールアウトが必要か ~ 従来方式の課題 ~
20
□ 従来方式(順序型実行方式)の課題
ひとつのデータアクセス処理プロセスは、決定的な実行計画に従って
順次I/Oを発行し、そのI/O完了を待って次のI/Oを発行(同期入出力)する
ため、I/O待ち時間が多く、I/O発行の多重度を高めるためにスケールアウト
が必要。
プロセス
プロセス
プロセス
プロセス
プロセス
プロセス
プロセス
プロセス
プロセス
プロセス
システムリソースに余剰があるにもかかわらず性能が高まらない
*1 HADBは、内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と
当該エンジンを核とする戦略的社会サービスの実証・評価」(中心研究者:喜連川 東大教授/国立情報学研究所長)の成果を利用。
*2 非順序型実行原理は、喜連川 東大教授/国立情報学研究所所長・合田 東大特任准教授が考案した原理。
I/O待ちでCPUを完全
に使い切れない
I/O発行の多重度を高
めにくく、ストレージ性能
を引き出せない。
検索処理(μs)
同期I/O処理(ms)
検索処理(μs)
同期I/O処理(ms)
SQL
プロセス
ストレージ
I/O完了を待ってから次の処理に移るため、
多くのCPU待ちが発生。
【従来方式】:順序型実行方式
© Hitachi, Ltd. 2014. All rights reserved.
【ストレージアクセス・トレース】
縦軸がアドレス、
横軸が時間。
従来方式は、I/O
密度が低い。
新方式では、I/O
密度が極めて高く、
処理時間を短縮。
従来方式
新方式
高速化
同一の結果を得るSQLのI/O密度の比較
2.5 新方式「非順序実行原理*1」の着眼点と効果
21
「リレーショナルデータベースの基本的な処理は、レコード集合に対する演算
として規定されることから、その処理結果はレコードの処理順序に依存しない」
という点に着目。
【新方式】:非順序型実行原理
SQL
プロセス
ストレージ
非同期に完了したI/Oから順次
処理を行うためCPU効率を高め
やすい。
ひとつのSQL処理プロセス
集合演算(SQL処理)結果が、
要素(レコード)の処理順序に
依存しない原理から、1つの
SQL処理に多数のタスクを割
付け大量のI/Oを非同期に発行。
レコードの
集合A
(100億件)
レコードの
集合B
(100億件)
A&B (100万件)タスク(スレッド)
HADBは、従来方式に比べ高速化を実現
*1 非順序型実行原理は、喜連川 東大教授/国立情報学研究所所長・合田 東大特任准教授が考案した原理。
© Hitachi, Ltd. 2014. All rights reserved.
2.6 非順序型実行原理 - デモンストレーション
22
高速データアクセス基盤「Hitachi Advanced Data Binder プラットフォーム」
デモンストレーション
技術概要
http://www.hitachi.co.jp/products/it/bigdata/platform/data-binder/demo.html
© Hitachi, Ltd. 2014. All rights reserved.
2.7 HADBにおけるハイブリッドハッシュ結合
23
ハイブリッドハッシュ結合:ハッシュ表がメモリに収まる場合にバケット分割処理省略
複数クエリブロックの考え方で、複数のハッシュ結合を非順序に実行
- Build処理を優先実行し、Build処理完了までProbe処理はハッシュ表検索前で中断
- Build処理やProbe処理は複数のスレッドで非順序に実行
(4)
(5)
(6)
(7)
・(3)の実表Probe処理完了後に、(4)のバケット
2番目のデータでBuild処理開始。
・Build処理完了後にProbe処理再開。
・バケット1番目のデータでハッシュ表検索、他
はバケット書き出し。
・Build/Probe処理を同時に実行開始。
・Build処理を優先的に実行。
・Probe処理はハッシュ表検索手前で中断。
(2) ・Build処理時にハッシュ表用メモリが不足した
ら、分割単位である各バケットに書き出し。
・バケット1番目のデータでハッシュ表作成。(3)
(1)
ハッシュ表がメモリ
に収まる場合は
(1)と(3)のみ
2 3
T2T1
2 3
(1)
(2)
(3)
(4) (5)(6) (7)
T1
HJ
T2
Build Probe
1
■TPC-Hベンチマークは約9割がハッシュ結合を伴う検索処理
■商用OoODEでは、ハイブリッドハッシュ結合を非順序実行する方式を採用
© Hitachi, Ltd. 2014. All rights reserved.
2.8 Q8クエリ評価結果(ハッシュ結合溢れなし)
24
Read
Write
10
8
6
4
2
0
I/Oスループット(GB/s)
ph1 ph2 ph3
7.1
4.9
4.1
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
ph1 ph2 ph3
sys_other
sys_io
sys_mem
adb_other
adb_cntx
adb_db
adb_hash
adb_scan
Q8クエリ実行計画
■8ソケット,80コアマシンにて数%のオーバヘッドで数千のスレッド制御を実現
■ハッシュ結合処理において1サーバあたりのI/O実効性能である10GB/sをほぼ達成
select
o_year, sum(case when nation = 'SAUDI ARABIA'
then volume else 0 end) / sum(volume) as mkt_share
from
( select
extract(year from o_orderdate) as o_year,
l_extendedprice * (1 - l_discount) as volume,
n2.n_name as nation
from
part, supplier, lineitem, orders, customer, nation n1, nation n2, region
where
p_partkey = l_partkey and s_suppkey = l_suppkey
and l_orderkey = o_orderkey and o_custkey = c_custkey
and c_nationkey = n1.n_nationkey and n1.n_regionkey = r_regionkey
and r_name = 'MIDDLE EAST' and s_nationkey = n2.n_nationkey
and o_orderdate between date '1995-01-01‘ and date '1996-12-31'
and p_type = 'SMALL PLATED COPPER'
) as all_nations
group by o_year order by o_year;
region nation(n1)
Hash join customer
Hash join
Grouping /
SetFunc
Sorting
part lineitem
Hash join orders
Hash join
Hash join
nation(n2) supplier
Hash join
Hash join
Q8クエリ
I/Oスループット性能
CPU処理の内訳
ph1
ph2
ph3
© Hitachi, Ltd. 2014. All rights reserved.
5.5
4.8
5.7 0.04
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
ph1 ph2 ph3 ph4
sys_other
sys_io
sys_mem
adb_other
adb_cntx
adb_db
adb_hash
adb_scan
Read
Write10
8
6
4
2
0
I/Oスループット(GB/s)
ph1 ph2 ph3 ph4
nation(n1)
nation(n2)
Nested Loop
join
supplier
Hash join lineitem
Hash join orders
Hash joincustomer
Hash join
Grouping /
SetFunc
Sorting
2.9 Q7クエリ評価結果(ハッシュ結合溢れあり)
25
Q7クエリ実行計画
■8ソケット,80コアマシンにて数%のオーバヘッドで数千のスレッド制御を実現
■溢れ処理を除き、ハッシュ結合処理において1サーバあたりのI/O実効性能である
10GB/sをほぼ達成(溢れ処理はCPU処理ネック)
Q7クエリ
I/Oスループット性能
CPU処理の内訳
select
supp_nation, cust_nation, l_year, sum(volume) as revenue
from
( select
n1.n_name as supp_nation, n2.n_name as cust_nation,
extract(year from l_shipdate) as l_year,
l_extendedprice * (1 - l_discount) as volume
from
supplier, lineitem, orders, customer, nation n1, nation n2
where
s_suppkey = l_suppkey and o_orderkey = l_orderkey
and c_custkey = o_custkey and s_nationkey = n1.n_nationkey
and c_nationkey = n2.n_nationkey
and ((n1.n_name = 'UNITED KINGDOM' and n2.n_name = 'SAUDI ARABIA')
or (n1.n_name = 'SAUDI ARABIA' and n2.n_name = 'UNITED KINGDOM'))
and l_shipdate between date '1995-01-01' and date '1996-12-31'
) as shipping
group by supp_nation, cust_nation, l_year
order by supp_nation, cust_nation, l_year;
ph1
ph2
ph3
ph4(溢れ処理)
© Hitachi, Ltd. 2014. All rights reserved.
2.10 TPC-H 100TB 世界初登録のニュースリリース
26
世界初、TPC-Hベンチマーク
100TBクラスへの登録を達成
ハードウェア性能を最大限発揮
するOoODEの特長により、従来
よりも少ないHDD台数でTPC-H
ベンチマークを実施
■共同ニュースリリース
© Hitachi, Ltd. 2014. All rights reserved.
目次
1. TPC-Hベンチマーク100TBクラスへの挑戦
2. 超高速データベースエンジンの新技術
3. 今後の展開
27
© Hitachi, Ltd. 2014. All rights reserved.
3.1 大量データの分析業務への適用 (流通・金融分野)
28
PARTKEY
NAME
MFGR
BRAND
TYPE
SIZE
CONTAINER
COMMENT
RETAILPRICE
PARTKEY
SUPPKEY
AVAILQTY
SUPPLYCOST
COMMENT
SUPPKEY
NAME
ADDRESS
NATIONKEY
PHONE
ACCTBAL
COMMENT
ORDERKEY
PARTKEY
SUPPKEY
LINENUMBER
RETURNFLAG
LINESTATUS
SHIPDATE
COMMITDATE
RECEIPTDATE
SHIPINSTRUCT
SHIPMODE
COMMENT
CUSTKEY
ORDERSTATUS
TOTALPRICE
ORDERDATE
ORDER-
PRIORITY
SHIP-
PRIORITY
CLERK
COMMENT
CUSTKEY
NAME
ADDRESS
PHONE
ACCTBAL
MKTSEGMENT
COMMENT
PART (P_)
SF*200,000
PARTSUPP (PS_)
SF*800,000
LINEITEM (L_)
SF*6,000,000
ORDERS (O_)
SF*1,500,000
CUSTOMER (C_)
SF*150,000
SUPPLIER (S_)
SF*10,000
ORDERKEY
NATIONKEY
EXTENDEDPRICE
DISCOUNT
TAX
QUANTITY
NATIONKEY
NAME
REGIONKEY
NATION (N_)
25
COMMENT
REGIONKEY
NAME
COMMENT
REGION (R_)
5
注文表+明細表
⇒レシートと同じ構造
■TPC-Hのデータは一般的な販売履歴のデータベースをモデルとしている。
1回の注文で複数の商品を注文する ⇒ 小売業ならばPOSデータに相当
■TPC-Hベンチマークでは、未集計の生データを扱う(事前集計は許していない)。
TPC-Hベンチマークで最大規模100TBを達成できたということは、HADBが大規模な
データに対して、十分な検索性能を出せることを公に示したことになる。
100TBクラスのデータ規模
履歴データ
1500億件の注文
6000億件の明細
マスタデータ
150億人の顧客リスト
200億件の商品リスト
10億件の納入業者リスト
800億件の商品卸値リスト
流通・金融分野において
実適用を開始
© Hitachi, Ltd. 2014. All rights reserved.
3.2 社会インフラシステムへの応用例-1 (電力分野)
2929
PMU installation in North America
 電力系統の安定化のため、北米ではPMU(位相計測装置)設置台数が急増
Source: NASPI Oct 22, 2013
約500
(50TB/年)
1,126
(100TB/年)
Source: DOE Synchrophasor Technologies and their Deployment
in the Recovery Act Smart Grid Programs, August 2013
WECC(Western Electocity
Coodinating Council)では
481台のPMUが設置済
Source: DOE Synchrophasor Technologies and their Deployment
in the Recovery Act Smart Grid Programs, August 2013
PMUデータの利活用のため以下
の2つのデータ処理基盤が必要
Real-Time Data Processing
Historical Data Analysis
© Hitachi, Ltd. 2014. All rights reserved. 30
PDC
PMU
PMU
PDC
PMU
PMU
Super
PDC
Stream Data
Processing
In-memory
Data Cache
Analysis
Applications
Online Power
System Analysis
Load
Sensor Data
(every 5 to10 min)
Model updates
Model
DBMS
(HADB)
Archive
Files
Access
Historical Data
(in 2 to 3 sec)
Real-Time Data Processing
Historical Data Analysis
Off-line Analysis
Historical Data Analysis: 大量に発生するデータの高速な蓄積と検索を実現することにより、
快適なオフライン分析を可能にする。
Real-Time Data Processing: PMUデータを用いたリアルタイムな電力系統の分析
3.3 社会インフラシステムへの応用例-2 (電力分野)
Send
Sensor Data
(every a few sec)
NASPI(North American SynchroPhasor Initiative)
Data & Network Management Task Team break-out
セッション発表資料より
© Hitachi, Ltd. 2014. All rights reserved.
3.4 電力分野への応用 - デモンストレーション
31
Client PC
PMU Application for Control Center
Data source: Time series data from Phasor Measurement Units (dummy)
- # of PMUs: 500
- Measurement interval: 33.3 milliseconds
Data import operation: Imports data in every five minutes (400 MBytes)
Size of historical Data: 1.2 Tbytes (14.5 Billion records, 11 days)
DB server : HA8000/RS220 (12 cores/24 threads) + AMS2500 (64 HDDs)
Client PC : Notebook PC
DBMS : Hitachi Advanced Data Binder
: Conventional DBMS
Voltage Trend of PMUs
PMU : Phasor Measurement Unit
HADB
DB Server
HA8000/
RS220
AMS2500Historical
Data
Application Server
Sensor
Data
Sensor data are
imported periodically
Network
従来DBMS
Historical
Data
Conv.
DBMS
based
IS & R
HADB
based
IS & R
© Hitachi, Ltd. 2014. All rights reserved.
3.5 電力分野への応用 - デモンストレーション
32
14.5 sec 1.1 sec
従来DBMS HADB
© Hitachi, Ltd. 2014. All rights reserved.
株式会社 日立製作所 情報・通信システム社
ITプラットフォーム事業本部 開発統括本部
ソフトウェア開発本部 DB設計部 主管技師
超高速データベースエンジンを用いた
TPC-Hベンチマーク100TBクラス世界初登録への挑戦
2014/6/18
藤原 真二
END
33
© Hitachi, Ltd. 2014. All rights reserved.
•TPC-H、TPC-Hベンチマーク、および、QphHはTransaction Processing Performance Councilの
商標です。
•Intel Xeonは,米国およびその他の国におけるIntel Corporationの商標です。
•Linuxは,Linus Torvalds氏の日本およびその他の国における登録商標または商標です。
•Red Hatは,米国およびその他の国でRed Hat, Inc. の登録商標もしくは商標です。
•InfoSizingは,米国及びその他の国におけるInfoSizing, Inc. の登録商標もしくは商標です。
•その他、記載の会社名、製品名はそれぞれの会社または団体の商標または登録商標です。
商標に関する注記
34
[C14] 超高速データベースエンジンを用いたTPC-Hベンチマーク100TBクラス世界初登録への挑戦 by Shinji Fujiwara
[C14] 超高速データベースエンジンを用いたTPC-Hベンチマーク100TBクラス世界初登録への挑戦 by Shinji Fujiwara

More Related Content

What's hot

[db tech showcase Tokyo 2015] B15:最新PostgreSQLはパフォーマンスが飛躍的に向上する!? - PostgreSQ...
[db tech showcase Tokyo 2015] B15:最新PostgreSQLはパフォーマンスが飛躍的に向上する!? - PostgreSQ...[db tech showcase Tokyo 2015] B15:最新PostgreSQLはパフォーマンスが飛躍的に向上する!? - PostgreSQ...
[db tech showcase Tokyo 2015] B15:最新PostgreSQLはパフォーマンスが飛躍的に向上する!? - PostgreSQ...Insight Technology, Inc.
 
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)Insight Technology, Inc.
 
Singularityで分散深層学習
Singularityで分散深層学習Singularityで分散深層学習
Singularityで分散深層学習Hitoshi Sato
 
20180217 FPGA Extreme Computing #10
20180217 FPGA Extreme Computing #1020180217 FPGA Extreme Computing #10
20180217 FPGA Extreme Computing #10Kohei KaiGai
 
[db tech showcase Tokyo 2017] B35: 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!by...
[db tech showcase Tokyo 2017] B35: 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!by...[db tech showcase Tokyo 2017] B35: 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!by...
[db tech showcase Tokyo 2017] B35: 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!by...Insight Technology, Inc.
 
Hadoopを用いた大規模ログ解析
Hadoopを用いた大規模ログ解析Hadoopを用いた大規模ログ解析
Hadoopを用いた大規模ログ解析shuichi iida
 
[20170922 Sapporo Tech Bar] 地図用データを高速処理!オープンソースGPUデータベースMapDってどんなもの?? by 株式会社...
[20170922 Sapporo Tech Bar] 地図用データを高速処理!オープンソースGPUデータベースMapDってどんなもの?? by 株式会社...[20170922 Sapporo Tech Bar] 地図用データを高速処理!オープンソースGPUデータベースMapDってどんなもの?? by 株式会社...
[20170922 Sapporo Tech Bar] 地図用データを高速処理!オープンソースGPUデータベースMapDってどんなもの?? by 株式会社...Insight Technology, Inc.
 
[db tech showcase Tokyo 2014] B23: SSDとHDDの混在環境でのOracleの超効率的利用方法 by 株式会社日立製作...
[db tech showcase Tokyo 2014] B23: SSDとHDDの混在環境でのOracleの超効率的利用方法  by 株式会社日立製作...[db tech showcase Tokyo 2014] B23: SSDとHDDの混在環境でのOracleの超効率的利用方法  by 株式会社日立製作...
[db tech showcase Tokyo 2014] B23: SSDとHDDの混在環境でのOracleの超効率的利用方法 by 株式会社日立製作...Insight Technology, Inc.
 
Database Encryption and Key Management for PostgreSQL - Principles and Consid...
Database Encryption and Key Management for PostgreSQL - Principles and Consid...Database Encryption and Key Management for PostgreSQL - Principles and Consid...
Database Encryption and Key Management for PostgreSQL - Principles and Consid...Masahiko Sawada
 
第162回情報処理学会ハイパフォーマンスコンピューティング研究発表会
第162回情報処理学会ハイパフォーマンスコンピューティング研究発表会第162回情報処理学会ハイパフォーマンスコンピューティング研究発表会
第162回情報処理学会ハイパフォーマンスコンピューティング研究発表会Hitoshi Sato
 
Hadoop Compatible File Systems (Azure編) (セミナー「Big Data Developerに贈る第二弾 ‐ Azur...
Hadoop Compatible File Systems (Azure編) (セミナー「Big Data Developerに贈る第二弾 ‐ Azur...Hadoop Compatible File Systems (Azure編) (セミナー「Big Data Developerに贈る第二弾 ‐ Azur...
Hadoop Compatible File Systems (Azure編) (セミナー「Big Data Developerに贈る第二弾 ‐ Azur...NTT DATA Technology & Innovation
 
Hadoop -ResourceManager HAの仕組み-
Hadoop -ResourceManager HAの仕組み-Hadoop -ResourceManager HAの仕組み-
Hadoop -ResourceManager HAの仕組み-Yuki Gonda
 
20200806_PGStrom_PostGIS_GstoreFdw
20200806_PGStrom_PostGIS_GstoreFdw20200806_PGStrom_PostGIS_GstoreFdw
20200806_PGStrom_PostGIS_GstoreFdwKohei KaiGai
 
Db2 Warehouse セッション資料 db tech showcase
Db2 Warehouse セッション資料 db tech showcase Db2 Warehouse セッション資料 db tech showcase
Db2 Warehouse セッション資料 db tech showcase IBM Analytics Japan
 
Boston Viridis - Carxeda EnergyCore SoC (ARM Cortex A9) based cluster applian...
Boston Viridis - Carxeda EnergyCore SoC (ARM Cortex A9) based cluster applian...Boston Viridis - Carxeda EnergyCore SoC (ARM Cortex A9) based cluster applian...
Boston Viridis - Carxeda EnergyCore SoC (ARM Cortex A9) based cluster applian...Atsushi Suzuki
 
運用が楽になる分散データベース Riak
運用が楽になる分散データベース Riak運用が楽になる分散データベース Riak
運用が楽になる分散データベース RiakTakahiko Sato
 
20201113_PGconf_Japan_GPU_PostGIS
20201113_PGconf_Japan_GPU_PostGIS20201113_PGconf_Japan_GPU_PostGIS
20201113_PGconf_Japan_GPU_PostGISKohei KaiGai
 
D22 目覚めよDBエンジニア 〜世界最速カラムナーデータベースは本物だ!〜 by Koji Shinkubo
D22 目覚めよDBエンジニア 〜世界最速カラムナーデータベースは本物だ!〜 by Koji ShinkuboD22 目覚めよDBエンジニア 〜世界最速カラムナーデータベースは本物だ!〜 by Koji Shinkubo
D22 目覚めよDBエンジニア 〜世界最速カラムナーデータベースは本物だ!〜 by Koji ShinkuboInsight Technology, Inc.
 
BigtopでHadoopをビルドする(Open Source Conference 2021 Online/Spring 発表資料)
BigtopでHadoopをビルドする(Open Source Conference 2021 Online/Spring 発表資料)BigtopでHadoopをビルドする(Open Source Conference 2021 Online/Spring 発表資料)
BigtopでHadoopをビルドする(Open Source Conference 2021 Online/Spring 発表資料)NTT DATA Technology & Innovation
 

What's hot (20)

[db tech showcase Tokyo 2015] B15:最新PostgreSQLはパフォーマンスが飛躍的に向上する!? - PostgreSQ...
[db tech showcase Tokyo 2015] B15:最新PostgreSQLはパフォーマンスが飛躍的に向上する!? - PostgreSQ...[db tech showcase Tokyo 2015] B15:最新PostgreSQLはパフォーマンスが飛躍的に向上する!? - PostgreSQ...
[db tech showcase Tokyo 2015] B15:最新PostgreSQLはパフォーマンスが飛躍的に向上する!? - PostgreSQ...
 
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)
[INSIGHT OUT 2011] A12 ひとつのデータベース技術では生き残れない part1 カラムナーデータベース(Shinkubo)
 
GTC Japan 2017
GTC Japan 2017GTC Japan 2017
GTC Japan 2017
 
Singularityで分散深層学習
Singularityで分散深層学習Singularityで分散深層学習
Singularityで分散深層学習
 
20180217 FPGA Extreme Computing #10
20180217 FPGA Extreme Computing #1020180217 FPGA Extreme Computing #10
20180217 FPGA Extreme Computing #10
 
[db tech showcase Tokyo 2017] B35: 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!by...
[db tech showcase Tokyo 2017] B35: 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!by...[db tech showcase Tokyo 2017] B35: 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!by...
[db tech showcase Tokyo 2017] B35: 地図用データを高速処理!オープンソースGPUデータベースMapDの魅力に迫る!!by...
 
Hadoopを用いた大規模ログ解析
Hadoopを用いた大規模ログ解析Hadoopを用いた大規模ログ解析
Hadoopを用いた大規模ログ解析
 
[20170922 Sapporo Tech Bar] 地図用データを高速処理!オープンソースGPUデータベースMapDってどんなもの?? by 株式会社...
[20170922 Sapporo Tech Bar] 地図用データを高速処理!オープンソースGPUデータベースMapDってどんなもの?? by 株式会社...[20170922 Sapporo Tech Bar] 地図用データを高速処理!オープンソースGPUデータベースMapDってどんなもの?? by 株式会社...
[20170922 Sapporo Tech Bar] 地図用データを高速処理!オープンソースGPUデータベースMapDってどんなもの?? by 株式会社...
 
[db tech showcase Tokyo 2014] B23: SSDとHDDの混在環境でのOracleの超効率的利用方法 by 株式会社日立製作...
[db tech showcase Tokyo 2014] B23: SSDとHDDの混在環境でのOracleの超効率的利用方法  by 株式会社日立製作...[db tech showcase Tokyo 2014] B23: SSDとHDDの混在環境でのOracleの超効率的利用方法  by 株式会社日立製作...
[db tech showcase Tokyo 2014] B23: SSDとHDDの混在環境でのOracleの超効率的利用方法 by 株式会社日立製作...
 
Database Encryption and Key Management for PostgreSQL - Principles and Consid...
Database Encryption and Key Management for PostgreSQL - Principles and Consid...Database Encryption and Key Management for PostgreSQL - Principles and Consid...
Database Encryption and Key Management for PostgreSQL - Principles and Consid...
 
第162回情報処理学会ハイパフォーマンスコンピューティング研究発表会
第162回情報処理学会ハイパフォーマンスコンピューティング研究発表会第162回情報処理学会ハイパフォーマンスコンピューティング研究発表会
第162回情報処理学会ハイパフォーマンスコンピューティング研究発表会
 
Hadoop Compatible File Systems (Azure編) (セミナー「Big Data Developerに贈る第二弾 ‐ Azur...
Hadoop Compatible File Systems (Azure編) (セミナー「Big Data Developerに贈る第二弾 ‐ Azur...Hadoop Compatible File Systems (Azure編) (セミナー「Big Data Developerに贈る第二弾 ‐ Azur...
Hadoop Compatible File Systems (Azure編) (セミナー「Big Data Developerに贈る第二弾 ‐ Azur...
 
Hadoop -ResourceManager HAの仕組み-
Hadoop -ResourceManager HAの仕組み-Hadoop -ResourceManager HAの仕組み-
Hadoop -ResourceManager HAの仕組み-
 
20200806_PGStrom_PostGIS_GstoreFdw
20200806_PGStrom_PostGIS_GstoreFdw20200806_PGStrom_PostGIS_GstoreFdw
20200806_PGStrom_PostGIS_GstoreFdw
 
Db2 Warehouse セッション資料 db tech showcase
Db2 Warehouse セッション資料 db tech showcase Db2 Warehouse セッション資料 db tech showcase
Db2 Warehouse セッション資料 db tech showcase
 
Boston Viridis - Carxeda EnergyCore SoC (ARM Cortex A9) based cluster applian...
Boston Viridis - Carxeda EnergyCore SoC (ARM Cortex A9) based cluster applian...Boston Viridis - Carxeda EnergyCore SoC (ARM Cortex A9) based cluster applian...
Boston Viridis - Carxeda EnergyCore SoC (ARM Cortex A9) based cluster applian...
 
運用が楽になる分散データベース Riak
運用が楽になる分散データベース Riak運用が楽になる分散データベース Riak
運用が楽になる分散データベース Riak
 
20201113_PGconf_Japan_GPU_PostGIS
20201113_PGconf_Japan_GPU_PostGIS20201113_PGconf_Japan_GPU_PostGIS
20201113_PGconf_Japan_GPU_PostGIS
 
D22 目覚めよDBエンジニア 〜世界最速カラムナーデータベースは本物だ!〜 by Koji Shinkubo
D22 目覚めよDBエンジニア 〜世界最速カラムナーデータベースは本物だ!〜 by Koji ShinkuboD22 目覚めよDBエンジニア 〜世界最速カラムナーデータベースは本物だ!〜 by Koji Shinkubo
D22 目覚めよDBエンジニア 〜世界最速カラムナーデータベースは本物だ!〜 by Koji Shinkubo
 
BigtopでHadoopをビルドする(Open Source Conference 2021 Online/Spring 発表資料)
BigtopでHadoopをビルドする(Open Source Conference 2021 Online/Spring 発表資料)BigtopでHadoopをビルドする(Open Source Conference 2021 Online/Spring 発表資料)
BigtopでHadoopをビルドする(Open Source Conference 2021 Online/Spring 発表資料)
 

Viewers also liked

db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとは
db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとはdb tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとは
db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとはKoji Shinkubo
 
分散クラウドシステムにおける遠隔連携技術
分散クラウドシステムにおける遠隔連携技術分散クラウドシステムにおける遠隔連携技術
分散クラウドシステムにおける遠隔連携技術Masaharu Munetomo
 
北海道大学情報基盤センター10周年記念講演スライド(公開版)
北海道大学情報基盤センター10周年記念講演スライド(公開版)北海道大学情報基盤センター10周年記念講演スライド(公開版)
北海道大学情報基盤センター10周年記念講演スライド(公開版)Masaharu Munetomo
 
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...Insight Technology, Inc.
 
PostgreSQL 9.5 CPU Read Scalability
PostgreSQL 9.5 CPU Read ScalabilityPostgreSQL 9.5 CPU Read Scalability
PostgreSQL 9.5 CPU Read ScalabilityOhyama Masanori
 
Database Security for PCI DSS
Database Security for PCI DSSDatabase Security for PCI DSS
Database Security for PCI DSSOhyama Masanori
 
PostgreSQLによるデータ分析ことはじめ
PostgreSQLによるデータ分析ことはじめPostgreSQLによるデータ分析ことはじめ
PostgreSQLによるデータ分析ことはじめOhyama Masanori
 

Viewers also liked (8)

db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとは
db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとはdb tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとは
db tech showcase_2014_A14_Actian Vectorで得られる、BIにおける真のパフォーマンスとは
 
分散クラウドシステムにおける遠隔連携技術
分散クラウドシステムにおける遠隔連携技術分散クラウドシステムにおける遠隔連携技術
分散クラウドシステムにおける遠隔連携技術
 
feram-0.24.00 is released!
feram-0.24.00 is released!feram-0.24.00 is released!
feram-0.24.00 is released!
 
北海道大学情報基盤センター10周年記念講演スライド(公開版)
北海道大学情報基盤センター10周年記念講演スライド(公開版)北海道大学情報基盤センター10周年記念講演スライド(公開版)
北海道大学情報基盤センター10周年記念講演スライド(公開版)
 
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
 
PostgreSQL 9.5 CPU Read Scalability
PostgreSQL 9.5 CPU Read ScalabilityPostgreSQL 9.5 CPU Read Scalability
PostgreSQL 9.5 CPU Read Scalability
 
Database Security for PCI DSS
Database Security for PCI DSSDatabase Security for PCI DSS
Database Security for PCI DSS
 
PostgreSQLによるデータ分析ことはじめ
PostgreSQLによるデータ分析ことはじめPostgreSQLによるデータ分析ことはじめ
PostgreSQLによるデータ分析ことはじめ
 

Similar to [C14] 超高速データベースエンジンを用いたTPC-Hベンチマーク100TBクラス世界初登録への挑戦 by Shinji Fujiwara

[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi IshikawaInsight Technology, Inc.
 
[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔
[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔
[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔Insight Technology, Inc.
 
D23 SSDで挑むOracle超高速化と信頼性の両立 by Yuu Morinaka
D23 SSDで挑むOracle超高速化と信頼性の両立 by Yuu MorinakaD23 SSDで挑むOracle超高速化と信頼性の両立 by Yuu Morinaka
D23 SSDで挑むOracle超高速化と信頼性の両立 by Yuu MorinakaInsight Technology, Inc.
 
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...Insight Technology, Inc.
 
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...Insight Technology, Inc.
 
[db tech showcase Tokyo 2014] B33: 超高速データベースエンジンでのビッグデータ分析活用事例 by 株式会社日立製作所 ...
[db tech showcase Tokyo 2014] B33: 超高速データベースエンジンでのビッグデータ分析活用事例  by 株式会社日立製作所 ...[db tech showcase Tokyo 2014] B33: 超高速データベースエンジンでのビッグデータ分析活用事例  by 株式会社日立製作所 ...
[db tech showcase Tokyo 2014] B33: 超高速データベースエンジンでのビッグデータ分析活用事例 by 株式会社日立製作所 ...Insight Technology, Inc.
 
FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化Kazunori Sato
 
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...Insight Technology, Inc.
 
20180914 GTCJ INCEPTION HeteroDB
20180914 GTCJ INCEPTION HeteroDB20180914 GTCJ INCEPTION HeteroDB
20180914 GTCJ INCEPTION HeteroDBKohei KaiGai
 
次世代の高速メモリストレージ利用に向けたソフトウェアのモダナイゼーション
次世代の高速メモリストレージ利用に向けたソフトウェアのモダナイゼーション次世代の高速メモリストレージ利用に向けたソフトウェアのモダナイゼーション
次世代の高速メモリストレージ利用に向けたソフトウェアのモダナイゼーションNTT Software Innovation Center
 
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)Insight Technology, Inc.
 
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDBDXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDBgriddb
 
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~griddb
 
IDCFクラウドセミナー RDB活用
IDCFクラウドセミナー RDB活用IDCFクラウドセミナー RDB活用
IDCFクラウドセミナー RDB活用IDC Frontier
 
ほんとに使える?Big Data SQL検証結果から見る、その有益性(性能編)
ほんとに使える?Big Data SQL検証結果から見る、その有益性(性能編)ほんとに使える?Big Data SQL検証結果から見る、その有益性(性能編)
ほんとに使える?Big Data SQL検証結果から見る、その有益性(性能編)オラクルエンジニア通信
 
ビッグIoTデータに対応したデータベース GridDB
ビッグIoTデータに対応したデータベース GridDBビッグIoTデータに対応したデータベース GridDB
ビッグIoTデータに対応したデータベース GridDBgriddb
 
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning HadoopBeginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning HadoopDataWorks Summit
 
[C13] フラッシュドライブで挑むOracle超高速化と信頼性の両立 by Masashi Fukui
[C13] フラッシュドライブで挑むOracle超高速化と信頼性の両立 by Masashi Fukui[C13] フラッシュドライブで挑むOracle超高速化と信頼性の両立 by Masashi Fukui
[C13] フラッシュドライブで挑むOracle超高速化と信頼性の両立 by Masashi FukuiInsight Technology, Inc.
 
[D20] 高速Software Switch/Router 開発から得られた高性能ソフトウェアルータ・スイッチ活用の知見 (July Tech Fest...
[D20] 高速Software Switch/Router 開発から得られた高性能ソフトウェアルータ・スイッチ活用の知見 (July Tech Fest...[D20] 高速Software Switch/Router 開発から得られた高性能ソフトウェアルータ・スイッチ活用の知見 (July Tech Fest...
[D20] 高速Software Switch/Router 開発から得られた高性能ソフトウェアルータ・スイッチ活用の知見 (July Tech Fest...Tomoya Hibi
 
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)オラクルエンジニア通信
 

Similar to [C14] 超高速データベースエンジンを用いたTPC-Hベンチマーク100TBクラス世界初登録への挑戦 by Shinji Fujiwara (20)

[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
 
[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔
[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔
[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔
 
D23 SSDで挑むOracle超高速化と信頼性の両立 by Yuu Morinaka
D23 SSDで挑むOracle超高速化と信頼性の両立 by Yuu MorinakaD23 SSDで挑むOracle超高速化と信頼性の両立 by Yuu Morinaka
D23 SSDで挑むOracle超高速化と信頼性の両立 by Yuu Morinaka
 
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
 
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
[db tech showcase Sapporo 2015] A12:DBAが知っておくべき最新テクノロジー: フラッシュ, ストレージ, クラウド b...
 
[db tech showcase Tokyo 2014] B33: 超高速データベースエンジンでのビッグデータ分析活用事例 by 株式会社日立製作所 ...
[db tech showcase Tokyo 2014] B33: 超高速データベースエンジンでのビッグデータ分析活用事例  by 株式会社日立製作所 ...[db tech showcase Tokyo 2014] B33: 超高速データベースエンジンでのビッグデータ分析活用事例  by 株式会社日立製作所 ...
[db tech showcase Tokyo 2014] B33: 超高速データベースエンジンでのビッグデータ分析活用事例 by 株式会社日立製作所 ...
 
FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化
 
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...
 
20180914 GTCJ INCEPTION HeteroDB
20180914 GTCJ INCEPTION HeteroDB20180914 GTCJ INCEPTION HeteroDB
20180914 GTCJ INCEPTION HeteroDB
 
次世代の高速メモリストレージ利用に向けたソフトウェアのモダナイゼーション
次世代の高速メモリストレージ利用に向けたソフトウェアのモダナイゼーション次世代の高速メモリストレージ利用に向けたソフトウェアのモダナイゼーション
次世代の高速メモリストレージ利用に向けたソフトウェアのモダナイゼーション
 
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
Database as code in Devops - DBを10分間で1000個構築するDB仮想化テクノロジーとは?(Ishikawa)
 
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDBDXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
 
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
 
IDCFクラウドセミナー RDB活用
IDCFクラウドセミナー RDB活用IDCFクラウドセミナー RDB活用
IDCFクラウドセミナー RDB活用
 
ほんとに使える?Big Data SQL検証結果から見る、その有益性(性能編)
ほんとに使える?Big Data SQL検証結果から見る、その有益性(性能編)ほんとに使える?Big Data SQL検証結果から見る、その有益性(性能編)
ほんとに使える?Big Data SQL検証結果から見る、その有益性(性能編)
 
ビッグIoTデータに対応したデータベース GridDB
ビッグIoTデータに対応したデータベース GridDBビッグIoTデータに対応したデータベース GridDB
ビッグIoTデータに対応したデータベース GridDB
 
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning HadoopBeginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
 
[C13] フラッシュドライブで挑むOracle超高速化と信頼性の両立 by Masashi Fukui
[C13] フラッシュドライブで挑むOracle超高速化と信頼性の両立 by Masashi Fukui[C13] フラッシュドライブで挑むOracle超高速化と信頼性の両立 by Masashi Fukui
[C13] フラッシュドライブで挑むOracle超高速化と信頼性の両立 by Masashi Fukui
 
[D20] 高速Software Switch/Router 開発から得られた高性能ソフトウェアルータ・スイッチ活用の知見 (July Tech Fest...
[D20] 高速Software Switch/Router 開発から得られた高性能ソフトウェアルータ・スイッチ活用の知見 (July Tech Fest...[D20] 高速Software Switch/Router 開発から得られた高性能ソフトウェアルータ・スイッチ活用の知見 (July Tech Fest...
[D20] 高速Software Switch/Router 開発から得られた高性能ソフトウェアルータ・スイッチ活用の知見 (July Tech Fest...
 
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
 

More from Insight Technology, Inc.

グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?Insight Technology, Inc.
 
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~Insight Technology, Inc.
 
事例を通じて機械学習とは何かを説明する
事例を通じて機械学習とは何かを説明する事例を通じて機械学習とは何かを説明する
事例を通じて機械学習とは何かを説明するInsight Technology, Inc.
 
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーンInsight Technology, Inc.
 
MBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごとMBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごとInsight Technology, Inc.
 
グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?Insight Technology, Inc.
 
DBREから始めるデータベースプラットフォーム
DBREから始めるデータベースプラットフォームDBREから始めるデータベースプラットフォーム
DBREから始めるデータベースプラットフォームInsight Technology, Inc.
 
SQL Server エンジニアのためのコンテナ入門
SQL Server エンジニアのためのコンテナ入門SQL Server エンジニアのためのコンテナ入門
SQL Server エンジニアのためのコンテナ入門Insight Technology, Inc.
 
db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉 db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉 Insight Technology, Inc.
 
db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也Insight Technology, Inc.
 
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー Insight Technology, Inc.
 
難しいアプリケーション移行、手軽に試してみませんか?
難しいアプリケーション移行、手軽に試してみませんか?難しいアプリケーション移行、手軽に試してみませんか?
難しいアプリケーション移行、手軽に試してみませんか?Insight Technology, Inc.
 
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介Insight Technology, Inc.
 
そのデータベース、クラウドで使ってみませんか?
そのデータベース、クラウドで使ってみませんか?そのデータベース、クラウドで使ってみませんか?
そのデータベース、クラウドで使ってみませんか?Insight Technology, Inc.
 
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。 複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。 Insight Technology, Inc.
 
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...Insight Technology, Inc.
 
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]Insight Technology, Inc.
 
エンタープライズでのAI活用を支援する新世代データウェアハウスのあり方[ATTUNITY & インサイトテクノロジー IoT / Big Data フォー...
エンタープライズでのAI活用を支援する新世代データウェアハウスのあり方[ATTUNITY & インサイトテクノロジー IoT / Big Data フォー...エンタープライズでのAI活用を支援する新世代データウェアハウスのあり方[ATTUNITY & インサイトテクノロジー IoT / Big Data フォー...
エンタープライズでのAI活用を支援する新世代データウェアハウスのあり方[ATTUNITY & インサイトテクノロジー IoT / Big Data フォー...Insight Technology, Inc.
 

More from Insight Technology, Inc. (20)

グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?
 
Docker and the Oracle Database
Docker and the Oracle DatabaseDocker and the Oracle Database
Docker and the Oracle Database
 
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
 
事例を通じて機械学習とは何かを説明する
事例を通じて機械学習とは何かを説明する事例を通じて機械学習とは何かを説明する
事例を通じて機械学習とは何かを説明する
 
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
 
MBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごとMBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごと
 
グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?
 
DBREから始めるデータベースプラットフォーム
DBREから始めるデータベースプラットフォームDBREから始めるデータベースプラットフォーム
DBREから始めるデータベースプラットフォーム
 
SQL Server エンジニアのためのコンテナ入門
SQL Server エンジニアのためのコンテナ入門SQL Server エンジニアのためのコンテナ入門
SQL Server エンジニアのためのコンテナ入門
 
Lunch & Learn, AWS NoSQL Services
Lunch & Learn, AWS NoSQL ServicesLunch & Learn, AWS NoSQL Services
Lunch & Learn, AWS NoSQL Services
 
db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉 db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉
 
db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也
 
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
 
難しいアプリケーション移行、手軽に試してみませんか?
難しいアプリケーション移行、手軽に試してみませんか?難しいアプリケーション移行、手軽に試してみませんか?
難しいアプリケーション移行、手軽に試してみませんか?
 
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
 
そのデータベース、クラウドで使ってみませんか?
そのデータベース、クラウドで使ってみませんか?そのデータベース、クラウドで使ってみませんか?
そのデータベース、クラウドで使ってみませんか?
 
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。 複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
 
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
 
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
 
エンタープライズでのAI活用を支援する新世代データウェアハウスのあり方[ATTUNITY & インサイトテクノロジー IoT / Big Data フォー...
エンタープライズでのAI活用を支援する新世代データウェアハウスのあり方[ATTUNITY & インサイトテクノロジー IoT / Big Data フォー...エンタープライズでのAI活用を支援する新世代データウェアハウスのあり方[ATTUNITY & インサイトテクノロジー IoT / Big Data フォー...
エンタープライズでのAI活用を支援する新世代データウェアハウスのあり方[ATTUNITY & インサイトテクノロジー IoT / Big Data フォー...
 

Recently uploaded

NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)NTT DATA Technology & Innovation
 
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfクラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfFumieNakayama
 
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察  ~Text-to-MusicとText-To-ImageかつImage-to-Music...モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察  ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...博三 太田
 
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)UEHARA, Tetsutaro
 
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineerYuki Kikuchi
 
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfAWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfFumieNakayama
 
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?akihisamiyanaga1
 
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)Hiroshi Tomioka
 

Recently uploaded (8)

NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
 
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdfクラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
 
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察  ~Text-to-MusicとText-To-ImageかつImage-to-Music...モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察  ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
 
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
 
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
 
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdfAWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
 
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
 
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
 

[C14] 超高速データベースエンジンを用いたTPC-Hベンチマーク100TBクラス世界初登録への挑戦 by Shinji Fujiwara

  • 1. © Hitachi, Ltd. 2014. All rights reserved. 超高速データベースエンジンを用いた TPC-Hベンチマーク100TBクラス世界初登録への挑戦 ㈱日立製作所 情報・通信システム社 ITプラットフォーム事業本部 開発統括本部 ソフトウェア開発本部 DB設計部 主管技師 藤原 真二 2014/6/18 db tech showcase 2014 Osaka
  • 2. © Hitachi, Ltd. 2014. All rights reserved. 超高速データベースエンジンとは 1 Hitachi Advanced Data Binder プラットフォーム Hitachi Advanced Data Binder プラットフォーム 日立ラックサーバ 日立ストレージ 超高速データベースエンジン □自社従来比100倍(*3)の検索性能を誇る、超高速データベースエンジン Hitachi Advanced Data Binder (HADB)を搭載。 □可用性の高い日立のサーバと高速ストレージをセット化。 (*1) 世界のトップを目指した先端的研究を推進することで、産業、安全保障等の分野における我が国の中長期的な国際的競争力、底力の強化を図るとともに、研究開発成果の 国民および社会への確かな還元を図ることを目的として創設された国の研究開発プログラム。 (*2) 内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と当該エンジンを核とする戦略的社会サービスの実証・評 価」(中心研究者:喜連川 東大教授/国立情報学研究所所長)の成果を利用』。 (*3) 当社従来製品との比較。解析系データベースに関する標準的なベンチマークを元に作成した、各種のデータ解析要求の実行性能を計測。データ解析要求の種類によって高 速化率には差が見られるが、データベースにおいて特定の条件を満たす一定量のデータを絞り込んで解析を行うデータ解析要求を対象とした結果。  最先端研究開発支援プログラム(*1)において、国立大学法人東京大学が 推進している超高速データベースエンジンの研究開発(*2)の成果を利用して 日立が製品化したリレーショナルデータベースシステム。
  • 3. © Hitachi, Ltd. 2014. All rights reserved. 研究開発の経緯 2 200920082007 201220112010 2013 内閣府/総合科学技術会議 最先端研究開発支援プログラム 「超巨大データベース時代に向けた最高速データベースエン ジンの開発と当該エンジンを核とする戦略的社会サービスの 実証・評価」 2700億円 2010年3月末で発展的 解消し、下記に一本化 製品開発 Hitachi Advanced Data Binder (HADB) 研究成果を利用  東京大学と共同で2007年度から文科省PJで開始、2009年度から内閣府PJで推進  日立は、2011年から、本研究成果を利用したDB製品の開発を開始 内閣府の最先端研究開発 支援プログラムに引継ぎ 文科省「非順序実行原理に基づく 超高性能タベースエンジンの開発」 プロジェクト TPC-H 100TBクラス 世界初登録 (中心研究者: 喜連川 東大教授/ 国立情報学研究所所長) 2012年 V1 2013年 V2
  • 4. © Hitachi, Ltd. 2014. All rights reserved. 目次 1. TPC-Hベンチマーク100TBクラスへの挑戦 2. 超高速データベースエンジンの新技術 3. 今後の展開 3
  • 5. © Hitachi, Ltd. 2014. All rights reserved. 目次 1. TPC-Hベンチマーク100TBクラスへの挑戦 2. 超高速データベースエンジンの新技術 3. 今後の展開 4
  • 6. © Hitachi, Ltd. 2014. All rights reserved. ■TPC協会が定めるデータベースの業界標準ベンチマークのひとつ ■TPC-Hは、Decision Support向けのベンチマークとして1999年にリリース ■データ規模で7つのクラス(100GB~100TB)がある 1.1 TPC-Hベンチマークとは? 5 ...TPC-H登録リスト 優れた性能を示す 客観的な証 出典:TPC-H - Top Ten Performance Results Version 2 Results (http://www.tpc.org/tpch/results/tpch_perf_results.asp) グローバル市場では DB製品としての 名刺のようなもの 目標:TPC-Hの最大規模 (100TBクラス)に登録
  • 7. © Hitachi, Ltd. 2014. All rights reserved. 1.2 なぜ100TBクラスを狙ったのか? 6 ■100TBクラスは30TBクラスと共に2003年に追加された最大規模のクラス ■30TBは2007年に1件登録されているが、100TBは2011年時点で未登録
  • 8. © Hitachi, Ltd. 2014. All rights reserved. 1.3 目標性能をどのように設定したのか? 7 ■100TBクラスは未登録のため、目標性能(TPC-Hスコア)の設定が難しい ■1TB以上のHDDベースのTPC-H登録スコア上位10件から外挿して、 80,000QphH@100TBに設定 目標:TPC-Hの最大規模(100TBクラス)に トップレベルの性能で世界初登録
  • 9. © Hitachi, Ltd. 2014. All rights reserved. 1.4 TPC-H登録に向けて必要な準備は? 8 ■製品開発! TPC-Hは商用のデータベース製品のみ登録可能 ■Auditorの確保 性能評価の監査役。登録にはAuditorの承認が必須 TPCベンチマークのAuditorは世界で5人 日立がBS1000で登録したときのAuditorに依頼 ■評価環境の準備 4 Hitachi BladeSymphony BS2000 WITH: 32 10 core Intel E7-8870 2.40GHz *1) 8 TB Memory 128 8Gbps Fiber Channel Adapters (dual-port) 60 600GB 15Krpm SAS Disk Drives 16 Hitachi Unified Storage 150 WITH: 1,600 900GB 10K rpm SAS Disks (*1)Intel Xeonは,米国およびその他の国におけるIntel Corporationの商標です。 HDD1600台の巨大システムで HADBが安定稼動
  • 10. © Hitachi, Ltd. 2014. All rights reserved. 1.5 HDD1600台って多すぎない? 9 ■DB規模当たりのHDD台数は既存の登録結果と比較して1/4以下と少ない 「非順序実行原理※」によりハードウェア性能を最大限に引き出す ※)喜連川 東大教授/国立情報学研究所所長・合田 東大特任准教授が考案した原理
  • 11. © Hitachi, Ltd. 2014. All rights reserved. 1.6 TPC-Hベンチマーク登録の手順は? 10 ■TPC-Hベンチマーク登録流れ ①商用データベース製品としての機能検証 サンプルクエリの実行、ACIDテストの実施 Auditorにオンサイト監査をしていただく ②TPC-Hベンチマークの性能測定 データロード及び性能測定 性能測定を2回実施(悪いほうのスコアを登録) 評価機にリモートからログインして頂き、リモート監査を実施 ③TPC事務局への報告書の提出と登録 ベンチマーク測定結果を報告書にまとめ、Auditorがレビュー Auditorの証明書を付けたレポートをTPC事務局に提出 測定結果が公式に登録され、60日間のレビューを経て確定
  • 12. © Hitachi, Ltd. 2014. All rights reserved. 1.7 機能検証の内容は? 11 ■機能検証テスト Auditor立会いのもと、以下を実施した (1)評価環境の確認 評価環境が構成情報と合致しているかを確認 (2)評価プログラムの確認 評価用のプログラムが規定書に合致しているか確認 (3)Query Validationテスト 1GBの機能検証要データベースを評価環境に作成し、 Q1~Q22を指定のパラメータで実行し結果が正しいかを確認 (4)ACIDテスト Atomicityテスト: COMMIT/ROLLBACKの基本動作を確認 Consistencyテスト: 更新トランザクションを多重実行し一貫性を確認 Isolationテスト: 6種類のテストでトランザクション分離レベルを確認 Durabilityテスト: 更新トランザクション多重実行中に、HDD障害、RAID障害、 サーバ障害、電源断を発生させてDBが回復できることを確認 オンサイト監査
  • 13. AuditorによるTPC-Hオンサイト監査の結果 © Hitachi, Ltd. 2014. All rights reserved. 12 4日間の予定でオンサイト監査を実施し、3日間で監査項目をほぼ完了 ハード障害のテストパターンを追加されたものの、全ての監査項目をクリア! ⇒ 「新製品で1回でクリアするケースは珍しい」とのコメントを頂いた
  • 14. © Hitachi, Ltd. 2014. All rights reserved. ■評価環境に100TBのデータをロードし、検索系22種類、更新系2種類のクエリを実行 (1)ロードテスト 評価環境で100TBのデータロードし、統計情報収集、Verificationの各テストを実施 (2)パフォーマンステスト (1)で作成したDBに対して、PowerテストとThroughputテストを2回実施 (3)DB整合性確認 測定終了後、AuditorがリモートからVerificationテストを実施 query22個RF1 RF2 query22個 RF1 RF2 query22個 query22個 RF1 RF2 Power test Throughput test ロードテスト パフォーマンステスト データ ロード 時間 SFに応じた並列度が必要。 SF=100Kでは11多重以上。 refresh stream。並列度数分 のRF1とRF2を実行する。 2回実行 統計情 報収集 Verifi- cation (6日間) (12日x2回=24日間) 1.8 ベンチマークの性能測定 13 Verifi- cation DB整合性 確認 リモート監査 RF1/2 更新系クエリ query 参照系クエリ
  • 15. © Hitachi, Ltd. 2014. All rights reserved. 14 さて、測定結果は?
  • 16. © Hitachi, Ltd. 2014. All rights reserved. 15 最大の100TBクラスで 唯一の登録 10TBクラス 30TBクラス 2013/10/19にTPC-Hの最大規模である100TBクラスに 82,678QphHで世界初登録! HADB 10/19RHELBS2000 82,678 100TBクラス
  • 17. © Hitachi, Ltd. 2014. All rights reserved. 目次 1. TPC-Hベンチマーク100TBクラスへの挑戦 2. 超高速データベースエンジンの新技術 3. 今後の展開 16
  • 18. © Hitachi, Ltd. 2014. All rights reserved. 2.1 ビッグデータ処理における性能ボトルネックの特性 17 ひとつのデータベース問合せ処理(SQL)が長大になる 大規模データ処理では、処理時間の殆どをディスクI/O が占めている。 RDBMSの代表的なボトルネック CPU ディスクI/O ネットワーク SQL処理時間= CPU時間+I/O時間+通信時間 ディスクI/O処理時間の短縮が、高速化の鍵 ディスク I/O CPU ネット ワーク ネット ワーク DBサーバ ストレージ クライアント
  • 19. © Hitachi, Ltd. 2014. All rights reserved. 2.2 I/O速度の向上手法 18 ■ストレージ装置の高速化(フラッシュドライブ等) フラッシュドライブ(フラッシュメモリで構成)を使用することで 高速にI/Oが可能。アクセス頻度の高いデータをキャッシュして高速化。 ■インメモリDB 全てのデータをメモリに展開(ローディング)してから処理。 ディスクへのI/Oが発生しないため、非常に高速。 従来(ディスクDB) インメモリDBストレージ装置の高速化 フラッシュドライブハードディスク ドライブ メモリは高額になり、 扱えるデータ量も 限られる。 HDDに比べ高額。 高速化は10数倍 程度。 ×1 ×10 ×100 ビッグデータへの適用を考えると、これらの技術だけでは不十分
  • 20. © Hitachi, Ltd. 2014. All rights reserved. 2.3 I/O処理の並列化手法 ~ 一般的な方式 ~ 19 パラレルクエリ スケールアウトパーティショニング プロセス □ I/O箇所の局所化(パーティショニング) 1つの表を分割して管理し、データ検索範囲を局所化。 □ 処理プロセスの並列化(パラレルクエリ) 1つの検索処理(SQL)を複数のプロセスで並列処理。 □ 処理ノードの並列化(スケールアウト) 1つのSQLを複数ノードに分散して並列度を向上。 2月 3月1月 プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス ×1 ×3 ×9 システム構成が煩雑になり、初期コストや運用コストが増大
  • 21. © Hitachi, Ltd. 2014. All rights reserved. 2.4 なぜスケールアウトが必要か ~ 従来方式の課題 ~ 20 □ 従来方式(順序型実行方式)の課題 ひとつのデータアクセス処理プロセスは、決定的な実行計画に従って 順次I/Oを発行し、そのI/O完了を待って次のI/Oを発行(同期入出力)する ため、I/O待ち時間が多く、I/O発行の多重度を高めるためにスケールアウト が必要。 プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス プロセス システムリソースに余剰があるにもかかわらず性能が高まらない *1 HADBは、内閣府の最先端研究開発支援プログラム「超巨大データベース時代に向けた最高速データベースエンジンの開発と 当該エンジンを核とする戦略的社会サービスの実証・評価」(中心研究者:喜連川 東大教授/国立情報学研究所長)の成果を利用。 *2 非順序型実行原理は、喜連川 東大教授/国立情報学研究所所長・合田 東大特任准教授が考案した原理。 I/O待ちでCPUを完全 に使い切れない I/O発行の多重度を高 めにくく、ストレージ性能 を引き出せない。 検索処理(μs) 同期I/O処理(ms) 検索処理(μs) 同期I/O処理(ms) SQL プロセス ストレージ I/O完了を待ってから次の処理に移るため、 多くのCPU待ちが発生。 【従来方式】:順序型実行方式
  • 22. © Hitachi, Ltd. 2014. All rights reserved. 【ストレージアクセス・トレース】 縦軸がアドレス、 横軸が時間。 従来方式は、I/O 密度が低い。 新方式では、I/O 密度が極めて高く、 処理時間を短縮。 従来方式 新方式 高速化 同一の結果を得るSQLのI/O密度の比較 2.5 新方式「非順序実行原理*1」の着眼点と効果 21 「リレーショナルデータベースの基本的な処理は、レコード集合に対する演算 として規定されることから、その処理結果はレコードの処理順序に依存しない」 という点に着目。 【新方式】:非順序型実行原理 SQL プロセス ストレージ 非同期に完了したI/Oから順次 処理を行うためCPU効率を高め やすい。 ひとつのSQL処理プロセス 集合演算(SQL処理)結果が、 要素(レコード)の処理順序に 依存しない原理から、1つの SQL処理に多数のタスクを割 付け大量のI/Oを非同期に発行。 レコードの 集合A (100億件) レコードの 集合B (100億件) A&B (100万件)タスク(スレッド) HADBは、従来方式に比べ高速化を実現 *1 非順序型実行原理は、喜連川 東大教授/国立情報学研究所所長・合田 東大特任准教授が考案した原理。
  • 23. © Hitachi, Ltd. 2014. All rights reserved. 2.6 非順序型実行原理 - デモンストレーション 22 高速データアクセス基盤「Hitachi Advanced Data Binder プラットフォーム」 デモンストレーション 技術概要 http://www.hitachi.co.jp/products/it/bigdata/platform/data-binder/demo.html
  • 24. © Hitachi, Ltd. 2014. All rights reserved. 2.7 HADBにおけるハイブリッドハッシュ結合 23 ハイブリッドハッシュ結合:ハッシュ表がメモリに収まる場合にバケット分割処理省略 複数クエリブロックの考え方で、複数のハッシュ結合を非順序に実行 - Build処理を優先実行し、Build処理完了までProbe処理はハッシュ表検索前で中断 - Build処理やProbe処理は複数のスレッドで非順序に実行 (4) (5) (6) (7) ・(3)の実表Probe処理完了後に、(4)のバケット 2番目のデータでBuild処理開始。 ・Build処理完了後にProbe処理再開。 ・バケット1番目のデータでハッシュ表検索、他 はバケット書き出し。 ・Build/Probe処理を同時に実行開始。 ・Build処理を優先的に実行。 ・Probe処理はハッシュ表検索手前で中断。 (2) ・Build処理時にハッシュ表用メモリが不足した ら、分割単位である各バケットに書き出し。 ・バケット1番目のデータでハッシュ表作成。(3) (1) ハッシュ表がメモリ に収まる場合は (1)と(3)のみ 2 3 T2T1 2 3 (1) (2) (3) (4) (5)(6) (7) T1 HJ T2 Build Probe 1 ■TPC-Hベンチマークは約9割がハッシュ結合を伴う検索処理 ■商用OoODEでは、ハイブリッドハッシュ結合を非順序実行する方式を採用
  • 25. © Hitachi, Ltd. 2014. All rights reserved. 2.8 Q8クエリ評価結果(ハッシュ結合溢れなし) 24 Read Write 10 8 6 4 2 0 I/Oスループット(GB/s) ph1 ph2 ph3 7.1 4.9 4.1 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% ph1 ph2 ph3 sys_other sys_io sys_mem adb_other adb_cntx adb_db adb_hash adb_scan Q8クエリ実行計画 ■8ソケット,80コアマシンにて数%のオーバヘッドで数千のスレッド制御を実現 ■ハッシュ結合処理において1サーバあたりのI/O実効性能である10GB/sをほぼ達成 select o_year, sum(case when nation = 'SAUDI ARABIA' then volume else 0 end) / sum(volume) as mkt_share from ( select extract(year from o_orderdate) as o_year, l_extendedprice * (1 - l_discount) as volume, n2.n_name as nation from part, supplier, lineitem, orders, customer, nation n1, nation n2, region where p_partkey = l_partkey and s_suppkey = l_suppkey and l_orderkey = o_orderkey and o_custkey = c_custkey and c_nationkey = n1.n_nationkey and n1.n_regionkey = r_regionkey and r_name = 'MIDDLE EAST' and s_nationkey = n2.n_nationkey and o_orderdate between date '1995-01-01‘ and date '1996-12-31' and p_type = 'SMALL PLATED COPPER' ) as all_nations group by o_year order by o_year; region nation(n1) Hash join customer Hash join Grouping / SetFunc Sorting part lineitem Hash join orders Hash join Hash join nation(n2) supplier Hash join Hash join Q8クエリ I/Oスループット性能 CPU処理の内訳 ph1 ph2 ph3
  • 26. © Hitachi, Ltd. 2014. All rights reserved. 5.5 4.8 5.7 0.04 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% ph1 ph2 ph3 ph4 sys_other sys_io sys_mem adb_other adb_cntx adb_db adb_hash adb_scan Read Write10 8 6 4 2 0 I/Oスループット(GB/s) ph1 ph2 ph3 ph4 nation(n1) nation(n2) Nested Loop join supplier Hash join lineitem Hash join orders Hash joincustomer Hash join Grouping / SetFunc Sorting 2.9 Q7クエリ評価結果(ハッシュ結合溢れあり) 25 Q7クエリ実行計画 ■8ソケット,80コアマシンにて数%のオーバヘッドで数千のスレッド制御を実現 ■溢れ処理を除き、ハッシュ結合処理において1サーバあたりのI/O実効性能である 10GB/sをほぼ達成(溢れ処理はCPU処理ネック) Q7クエリ I/Oスループット性能 CPU処理の内訳 select supp_nation, cust_nation, l_year, sum(volume) as revenue from ( select n1.n_name as supp_nation, n2.n_name as cust_nation, extract(year from l_shipdate) as l_year, l_extendedprice * (1 - l_discount) as volume from supplier, lineitem, orders, customer, nation n1, nation n2 where s_suppkey = l_suppkey and o_orderkey = l_orderkey and c_custkey = o_custkey and s_nationkey = n1.n_nationkey and c_nationkey = n2.n_nationkey and ((n1.n_name = 'UNITED KINGDOM' and n2.n_name = 'SAUDI ARABIA') or (n1.n_name = 'SAUDI ARABIA' and n2.n_name = 'UNITED KINGDOM')) and l_shipdate between date '1995-01-01' and date '1996-12-31' ) as shipping group by supp_nation, cust_nation, l_year order by supp_nation, cust_nation, l_year; ph1 ph2 ph3 ph4(溢れ処理)
  • 27. © Hitachi, Ltd. 2014. All rights reserved. 2.10 TPC-H 100TB 世界初登録のニュースリリース 26 世界初、TPC-Hベンチマーク 100TBクラスへの登録を達成 ハードウェア性能を最大限発揮 するOoODEの特長により、従来 よりも少ないHDD台数でTPC-H ベンチマークを実施 ■共同ニュースリリース
  • 28. © Hitachi, Ltd. 2014. All rights reserved. 目次 1. TPC-Hベンチマーク100TBクラスへの挑戦 2. 超高速データベースエンジンの新技術 3. 今後の展開 27
  • 29. © Hitachi, Ltd. 2014. All rights reserved. 3.1 大量データの分析業務への適用 (流通・金融分野) 28 PARTKEY NAME MFGR BRAND TYPE SIZE CONTAINER COMMENT RETAILPRICE PARTKEY SUPPKEY AVAILQTY SUPPLYCOST COMMENT SUPPKEY NAME ADDRESS NATIONKEY PHONE ACCTBAL COMMENT ORDERKEY PARTKEY SUPPKEY LINENUMBER RETURNFLAG LINESTATUS SHIPDATE COMMITDATE RECEIPTDATE SHIPINSTRUCT SHIPMODE COMMENT CUSTKEY ORDERSTATUS TOTALPRICE ORDERDATE ORDER- PRIORITY SHIP- PRIORITY CLERK COMMENT CUSTKEY NAME ADDRESS PHONE ACCTBAL MKTSEGMENT COMMENT PART (P_) SF*200,000 PARTSUPP (PS_) SF*800,000 LINEITEM (L_) SF*6,000,000 ORDERS (O_) SF*1,500,000 CUSTOMER (C_) SF*150,000 SUPPLIER (S_) SF*10,000 ORDERKEY NATIONKEY EXTENDEDPRICE DISCOUNT TAX QUANTITY NATIONKEY NAME REGIONKEY NATION (N_) 25 COMMENT REGIONKEY NAME COMMENT REGION (R_) 5 注文表+明細表 ⇒レシートと同じ構造 ■TPC-Hのデータは一般的な販売履歴のデータベースをモデルとしている。 1回の注文で複数の商品を注文する ⇒ 小売業ならばPOSデータに相当 ■TPC-Hベンチマークでは、未集計の生データを扱う(事前集計は許していない)。 TPC-Hベンチマークで最大規模100TBを達成できたということは、HADBが大規模な データに対して、十分な検索性能を出せることを公に示したことになる。 100TBクラスのデータ規模 履歴データ 1500億件の注文 6000億件の明細 マスタデータ 150億人の顧客リスト 200億件の商品リスト 10億件の納入業者リスト 800億件の商品卸値リスト 流通・金融分野において 実適用を開始
  • 30. © Hitachi, Ltd. 2014. All rights reserved. 3.2 社会インフラシステムへの応用例-1 (電力分野) 2929 PMU installation in North America  電力系統の安定化のため、北米ではPMU(位相計測装置)設置台数が急増 Source: NASPI Oct 22, 2013 約500 (50TB/年) 1,126 (100TB/年) Source: DOE Synchrophasor Technologies and their Deployment in the Recovery Act Smart Grid Programs, August 2013 WECC(Western Electocity Coodinating Council)では 481台のPMUが設置済 Source: DOE Synchrophasor Technologies and their Deployment in the Recovery Act Smart Grid Programs, August 2013 PMUデータの利活用のため以下 の2つのデータ処理基盤が必要 Real-Time Data Processing Historical Data Analysis
  • 31. © Hitachi, Ltd. 2014. All rights reserved. 30 PDC PMU PMU PDC PMU PMU Super PDC Stream Data Processing In-memory Data Cache Analysis Applications Online Power System Analysis Load Sensor Data (every 5 to10 min) Model updates Model DBMS (HADB) Archive Files Access Historical Data (in 2 to 3 sec) Real-Time Data Processing Historical Data Analysis Off-line Analysis Historical Data Analysis: 大量に発生するデータの高速な蓄積と検索を実現することにより、 快適なオフライン分析を可能にする。 Real-Time Data Processing: PMUデータを用いたリアルタイムな電力系統の分析 3.3 社会インフラシステムへの応用例-2 (電力分野) Send Sensor Data (every a few sec) NASPI(North American SynchroPhasor Initiative) Data & Network Management Task Team break-out セッション発表資料より
  • 32. © Hitachi, Ltd. 2014. All rights reserved. 3.4 電力分野への応用 - デモンストレーション 31 Client PC PMU Application for Control Center Data source: Time series data from Phasor Measurement Units (dummy) - # of PMUs: 500 - Measurement interval: 33.3 milliseconds Data import operation: Imports data in every five minutes (400 MBytes) Size of historical Data: 1.2 Tbytes (14.5 Billion records, 11 days) DB server : HA8000/RS220 (12 cores/24 threads) + AMS2500 (64 HDDs) Client PC : Notebook PC DBMS : Hitachi Advanced Data Binder : Conventional DBMS Voltage Trend of PMUs PMU : Phasor Measurement Unit HADB DB Server HA8000/ RS220 AMS2500Historical Data Application Server Sensor Data Sensor data are imported periodically Network 従来DBMS Historical Data Conv. DBMS based IS & R HADB based IS & R
  • 33. © Hitachi, Ltd. 2014. All rights reserved. 3.5 電力分野への応用 - デモンストレーション 32 14.5 sec 1.1 sec 従来DBMS HADB
  • 34. © Hitachi, Ltd. 2014. All rights reserved. 株式会社 日立製作所 情報・通信システム社 ITプラットフォーム事業本部 開発統括本部 ソフトウェア開発本部 DB設計部 主管技師 超高速データベースエンジンを用いた TPC-Hベンチマーク100TBクラス世界初登録への挑戦 2014/6/18 藤原 真二 END 33
  • 35. © Hitachi, Ltd. 2014. All rights reserved. •TPC-H、TPC-Hベンチマーク、および、QphHはTransaction Processing Performance Councilの 商標です。 •Intel Xeonは,米国およびその他の国におけるIntel Corporationの商標です。 •Linuxは,Linus Torvalds氏の日本およびその他の国における登録商標または商標です。 •Red Hatは,米国およびその他の国でRed Hat, Inc. の登録商標もしくは商標です。 •InfoSizingは,米国及びその他の国におけるInfoSizing, Inc. の登録商標もしくは商標です。 •その他、記載の会社名、製品名はそれぞれの会社または団体の商標または登録商標です。 商標に関する注記 34