SlideShare una empresa de Scribd logo
1 de 36
Descargar para leer sin conexión
© 2017 IBM Corporation
データベース・サービスを好きなところで動かそう
Db2 Warehouse ⼤⽉ 真史、辻 ⿇⾐⼦
2017/9/7
© 2017 IBM Corporation2
⽬次
• はじめに
• Db2 Warehouseってなに?
• もっと深くみていこう
• Db2 Warehouseを動かしてみよう
• まとめ
© 2017 IBM Corporation3
“DB2”は”Db2”になりました
DB2
Software
dashDB
Local
dashDB for
Transactions
dashDB for
Analytics
オンプレミス/プライベート・クラウド パブリック・クラウド
• コアとなるデータ
ベース・ソフトウェ
ア
• さまざまな要件、構
成に対応可能
• お客様が⾃由に管理
• アナリティクス向け
のソリューション
• お客様のインフラに
デプロイして利⽤
• Dockerによって迅速
かつ簡単に利⽤開始
• お客様が⾃由に管理
• フルマネージドのト
ランザクション向け
DBサービス
• ⼩規模構成の仮想マ
シンか⼤規模構成の
物理マシンが⽤意さ
れる
• フルマネージドのア
ナリティクス向けDB
サービス
• SMPとMPP
• SoftLayer/AWSで利
⽤可能
Db2
Db2
Warehouse
Db2
on Cloud
Db2
Warehouse
on Cloud
IBMのデータベースソリューションをDb2ブランドで統⼀
当セッションでは
この話をします
© 2017 IBM Corporation4
ちなみに、Db2は誰でも使えます
n Db2 Developer-C / Db2 Developer
Community Edition (docker)
n 4 core, 16 GB Memory, 100 GB disk
n MacOSでも使える!(docker版)
n 本番環境では利⽤できない
開発者向けのフル機能版
n IBM Db2 Express-C
n 2 core, 16 GB Memory, 15 TB disk
n 本番環境で利⽤可能
n 機能には⼀部制限あり
本番でもタダで使いたい
n IBM Db2 評価版
n リソースの制限がないため、⼤規模環境で
の評価に使える
n 90⽇間の評価期間
フル機能&⼤規模で評価
n IBM Db2 Warehouse
n ダウンロードしたら30分で使える
n リソースの制限がないため、⼤規模環境で
の評価に使える
n 90⽇間の評価期間
Db2 Warehouseを試す
n 無償で利⽤できるDb2のご案内(https://www.ibm.com/blogs/solutions/jp-ja/db2-free/)
n クラウドで提供されるDb2 Warehouse on Cloudも、1GB以下であれば無償、無期限で利⽤できます
⽤途に応じていろいろな無償版の選択肢があります
© 2017 IBM Corporation5
Db2 Warehouse の評価版を使ってみる
Db2 Warehouse 評価版をDocker Hubから⼊⼿するには、以下の⼿順
を実施してください。
1. Docker HubサイトにてDocker IDの作成を⾏います。
https://hub.docker.com/
2. Docker Hubにログイン後、右上のプルダウンメニューからSettingを選択し、初期パスワードを変
更します。
3. IBM Db2 Warehouseのサイトにアクセスし「Start Your Free Trial」を選択します。
4. IBM IDとパスワードを⼊⼒します。(IBM IDはすぐに作成できます)
5. Docker IDを登録すると、24時間以内に承認メールが届きます。その後、Docker Hubからの
pull(ダウンロード)が可能になります。
Db2 Warehouseってなに?
© 2017 IBM Corporation7
データ分析に取り組むときのありがちなハードル
• マーケティング系の⼈が使ってみるときに
• 分析したいデータがある
• でも、貴重なデータなのでインターネット上のサービス
を使ってよいか判断できない
• 調査と承認を得るために数ヶ⽉かかる。却下されるかも
しれない
• 我が社のプライベート・クラウドは使ってよいけど、
サーバーだけもらってもつらい・・・
• 私のスキルだとDBを直接使って分析はするのは難し
い・・・
üエンジニアじゃなくても使える
üデータの持ち出しに苦労しなくてよい
Db2 Warehouseなら
© 2017 IBM Corporation8
短い期間で⽬的を達成するために
• 新たな施策の素早い⽴ち上げを⽀える
• センサーデータを利⽤した製造現場の⽣産性改善でIT⾯の
リードを命じられた
• とにかく早くと⾔われているので、インフラはさっさと作
りたい
• 統計解析や機械学習を使うことになりそうだけど、データ
量も膨⼤なので蓄積するコンポーネントは必須
• でも便利ですぐ使えるサービスはインターネットの向こう
側・・・データの性質を考えると⼯場に設置するか、せめ
て⾃社センターに置きたい・・
ü統計解析や機械学習を統合した分析基盤
üすぐに使い始めることができる
ü期間限定での導⼊もできる
Db2 Warehouseなら
© 2017 IBM Corporation9
Db2 Warehouseは何のために登場したのか?
PaaS
DWHプラットフォームの選択肢
Db2
Warehouse
on Cloud
IaaS
Private
Cloud
オンプレミス
アプライアンス
Db2
Db2
hosted
Db2
PureData
Db2
フルマネージドのDBサー
ビスBluemix Public/
Dedicatedで利⽤可能。
IaaSベンダーの提供する
サーバー上にデータベー
スを構築する。DB2は⾃
由にカスタマイズ可能。
お客様のプライベートク
ラウド上にデータベース
を構築する。DB2は⾃由
にカスタマイズ可能。
伝統的な利⽤形態。サー
バー、DB2どちらも⾃由
に構築可能。
設置してすぐ利⽤開始で
きる⾼速なDWHアプライ
アンス
Db2 Warehouseなら
ü SaaSで提供される管理機能やイ
ンターフェースがそのまま使える
ü フルマネージドの共通構成や共通
運⽤に制約されない(通信経路、
パッチ適⽤、メンテナンス)
ü SaaSで提供される管理機能やイ
ンターフェースがそのまま使える
ü お客様がデータに対する完全な管
理権限を維持できる
ここに⼤きな断絶がある
ü dockerコンテナーを利⽤して迅速
に構築できる
© 2017 IBM Corporation10
ホストサーバー
ホストサーバー
ホストサーバー
Db2 Warehouseのアーキテクチャ
n Docker上でIBM提供のコンテナーを稼働する
Linux OS
Docker engine
LDAP
ファイルシステム
Linux
プロセス Database Engine
Db2 Warehouseコンテナー
Fluid
Query
DSM
Web
console
Docker
Hub
IBM
Box
or
Docker Hub上のリポジトリーから取得も
しくはIBMのBoxからダウンロード
Ø データベース・エンジン
Ø 負荷モニター
Ø ユーザー管理
Ø データ投⼊
Ø オブジェクト管理
Ø Sparkの稼働環境
Ø ホストサーバー
Ø Docker環境
Ø DBデータを保持するファ
イルシステム
Db2 Warehouseが提供する部分
事前に⽤意する部分
© 2017 IBM Corporation11
Db2 Warehouseを動かすまでの流れ
n データベースの導⼊と構成は数コマンドで完了
サーバーとLinux OSを準備する
Dockerを導⼊、構成する
データベースを格納するファイルシステムを作成する
Docker Hubにログイン
Db2 Warehouseのイメージをダウンロード(docker pull)
Db2 Warehouseのコンテナを起動する(docker run)
表を作成しデータを投⼊する or ファイルをアップロード
Db2 Warehouseのユーザー登録を⾏う
分析に利⽤するアプリケーションから接続する
分析を始める
このセッション
で紹介
© 2017 IBM Corporation12
Db2 Warehouseの前提といろいろな構成
n 前提
n ⽬的に応じて多様な構成が可能
Db2
Warehouse
2 VPC
Docker engine
CPU: 2core
Memory:15GB
SSD:450GB
RHEL 7.3
• 2.0 GHz以上のプロセッサー
(ライセンス上2コアからスタート)
• 8 GB以上のメモリー
• 300 GB以上のストレージ
ハードウェア
• DockerをサポートするLinux
• Docker engine 1.12.6以上
(CE or EE)
* Power Linux LEの場合など、最新情報は
マニュアルを参照
ソフトウェア
お試しなら⽉額課⾦で
スモールスタート
Azure AWS
Db2
Warehouse
24 VPC
Docker engine
CPU: 24core
Memory:256GB
SSD:2TB
RHEL 7.3
4TB⽣データで
の推奨構成
IA Server 2TB
CPU: 8core
Memory:64GB
共有ストレージ
Docker
RHEL 7.3
クラスターソフト
Db2
Warehouse
8VPC
CPU: 8core
Memory:64GB
Docker
RHEL 7.3
クラスターソフト
Db2
Warehouse
1VPC
フェイルオーバー構成
IA
Server
IA
Server
Bluemix
もっと深くみていこう
© 2017 IBM Corporation14
スモールスタートから巨⼤なウェアハウスまで
n Db2 Warehouseは、1つのDockerイメージが3つの構成パターンに対
応する
n シングルサーバー構成(SMP)
— 初期化時に1台のサーバーと8GB以上のメモリーが構成されている場合
— 2CPUコアでのスモールスタートから、64コア構成で10TB⽣データの⾼速処理まで
n 最⼤24台までのスケールアウト構成(MPP)
— 初期化時に3台以上のサーバーと、各サーバー64GB以上のメモリーが構成されている場合
— データを格納するための共有ストレージが必要
n 最⼤60台までのスケールアウト構成(MPP)
— 初期化時に3台以上のサーバーと、クラスター全体で7.68TB以上のメモリーが構成されている場合
— データを格納するための共有ストレージが必要
共通のソフトウェア、共通の管理インターフェースで
⼩規模から超⼤規模までの幅広い⽤途で利⽤できる!
© 2017 IBM Corporation15
どんなときに複数のサーバーを必要とするのか?
n たとえば…
— 数⼗TBのデータを蓄積して⾼速に分析したい
— Sparkによる⾮構造化データの分析基盤を同時に構築したい
n MPP構成の⾯⽩いところ
— 3台から24台もしくは60台までMPP構成でスケールアウト可能
— HAの設定をしなくても障害時は⾃動で縮退して継続稼働
— 構造化データはBLU MPP(DBエンジン)で分散処理、⾮構造化デー
タはSparkで分散処理
— 相互の変換もサーバー内で⾼速に
サーバー
共有ストレージ
サーバー サーバー サーバー
共有ファイルシステム
サーバーが協調動作するための共
有ファイルシステム
Db2 Warehouse MPP構成の概要
© 2017 IBM Corporation16
Db2のMPP構成ってどんなの?
n Db2 MPP環境はn個のdata partitionで構成され、それぞれのdata partition
が1/nのデータを分散して保持する
Partition 0
Partition 1
Partition 2
Partition 3
Partition 4
Partition 23
Partition 22
24のData
Partition
・
・
・
Partition 5
Partition 6
24のプロセス
Partition 21
db2sysc 0
db2sysc 1
db2sysc 5
db2sysc 4
db2sysc 3
db2sysc 2
db2sysc 6
db2sysc 21
db2sysc 22
db2sysc 23
照会に対しては
各パーティションが
1/24のデータを処理
それぞれのプロセス
がメモリーを確保
n台のサーバー
(例では4台)
db2sysc 0
db2sysc 1
db2sysc 2
db2sysc 3
db2sysc 4
db2sysc 5
db2sysc 6
.
.
db2sysc 18
.
db2sysc 21
db2sysc 22
db2sysc 23
任意の数のサーバー
に格納する
・
・
・
・
・
・
24セットの
DBファイル群
・
・
・
・
・
・
ストレージ
サーバーのローカル
DISKでも共有DISK
でもよい
照会を発⾏
© 2017 IBM Corporation17
データはどんな⾵に分散されるか
n テーブルごとに決める「分散キー」のハッシュ値で格納先のdata partitionが決
まる
レコード1
分散キーを取り出し
てハッシュ値を計算
a8db4f
データ投⼊時にレコードの値で
配置先が決まる
レコード2
c8cbd1
Partition 16
ハッシュ値を元に格
納先を決定
Partition 5
create table sales (
store_id bigint,
order_date timestamp,
shipping_id bigint,
shipping_method char(20),
mix_cntl int ,
mix_desc char(20) ,
mix_chr char(9) ,
mix_ints smallint ,
mix_tmstmp timestamp )
distribute by hash (store_id)
テーブルを作成するときに
分散キーを指定する
レコード3
11ed8f
Partition 3
© 2017 IBM Corporation18
そのデータ分散の仕組みって、重くない?
SALES表
Hashing
(store_id)
create table SALES (
store_id bigint,
order_date timestamp,
...)
distribute by hash (store_id)
カラム
ストア
C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8
C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8
C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8
C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8
C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8
C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8
C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8
C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8
Hashing
(store_id)
STOCK表
create table STOCK (
store_id bigint,
order_date timestamp,
...)
distribute by hash (store_id)
カラム
ストア
SELECT store_id,
sum(store_sales),
sum(stock_volume)
from SALES, STOCK
where sales.store_id = stock.store_id
データ投⼊時は確かに重いが、照会はとても早い
分散キーが⼀致するテーブル同⼠の照会
ではネットワーク転送がほとんど不要
© 2017 IBM Corporation19
スケールインもスケールアウトも⾃在
Partition 0
Partition 1
Partition 5
Partition 6
Partition 7
Partition 11
Partition 12
Partition 13
Partition 17
Partition 18
Partition 19
Partition 23
Partition 2 Partition 8 Partition 14 Partition 20
Partition 3 Partition 9 Partition 15 Partition 21
Partition 4 Partition 10 Partition 16 Partition 22
Partition 0
Partition 1
Partition 5
Partition 6
Partition 7
Partition 17
Partition 18
Partition 19
Partition 23
Partition 2
Partition 20
Partition 3
Partition 21
Partition 4
Partition 16
Partition 22
Partition 11
Partition 12
Partition 13
Partition 8
Partition 14
Partition 9
Partition 15
Partition 10
Part 0
Part 1
Part 2
Part 3
Part 12
Part 13
Part 14
Part 15Part 11
Part 8
Part 9
Part 10
Part 23
Part 20
Part 21
Part 22Part 6
Part 7
Part 5
Part 4
Part 17
Part 18
Part 19
Part 16
サーバー4台で稼働中
3台構成へスケールイン
(縮退)
6台構成へスケールアウト
定義したサーバー数に応じて⾃動的にdata partitionが配分される
# cat /mnt/clusterfs/nodes
head_node=node1i:192.168.10.1
data_node1=node2i:192.168.10.2
data_node2=node3i:192.168.10.3
data_node3=node4i:192.168.10.4
# cat /mnt/clusterfs/nodes
head_node=node1i:192.168.10.1
data_node1=node2i:192.168.10.2
data_node2=node3i:192.168.10.3
data_node3=node4i:192.168.10.4
data_node4=node5i:192.168.10.5
data_node5=node6i:192.168.10.6
© 2017 IBM Corporation20
共有ストレージはとても⼤事
n 前ページのダイナミックなノードの増減が実現できるのは共有ストレージ
と共有ファイルシステムのおかげ
n Hadoopなどの分散ファイルシステムと⽐べるとストレージへの投資が⼤
きくなるが、得られるメリットを考えると捨てたものではない
n ストレージ技術の進歩により取り得る選択肢は多い
— フラッシュ + 共有ファイルシステム( GPFS/GFS2 など)
— クラウドベンダーのBlock Storage +共有ファイルシステム( GPFS/GFS2など)
— ⾼速NAS (NFS)で共有ファイルシステムを不要に
— Amazon EFS(NFS)でストレージも⾃在にスケールさせる
© 2017 IBM Corporation21
Db2 Warehouseで利⽤できるストレージ構成の選択肢
共有DISK+共有FS クラウドDISK+共有FS
⾼速NAS Amazon EFS
Db2
Ware
house
フラッシュ
Db2
Ware
house
Db2
Ware
house
GPFS/GFS2など
Db2
Ware
house
Bluemix Infra
Block Storage
Db2
Ware
house
Db2
Ware
house
GPFS/GFS2など
Db2
Ware
house
NAS DISK
Db2
Ware
house
Db2
Ware
house
NFS NFS NFS
Db2
Ware
house
Amazon EFS
Db2
Ware
house
Db2
Ware
house
NFS NFS NFS
iSCSI iSCSI iSCSI
n 共有できてPosix互換なら、なんでもOK
© 2017 IBM Corporation22
dashDB LocalコンテナdashDB Localコンテナ
Analytics
EngineRelational Engine
CSV,Twitter, 地理データ
オープン・データ
BI/分析アプリケーション
(SPSS/Cognos)
Webコンソール
SQLインターフェイス
Cloudant
(蓄積)
構造化データ
スケーラブルクラスタファイルシステム
Watson IoT/Kafka
(収集、抽出)
共有メモリによる⾼速データ通信
データサイエンティスト
テキスト
ファイル
半構造化、⾮構造データ
オブジェクトストレージ
ストリームデータ
データ可視化、分析
加⼯
加⼯
Db2 Warehouse コンテナ
⾮構造化データはどうするの?
データウェアハウスにSpark分析エンジンを統合することで、半構造、⾮構造化データの
加⼯、分析処理と従来の構造化データ分析処理を単⼀プラットフォームで実現
n Relational Engine側に格納してSparkで読み込んでも良いし、ファイル
のままファイルシステムに配置することも可能
© 2017 IBM Corporation23
どんなデータをどちらに置くべきか
n RDB側で持っても、ファイルのまま共有ファイルシステムに保持しても良い
n データの特性によってどこで持つかを決めよう
xxx,yyy,zzz,111
xxx,yyy,zaz,121
xxx,yyy,zaz,113
xxx,yyy,zpz,114
xxx,yyy,zyz,161
csv
{
"name": "db-server",
"chef_type": "role",
"json_class":
"Chef::Role",
"ibm": {},
}
JSON/XML
2017-08-08 15:26:51.097957: I
tensorflow/core/common_runtim
e/gpu/gpu_device.cc:961] DMA:
0
2017-08-08 15:26:51.097962: I
tensorflow/core/common_runtim
e/gpu/gpu_device.cc:971] 0: Y
2017-08-08 15:26:51.097972: I
tensorflow/core/common_
log
RDB
共有ファイルシステム
C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8 C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8
n ある程度データ形式が決まっている
n 全体をスキャンせずに⾼速に⼀本釣りしたい
n SQLで強⼒にサマリーしたい
n データがどんどん変わるので形式を固定
したくない
n Pythonなどで直接処理する⽅が便利
n とりあえずファイルだけ放り込んで貯め
ておきたい
© 2017 IBM Corporation24
構造化データと⾮構造化データの⾏き来も簡単
n Database EngineのデータをSparkSQLで読み込む
n 共有ファイルシステムに貯めたファイルをPythonで処理して
Database Engineに投⼊
from pyspark.mllib.classification import LogisticRegressionWithLBFGS, LogisticRegressionModel
from pyspark.mllib.regression import LabeledPoint
sparkSession = SparkSession.builder.getOrCreate()
inputData = sparkSession.read.format("com.ibm.idax.spark.idaxsource") ¥
.options(dbtable=“BLUADMIN.LGDATA") ¥
.load()
data1 = spark.read.csv("work/data1.txt", mode="DROPMALFORMED", inferSchema=True)
data1.write.format("com.ibm.idax.spark.idaxsource")
.options(dbtable="BLUADMIN.NOGT1") ¥
.option("allowAppend","true") ¥
.mode("append")¥
.save()
© 2017 IBM Corporation25
どんな使い⽅をしている?
主⼒DWHとして使われている
PureData for Analyticsの負荷を
オフロードするため⼤容量かつ低
コストなデータストアとして採⽤
2PB!のディスクと6台のMPP構
成でデータを蓄積し、Hadoopの
ワークロードも集約に成功
⼤⼿銀⾏
他社データベースのエンタープラ
イズDWHをオフロードするため、
低コストなコモディティH/Wを活
⽤できるデータストアとして採⽤
Db2 Warehouseに統合された
Sparkも活⽤
⼤⼿保険会社
Db2 Warehouse &
Db2 Warehouse on Cloud!
クラウドのDb2 Warehouseを購⼊
されたお客様が、⾼いSLAやセ
キュリティを必要とするデータを
管理するために、共通のインター
フェースで利⽤できるDb2
Warehouseを追加導⼊
ゲーム会社
法規制(HIPAA)への対応で
Microsoft Accessでのデータ管理
からDb2 Warehouseへ
⽉額課⾦モデルを利⽤して低コス
トにスモールスタート。同じサー
バーで稼働できるSparkと
Jupyterを利⽤して分析に活⽤
ヘルスケアNPO
© 2017 IBM Corporation26
【参考】複数サーバーでMPP構成を組む
n MPP構成のコンポーネント構造
Network Switch
共有ストレージ
SAN/Eth
Network
Partition 0
共有ファイ
ルシステム
Partition 1
Partition 5
・
・
・
SAN/Eth
Network
Partition 6
共有ファイ
ルシステム
Partition 7
Partition 11
・
・
・
SAN/Eth
Network
Partition 12
共有ファイ
ルシステム
Partition 13
Partition 17
・
・
・
SAN/Eth
Network
Partition 18
共有ファイ
ルシステム
Partition 19
Partition 23
・
・
・
DockerDockerDockerDocker
共有ファイルシステム
• サーバー間で共有可能なファイルシステムで、
Posix互換であれば使⽤可能
• Db2 Warehouseを構成するパーティション
が別のサーバに移動しても、継続してデータ
にアクセス可能にする必要がある
• ストレージに応じて適切な共有ファイルシス
テムを選択する
• IBM Spectrum Scale (GPFS)とSANス
トレージ
• iSCSIとSoftLayer Block Storage
• サーバー内蔵ディスクとGPFS FPO
• など
通信ネットワーク
• SQL実⾏時のパーティション間通信に利⽤
• 10Gイーサネットを推奨
• インフラ構成上可能であれば、アプリケー
ションからの接続⽤ネットワークとは分離す
ることが望ましい
Db2 Warehouse(ノード)
• MPP構成では24 or 60のパーティションが
サーバー数に応じて⾃動で分散配置される
• サーバー障害時は⾃動的に検知して縮退する
(4台x6パーティション⇒3台x8パーティションなど)
• MPPでは8コア、64GBメモリーが最⼩の基
準
© 2017 IBM Corporation27
§ 例: 2010年の販売件数を調べる
§ SELECT COUNT(*) from MYTABLE
where YEAR = ʻ2010ʼ
§ システム構成: 32コアCPU
§ 表構成:10TBのテーブル
(100の列を含む10年分のデータ)
アクショナブル・コンプ
レッションによってデー
タ容量を1 TBに圧縮
各コア上でリニアスキャ
ンの並列処理を実施し、
32 MBのデータを処理
SIMD を活⽤し、8 MB
のデータを処理 数秒以内で
処理が完了
列処理によってデータ
容量を10 GBに削減
データ・スキッピン
グによってデータ容
量を1 GBに削減
DATA
DATA
DATA
DATA
DATA
DATA
DATA
DATA
DATA
DATA DATA DATA
DATA
DATA DATA
Db2 BLU アクセラレーションは、列指向のデータストアによって個別の分析クエリーに
応じた索引設定などのチューニングを⾏うことなく、巨⼤データの⾼速分析を可能にする
DB基盤です。
各CPUコアが8MB相当のデータを
処理するだけで良いため、数秒以内で
処理が完了する。
10 TBのデータ
結果
【参考】 Db2カラムストア(BLUアクセラレーション)のしくみ
© 2017 IBM Corporation28
ここまでのまとめ
Db2 Warehouseは場所を選びません
Public Cloudやデータセンター内など、あなたが管理しているサー
バー上でDb2 Warehouseを動かせます。
すぐに使い始めることができます
チューニング済みの環境が数コマンドで構築できます。
GUIでの操作が可能なWebコンソールや、分析ツールとの連携も簡
単です。
構造化、⾮構造化を問わずデータを統合管理できます
構造化データを分析するDBエンジンと、⾮構造化データの分析を
可能にするSparkエンジンの双⽅が利⽤できます。
Db2 Warehouseを動かしてみる
© 2017 IBM Corporation30
デモシナリオ⽬次
§Db2 Warehouse の基本操作:コンソール
§Db2 WarehouseとRを利⽤したアナリティクスの実践
§Sparkの提供する機械学習ライブラリ(MLlib)の利⽤
© 2017 IBM Corporation31
Db2 Warehouse の基本操作 : コンソール
üデータベースオブジェクトの管理、操作
üシステム全体のモニター、性能調査
üユーザーや権限の管理
ホストサーバー
Linux OS
Docker engine
Database Engine
Db2 Warehouse コンテナー
Web
console
ファイルシステム
© 2017 IBM Corporation32
ホストサーバー
Linux OS
Docker engine
Database Engine
Db2 Warehouse コンテナー
ファイルシステム
R Studioとの連携
üR Studio(R⾔語の開発環境)⽤コンテナーを作成可能
üIn-Database Analytics⽤の関数の利⽤
ü統計分析、グラフ作成、地図情報を⽤いた可視化
R
Studio
Driver Pkg
R Studio
コンテナー
© 2017 IBM Corporation33
ホストサーバー
Linux OS
Docker engine
Db2 Warehouse コンテナー
ファイルシステム
Sparkとの連携
üJupyter Notebook⽤コンテナーを作成可能
ü機械学習ライブラリ(MLlib)の利⽤
Jupyter
Notebook
Jupyter
Notebook
コンテナー
Spark
Engine
Database Engine
© 2017 IBM Corporation34
数クリックでお⼿軽に試したいときはこちら
IBM Db2 Developer Community Edition
利⽤上の注意/制限:開発⽤途のみに使⽤ください/コミュニティサポートの製品です
Db2を始めませんか?
Download & Go! たった15分でお⼿元にDb2が
インストール
http://ibm.biz/db2dev_com
http://ibm.biz/db2dev_c
他社のデータベース含めDBの知識がある⽅
にオススメです
全機能が無償でじっくり試せます
IBM Db2 Developer-C for Non-Production
© 2017 IBM Corporation35
Legal Disclaimer
• © IBM Corporation 2016. All Rights Reserved.
• The information contained in this publication is provided for informational purposes only. While efforts were made to verify the completeness and accuracy of the information contained
in this publication, it is provided AS IS without warranty of any kind, express or implied. In addition, this information is based on IBM’s current product plans and strategy, which are
subject to change by IBM without notice. IBM shall not be responsible for any damages arising out of the use of, or otherwise related to, this publication or any other materials. Nothing
contained in this publication is intended to, nor shall have the effect of, creating any warranties or representations from IBM or its suppliers or licensors, or altering the terms and
conditions of the applicable license agreement governing the use of IBM software.
• References in this presentation to IBM products, programs, or services do not imply that they will be available in all countries in which IBM operates. Product release dates and/or
capabilities referenced in this presentation may change at any time at IBM’s sole discretion based on market opportunities or other factors, and are not intended to be a commitment
to future product or feature availability in any way. Nothing contained in these materials is intended to, nor shall have the effect of, stating or implying that any activities undertaken by
you will result in any specific sales, revenue growth or other results.
• If the text contains performance statistics or references to benchmarks, insert the following language; otherwise delete:
Performance is based on measurements and projections using standard IBM benchmarks in a controlled environment. The actual throughput or performance that any user will
experience will vary depending upon many factors, including considerations such as the amount of multiprogramming in the user's job stream, the I/O configuration, the storage
configuration, and the workload processed. Therefore, no assurance can be given that an individual user will achieve results similar to those stated here.
• If the text includes any customer examples, please confirm we have prior written approval from such customer and insert the following language; otherwise delete:
All customer examples described are presented as illustrations of how those customers have used IBM products and the results they may have achieved. Actual environmental costs
and performance characteristics may vary by customer.
• Please review text for proper trademark attribution of IBM products. At first use, each product name must be the full name and include appropriate trademark symbols (e.g., IBM
Lotus® Sametime® Unyte™). Subsequent references can drop “IBM” but should include the proper branding (e.g., Lotus Sametime Gateway, or WebSphere Application Server).
Please refer to http://www.ibm.com/legal/copytrade.shtml for guidance on which trademarks require the ® or ™ symbol. Do not use abbreviations for IBM product names in your
presentation. All product names must be used as adjectives rather than nouns. Please list all of the trademarks that you use in your presentation as follows; delete any not included in
your presentation. IBM, the IBM logo, Lotus, Lotus Notes, Notes, Domino, Quickr, Sametime, WebSphere, UC2, PartnerWorld and Lotusphere are trademarks of International
Business Machines Corporation in the United States, other countries, or both. Unyte is a trademark of WebDialogs, Inc., in the United States, other countries, or both.
• If you reference Adobe® in the text, please mark the first use and include the following; otherwise delete:
Adobe, the Adobe logo, PostScript, and the PostScript logo are either registered trademarks or trademarks of Adobe Systems Incorporated in the United States, and/or other
countries.
• If you reference Java™ in the text, please mark the first use and include the following; otherwise delete:
Java and all Java-based trademarks and logos are trademarks or registered trademarks of Oracle and/or its affiliates.
• If you reference Microsoft® and/or Windows® in the text, please mark the first use and include the following, as applicable; otherwise delete:
Microsoft and Windows are trademarks of Microsoft Corporation in the United States, other countries, or both.
• If you reference Intel® and/or any of the following Intel products in the text, please mark the first use and include those that you use as follows; otherwise delete:
Intel, Intel Centrino, Celeron, Intel Xeon, Intel SpeedStep, Itanium, and Pentium are trademarks or registered trademarks of Intel Corporation or its subsidiaries in the United States
and other countries.
• If you reference UNIX® in the text, please mark the first use and include the following; otherwise delete:
UNIX is a registered trademark of The Open Group in the United States and other countries.
• If you reference Linux® in your presentation, please mark the first use and include the following; otherwise delete:
Linux is a registered trademark of Linus Torvalds in the United States, other countries, or both. Other company, product, or service names may be trademarks or service marks of
others.
• If the text/graphics include screenshots, no actual IBM employee names may be used (even your own), if your screenshots include fictitious company names (e.g., Renovations, Zeta
Bank, Acme) please update and insert the following; otherwise delete: All references to [insert fictitious company name] refer to a fictitious company and are used for illustration
purposes only.
Db2 Warehouse セッション資料 db tech showcase

Más contenido relacionado

La actualidad más candente

分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)NTT DATA Technology & Innovation
 
3分でわかるAzureでのService Principal
3分でわかるAzureでのService Principal3分でわかるAzureでのService Principal
3分でわかるAzureでのService PrincipalToru Makabe
 
YugabyteDBを使ってみよう - part2 -(NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料)
YugabyteDBを使ってみよう - part2 -(NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料)YugabyteDBを使ってみよう - part2 -(NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料)
YugabyteDBを使ってみよう - part2 -(NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料)NTT DATA Technology & Innovation
 
Db2 & Db2 Warehouse v11.5.4 最新情報アップデート2020年8月25日
Db2 & Db2 Warehouse v11.5.4 最新情報アップデート2020年8月25日Db2 & Db2 Warehouse v11.5.4 最新情報アップデート2020年8月25日
Db2 & Db2 Warehouse v11.5.4 最新情報アップデート2020年8月25日IBM Analytics Japan
 
あなたのクラウドは大丈夫?NRI実務者が教えるセキュリティの傾向と対策 (Oracle Cloudウェビナーシリーズ: 2021年11月24日)
あなたのクラウドは大丈夫?NRI実務者が教えるセキュリティの傾向と対策 (Oracle Cloudウェビナーシリーズ: 2021年11月24日)あなたのクラウドは大丈夫?NRI実務者が教えるセキュリティの傾向と対策 (Oracle Cloudウェビナーシリーズ: 2021年11月24日)
あなたのクラウドは大丈夫?NRI実務者が教えるセキュリティの傾向と対策 (Oracle Cloudウェビナーシリーズ: 2021年11月24日)オラクルエンジニア通信
 
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)NTT DATA Technology & Innovation
 
単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介AdvancedTechNight
 
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon S3を中心とするデータ分析のベストプラクティスAmazon S3を中心とするデータ分析のベストプラクティス
Amazon S3を中心とするデータ分析のベストプラクティスAmazon Web Services Japan
 
PGOを用いたPostgreSQL on Kubernetes入門(PostgreSQL Conference Japan 2022 発表資料)
PGOを用いたPostgreSQL on Kubernetes入門(PostgreSQL Conference Japan 2022 発表資料)PGOを用いたPostgreSQL on Kubernetes入門(PostgreSQL Conference Japan 2022 発表資料)
PGOを用いたPostgreSQL on Kubernetes入門(PostgreSQL Conference Japan 2022 発表資料)NTT DATA Technology & Innovation
 
ビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年versionビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年versionTetsutaro Watanabe
 
超実践 Cloud Spanner 設計講座
超実践 Cloud Spanner 設計講座超実践 Cloud Spanner 設計講座
超実践 Cloud Spanner 設計講座Samir Hammoudi
 
RDB開発者のためのApache Cassandra データモデリング入門
RDB開発者のためのApache Cassandra データモデリング入門RDB開発者のためのApache Cassandra データモデリング入門
RDB開発者のためのApache Cassandra データモデリング入門Yuki Morishita
 
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理NTT DATA Technology & Innovation
 
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)Noritaka Sekiyama
 
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)NTT DATA Technology & Innovation
 
[DO08] 『変わらない開発現場』を変えていくために ~エンプラ系レガシー SIer のための DevOps 再入門~
[DO08] 『変わらない開発現場』を変えていくために ~エンプラ系レガシー SIer のための DevOps 再入門~[DO08] 『変わらない開発現場』を変えていくために ~エンプラ系レガシー SIer のための DevOps 再入門~
[DO08] 『変わらない開発現場』を変えていくために ~エンプラ系レガシー SIer のための DevOps 再入門~de:code 2017
 
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...NTT DATA Technology & Innovation
 
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)NTT DATA Technology & Innovation
 

La actualidad más candente (20)

Apache Spark の紹介(前半:Sparkのキホン)
Apache Spark の紹介(前半:Sparkのキホン)Apache Spark の紹介(前半:Sparkのキホン)
Apache Spark の紹介(前半:Sparkのキホン)
 
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
 
3分でわかるAzureでのService Principal
3分でわかるAzureでのService Principal3分でわかるAzureでのService Principal
3分でわかるAzureでのService Principal
 
YugabyteDBを使ってみよう - part2 -(NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料)
YugabyteDBを使ってみよう - part2 -(NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料)YugabyteDBを使ってみよう - part2 -(NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料)
YugabyteDBを使ってみよう - part2 -(NewSQL/分散SQLデータベースよろず勉強会 #2 発表資料)
 
Db2 & Db2 Warehouse v11.5.4 最新情報アップデート2020年8月25日
Db2 & Db2 Warehouse v11.5.4 最新情報アップデート2020年8月25日Db2 & Db2 Warehouse v11.5.4 最新情報アップデート2020年8月25日
Db2 & Db2 Warehouse v11.5.4 最新情報アップデート2020年8月25日
 
あなたのクラウドは大丈夫?NRI実務者が教えるセキュリティの傾向と対策 (Oracle Cloudウェビナーシリーズ: 2021年11月24日)
あなたのクラウドは大丈夫?NRI実務者が教えるセキュリティの傾向と対策 (Oracle Cloudウェビナーシリーズ: 2021年11月24日)あなたのクラウドは大丈夫?NRI実務者が教えるセキュリティの傾向と対策 (Oracle Cloudウェビナーシリーズ: 2021年11月24日)
あなたのクラウドは大丈夫?NRI実務者が教えるセキュリティの傾向と対策 (Oracle Cloudウェビナーシリーズ: 2021年11月24日)
 
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTTデータが考えるデータ基盤の次の一手 ~AI活用のために知っておくべき新潮流とは?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
 
単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介
 
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon S3を中心とするデータ分析のベストプラクティスAmazon S3を中心とするデータ分析のベストプラクティス
Amazon S3を中心とするデータ分析のベストプラクティス
 
PGOを用いたPostgreSQL on Kubernetes入門(PostgreSQL Conference Japan 2022 発表資料)
PGOを用いたPostgreSQL on Kubernetes入門(PostgreSQL Conference Japan 2022 発表資料)PGOを用いたPostgreSQL on Kubernetes入門(PostgreSQL Conference Japan 2022 発表資料)
PGOを用いたPostgreSQL on Kubernetes入門(PostgreSQL Conference Japan 2022 発表資料)
 
ビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年versionビッグデータ処理データベースの全体像と使い分け
2018年version
ビッグデータ処理データベースの全体像と使い分け
2018年version
 
超実践 Cloud Spanner 設計講座
超実践 Cloud Spanner 設計講座超実践 Cloud Spanner 設計講座
超実践 Cloud Spanner 設計講座
 
Azure Datalake 大全
Azure Datalake 大全Azure Datalake 大全
Azure Datalake 大全
 
RDB開発者のためのApache Cassandra データモデリング入門
RDB開発者のためのApache Cassandra データモデリング入門RDB開発者のためのApache Cassandra データモデリング入門
RDB開発者のためのApache Cassandra データモデリング入門
 
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
 
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
 
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
 
[DO08] 『変わらない開発現場』を変えていくために ~エンプラ系レガシー SIer のための DevOps 再入門~
[DO08] 『変わらない開発現場』を変えていくために ~エンプラ系レガシー SIer のための DevOps 再入門~[DO08] 『変わらない開発現場』を変えていくために ~エンプラ系レガシー SIer のための DevOps 再入門~
[DO08] 『変わらない開発現場』を変えていくために ~エンプラ系レガシー SIer のための DevOps 再入門~
 
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
大規模データ処理の定番OSS Hadoop / Spark 最新動向 - 2021秋 -(db tech showcase 2021 / ONLINE 発...
 
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
Apache Spark on Kubernetes入門(Open Source Conference 2021 Online Hiroshima 発表資料)
 

Similar a Db2 Warehouse セッション資料 db tech showcase

[db tech showcase Tokyo 2017] E34: データベース・サービスを好きなところで動かそう Db2 Warehouse by 日...
[db tech showcase Tokyo 2017] E34: データベース・サービスを好きなところで動かそう Db2 Warehouse by 日...[db tech showcase Tokyo 2017] E34: データベース・サービスを好きなところで動かそう Db2 Warehouse by 日...
[db tech showcase Tokyo 2017] E34: データベース・サービスを好きなところで動かそう Db2 Warehouse by 日...Insight Technology, Inc.
 
Dell emc highperformancevirtualinfracommunitymeetup_20180621publish
Dell emc highperformancevirtualinfracommunitymeetup_20180621publishDell emc highperformancevirtualinfracommunitymeetup_20180621publish
Dell emc highperformancevirtualinfracommunitymeetup_20180621publishMakoto Ono
 
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~griddb
 
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDBDXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDBgriddb
 
Windows Server 2019 の Hyper-Converged Infrastructure (HCI)
Windows Server 2019 の Hyper-Converged Infrastructure (HCI) Windows Server 2019 の Hyper-Converged Infrastructure (HCI)
Windows Server 2019 の Hyper-Converged Infrastructure (HCI) Hiroshi Matsumoto
 
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデートAmazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデートAmazon Web Services Japan
 
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...Insight Technology, Inc.
 
IBM Cloud を利用したデータ分析ことはじめ
IBM Cloud を利用したデータ分析ことはじめIBM Cloud を利用したデータ分析ことはじめ
IBM Cloud を利用したデータ分析ことはじめIBM Analytics Japan
 
Cld002 windows server_2016_で作るシンプ
Cld002 windows server_2016_で作るシンプCld002 windows server_2016_で作るシンプ
Cld002 windows server_2016_で作るシンプTech Summit 2016
 
Db2リブランディングと製品動向 201707
Db2リブランディングと製品動向 201707Db2リブランディングと製品動向 201707
Db2リブランディングと製品動向 201707IBM Analytics Japan
 
[db tech showcase Tokyo 2017] E24: 流行りに乗っていれば幸せになれますか?数あるデータベースの中から敢えて今Db2が選ば...
[db tech showcase Tokyo 2017] E24: 流行りに乗っていれば幸せになれますか?数あるデータベースの中から敢えて今Db2が選ば...[db tech showcase Tokyo 2017] E24: 流行りに乗っていれば幸せになれますか?数あるデータベースの中から敢えて今Db2が選ば...
[db tech showcase Tokyo 2017] E24: 流行りに乗っていれば幸せになれますか?数あるデータベースの中から敢えて今Db2が選ば...Insight Technology, Inc.
 
Snr005 レノボだから実現
Snr005 レノボだから実現Snr005 レノボだから実現
Snr005 レノボだから実現Tech Summit 2016
 
Db2をAWS上に構築する際のヒント&TIPS 2020年6月版
Db2をAWS上に構築する際のヒント&TIPS 2020年6月版Db2をAWS上に構築する際のヒント&TIPS 2020年6月版
Db2をAWS上に構築する際のヒント&TIPS 2020年6月版Akira Shimosako
 
もっとわかる Microsoft Azure 最新技術アップデート編 - 20150123
もっとわかる Microsoft Azure最新技術アップデート編 - 20150123もっとわかる Microsoft Azure最新技術アップデート編 - 20150123
もっとわかる Microsoft Azure 最新技術アップデート編 - 20150123Kuninobu SaSaki
 
B14 SQL Server over SMB using infiniBand and SSD by Mario Broodbakker/市川明
B14 SQL Server over SMB using infiniBand and SSD by Mario Broodbakker/市川明B14 SQL Server over SMB using infiniBand and SSD by Mario Broodbakker/市川明
B14 SQL Server over SMB using infiniBand and SSD by Mario Broodbakker/市川明Insight Technology, Inc.
 
Soft layer環境でのdb2構成ガイド
Soft layer環境でのdb2構成ガイドSoft layer環境でのdb2構成ガイド
Soft layer環境でのdb2構成ガイドjapan_db2
 
[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔
[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔
[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔Insight Technology, Inc.
 
AIやマイクロサービスを活用したDynamoDB節約術
AIやマイクロサービスを活用したDynamoDB節約術AIやマイクロサービスを活用したDynamoDB節約術
AIやマイクロサービスを活用したDynamoDB節約術gree_tech
 
[db tech showcase Tokyo 2017] E35: 12台でやってみた!DWHソフトウェアアプライアンス Db2 Warehouse ~...
[db tech showcase Tokyo 2017] E35: 12台でやってみた!DWHソフトウェアアプライアンス Db2 Warehouse ~...[db tech showcase Tokyo 2017] E35: 12台でやってみた!DWHソフトウェアアプライアンス Db2 Warehouse ~...
[db tech showcase Tokyo 2017] E35: 12台でやってみた!DWHソフトウェアアプライアンス Db2 Warehouse ~...Insight Technology, Inc.
 

Similar a Db2 Warehouse セッション資料 db tech showcase (20)

[db tech showcase Tokyo 2017] E34: データベース・サービスを好きなところで動かそう Db2 Warehouse by 日...
[db tech showcase Tokyo 2017] E34: データベース・サービスを好きなところで動かそう Db2 Warehouse by 日...[db tech showcase Tokyo 2017] E34: データベース・サービスを好きなところで動かそう Db2 Warehouse by 日...
[db tech showcase Tokyo 2017] E34: データベース・サービスを好きなところで動かそう Db2 Warehouse by 日...
 
Dell emc highperformancevirtualinfracommunitymeetup_20180621publish
Dell emc highperformancevirtualinfracommunitymeetup_20180621publishDell emc highperformancevirtualinfracommunitymeetup_20180621publish
Dell emc highperformancevirtualinfracommunitymeetup_20180621publish
 
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
サイバーフィジカルシステム(CPS)に必要なデータ基盤を考える ~ NoSQL/SQLハイブリット型GridDB ~
 
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDBDXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
DXを支えるスケールアウト型NoSQL/SQLハイブリッドデータベース GridDB
 
Windows Server 2019 の Hyper-Converged Infrastructure (HCI)
Windows Server 2019 の Hyper-Converged Infrastructure (HCI) Windows Server 2019 の Hyper-Converged Infrastructure (HCI)
Windows Server 2019 の Hyper-Converged Infrastructure (HCI)
 
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデートAmazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
 
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...
[db tech showcase Tokyo 2014] D15:日立ストレージと国産DBMS HiRDBで実現する『ワンランク上』のディザスタリカバリ...
 
IBM Cloud を利用したデータ分析ことはじめ
IBM Cloud を利用したデータ分析ことはじめIBM Cloud を利用したデータ分析ことはじめ
IBM Cloud を利用したデータ分析ことはじめ
 
Cld002 windows server_2016_で作るシンプ
Cld002 windows server_2016_で作るシンプCld002 windows server_2016_で作るシンプ
Cld002 windows server_2016_で作るシンプ
 
Db2リブランディングと製品動向 201707
Db2リブランディングと製品動向 201707Db2リブランディングと製品動向 201707
Db2リブランディングと製品動向 201707
 
[db tech showcase Tokyo 2017] E24: 流行りに乗っていれば幸せになれますか?数あるデータベースの中から敢えて今Db2が選ば...
[db tech showcase Tokyo 2017] E24: 流行りに乗っていれば幸せになれますか?数あるデータベースの中から敢えて今Db2が選ば...[db tech showcase Tokyo 2017] E24: 流行りに乗っていれば幸せになれますか?数あるデータベースの中から敢えて今Db2が選ば...
[db tech showcase Tokyo 2017] E24: 流行りに乗っていれば幸せになれますか?数あるデータベースの中から敢えて今Db2が選ば...
 
Snr005 レノボだから実現
Snr005 レノボだから実現Snr005 レノボだから実現
Snr005 レノボだから実現
 
Db2をAWS上に構築する際のヒント&TIPS 2020年6月版
Db2をAWS上に構築する際のヒント&TIPS 2020年6月版Db2をAWS上に構築する際のヒント&TIPS 2020年6月版
Db2をAWS上に構築する際のヒント&TIPS 2020年6月版
 
もっとわかる Microsoft Azure 最新技術アップデート編 - 20150123
もっとわかる Microsoft Azure最新技術アップデート編 - 20150123もっとわかる Microsoft Azure最新技術アップデート編 - 20150123
もっとわかる Microsoft Azure 最新技術アップデート編 - 20150123
 
B14 SQL Server over SMB using infiniBand and SSD by Mario Broodbakker/市川明
B14 SQL Server over SMB using infiniBand and SSD by Mario Broodbakker/市川明B14 SQL Server over SMB using infiniBand and SSD by Mario Broodbakker/市川明
B14 SQL Server over SMB using infiniBand and SSD by Mario Broodbakker/市川明
 
Soft layer環境でのdb2構成ガイド
Soft layer環境でのdb2構成ガイドSoft layer環境でのdb2構成ガイド
Soft layer環境でのdb2構成ガイド
 
[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔
[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔
[db tech showcase Tokyo 2015] B12:カラムストアデータベースの技術と活用法 by 日本電気株式会社 田村稔
 
AIやマイクロサービスを活用したDynamoDB節約術
AIやマイクロサービスを活用したDynamoDB節約術AIやマイクロサービスを活用したDynamoDB節約術
AIやマイクロサービスを活用したDynamoDB節約術
 
[dbts-2014-tokyo] 目指せExadata!! Oracle DB高速化を目指した構成
[dbts-2014-tokyo] 目指せExadata!! Oracle DB高速化を目指した構成[dbts-2014-tokyo] 目指せExadata!! Oracle DB高速化を目指した構成
[dbts-2014-tokyo] 目指せExadata!! Oracle DB高速化を目指した構成
 
[db tech showcase Tokyo 2017] E35: 12台でやってみた!DWHソフトウェアアプライアンス Db2 Warehouse ~...
[db tech showcase Tokyo 2017] E35: 12台でやってみた!DWHソフトウェアアプライアンス Db2 Warehouse ~...[db tech showcase Tokyo 2017] E35: 12台でやってみた!DWHソフトウェアアプライアンス Db2 Warehouse ~...
[db tech showcase Tokyo 2017] E35: 12台でやってみた!DWHソフトウェアアプライアンス Db2 Warehouse ~...
 

Más de IBM Analytics Japan

Db2 Warehouse v3.0 運用管理ガイド 基礎編 20190104 Db2 Warehouse v3.0 Basic Operation G...
Db2 Warehouse v3.0 運用管理ガイド 基礎編 20190104  Db2 Warehouse v3.0 Basic Operation G...Db2 Warehouse v3.0 運用管理ガイド 基礎編 20190104  Db2 Warehouse v3.0 Basic Operation G...
Db2 Warehouse v3.0 運用管理ガイド 基礎編 20190104 Db2 Warehouse v3.0 Basic Operation G...IBM Analytics Japan
 
Db2 Warehouse v3.0 SMP 導入ガイド 20190104 Db2 Warehouse SMP v3.0 configration Ins...
Db2 Warehouse v3.0 SMP 導入ガイド 20190104 Db2 Warehouse SMP v3.0 configration Ins...Db2 Warehouse v3.0 SMP 導入ガイド 20190104 Db2 Warehouse SMP v3.0 configration Ins...
Db2 Warehouse v3.0 SMP 導入ガイド 20190104 Db2 Warehouse SMP v3.0 configration Ins...IBM Analytics Japan
 
【jena X IBM】ビーコンを活用した働き方改革とは?
 【jena X IBM】ビーコンを活用した働き方改革とは? 【jena X IBM】ビーコンを活用した働き方改革とは?
【jena X IBM】ビーコンを活用した働き方改革とは?IBM Analytics Japan
 
IBM Integrated Analytics System DSX R Studio 利用ガイド
IBM Integrated Analytics System DSX R Studio 利用ガイドIBM Integrated Analytics System DSX R Studio 利用ガイド
IBM Integrated Analytics System DSX R Studio 利用ガイドIBM Analytics Japan
 
IBM Integrated Analytics System Webコンソール利用ガイド 20180213
IBM Integrated Analytics System Webコンソール利用ガイド 20180213IBM Integrated Analytics System Webコンソール利用ガイド 20180213
IBM Integrated Analytics System Webコンソール利用ガイド 20180213IBM Analytics Japan
 
IBM Integrated Analytics System ユーザー利用ガイド 20180213
IBM Integrated Analytics System ユーザー利用ガイド 20180213IBM Integrated Analytics System ユーザー利用ガイド 20180213
IBM Integrated Analytics System ユーザー利用ガイド 20180213IBM Analytics Japan
 
【株式会社ラック様】ハイブリッド・クラウド時代の データベース活用 ~事例・スタートアップ・メニューご紹介~
【株式会社ラック様】ハイブリッド・クラウド時代の データベース活用 ~事例・スタートアップ・メニューご紹介~【株式会社ラック様】ハイブリッド・クラウド時代の データベース活用 ~事例・スタートアップ・メニューご紹介~
【株式会社ラック様】ハイブリッド・クラウド時代の データベース活用 ~事例・スタートアップ・メニューご紹介~IBM Analytics Japan
 
Db2 Warehouse Spark利用ガイド チュートリアル編
Db2 Warehouse Spark利用ガイド チュートリアル編Db2 Warehouse Spark利用ガイド チュートリアル編
Db2 Warehouse Spark利用ガイド チュートリアル編IBM Analytics Japan
 
Db2 Warehouse Spark利用ガイド データ操作編
Db2 Warehouse Spark利用ガイド データ操作編Db2 Warehouse Spark利用ガイド データ操作編
Db2 Warehouse Spark利用ガイド データ操作編IBM Analytics Japan
 
データを集めて貯めて分析する… 最先端のテクノロジーが詰まったIBMクラウドのご紹介
データを集めて貯めて分析する…  最先端のテクノロジーが詰まったIBMクラウドのご紹介データを集めて貯めて分析する…  最先端のテクノロジーが詰まったIBMクラウドのご紹介
データを集めて貯めて分析する… 最先端のテクノロジーが詰まったIBMクラウドのご紹介IBM Analytics Japan
 
中古車販売の価格予測モデル(2)
中古車販売の価格予測モデル(2)中古車販売の価格予測モデル(2)
中古車販売の価格予測モデル(2)IBM Analytics Japan
 
中古車販売の価格予測モデル(1)
中古車販売の価格予測モデル(1)中古車販売の価格予測モデル(1)
中古車販売の価格予測モデル(1)IBM Analytics Japan
 
融資業務における顧客の信用度分析
融資業務における顧客の信用度分析融資業務における顧客の信用度分析
融資業務における顧客の信用度分析IBM Analytics Japan
 
銀行の融資業務における人工知能を利用したデータマイニング活用例
銀行の融資業務における人工知能を利用したデータマイニング活用例銀行の融資業務における人工知能を利用したデータマイニング活用例
銀行の融資業務における人工知能を利用したデータマイニング活用例IBM Analytics Japan
 
安全在庫を確保するための売上予測
安全在庫を確保するための売上予測安全在庫を確保するための売上予測
安全在庫を確保するための売上予測IBM Analytics Japan
 
アンケート分析に統計的な手法を取り入れる(2)
アンケート分析に統計的な手法を取り入れる(2)アンケート分析に統計的な手法を取り入れる(2)
アンケート分析に統計的な手法を取り入れる(2)IBM Analytics Japan
 
アンケート分析に統計的な手法を取り入れる(1)
アンケート分析に統計的な手法を取り入れる(1)アンケート分析に統計的な手法を取り入れる(1)
アンケート分析に統計的な手法を取り入れる(1)IBM Analytics Japan
 

Más de IBM Analytics Japan (20)

Db2 Warehouse v3.0 運用管理ガイド 基礎編 20190104 Db2 Warehouse v3.0 Basic Operation G...
Db2 Warehouse v3.0 運用管理ガイド 基礎編 20190104  Db2 Warehouse v3.0 Basic Operation G...Db2 Warehouse v3.0 運用管理ガイド 基礎編 20190104  Db2 Warehouse v3.0 Basic Operation G...
Db2 Warehouse v3.0 運用管理ガイド 基礎編 20190104 Db2 Warehouse v3.0 Basic Operation G...
 
Db2 Warehouse v3.0 SMP 導入ガイド 20190104 Db2 Warehouse SMP v3.0 configration Ins...
Db2 Warehouse v3.0 SMP 導入ガイド 20190104 Db2 Warehouse SMP v3.0 configration Ins...Db2 Warehouse v3.0 SMP 導入ガイド 20190104 Db2 Warehouse SMP v3.0 configration Ins...
Db2 Warehouse v3.0 SMP 導入ガイド 20190104 Db2 Warehouse SMP v3.0 configration Ins...
 
【jena X IBM】ビーコンを活用した働き方改革とは?
 【jena X IBM】ビーコンを活用した働き方改革とは? 【jena X IBM】ビーコンを活用した働き方改革とは?
【jena X IBM】ビーコンを活用した働き方改革とは?
 
IBM Integrated Analytics System DSX R Studio 利用ガイド
IBM Integrated Analytics System DSX R Studio 利用ガイドIBM Integrated Analytics System DSX R Studio 利用ガイド
IBM Integrated Analytics System DSX R Studio 利用ガイド
 
IBM Integrated Analytics System Webコンソール利用ガイド 20180213
IBM Integrated Analytics System Webコンソール利用ガイド 20180213IBM Integrated Analytics System Webコンソール利用ガイド 20180213
IBM Integrated Analytics System Webコンソール利用ガイド 20180213
 
IBM Integrated Analytics System ユーザー利用ガイド 20180213
IBM Integrated Analytics System ユーザー利用ガイド 20180213IBM Integrated Analytics System ユーザー利用ガイド 20180213
IBM Integrated Analytics System ユーザー利用ガイド 20180213
 
Db2 V11 GUIツール
Db2 V11 GUIツールDb2 V11 GUIツール
Db2 V11 GUIツール
 
Dockerとdb2
Dockerとdb2Dockerとdb2
Dockerとdb2
 
IBM Cloudのデータベース
IBM CloudのデータベースIBM Cloudのデータベース
IBM Cloudのデータベース
 
【株式会社ラック様】ハイブリッド・クラウド時代の データベース活用 ~事例・スタートアップ・メニューご紹介~
【株式会社ラック様】ハイブリッド・クラウド時代の データベース活用 ~事例・スタートアップ・メニューご紹介~【株式会社ラック様】ハイブリッド・クラウド時代の データベース活用 ~事例・スタートアップ・メニューご紹介~
【株式会社ラック様】ハイブリッド・クラウド時代の データベース活用 ~事例・スタートアップ・メニューご紹介~
 
Db2 Warehouse Spark利用ガイド チュートリアル編
Db2 Warehouse Spark利用ガイド チュートリアル編Db2 Warehouse Spark利用ガイド チュートリアル編
Db2 Warehouse Spark利用ガイド チュートリアル編
 
Db2 Warehouse Spark利用ガイド データ操作編
Db2 Warehouse Spark利用ガイド データ操作編Db2 Warehouse Spark利用ガイド データ操作編
Db2 Warehouse Spark利用ガイド データ操作編
 
データを集めて貯めて分析する… 最先端のテクノロジーが詰まったIBMクラウドのご紹介
データを集めて貯めて分析する…  最先端のテクノロジーが詰まったIBMクラウドのご紹介データを集めて貯めて分析する…  最先端のテクノロジーが詰まったIBMクラウドのご紹介
データを集めて貯めて分析する… 最先端のテクノロジーが詰まったIBMクラウドのご紹介
 
中古車販売の価格予測モデル(2)
中古車販売の価格予測モデル(2)中古車販売の価格予測モデル(2)
中古車販売の価格予測モデル(2)
 
中古車販売の価格予測モデル(1)
中古車販売の価格予測モデル(1)中古車販売の価格予測モデル(1)
中古車販売の価格予測モデル(1)
 
融資業務における顧客の信用度分析
融資業務における顧客の信用度分析融資業務における顧客の信用度分析
融資業務における顧客の信用度分析
 
銀行の融資業務における人工知能を利用したデータマイニング活用例
銀行の融資業務における人工知能を利用したデータマイニング活用例銀行の融資業務における人工知能を利用したデータマイニング活用例
銀行の融資業務における人工知能を利用したデータマイニング活用例
 
安全在庫を確保するための売上予測
安全在庫を確保するための売上予測安全在庫を確保するための売上予測
安全在庫を確保するための売上予測
 
アンケート分析に統計的な手法を取り入れる(2)
アンケート分析に統計的な手法を取り入れる(2)アンケート分析に統計的な手法を取り入れる(2)
アンケート分析に統計的な手法を取り入れる(2)
 
アンケート分析に統計的な手法を取り入れる(1)
アンケート分析に統計的な手法を取り入れる(1)アンケート分析に統計的な手法を取り入れる(1)
アンケート分析に統計的な手法を取り入れる(1)
 

Último

論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...Toru Tamaki
 
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略Ryo Sasaki
 
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する       2024/04/19 の勉強会で発表されたものですSOPを理解する       2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものですiPride Co., Ltd.
 
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)Hiroki Ichikura
 
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNetToru Tamaki
 
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Yuma Ohgami
 
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdfTSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdftaisei2219
 
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A surveyToru Tamaki
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムsugiuralab
 

Último (9)

論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
 
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
 
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する       2024/04/19 の勉強会で発表されたものですSOPを理解する       2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
 
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
 
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
 
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
 
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdfTSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
 
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
 

Db2 Warehouse セッション資料 db tech showcase

  • 1. © 2017 IBM Corporation データベース・サービスを好きなところで動かそう Db2 Warehouse ⼤⽉ 真史、辻 ⿇⾐⼦ 2017/9/7
  • 2. © 2017 IBM Corporation2 ⽬次 • はじめに • Db2 Warehouseってなに? • もっと深くみていこう • Db2 Warehouseを動かしてみよう • まとめ
  • 3. © 2017 IBM Corporation3 “DB2”は”Db2”になりました DB2 Software dashDB Local dashDB for Transactions dashDB for Analytics オンプレミス/プライベート・クラウド パブリック・クラウド • コアとなるデータ ベース・ソフトウェ ア • さまざまな要件、構 成に対応可能 • お客様が⾃由に管理 • アナリティクス向け のソリューション • お客様のインフラに デプロイして利⽤ • Dockerによって迅速 かつ簡単に利⽤開始 • お客様が⾃由に管理 • フルマネージドのト ランザクション向け DBサービス • ⼩規模構成の仮想マ シンか⼤規模構成の 物理マシンが⽤意さ れる • フルマネージドのア ナリティクス向けDB サービス • SMPとMPP • SoftLayer/AWSで利 ⽤可能 Db2 Db2 Warehouse Db2 on Cloud Db2 Warehouse on Cloud IBMのデータベースソリューションをDb2ブランドで統⼀ 当セッションでは この話をします
  • 4. © 2017 IBM Corporation4 ちなみに、Db2は誰でも使えます n Db2 Developer-C / Db2 Developer Community Edition (docker) n 4 core, 16 GB Memory, 100 GB disk n MacOSでも使える!(docker版) n 本番環境では利⽤できない 開発者向けのフル機能版 n IBM Db2 Express-C n 2 core, 16 GB Memory, 15 TB disk n 本番環境で利⽤可能 n 機能には⼀部制限あり 本番でもタダで使いたい n IBM Db2 評価版 n リソースの制限がないため、⼤規模環境で の評価に使える n 90⽇間の評価期間 フル機能&⼤規模で評価 n IBM Db2 Warehouse n ダウンロードしたら30分で使える n リソースの制限がないため、⼤規模環境で の評価に使える n 90⽇間の評価期間 Db2 Warehouseを試す n 無償で利⽤できるDb2のご案内(https://www.ibm.com/blogs/solutions/jp-ja/db2-free/) n クラウドで提供されるDb2 Warehouse on Cloudも、1GB以下であれば無償、無期限で利⽤できます ⽤途に応じていろいろな無償版の選択肢があります
  • 5. © 2017 IBM Corporation5 Db2 Warehouse の評価版を使ってみる Db2 Warehouse 評価版をDocker Hubから⼊⼿するには、以下の⼿順 を実施してください。 1. Docker HubサイトにてDocker IDの作成を⾏います。 https://hub.docker.com/ 2. Docker Hubにログイン後、右上のプルダウンメニューからSettingを選択し、初期パスワードを変 更します。 3. IBM Db2 Warehouseのサイトにアクセスし「Start Your Free Trial」を選択します。 4. IBM IDとパスワードを⼊⼒します。(IBM IDはすぐに作成できます) 5. Docker IDを登録すると、24時間以内に承認メールが届きます。その後、Docker Hubからの pull(ダウンロード)が可能になります。
  • 7. © 2017 IBM Corporation7 データ分析に取り組むときのありがちなハードル • マーケティング系の⼈が使ってみるときに • 分析したいデータがある • でも、貴重なデータなのでインターネット上のサービス を使ってよいか判断できない • 調査と承認を得るために数ヶ⽉かかる。却下されるかも しれない • 我が社のプライベート・クラウドは使ってよいけど、 サーバーだけもらってもつらい・・・ • 私のスキルだとDBを直接使って分析はするのは難し い・・・ üエンジニアじゃなくても使える üデータの持ち出しに苦労しなくてよい Db2 Warehouseなら
  • 8. © 2017 IBM Corporation8 短い期間で⽬的を達成するために • 新たな施策の素早い⽴ち上げを⽀える • センサーデータを利⽤した製造現場の⽣産性改善でIT⾯の リードを命じられた • とにかく早くと⾔われているので、インフラはさっさと作 りたい • 統計解析や機械学習を使うことになりそうだけど、データ 量も膨⼤なので蓄積するコンポーネントは必須 • でも便利ですぐ使えるサービスはインターネットの向こう 側・・・データの性質を考えると⼯場に設置するか、せめ て⾃社センターに置きたい・・ ü統計解析や機械学習を統合した分析基盤 üすぐに使い始めることができる ü期間限定での導⼊もできる Db2 Warehouseなら
  • 9. © 2017 IBM Corporation9 Db2 Warehouseは何のために登場したのか? PaaS DWHプラットフォームの選択肢 Db2 Warehouse on Cloud IaaS Private Cloud オンプレミス アプライアンス Db2 Db2 hosted Db2 PureData Db2 フルマネージドのDBサー ビスBluemix Public/ Dedicatedで利⽤可能。 IaaSベンダーの提供する サーバー上にデータベー スを構築する。DB2は⾃ 由にカスタマイズ可能。 お客様のプライベートク ラウド上にデータベース を構築する。DB2は⾃由 にカスタマイズ可能。 伝統的な利⽤形態。サー バー、DB2どちらも⾃由 に構築可能。 設置してすぐ利⽤開始で きる⾼速なDWHアプライ アンス Db2 Warehouseなら ü SaaSで提供される管理機能やイ ンターフェースがそのまま使える ü フルマネージドの共通構成や共通 運⽤に制約されない(通信経路、 パッチ適⽤、メンテナンス) ü SaaSで提供される管理機能やイ ンターフェースがそのまま使える ü お客様がデータに対する完全な管 理権限を維持できる ここに⼤きな断絶がある ü dockerコンテナーを利⽤して迅速 に構築できる
  • 10. © 2017 IBM Corporation10 ホストサーバー ホストサーバー ホストサーバー Db2 Warehouseのアーキテクチャ n Docker上でIBM提供のコンテナーを稼働する Linux OS Docker engine LDAP ファイルシステム Linux プロセス Database Engine Db2 Warehouseコンテナー Fluid Query DSM Web console Docker Hub IBM Box or Docker Hub上のリポジトリーから取得も しくはIBMのBoxからダウンロード Ø データベース・エンジン Ø 負荷モニター Ø ユーザー管理 Ø データ投⼊ Ø オブジェクト管理 Ø Sparkの稼働環境 Ø ホストサーバー Ø Docker環境 Ø DBデータを保持するファ イルシステム Db2 Warehouseが提供する部分 事前に⽤意する部分
  • 11. © 2017 IBM Corporation11 Db2 Warehouseを動かすまでの流れ n データベースの導⼊と構成は数コマンドで完了 サーバーとLinux OSを準備する Dockerを導⼊、構成する データベースを格納するファイルシステムを作成する Docker Hubにログイン Db2 Warehouseのイメージをダウンロード(docker pull) Db2 Warehouseのコンテナを起動する(docker run) 表を作成しデータを投⼊する or ファイルをアップロード Db2 Warehouseのユーザー登録を⾏う 分析に利⽤するアプリケーションから接続する 分析を始める このセッション で紹介
  • 12. © 2017 IBM Corporation12 Db2 Warehouseの前提といろいろな構成 n 前提 n ⽬的に応じて多様な構成が可能 Db2 Warehouse 2 VPC Docker engine CPU: 2core Memory:15GB SSD:450GB RHEL 7.3 • 2.0 GHz以上のプロセッサー (ライセンス上2コアからスタート) • 8 GB以上のメモリー • 300 GB以上のストレージ ハードウェア • DockerをサポートするLinux • Docker engine 1.12.6以上 (CE or EE) * Power Linux LEの場合など、最新情報は マニュアルを参照 ソフトウェア お試しなら⽉額課⾦で スモールスタート Azure AWS Db2 Warehouse 24 VPC Docker engine CPU: 24core Memory:256GB SSD:2TB RHEL 7.3 4TB⽣データで の推奨構成 IA Server 2TB CPU: 8core Memory:64GB 共有ストレージ Docker RHEL 7.3 クラスターソフト Db2 Warehouse 8VPC CPU: 8core Memory:64GB Docker RHEL 7.3 クラスターソフト Db2 Warehouse 1VPC フェイルオーバー構成 IA Server IA Server Bluemix
  • 14. © 2017 IBM Corporation14 スモールスタートから巨⼤なウェアハウスまで n Db2 Warehouseは、1つのDockerイメージが3つの構成パターンに対 応する n シングルサーバー構成(SMP) — 初期化時に1台のサーバーと8GB以上のメモリーが構成されている場合 — 2CPUコアでのスモールスタートから、64コア構成で10TB⽣データの⾼速処理まで n 最⼤24台までのスケールアウト構成(MPP) — 初期化時に3台以上のサーバーと、各サーバー64GB以上のメモリーが構成されている場合 — データを格納するための共有ストレージが必要 n 最⼤60台までのスケールアウト構成(MPP) — 初期化時に3台以上のサーバーと、クラスター全体で7.68TB以上のメモリーが構成されている場合 — データを格納するための共有ストレージが必要 共通のソフトウェア、共通の管理インターフェースで ⼩規模から超⼤規模までの幅広い⽤途で利⽤できる!
  • 15. © 2017 IBM Corporation15 どんなときに複数のサーバーを必要とするのか? n たとえば… — 数⼗TBのデータを蓄積して⾼速に分析したい — Sparkによる⾮構造化データの分析基盤を同時に構築したい n MPP構成の⾯⽩いところ — 3台から24台もしくは60台までMPP構成でスケールアウト可能 — HAの設定をしなくても障害時は⾃動で縮退して継続稼働 — 構造化データはBLU MPP(DBエンジン)で分散処理、⾮構造化デー タはSparkで分散処理 — 相互の変換もサーバー内で⾼速に サーバー 共有ストレージ サーバー サーバー サーバー 共有ファイルシステム サーバーが協調動作するための共 有ファイルシステム Db2 Warehouse MPP構成の概要
  • 16. © 2017 IBM Corporation16 Db2のMPP構成ってどんなの? n Db2 MPP環境はn個のdata partitionで構成され、それぞれのdata partition が1/nのデータを分散して保持する Partition 0 Partition 1 Partition 2 Partition 3 Partition 4 Partition 23 Partition 22 24のData Partition ・ ・ ・ Partition 5 Partition 6 24のプロセス Partition 21 db2sysc 0 db2sysc 1 db2sysc 5 db2sysc 4 db2sysc 3 db2sysc 2 db2sysc 6 db2sysc 21 db2sysc 22 db2sysc 23 照会に対しては 各パーティションが 1/24のデータを処理 それぞれのプロセス がメモリーを確保 n台のサーバー (例では4台) db2sysc 0 db2sysc 1 db2sysc 2 db2sysc 3 db2sysc 4 db2sysc 5 db2sysc 6 . . db2sysc 18 . db2sysc 21 db2sysc 22 db2sysc 23 任意の数のサーバー に格納する ・ ・ ・ ・ ・ ・ 24セットの DBファイル群 ・ ・ ・ ・ ・ ・ ストレージ サーバーのローカル DISKでも共有DISK でもよい 照会を発⾏
  • 17. © 2017 IBM Corporation17 データはどんな⾵に分散されるか n テーブルごとに決める「分散キー」のハッシュ値で格納先のdata partitionが決 まる レコード1 分散キーを取り出し てハッシュ値を計算 a8db4f データ投⼊時にレコードの値で 配置先が決まる レコード2 c8cbd1 Partition 16 ハッシュ値を元に格 納先を決定 Partition 5 create table sales ( store_id bigint, order_date timestamp, shipping_id bigint, shipping_method char(20), mix_cntl int , mix_desc char(20) , mix_chr char(9) , mix_ints smallint , mix_tmstmp timestamp ) distribute by hash (store_id) テーブルを作成するときに 分散キーを指定する レコード3 11ed8f Partition 3
  • 18. © 2017 IBM Corporation18 そのデータ分散の仕組みって、重くない? SALES表 Hashing (store_id) create table SALES ( store_id bigint, order_date timestamp, ...) distribute by hash (store_id) カラム ストア C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8 C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8 C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8 C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8 C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8 C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8 C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8 C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8 Hashing (store_id) STOCK表 create table STOCK ( store_id bigint, order_date timestamp, ...) distribute by hash (store_id) カラム ストア SELECT store_id, sum(store_sales), sum(stock_volume) from SALES, STOCK where sales.store_id = stock.store_id データ投⼊時は確かに重いが、照会はとても早い 分散キーが⼀致するテーブル同⼠の照会 ではネットワーク転送がほとんど不要
  • 19. © 2017 IBM Corporation19 スケールインもスケールアウトも⾃在 Partition 0 Partition 1 Partition 5 Partition 6 Partition 7 Partition 11 Partition 12 Partition 13 Partition 17 Partition 18 Partition 19 Partition 23 Partition 2 Partition 8 Partition 14 Partition 20 Partition 3 Partition 9 Partition 15 Partition 21 Partition 4 Partition 10 Partition 16 Partition 22 Partition 0 Partition 1 Partition 5 Partition 6 Partition 7 Partition 17 Partition 18 Partition 19 Partition 23 Partition 2 Partition 20 Partition 3 Partition 21 Partition 4 Partition 16 Partition 22 Partition 11 Partition 12 Partition 13 Partition 8 Partition 14 Partition 9 Partition 15 Partition 10 Part 0 Part 1 Part 2 Part 3 Part 12 Part 13 Part 14 Part 15Part 11 Part 8 Part 9 Part 10 Part 23 Part 20 Part 21 Part 22Part 6 Part 7 Part 5 Part 4 Part 17 Part 18 Part 19 Part 16 サーバー4台で稼働中 3台構成へスケールイン (縮退) 6台構成へスケールアウト 定義したサーバー数に応じて⾃動的にdata partitionが配分される # cat /mnt/clusterfs/nodes head_node=node1i:192.168.10.1 data_node1=node2i:192.168.10.2 data_node2=node3i:192.168.10.3 data_node3=node4i:192.168.10.4 # cat /mnt/clusterfs/nodes head_node=node1i:192.168.10.1 data_node1=node2i:192.168.10.2 data_node2=node3i:192.168.10.3 data_node3=node4i:192.168.10.4 data_node4=node5i:192.168.10.5 data_node5=node6i:192.168.10.6
  • 20. © 2017 IBM Corporation20 共有ストレージはとても⼤事 n 前ページのダイナミックなノードの増減が実現できるのは共有ストレージ と共有ファイルシステムのおかげ n Hadoopなどの分散ファイルシステムと⽐べるとストレージへの投資が⼤ きくなるが、得られるメリットを考えると捨てたものではない n ストレージ技術の進歩により取り得る選択肢は多い — フラッシュ + 共有ファイルシステム( GPFS/GFS2 など) — クラウドベンダーのBlock Storage +共有ファイルシステム( GPFS/GFS2など) — ⾼速NAS (NFS)で共有ファイルシステムを不要に — Amazon EFS(NFS)でストレージも⾃在にスケールさせる
  • 21. © 2017 IBM Corporation21 Db2 Warehouseで利⽤できるストレージ構成の選択肢 共有DISK+共有FS クラウドDISK+共有FS ⾼速NAS Amazon EFS Db2 Ware house フラッシュ Db2 Ware house Db2 Ware house GPFS/GFS2など Db2 Ware house Bluemix Infra Block Storage Db2 Ware house Db2 Ware house GPFS/GFS2など Db2 Ware house NAS DISK Db2 Ware house Db2 Ware house NFS NFS NFS Db2 Ware house Amazon EFS Db2 Ware house Db2 Ware house NFS NFS NFS iSCSI iSCSI iSCSI n 共有できてPosix互換なら、なんでもOK
  • 22. © 2017 IBM Corporation22 dashDB LocalコンテナdashDB Localコンテナ Analytics EngineRelational Engine CSV,Twitter, 地理データ オープン・データ BI/分析アプリケーション (SPSS/Cognos) Webコンソール SQLインターフェイス Cloudant (蓄積) 構造化データ スケーラブルクラスタファイルシステム Watson IoT/Kafka (収集、抽出) 共有メモリによる⾼速データ通信 データサイエンティスト テキスト ファイル 半構造化、⾮構造データ オブジェクトストレージ ストリームデータ データ可視化、分析 加⼯ 加⼯ Db2 Warehouse コンテナ ⾮構造化データはどうするの? データウェアハウスにSpark分析エンジンを統合することで、半構造、⾮構造化データの 加⼯、分析処理と従来の構造化データ分析処理を単⼀プラットフォームで実現 n Relational Engine側に格納してSparkで読み込んでも良いし、ファイル のままファイルシステムに配置することも可能
  • 23. © 2017 IBM Corporation23 どんなデータをどちらに置くべきか n RDB側で持っても、ファイルのまま共有ファイルシステムに保持しても良い n データの特性によってどこで持つかを決めよう xxx,yyy,zzz,111 xxx,yyy,zaz,121 xxx,yyy,zaz,113 xxx,yyy,zpz,114 xxx,yyy,zyz,161 csv { "name": "db-server", "chef_type": "role", "json_class": "Chef::Role", "ibm": {}, } JSON/XML 2017-08-08 15:26:51.097957: I tensorflow/core/common_runtim e/gpu/gpu_device.cc:961] DMA: 0 2017-08-08 15:26:51.097962: I tensorflow/core/common_runtim e/gpu/gpu_device.cc:971] 0: Y 2017-08-08 15:26:51.097972: I tensorflow/core/common_ log RDB 共有ファイルシステム C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8 C1 C2 C3 C4 C5 C6 C7 C8C1 C2 C3 C4 C5 C6 C7 C8 n ある程度データ形式が決まっている n 全体をスキャンせずに⾼速に⼀本釣りしたい n SQLで強⼒にサマリーしたい n データがどんどん変わるので形式を固定 したくない n Pythonなどで直接処理する⽅が便利 n とりあえずファイルだけ放り込んで貯め ておきたい
  • 24. © 2017 IBM Corporation24 構造化データと⾮構造化データの⾏き来も簡単 n Database EngineのデータをSparkSQLで読み込む n 共有ファイルシステムに貯めたファイルをPythonで処理して Database Engineに投⼊ from pyspark.mllib.classification import LogisticRegressionWithLBFGS, LogisticRegressionModel from pyspark.mllib.regression import LabeledPoint sparkSession = SparkSession.builder.getOrCreate() inputData = sparkSession.read.format("com.ibm.idax.spark.idaxsource") ¥ .options(dbtable=“BLUADMIN.LGDATA") ¥ .load() data1 = spark.read.csv("work/data1.txt", mode="DROPMALFORMED", inferSchema=True) data1.write.format("com.ibm.idax.spark.idaxsource") .options(dbtable="BLUADMIN.NOGT1") ¥ .option("allowAppend","true") ¥ .mode("append")¥ .save()
  • 25. © 2017 IBM Corporation25 どんな使い⽅をしている? 主⼒DWHとして使われている PureData for Analyticsの負荷を オフロードするため⼤容量かつ低 コストなデータストアとして採⽤ 2PB!のディスクと6台のMPP構 成でデータを蓄積し、Hadoopの ワークロードも集約に成功 ⼤⼿銀⾏ 他社データベースのエンタープラ イズDWHをオフロードするため、 低コストなコモディティH/Wを活 ⽤できるデータストアとして採⽤ Db2 Warehouseに統合された Sparkも活⽤ ⼤⼿保険会社 Db2 Warehouse & Db2 Warehouse on Cloud! クラウドのDb2 Warehouseを購⼊ されたお客様が、⾼いSLAやセ キュリティを必要とするデータを 管理するために、共通のインター フェースで利⽤できるDb2 Warehouseを追加導⼊ ゲーム会社 法規制(HIPAA)への対応で Microsoft Accessでのデータ管理 からDb2 Warehouseへ ⽉額課⾦モデルを利⽤して低コス トにスモールスタート。同じサー バーで稼働できるSparkと Jupyterを利⽤して分析に活⽤ ヘルスケアNPO
  • 26. © 2017 IBM Corporation26 【参考】複数サーバーでMPP構成を組む n MPP構成のコンポーネント構造 Network Switch 共有ストレージ SAN/Eth Network Partition 0 共有ファイ ルシステム Partition 1 Partition 5 ・ ・ ・ SAN/Eth Network Partition 6 共有ファイ ルシステム Partition 7 Partition 11 ・ ・ ・ SAN/Eth Network Partition 12 共有ファイ ルシステム Partition 13 Partition 17 ・ ・ ・ SAN/Eth Network Partition 18 共有ファイ ルシステム Partition 19 Partition 23 ・ ・ ・ DockerDockerDockerDocker 共有ファイルシステム • サーバー間で共有可能なファイルシステムで、 Posix互換であれば使⽤可能 • Db2 Warehouseを構成するパーティション が別のサーバに移動しても、継続してデータ にアクセス可能にする必要がある • ストレージに応じて適切な共有ファイルシス テムを選択する • IBM Spectrum Scale (GPFS)とSANス トレージ • iSCSIとSoftLayer Block Storage • サーバー内蔵ディスクとGPFS FPO • など 通信ネットワーク • SQL実⾏時のパーティション間通信に利⽤ • 10Gイーサネットを推奨 • インフラ構成上可能であれば、アプリケー ションからの接続⽤ネットワークとは分離す ることが望ましい Db2 Warehouse(ノード) • MPP構成では24 or 60のパーティションが サーバー数に応じて⾃動で分散配置される • サーバー障害時は⾃動的に検知して縮退する (4台x6パーティション⇒3台x8パーティションなど) • MPPでは8コア、64GBメモリーが最⼩の基 準
  • 27. © 2017 IBM Corporation27 § 例: 2010年の販売件数を調べる § SELECT COUNT(*) from MYTABLE where YEAR = ʻ2010ʼ § システム構成: 32コアCPU § 表構成:10TBのテーブル (100の列を含む10年分のデータ) アクショナブル・コンプ レッションによってデー タ容量を1 TBに圧縮 各コア上でリニアスキャ ンの並列処理を実施し、 32 MBのデータを処理 SIMD を活⽤し、8 MB のデータを処理 数秒以内で 処理が完了 列処理によってデータ 容量を10 GBに削減 データ・スキッピン グによってデータ容 量を1 GBに削減 DATA DATA DATA DATA DATA DATA DATA DATA DATA DATA DATA DATA DATA DATA DATA Db2 BLU アクセラレーションは、列指向のデータストアによって個別の分析クエリーに 応じた索引設定などのチューニングを⾏うことなく、巨⼤データの⾼速分析を可能にする DB基盤です。 各CPUコアが8MB相当のデータを 処理するだけで良いため、数秒以内で 処理が完了する。 10 TBのデータ 結果 【参考】 Db2カラムストア(BLUアクセラレーション)のしくみ
  • 28. © 2017 IBM Corporation28 ここまでのまとめ Db2 Warehouseは場所を選びません Public Cloudやデータセンター内など、あなたが管理しているサー バー上でDb2 Warehouseを動かせます。 すぐに使い始めることができます チューニング済みの環境が数コマンドで構築できます。 GUIでの操作が可能なWebコンソールや、分析ツールとの連携も簡 単です。 構造化、⾮構造化を問わずデータを統合管理できます 構造化データを分析するDBエンジンと、⾮構造化データの分析を 可能にするSparkエンジンの双⽅が利⽤できます。
  • 30. © 2017 IBM Corporation30 デモシナリオ⽬次 §Db2 Warehouse の基本操作:コンソール §Db2 WarehouseとRを利⽤したアナリティクスの実践 §Sparkの提供する機械学習ライブラリ(MLlib)の利⽤
  • 31. © 2017 IBM Corporation31 Db2 Warehouse の基本操作 : コンソール üデータベースオブジェクトの管理、操作 üシステム全体のモニター、性能調査 üユーザーや権限の管理 ホストサーバー Linux OS Docker engine Database Engine Db2 Warehouse コンテナー Web console ファイルシステム
  • 32. © 2017 IBM Corporation32 ホストサーバー Linux OS Docker engine Database Engine Db2 Warehouse コンテナー ファイルシステム R Studioとの連携 üR Studio(R⾔語の開発環境)⽤コンテナーを作成可能 üIn-Database Analytics⽤の関数の利⽤ ü統計分析、グラフ作成、地図情報を⽤いた可視化 R Studio Driver Pkg R Studio コンテナー
  • 33. © 2017 IBM Corporation33 ホストサーバー Linux OS Docker engine Db2 Warehouse コンテナー ファイルシステム Sparkとの連携 üJupyter Notebook⽤コンテナーを作成可能 ü機械学習ライブラリ(MLlib)の利⽤ Jupyter Notebook Jupyter Notebook コンテナー Spark Engine Database Engine
  • 34. © 2017 IBM Corporation34 数クリックでお⼿軽に試したいときはこちら IBM Db2 Developer Community Edition 利⽤上の注意/制限:開発⽤途のみに使⽤ください/コミュニティサポートの製品です Db2を始めませんか? Download & Go! たった15分でお⼿元にDb2が インストール http://ibm.biz/db2dev_com http://ibm.biz/db2dev_c 他社のデータベース含めDBの知識がある⽅ にオススメです 全機能が無償でじっくり試せます IBM Db2 Developer-C for Non-Production
  • 35. © 2017 IBM Corporation35 Legal Disclaimer • © IBM Corporation 2016. All Rights Reserved. • The information contained in this publication is provided for informational purposes only. While efforts were made to verify the completeness and accuracy of the information contained in this publication, it is provided AS IS without warranty of any kind, express or implied. In addition, this information is based on IBM’s current product plans and strategy, which are subject to change by IBM without notice. IBM shall not be responsible for any damages arising out of the use of, or otherwise related to, this publication or any other materials. Nothing contained in this publication is intended to, nor shall have the effect of, creating any warranties or representations from IBM or its suppliers or licensors, or altering the terms and conditions of the applicable license agreement governing the use of IBM software. • References in this presentation to IBM products, programs, or services do not imply that they will be available in all countries in which IBM operates. Product release dates and/or capabilities referenced in this presentation may change at any time at IBM’s sole discretion based on market opportunities or other factors, and are not intended to be a commitment to future product or feature availability in any way. Nothing contained in these materials is intended to, nor shall have the effect of, stating or implying that any activities undertaken by you will result in any specific sales, revenue growth or other results. • If the text contains performance statistics or references to benchmarks, insert the following language; otherwise delete: Performance is based on measurements and projections using standard IBM benchmarks in a controlled environment. The actual throughput or performance that any user will experience will vary depending upon many factors, including considerations such as the amount of multiprogramming in the user's job stream, the I/O configuration, the storage configuration, and the workload processed. Therefore, no assurance can be given that an individual user will achieve results similar to those stated here. • If the text includes any customer examples, please confirm we have prior written approval from such customer and insert the following language; otherwise delete: All customer examples described are presented as illustrations of how those customers have used IBM products and the results they may have achieved. Actual environmental costs and performance characteristics may vary by customer. • Please review text for proper trademark attribution of IBM products. At first use, each product name must be the full name and include appropriate trademark symbols (e.g., IBM Lotus® Sametime® Unyte™). Subsequent references can drop “IBM” but should include the proper branding (e.g., Lotus Sametime Gateway, or WebSphere Application Server). Please refer to http://www.ibm.com/legal/copytrade.shtml for guidance on which trademarks require the ® or ™ symbol. Do not use abbreviations for IBM product names in your presentation. All product names must be used as adjectives rather than nouns. Please list all of the trademarks that you use in your presentation as follows; delete any not included in your presentation. IBM, the IBM logo, Lotus, Lotus Notes, Notes, Domino, Quickr, Sametime, WebSphere, UC2, PartnerWorld and Lotusphere are trademarks of International Business Machines Corporation in the United States, other countries, or both. Unyte is a trademark of WebDialogs, Inc., in the United States, other countries, or both. • If you reference Adobe® in the text, please mark the first use and include the following; otherwise delete: Adobe, the Adobe logo, PostScript, and the PostScript logo are either registered trademarks or trademarks of Adobe Systems Incorporated in the United States, and/or other countries. • If you reference Java™ in the text, please mark the first use and include the following; otherwise delete: Java and all Java-based trademarks and logos are trademarks or registered trademarks of Oracle and/or its affiliates. • If you reference Microsoft® and/or Windows® in the text, please mark the first use and include the following, as applicable; otherwise delete: Microsoft and Windows are trademarks of Microsoft Corporation in the United States, other countries, or both. • If you reference Intel® and/or any of the following Intel products in the text, please mark the first use and include those that you use as follows; otherwise delete: Intel, Intel Centrino, Celeron, Intel Xeon, Intel SpeedStep, Itanium, and Pentium are trademarks or registered trademarks of Intel Corporation or its subsidiaries in the United States and other countries. • If you reference UNIX® in the text, please mark the first use and include the following; otherwise delete: UNIX is a registered trademark of The Open Group in the United States and other countries. • If you reference Linux® in your presentation, please mark the first use and include the following; otherwise delete: Linux is a registered trademark of Linus Torvalds in the United States, other countries, or both. Other company, product, or service names may be trademarks or service marks of others. • If the text/graphics include screenshots, no actual IBM employee names may be used (even your own), if your screenshots include fictitious company names (e.g., Renovations, Zeta Bank, Acme) please update and insert the following; otherwise delete: All references to [insert fictitious company name] refer to a fictitious company and are used for illustration purposes only.