More Related Content Similar to [db tech showcase Tokyo 2015] E26 Couchbaseの最新情報/JBoss Data Virtualizationで仮想データベース統合を実現 (20) [db tech showcase Tokyo 2015] E26 Couchbaseの最新情報/JBoss Data Virtualizationで仮想データベース統合を実現2. Copyright(c) SCSK Corporation - 1 -
自己紹介
SCSK株式会社
富杉 正広(とみすぎ まさひろ)
2013年9月よりCouchbase社の代理店として、
Couchbase社製品の営業/マーケティング/チームマ
ネージャを担当しています。
2015年4月から弊社が代理店となっている、Red Hat
社のJBoss Middlewareのプリセールス/エンジニア
としての活動も開始しました。
3. Copyright(c) SCSK Corporation - 2 -
Agenda
Part 1. Couchbase
1.Couchbase Serverとは?
2.Couchbase Server 4.0の新機能
3.SCSK最新事例
Part 2. Red Hat JBoss Data Virtualization (JDV)
1.Red Hat JDVとは?
2.SCSK導入事例
3.SCSK検証レポート
5. Copyright(c) SCSK Corporation - 4 -
Part 1. Couchbase
1.Couchbase Serverとは?
2.Couchbase Server 4.0の新機能
3.SCSK最新事例
Part 2. Red Hat JBoss Data Virtualization (JDV)
1.Red Hat JDVとは?
2.SCSK導入事例
3.SCSK検証レポート
6. Copyright(c) SCSK Corporation - 5 -
Couchbase Serverの成り立ちとコンセプト
+Apache CouchDB
超高速
メモリキャッシュ
柔軟なデータモデルを
備えたDB
高いスケーラビリティ
と安全性
JSON形式データ
スキーマレス
スケールアウト
オートシャーディング
データレプリケーション
自動フェールオーバー
ドキュメント型データベース
導入の容易さ/高性能・低レイテンシー/データ分散技術/多彩な運用管理機能
1.Couchbase Serverとは?
memcached
7. Copyright(c) SCSK Corporation - 6 -
高可用性
キャッシュ
Key
Value
ドキュメント
指向
組込み/モバイル
データベース
同期管理
Couchbaseが提供する様々な機能は、
アプリケーションや導入事例を幅広くサポートします。
1.Couchbase Serverとは?
8. Copyright(c) SCSK Corporation - 7 -
1.Couchbase Serverとは?
ハイパフォーマンス
高可用性 柔軟なデータモデル
Couchbase Serverは、「今」と「未来」の要求にこたえられる
NoSQLデータベースです。
スケーラビリティ
24x365
9. Copyright(c) SCSK Corporation - 8 -
ハイパフォーマンス
Fine Grained
Locking
Hash
Partitioning
内蔵キャッシュメモリ
キャッシュ層を個別に持つ必
要がありません。
ドキュメントレベルのロッ
ク機構
並列処理によるハイスルー
プットが可能となります。
ハッシュパーティショニング
データを均一に分散配置する
ことによりホットスポットを
回避します。
Built-in
Cache
1.Couchbase Serverとは?
10. Copyright(c) SCSK Corporation - 9 -
スケーラビリティ
XDCRSingle Node Type
自動シャーディング
ユーザ自身ではなくデータベ
ースが自動でデータの分散を
行います。
地理的に異なるクラスタ間
のレプリケーション
DR対策/異なる場所にクラ
スタ構成を組むことができ
ます。
クラスタ管理がシンプル
スケールが容易で、ノードを
1から10、10から100
と自由に追加/また削除をす
ることができます。
Auto Sharding
1.Couchbase Serverとは?
11. Copyright(c) SCSK Corporation - 10 -
高可用性
HA via Replication
DR via XDCR
Online
administrative
operations
オンラインでDBのアップグ
レード/HWのメンテナンス
アプリケーションに影響を与
えずに操作が可能です。
インメモリのレプリカで高
可用性を実現
自動/手動でのフェイルオ
ーバー
XDCRでディザスタリカバリ
対策
全てのアドミン操作がオンラ
イン
•コンパクション
•インデクシング
•リバランス
•バックアップ & リストア
1.Couchbase Serverとは?
Online DB
upgrades and
maintenance
24x365
12. Copyright(c) SCSK Corporation - 11 -
柔軟なデータモデル
Handles constantly
changing data
Maintains Native
object
representation
スキーマレス
様々な構成のデータでもJSON
ドキュメントであれば簡単に
管理ができます。
データベースの変更に対応
データベースに変更やダウ
ンタイムを生じさせずにデ
ータの変更ができます。
ネイティブオブジェクト
データを行x列ではなくオブ
ジェクトとして捉えます。
いかなるドキュメントの属性
でもインデックスを作成しま
す。
1.Couchbase Serverとは?
Schema-less for
structured /
un/semi-
structured data
13. Copyright(c) SCSK Corporation - 12 -
Part 1. Couchbase
1.Couchbase Serverとは?
2.Couchbase Server 4.0の新機能
3.SCSK最新事例
Part 2. Red Hat JBoss Data Virtualization (JDV)
1.Red Hat JDVとは?
2.SCSK導入事例
3.SCSK検証レポート
15. Copyright(c) SCSK Corporation - 14 -
Flexibility of JSONPower of SQL
2.Couchbase Server 4.0の新機能
N1QL
SQL for JSON. SQL準拠のクエリ言語
これまでのViewによるクエリよりも、さらにアドホックで柔軟なクエリに
よるデータ操作が行えます。
16. Copyright(c) SCSK Corporation - 15 -
2.Couchbase Server 4.0の新機能
N1QL
SELECT, UPDATE, DELETEの操作が可能で、WHERE句、LIMIT句、ORDER
BY句、GROUP BY句等による検索に加え、JOINも行えます。
クエリの実行結果は、JSONドキュメントで返されます。
SELECT t.relation, COUNT(*) AS count, AVG(c.age) AS avg_age
FROM tutorial t
UNNEST t.children c
WHERE c.age > 10
GROUP BY t.relation
HAVING COUNT(*) > 1
ORDER BY avg_age DESC
{
"results": [
{
"avg_age": 19,
"count": 2,
"relation": "cousin"
},
{
"avg_age": 17,
"count": 2,
"relation": "friend"
}
]
}
SELECT usr.personal_details, orders
FROM users_with_orders usr
USE KEYS "Tamekia_13483660"
LEFT JOIN orders_with_users orders
ON KEYS ARRAY s.order_id
FOR s IN usr.shipped_order_history END
{
"results": [
{
"personal_details": {
"age": 39,
"display_name": "Tam Aki",
"email": "TamAki@mail.com",
"first_name": "Tamekia",
"last_name": "Akin",
"state": "Massachusetts"
}
}
]
}
17. Copyright(c) SCSK Corporation - 16 -
ODBC /
JDBC
App
CB Node
ODBC /
JDBC
ETL
ODBC /
JDBC
BI
ODBC /
JDBC
Visualization
CB Node CB Node
2.Couchbase Server 4.0の新機能
N1QL
N1QLにあわせて、ODBC / JDBC ドライバの開発も進んでいます。
これまで接続が困難だった外部ツールやアプリケーションからの利用が容易にな
ります。
18. Copyright(c) SCSK Corporation - 17 -
2.Couchbase Server 4.0の新機能
インデックスの改良と機能追加
インデックスに関して、改良と機能追加が行われました。
Viewインデックスの改良
検索性能の大幅向上
データサービスからの独立(インデックスサーバの分離)
空間インデックス機能の追加
空間インデックスの使用を正式サポート
Geoクエリの実装(立体的な範囲指定クエリの実行が可能に)
GeoJSONの出力機能の追加
19. Copyright(c) SCSK Corporation - 18 -
2.Couchbase Server 4.0の新機能
多次元スケーラビリティ
水平スケーラビリティ
Couchbase Server 3.xまでは、クラスターに単純にノードを追加することで
スケーラビリティを実現
Node 8
Index Service
Couchbase Cluster
Query Service
Data Service
Node 1
20. Copyright(c) SCSK Corporation - 19 -
2.Couchbase Server 4.0の新機能
多次元スケーラビリティ
多次元スケーラビリティ
Couchbase Server 4.0で、インデックスサービスとデータサービスの分離
Node 8
Index Service
Couchbase Cluster
Query Service Data Service
Node 1
21. Copyright(c) SCSK Corporation - 20 -
2.Couchbase Server 4.0の新機能
多次元スケーラビリティ
多次元スケーラビリティ
Couchbase Server 4.0で、インデックスサービスとデータサービスの分離
より柔軟なスケーラビリティを実現
Node 8
Index Service
Couchbase Cluster
Query Service Data Service
Node 1
Node 1
Node 9
Query Service Index Service
Data Service
22. Copyright(c) SCSK Corporation - 21 -
2.Couchbase Server 4.0の新機能
Forest DB
ストレージエンジンがB+木を発展させた「Forest DB」に刷新されます。
Forest DBの特徴は以下のとおりです。
– データの外部記憶装置への保存効率が向上
– さまざまな処理に高いパフォーマンスを発揮
– モバイル端末から大規模サーバまで、ハードウェアに関係なく利用可能
– SSDに最適化
Forest DBの仕様はIEEEに認められ、標準化が進められています。
スループット格納効率
LevelDB、RocksDBと比較し
コンパクトに
5倍
高速に
6倍
23. Copyright(c) SCSK Corporation - 22 -
2.Couchbase Server 4.0の新機能
セキュリティ
セキュリティに関して、以下の改良が行われました。
マルチテナントとアカウント情報の一元管理
複数の管理者/参照者ユーザの設定が可能になります。
アカウント情報をCouchbase Server上で一元管理できます。
LDAPとの連携
監査ログの出力
24. Copyright(c) SCSK Corporation - 23 -
Part 1. Couchbase
1.Couchbase Serverとは?
2.Couchbase Server 4.0の新機能
3.SCSK最新事例
Part 2. Red Hat JBoss Data Virtualization (JDV)
1.Red Hat JDVとは?
2.SCSK導入事例
3.SCSK検証レポート
25. Copyright(c) SCSK Corporation - 24 -
3.SCSK最新事例
エンタープライズサーチ適用事例
企業規模の急成長(提供サービス種、取引先の急増)、および、基幹システムの
老朽化による課題
– 小規模・専用システムの乱立
– 情報管理の属人化/属部署化
– 従業員の経験、業務習熟度による作業効率格差の拡大
– 従業員の教育コストの増加
企業内の情報を横断的に検索/取得できる
仕組みを導入
26. Copyright(c) SCSK Corporation - 25 -
3.SCSK最新事例
エンタープライズサーチ適用事例
販売管理
システム
営業部A
基幹
システム
その他
システム
営業部B
伝票作成
販売管理
システム
営業部A
基幹
システム
その他
システム
営業部B
クローラ
Webアプリケーション
データ同期(XDCR)
データ投入
全文検索
データ取得
横断検索&伝票出力
個人の知識、経験を活かして
社内に散在する情報を
収集し、伝票を作成
Couchbase Server + Elasticsearchで
社内の情報を一元的に検索し、伝票を出力
28. Copyright(c) SCSK Corporation - 27 -
Part 1. Couchbase
1.Couchbase Serverとは?
2.Couchbase Server 4.0の新機能
3.SCSK最新事例
Part 2. Red Hat JBoss Data Virtualization (JDV)
1.Red Hat JDVとは?
2.SCSK導入事例
3.SCSK検証レポート
29. Copyright(c) SCSK Corporation - 28 -
JBossコミュニティでリリース済みの実績あるものを再構成し、エンタープライズレベルの
QAを実施後、RedHatより提供されるプロダクト
3つのカテゴリの実行環境、デザイン/開発ツールおよび管理ツールで構成
ユーザインタフェース
開発環境
ビジネスプロセス管理
アプリケーション統合
基盤
データ仮想化
統合管理
JBoss Portal
JBoss BRMS
JBoss BPM Suite
JBoss A-MQ
JBoss Fuse
JBoss Fuse Service Works
JBoss Data Virtualization
JBoss EAP
JBoss Web Server
JBoss Data Grid
JBoss
Developer
Studio
JBoss
Operations
Network
MIDDLEWARE
1.Red Hat JDVとは?
Red Hat JBoss Middleware 製品ラインナップ
30. Copyright(c) SCSK Corporation - 29 -
1.Red Hat JDVとは?
Red Hat JBoss Data Virtualization
企業内・外のあらゆるデータを「モデリング」、「仮想統合」、「リアルタイム
連携」する実行基盤
– 複数データソースを参照/更新する標準ベースのインターフェースを提供
– データ仮想化によりデータ構造や項目を自由に変換
– データをコピーせずにデータの統合を実現
– 監査証跡の取得や集中アクセスコントロールの基盤として利用可能
31. Copyright(c) SCSK Corporation - 30 -
1.Red Hat JDVとは?
システム構成イメージ
JBoss Data Virtualization
論理物理
RDBMS
DWH
LDAP
Cloud
File
Office製品
BI
連携
仮想
統合
NoSQL
JDBC
ODBC
SOAP
REST
OData
さまざまなデータソースを物理モデルとして定義
物理モデルから論理モデルを自由に作成
利用者は、論理モデルよりSQLを利用してアクセス
32. Copyright(c) SCSK Corporation - 31 -
1.Red Hat JDVとは?
サポートデータソース
データベース:
• Oracle
• IBM DB2
• Microsoft SQL
Server:
• Sybase ASE
• MySQL
• PostgreSQL
• Ingres
データウェアハウス:
• Teradata
• Netezza
• Greenplum
Hadoop:
• Apache
• HortonWorks
• Cloudera
• More coming…
オフィス製品:
• Microsoft Excel
• Microsoft Access
• Google
Spreadsheets
特殊データ:
• ModeShape
Repository
• Mondrian
• MetaMatrix
• LDAP
NoSQL:
• JBoss Data Grid
• MongoDB
• More coming…
アプリケーション:
• Salesforce.com
• SAP
コネクタ:
• Flat Files, XML Files,
XML over HTTP
• SOAP Web Services
• REST Web Services
• OData Services
33. Copyright(c) SCSK Corporation - 32 -
・あらゆるデータソースを透過的、仮想的に統合
・リアルタイム連携
・データ蓄積が不要なため2重管理問題がない
・データ構造や統合処理の変更に柔軟に対応可能
データ連携・統合 データキャッシュ
DWH・データマート アクセス管理・監査証跡
・利用者やロール毎に見せる・見せないを制御
・監査証跡の取得を自由に設定可能
・LDAP連携によるユーザ管理統合
・監査証跡の取得や集中アクセスコントロールの
基盤として利用可能
・Memoryキャッシュによる高速アクセス
・DBを跨るマテリアライズドビューの構築
・その他、結果セット・コードキャッシュ
・標準的なSQLが利用可能
・一般的なDWH製品と比較して低コスト
・利用者毎に必要なデータを事前に条件で絞り
込みマートを作成することが可能
・短期間でデータ基盤の構築が可能
Red Hat JDVの4つの特徴
1.Red Hat JDVとは?
34. Copyright(c) SCSK Corporation - 33 -
これまでのシステム連携イメージ
複数のデータソースをEAI/ETLで連携し、他のDBへ統合
BI等分析用の照会用テーブルやデータマートをデータウェアハウスに生成
利用者からのアクセス高速化のため、データをメモリへキャッシング
File
照会
RDBMS
EAI/ETL DWH
RDBMS InMemory
DataGrid
マート
生成
データ
統合
BI
連携
キャッシュ
1.Red Hat JDVとは?
35. Copyright(c) SCSK Corporation - 34 -
Red Hat JDVを使用したシステム連携イメージ
複数のデータソースをJDVで連携・統合
BI等分析用の照会用テーブルやデータマートを論理テーブルとしてJDV上に定義
利用者からのアクセス高速化のため、データをJDVにキャッシング
(マテリアライズドビュー)
JBoss Data Virtualization
File
照会
RDBMS
BI
連携
マテリアライズド
ビュー
1.Red Hat JDVとは?
36. Copyright(c) SCSK Corporation - 35 -
データ仮想化技術により、以下のような使い方が可能です。
– 「データ連携・統合」
– 「データキャッシュ」
– 「データマート」
JDV EAI/ETL ESB/SOA
InMemory
DataGrid
ビッグデータ
DWH
データ連携・統合
(バッチ・大量データ) ◎ ◎ 〇 × △
システム連携
(リアルタイム)
〇 △ ◎ △ ×
データキャッシュ ◎ × × ◎ ×
DWH・データマート 〇 × × △ ◎
1.Red Hat JDVとは?
JDVの使い方
37. Copyright(c) SCSK Corporation - 36 -
データ連携・統合
RDB
JDV
ETL/EAIの場合
– データ連携・統合先にもDBが必要
– データの二重管理が発生
– 一括バッチ処理が基本
File
EAI/ETL 統合DB
JDVのメリット
– あらゆるデータソースを透過的、仮想的に統合
– データを持たないので2重管理問題が発生しない
– 用途に併せてリアルタイム連携も可能
RDB
File
?
1.Red Hat JDVとは?
38. Copyright(c) SCSK Corporation - 37 -
データ連携・統合
DWH製品の場合
– 一般的に高価
– 製品固有の設計・チューニングノウハウが必要
JDVのメリット
– JDV内でマートの構築が可能
– 利用者毎に見せる・見せないの制御が可能
– 標準的なSQLが利用可能
– 監査証跡の取得を自由に設定可能
– LDAP連携によるユーザ管理統合
JDV
RDB
File
データウェアハウス
RDB
LDAP
認証
1.Red Hat JDVとは?
39. Copyright(c) SCSK Corporation - 38 -
Part 1. Couchbase
1.Couchbase Serverとは?
2.Couchbase Server 4.0の新機能
3.SCSK最新事例
Part 2. Red Hat JBoss Data Virtualization (JDV)
1.Red Hat JDVとは?
2.SCSK導入事例
3.SCSK検証レポート
40. Copyright(c) SCSK Corporation - 39 -
2.SCSK導入事例
データ統合基盤適用事例
複数の業種・業態のグループ企業展開する企業グループにおいて顧客情報・活
動情報等グループ各社の情報を統合、横断的な活用を実現
– 各社保有データの取り込み
– レイアウト/コード変換(データ統合)
– クレンジング
業務アプリケーション (横断的にデータ活用する)
固定長
ファイル
固定長
ファイルI/F
JDBC JDBC
DBMS
JDBC
ビジネス
ロジック
ファイル編集
ロジック
SQLFile I/O
ビジネス
ロジック
仮想データ統合 適用なし(スクラッチ開発)
DBMSDBMS
DB抽出・マージ
ロジック
SQL
SQL
41. Copyright(c) SCSK Corporation - 40 -
2.SCSK導入事例
データ統合基盤適用事例
複数の業種・業態のグループ企業展開する企業グループにおいて顧客情報・活
動情報等グループ各社の情報を統合、横断的な活用を実現
– 各社保有データの取り込み
– レイアウト/コード変換(データ統合)
– クレンジング
業務アプリケーション(横断的にデータ活用する)
固定長
ファイル DBMS
ビジネス
ロジック
ビジネス
ロジック
仮想データ統合
JDV
仮想TBL
仮想TBL
JDBC
新規追加
Webサービス
JDVコネクタ群
効果①
生産性向上
効果②
開発・レビュー
品質向上
効果③
影響範囲を
極小化
SQL SQL
各業態からのレコードについ
てフォーマット変更などは
JDVの定義修正のみで対応可
仮想データ統合 適用有(JDV)
業務アプリケーション (横断的にデータ活用する)
固定長
ファイル
固定長
ファイルI/F
JDBC JDBC
DBMS
JDBC
ビジネス
ロジック
ファイル編集
ロジック
SQLFile I/O
ビジネス
ロジック
仮想データ統合 適用なし(スクラッチ開発)
DBMSDBMS
DB抽出・マージ
ロジック
SQL
SQL
DBMSDBMS
42. Copyright(c) SCSK Corporation - 41 -
Part 1. Couchbase
1.Couchbase Serverとは?
2.Couchbase Server 4.0の新機能
3.SCSK最新事例
Part 2. Red Hat JBoss Data Virtualization (JDV)
1.Red Hat JDVとは?
2.SCSK導入事例
3.SCSK検証レポート
44. Copyright(c) SCSK Corporation - 43 -
JDV売り上げ分析AP
顧客
購入検索・更新
顧客DB
3.SCSK検証レポート
検証シナリオ
オンライン商品販売における売り上げ分析を想定事例
商品取引に必要なDB/テーブルを構成
複数DBMSをまたがる検索のため、Oracle, MySQL, SQL Serverを用意
複数DBMS間のJOIN処理時を検証するため、各DBBMSに同一テーブルを用意
商品マスタ
DB
取引DB
オ
ン
ラ
イ
ン
店
舗
DB仮想化は
本当に有効??
Customer Goods
Trade
Oracle
Customer Goods
Trade
MySQL
Customer Goods
Trade
SQL Server
単一DBに対する検証 複数DB(2~3)に対する検証
45. Copyright(c) SCSK Corporation - 44 -
3.SCSK検証レポート
検証結果
検索パターン スレッド/秒
1 DB : 3 Table Join 100スレッド/秒
(MySQL) (SQL Server) (Oracle)
検索パターン スレッド/秒
3 DB : 3 Table Join 100スレッド/秒
46. Copyright(c) SCSK Corporation - 45 -
3.SCSK検証レポート
検証結果
検索パターン スレッド/秒
1 DB : 3 Table Join 100スレッド/秒
(MySQL) (SQL Server) (Oracle)
検索パターン スレッド/秒
3 DB : 3 Table Join 100スレッド/秒
JDVのキャッシング機能の効果で、
単一DB&複数テーブル、複数DB&複数テーブルの
JOIN処理は、いずれも、
直接DBMSを参照するよりJDVの経由の方が
低レイテンシーで動作します
47. Copyright(c) SCSK Corporation - 46 -
会社名: SCSK株式会社(日本国内でのCouchbase社の代理店)
所在地: 東京都江東区豊洲3-2-20 豊洲フロント
設立: 1969(昭和44)年10月25日
資本金: 21,152百万円
従業員: 11,754名 (連結)(2015年3月31日現在)
業容:
【お問合わせ】
SCSK株式会社
ITエンジニアリング事業部ミドルウェア部
TEL:03-5166-1320
E-mail:nosql-sales@ml.scsk.jp , Jboss-sales@ml.scsk.jp
会社案内