2015年2月26日 dsthHUB 『DataSpiderインターナルプラガブルアーキテクチャで広がる可能性』

DataSpiderインターナル
"プラガブルアーキテクチャ"で
広がる可能性
株式会社アプレッソ
開発部開発グループ
リーダー
佐々木健二
2015年2月26日 dstn HUB

自己紹介
• 佐々木健二
• 開発部に所属
• 趣味
– ランニング
• 毎年「Nippon IT チャリテイ駅伝」に出場

最近の業務
• サポート業務
• DataSpider保守開発
• DataSpider開発計画
• DataSpider SDK
• 営業支援、OEM開発支援

アジェンダ
• プラガブルアーキテクチャについて
• プラガブルアーキテクチャの利点
• 拡張クラスローダ
• プラグインの起動プロセス
• SDKとは？
• SDKの未来

プラガブルアーキテクチャについて

プラガブルアーキテクチャとは？
• プラガブルとは…
– プラグイン(=部品)が抜き差し可能なこと
つまり、プラガブルアーキテクチャとは
プラグインが抜き差し可能になっている
アーキテクチャのこと

DataSpiderServerにおける
プラグインとは？
• マネージャやアダプタのこと
– DataSpiderServerは、核となるカーネルと、
数多くのプラグイン(マネージャ、アダプタなど)で
構成されている

DataSpiderServerの
アーキテクチャ図
Java VM
カーネル
WebContainer
Trigger
Manager
DataProcessing
Component Manager
FileSystem
Manager
HTTPTrigger
FileTrigger
ScheduleTrigger
FTPTrigger
CSV
Excel
DBFS
LFS
ExtLFS
DataProcessing
Connection Manager
Oracle
DataSpiderServer
マネージャ
Mail
Web
User
Manager
Global
Resources
Adapters
Converters
FTP
Users
Groups
アダプタ

カーネルとは？
• DataSpiderServerの中核部分
– マネージャの起動/停止、登録/削除を行っている

マネージャとは？
• DataSpiderServerの各種機能をサービスとして
提供しているモジュール
– ファイルシステムマネージャ
• DataSpiderファイルシステムへのアクセスを提供
– Webコンテナ
• Webアクセスの機能を提供
– ユーザマネージャ
• ユーザ、グループ管理の機能を提供
【例】

アダプタとは？
• 各種データソースに接続してデータの入出力を
行うモジュール
– Excelアダプタ
• Excelファイルのデータを読み書きする
– Oracleアダプタ
• Oracleデータベースのデータを読み書きする
– Mailアダプタ
• メールの送受信を行う
【例】

プラグインの起動プロセス

プラグインの構造
• プラグインは宣言部分と機能の実装に
分離されている
宣言部分
(プロパティファイル)
機能の実装
(Java JAR)
プラグインのロードクラスや、
種類、表示名、依存関係など
を定義
フレームワークに従って、
プラグインで提供する機能を
Javaで実装

プラグインの起動プロセス
• DataSpiderServer起動時に、プラグインの
ロード、初期化、サービスの開始を行う
1. プラグインのクラスをロード
2. プラグインを初期化
3. プラグインのサービスを開始

プラガブルアーキテクチャの利点

1. 拡張性
プラガブルアーキテクチャの
利点
2. 保守性

拡張性
• DataSpider本体を変更することなく、
プラグインを追加・削除することができる
– フレームワークに従ってプラグインを開発するだけで、
機能を拡張することができる
– 不要なプラグイン(アダプタ)は削除することも可能

保守性
• 他のプラグインに影響を及ぼすことなく、
プラグインを追加・変更・削除することができる
– プラグインは個々に分離されているため、
影響範囲は対象のプラグインだけに局所化できる
– プラグインごとにクラスローダを拡張しているため、
異なるバージョンのライブラリを複数同時にロード
することができる
例えば、Oracleアダプタの場合、Oracleのバージョンごと
にJDBCドライバ(ライブラリ)を同時に使用するこができる

クラスローダとは？
• JavaのクラスをJVMのメモリにロードする役割を
持つオブジェクト
– クラスローダは通常複数あり、それらはツリー構造に
なっている
– クラスの探索には、まず親のクラスローダに移譲し、
そこで見つからなければ子自身で探索する

DataSpiderServerの
クラスローダ
• DataSpiderServerには大きく3つのカテゴリの
クラスローダがある
– システム共通のクラスローダ
– マネージャのクラスローダ
– アダプタのクラスローダ

クラスローダの役割
• システム共通のクラスローダ
– DataSpiderServer全体のコンポーネントから
利用することが可能
• マネージャのクラスローダ
– マネージャ共通で利用するクラスローダ、
各マネージャそれぞれが利用するクラスローダがある
• アダプタのクラスローダ
– アダプタ共通で利用するクラスローダ、
各アダプタそれぞれが利用するクラスローダがある

ModuleClassLoader
クラスローダの関係
URLClassLoader
DataSpiderURLClassLoader
CommonClassLoader
SharedClassLoader
SharedClassLoader
server
system
common
kernel
share
modules
module
plugin
data_processing
share
modules
moduleModuleClassLoader
・
・
・
・
・
・
ModuleClassLoader
ModuleClassLoaderModuleClassLoaderModuleClassLoader
・
・
・
・
・
・
マネージャのクラスローダ
アダプタのクラスローダ
システム共通のクラスローダ
クラスローダディレクトリツリー

クラス探索の流れ
(アダプタの場合)
ModuleClassLoader
URLClassLoader
CommonClassLoader
SharedClassLoader
SharedClassLoader
server
system
common
kernel
share
modules
module
plugin
data_processing
share
modules
moduleModuleClassLoader
・
・
・
・
・
・
ModuleClassLoader
ModuleClassLoaderModuleClassLoaderModuleClassLoader
・
・
・
・
・
・
マネージャのクラスローダ
クラスローダディレクトリツリー
1. システム共通のクラスローダでクラスを探索
2. アダプタ共通のクラスローダでクラスを探索
3 アダプタのクラスローダでクラスを探索

クラスローダを拡張する利点
• 実行するクラスが依存するクラスを選択的に
ロードできる
例えば、Oracleアダプタの場合、Oracleのバージョンごとに
JDBCドライバ(ライブラリ)を同時に使用するこができる
例えば、アダプタのクラスローダ場合、アダプタが必要とする
アダプタフレームワークのクラスを選択してロードする
• 異なるバージョンのライブラリを複数同時に
ロードできる

クラスを共有するときの
注意点
• ライブラリの競合に気をつける
– システム全体のクラスローダとアダプタのクラスローダの
両方に、異なるバージョンの同じライブラリがある場合
server
system
common
plugin
data_processing
share
modules
module
commonlib_v1.jar
commonlib_v2.jar
URLClassLoader
CommonClassLoader
SharedClassLoader
ModuleClassLoader
(1)
A.classを探索
(2)
commonlib_v1.jarに含まれていたので、
A.classをロード
(3)
アダプタにあるcommonlib_v2.jarに
含まれるA.classはロードされない

SDKとは
• アダプタを開発するための開発者キット
– プログラミング言語はJava
– APIドキュメント(Javadoc)
– 開発ガイドドキュメント
– サンプルコード
– ビルドファイル
【主な提供物】

SDKの使いどころ
• 既存のJavaプログラムをDataSpiderから
実行したい
• DataSpiderで対応していないデータソース、
プロトコル、サービスに接続したい
• Mapperでは実現が難しい複雑なロジックを
実装したい

SDKのロードマップ
4.0
4.1
4.2
• Java8対応
• プログラム埋め込みMapperロジック
• トリガーSDK
• SDKテストフレームワーク
• テンプレートコード自動生成
• Eclipseプラグイン
• アダプタ開発用サーバ

まとめ
• DataSpiderServerは、拡張性、保守性に
優れたプラガブルアーキテクチャを採用している
• クラスローダの拡張はプラガブルアーキテクチャを
実現する上で重要な技術
• 標準アダプタで実現が難しい場合は、
SDKで開発することが可能
• SDKの未来にご期待ください

ご清聴ありがとうございました。

2015年2月26日 dsthHUB 『DataSpiderインターナルプラガブルアーキテクチャで広がる可能性』

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Destacado

Destacado (7)

Similar a 2015年2月26日 dsthHUB 『DataSpiderインターナルプラガブルアーキテクチャで広がる可能性』

Similar a 2015年2月26日 dsthHUB 『DataSpiderインターナルプラガブルアーキテクチャで広がる可能性』 (20)

Más de dstn

Más de dstn (11)