2. インターネット環境
ネットワークの自律連合体
It is a "network of networks" that
consists of millions of private and
public, academic, business, and
government networks of local to
global scope that are linked by
copper wires, fiber-optic cables,
wireless connections, and other
technologies. (Wikipedia)
Halsall, Computer networking and the Internet, Addison-Wesley, 2005.
7. 情報システム進化の方向性
7
ネットワーク前提の度合いが増加
遠隔手続き呼び出し
Sun RPC/ONC, HP NCS
OSF DCE
分散オブジェクト
OMG CORBA
Microsoft DCOM
Webページ,XML
SOA, SaaS,
マッシュアップ
HTML, XML,
SOAP, WSDL, UDDI
手続き指向 オブジェクト指向 サービス指向
クライアント/
サーバ
マルチティア
サービス連携・連合
mash-up
C S C S S S C S
S
S
LAN LAN, Internet LAN, Internet
1980s 1990s 2000s 2004∼
Webサービス
13. “Sustainable”
• COBUILD English Dictionary!
1.You use sustainable to describe the use of
natural resources when this use is kept at a
steady level that is not likely to damage the
environment.
2.A sustainable plan, method, or system is
designed to continue at the same rate or level
of activity without any problems.
✦ The creation of an efficient and sustainable transport system
is critical to the long-term future of London.
13
18. 18
SSF1の基本動作
Master
site
Site
Site
Site
Shared state
in VM image
Site
Site
1. 配布(スナップショット,複製,分解)
Master
site
Site
Site
Site
Site Master
site 2
Shared state
in VM image
3. 集約&回復(結合)
Master
site
Site
Site
Site
Shared state
in VM image
Site
Site
2. 障害検出 4. 合流
Master
site
Site
Site
Site
Site Master
site 2
Shared state
in VM image
Merge
19. SSF1の実現
19
実装の概要とデモ環境の説明
Windows
PC
Windows
PC
Windows
PC
Windows
PC
Windows
PC
Windows
PC
PacketixVPN による仮想広域ネットワーク
サーバー
ソフトウェア (apache httpd)
Microsoft
Virtual
Server
Microsoft
Virtual
Server
Microsoft
Virtual
Server
Microsoft
Virtual
Server
Microsoft
Virtual
Server
Microsoft
Virtual
Server
linux
linux
linux
linux
linux
linux
linux
linux
linux
linux
linux
linux
サステーナブルシステム
sbuml
sbuml
sbuml
sbuml
sbuml
sbuml
sbuml
sbuml
sbuml
sbuml
sbuml
sbuml
1000Base-T Ethernet
デモ機材仮想インターネット提案システム
クライアントと通信
現在の実装では,システムソフト
ウェアの作成には Java を利用
し,サービスを実行するための仮
想 計 算 機 モ ニ タ に は S B U M L
(Scrap Book for User Mode
Linux) を利用しています.
各 PC には Microsoft Win-
dows Server 2003 R2 がインス
トールされ,1000Base-T で相互
接続されています.その上に,
Packetix VPN と Microsoft Vir-
tual Server 2005 R2 を用いた仮
想インターネット環境(後述)を
構築しています.各 PC 上には複
数の仮想計算機が作成され,それ
ぞれに Linux がインストールされ
ています.それぞれの Linux 上で
はサステーナブルシステムソフト
ウェアが動作し,必要に応じて
SBUML も起動されます.
Packetix VPN と仮想計算機
システム構成 仮想インターネット
Windows
PC
Windows
PC
Windows
PC
Windows
PC
Windows
PC
Windows
PC
PacketixVPN による仮想広域ネットワーク
Microsoft
Virtual
Server
Microsoft
Virtual
Server
Microsoft
Virtual
Server
Microsoft
Virtual
Server
Microsoft
Virtual
Server
Microsoft
Virtual
Server
linux
linux
linux
linux
linux
linux
linux
linux
linux
linux
linux
linux
サステーナブルシステム
1000Base-T Ethernet
デモ機材仮想インターネット
クライアントと通信
dows Server 2003 R2 がインス
トールされ,1000Base-T で相互
接続されています.その上に,
Packetix VPN と Microsoft Vir-
tual Server 2005 R2 を用いた仮
想インターネット環境(後述)を
構築しています.各 PC 上には複
数の仮想計算機が作成され,それ
ぞれに Linux がインストールされ
ています.それぞれの Linux 上で
はサステーナブルシステムソフト
ウェアが動作し,必要に応じて
SBUML も起動されます.
Packetix VPN と仮想計算機
による仮想インターネット環境
本提案システムはインターネットで利用されることが想定され
ていますが,実際のインターネットを利用して大規模なテストや
実験を行うことは容易ではありません.そこで我々は,クラスタ
型並列計算機の上に仮想的なインターネットを構築してテストや
実験を行う方法についても研究を進めています.我々の方法は,
各計算機に仮想計算機を複数作成し,それらを Packetix VPN
で作成された仮想的な広域ネットワークに接続するという方法で
す.計算機やスイッチ,ルータの接続状況を専用の GUI ソフト
ウェア(右図)を用いて入力すると,それに応じて自動的に
Packetix VPN や仮想計算機の設定が行われ,容易に仮想イン
ターネット環境を構築・利用することができます.
本研究は,独立行政法人 科学技術振興機構の支援を受けている研究プロジェクト「自律連合型基
盤システムの構築」(研究代表者 加藤和彦)の研究成果の一部です.本プロジェクトに関する詳しい情報は
下記ウェブページをご覧下さい.
http://www.osss.cs.tsukuba.ac.jp/ kato/wiki/kato/index.php?CREST
サステーナブルシステム 筑波大学 加藤和彦
21. SSF1の課題
• スケーラビリティ
– 単一VMインスタンスのみが一次に動作
• 資源効率
– 高い可用性を実現する半面,単一サービスに対して多数の
計算機を消費
• マージ処理
– スクリプト言語でマージ処理を記述するためのアプリケー
ションに対する深い理解が必要
21
4. 合流
Master
site
Site
Site
Site
Site Master
site 2
Shared state
in VM image
Merge
22. Sustainable Service Framework 2
• 複数サービスに対応した協調プラットフォーム
– 計算機プロバイダが計算機資源を提供
– サービス提供者がサービスをVMの形で自由にインストール
– 想定
• 多拠点のデータセンターの連合環境
• 小規模サーバ同士のPeer-to-Peer連携
• サステーナブルサービスフレームワーク
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VM
VMVM
VM
VM
22
25. メンバシップ管理
n 物理計算機を管理し,統一的な資源ビューを提供する
n 階層型Gossipプロトコル
[Renesse
et
al.
Middleware98]
を実装
p定期的に既知のホストのリストをランダムに選択したホストに送信
pVMレベルでの死活情報を追跡するよう改良
pInformaHon
Plane
の役割も一部実装予定
n CPU使用率,メモリ使用量なども,ヒントとして伝搬
VM
VM
VM
VM
VM
VM
VM
Host
A:
{VM1,
VM2}
Host
B:
{VM1,
VM3}
Host
C:
{VM3}
…
VM
26. サービス配置
n サービスごとに配置を自律管理
pプライマリ計算機をサービスごとに投票により選出
pプライマリ計算機がサービスの配置を決定
p障害発生時には,プライマリ計算機を代替
n ポリシーとメカニズムの分離
VM
VM
VM
VM
VM
VM
VM
VMVM
VM
VM
VM
VM
VM
メンバシップ
サービスBサービスA
サービスBの
プライマリ計算機
サービスAの
プライマリ計算機
VM
29. 応用:Peer-‐to-‐Peer
サーバ複製
n 単一インスタンス・複数サービス
pレガシーモデル
n 計算機資源を持ち寄ることで,少ない参加コストで高信頼化
A
B
B
B
B
A
A
A
本来のサーバ B
本来のサーバ A
サービス(VM)とホストを160bit SHAキーで管理
!
仮想的なリング型オーバーレイを構成
!
サービスのキーを起動時のホストと同一とすることで
元のサーバに近いサーバでサービスを開始
!
障害発生時に他計算機が代替
元の計算機が復帰すると,
サービスも元のサーバへと戻る
30. 0
1
2
3
4
0 60 120 180 240 300
0
1
2
3
4
0 60 120 180 240 300
CPULoadAverage
Elapsed Time[s]
Service2 Dom0
Host A Host B
Host C Host D
Became primary
0
1
2
3
4
0 60 120 180 240 300
0
1
2
3
4
0 60 120 180 240 300
Stopped
by injected failure
Became primary Stopped
by injected failure
Service1
Primary hosts were automatically changed
実験結果
30
31. 一貫性制御の課題とアプローチ
• 課題:VM内アプリケーション内データ間の一貫性制御の自動化は
一般に困難
– 巨大・複雑なVMイメージの中から本質部分を抽出し,一貫性制御を行う必要がある.
– SSFv1では,プログラマに用意してもらうマージスクリプトがこれを行っていた.
• アプローチ:分散永続オブジェクトのレイヤで解決
– 一貫性制御を取り扱う基本操作を含むオブジェクトフレームワークを提供
– Web上のサービスアプリケーションを対象として設計
領域1
!
領域2
時間軸
ネットワーク分断 分断回復
VMレベル ?
A領域1
!
領域2
分散永続
オブジェクト A
A,
B
A,
C
A,
B
A,
C A,
B,
C
A,
B,
C
01000001
01000001
010000010
1000010
010000010
1000011
一貫性回復の手順を定義
010000010
1000010
010000010
1000011
32. 分散永続オブジェクト・クラスライブラリ
• Webサービス記述に適したフレームワークとして提供
– Counter, Map, Directory などの汎用データ構造を用意
– 各データ構造はサステーナビリティをサポートするモデルを持つ.
モデル フレームワーク Webサービス
Mergeable
Mergeable
Set
Mergeable
Integer Counter
Balance
Unmergeable
Map
List
Bounded
Mergeable
Integer
メール
掲⽰示板
Social Network
Service
オークション
商取引
Immutable
Eventual
Bounded
Mergeable Set
Bounded
Eventual
ServerDirectory
UserInfo
Content
UserDirectory
33. 関連研究 (1/2)
n VM の複製
pSecondSite [Cully and Warfield HotDep06]
n 第2の拠点にVMの状態を広域複製.ポジションペーパのみ公開
pRemus [Cully et al. NSDI07]
n LAN環境で高い頻度(20回/秒程度)でXenの複製をおこなう
pVM-FIT [Reiser and Kapitza SRDS07],
Xen VLS [Stodden et al. Xen Summit Spring 07]
n Xenのアクティブ/セミアクティブ複製
pHypervisor-based FT [Bressoud and Schneider TOCS96]…
n VMのHA複製の古典的な研究.LAN内で複製
n VM の広域サービス基盤
pVirtuoso [Sundararaj et al. HPDC05], vMatrix [Awadallah
and Rosenblum FTDCS04]
n VM間のオーバレイの構築,CDNに特化
34. 関連研究 (2/2)
n 商用 VM サービス基盤
pAmazon EC2 [Amazon.com], Blue Cloud [IBM] …
n LAN 内 VM サービス基盤
pVMware Infrastructure [VMware], Eucalyptus [UCSB],
Enomalism [Enomaly] …
n サービス基盤
pIntrigger [科研特定]…
n LAN内の自律システム
pFAB [Saito et al. ASPLOS04], Porcupine [Saito et al. SOSP99]
n Peer-to-Peer システム
pCooperative storage [Haeberlen et al. NSDI05],
Cooperative proxy [Wolman et al. SOSP99]
35. 関連技術との比較
Scalability
Openness
Xen
Live
migraHon
VMware
Infrastructure
PlanetLab
IBM
Blue
Cloud
(2008-‐)
Grid
CompuHng
Sustainable
Service
PlaYorm(目標)
クラスタ環境に特化
少数拠点の多数の計算機の連合
多拠点の少数計算機
Princeton大で集中管理
Peer-‐to-‐Peer
seH@home
クラウドコンピューティング
Amazon
EC2/S3
(2007-‐)
35
38. Wide-Area Network
Sustainability,
in a general sense, is the capacity to maintain a
certain process or state indefinitely. (wikipedia)
Sustainability in WAN?
Robustness against Attacks
Availability (Resilience) against Failures
39. 39
Problem1: Robustness against DDoS
server
client
client
client
attacker
slave attacker
zombie
zombie
zombie
zombie
アタッカーは狡賢くなり水面下で分散DoS攻撃を行う.
分散DoSは非常に発見しにくく、対処しにくい.
router
server
DoS:Denial of Service