3. 関連研究: 並列ファイルシステム 複数のディスクを1つの論理的なファイルシステムに見せる (e.g. PVFS [Carns 2000], GPFS [Schmuck 2002], Lustre[Schwan 2003], etc) ファイルをストライピングすることで、複数ディスクを用いて同時にI/Oを行う事が可能 CPU CPU CPU CPU CPU CPU CPU CPU 計算 ノード Disk Disk Disk I/O ノード 3
4. 問題点: スケーラビリティ 並列ファイルシステムは、10万以上のプロセスからの要求を裁けるほどにはスケーラビリティが無い 各プロセスから非連続なI/Oが来ると、seek回数が増大 ネットワーク輻輳 Etc. 参考文献 24/7 Characterization of Petascale I/OWorkloads [Carns, Cluster 2009] 並列分散環境におけるファイル共有システムの負荷原因探索システム[佐伯, SWoPP 2009] CPU CPU Disk 4
5. 研究目標 millionプロセスにも耐えうる並列I/Oシステム クライアント側での最適化 バックエンドファイルシステムにI/Oを発行する前に、プロキシを用意し、そこで最適化 を行う (Aggregation, Rescheduling, Caching, etc) CPU CPU CPU CPU CPU CPU CPU CPU Forwarder Forwarder Forwarder Forwarder Disk Disk Disk 5
6.
7. 提案2: pdCache (Parallel Disk Cache) Cachingにより、ファイルシステムへの負荷を低減 ファイルサーバー独立な並列ファイルキャッシュ機構[太田, HOKKE2009] 下層のネットワーク , ファイルシステム非依存 ページ単位でキャッシュを管理 書き込みの場合、メモリ上にデータを一端キャッシュし、遅延して書込み 同じ領域を読み込む場合は、キャッシュから読み込まれる 複数プロセスからの並列I/Oにおいて、約8倍の高速化 参考文献 Scaling Parallel I/O Performance through I/O Delegate and Caching System [Wei, SC2008] I/Oキャッシュ専用ノードを用意する事でアプリケーション性能を向上 ファイルキャッシュシステムの有効性向上に向けた科学技術計算アプリケーションのI/O特性評価 [安井, SWoPP2009] FlontFlow/Blue, ProteinDFという2つのアプリケーションのI/Oをトレースし、キャッシュアプローチが有効な事を観測した 7
8. pdCache: アーキテクチャ Client Client Client Coordinator (2) メタデータ要求・ロック獲得 Metadata Metadata Metadata (3) データ要求 Data Data Data キャッシュサーバー3 キャッシュサーバー2 キャッシュサーバー1 NFS/PVFS 8
13. Gather & Arrange (sort) Phase 13 I/O-Node 1 I/O-Node 2 I/O-Node 3 Disk Disk Disk Dispatcher Process Dispatcher Process Compute-Node 1 Process 1 A3 A2 A1 Process 2 A7 A5 A4 Compute-Node 2 I/O Server Process I/O Server Process I/O Server Process Process 3 BIV BII BI Process 4 BIX BVI BV
14. Arrange (merge) & Scatter Phase 14 I/O-Node 1 I/O-Node 2 I/O-Node 3 Disk Disk Disk Merging Dispatcher Process Dispatcher Process Compute-Node 1 Process 1 A5 A2, A1 A3 A4 Process 2 A7 Compute-Node 2 I/O Server Process I/O Server Process I/O Server Process Process 3 BI BIV Process 4 BII BV BIX BVI
15. pdCache: アーキテクチャ Client Client Client Coordinator (2) メタデータ要求・ロック獲得 Metadata Metadata Metadata (3) データ要求 Data Data Data キャッシュサーバー3 キャッシュサーバー2 キャッシュサーバー1 NFS/PVFS