SlideShare una empresa de Scribd logo
1 de 19
Descargar para leer sin conexión
2010/12/27

  高性能データセンターと高速メモリサーバ、および分散仮想化技術の提案
                                     平宮康広※1

                                                                     Yasuhiro Hiramiya


要旨:近年、ネットワーク,特にインターネット回線を介して外部のコンピュータ資源を利用できるクラウドコンピ
ューティングサービスが注目を浴びている。2010年4月10日付け日経新聞の記事によると、2008年の国内
データセンターの利用総額は7621億円であった。そして、同じ年に、それに匹敵する額のデータセンター利用
料が国外にも流出したらしい。国内データセンター利用料と国外データセンターの利用料がほぼ等価であった
とすれば、原因はおそらく日本のデータセンターの運用コストにある。現在のデータセンターの運用コストに占
める電気代の割合は大きい。アメリカ等の電気代は日本の電気代の概ね 3 分の1以下であり、その運用コスト
の差は歴然である。現状のままでは、国外流出はさらに加速する。このハンディを克服して国内のデータセンタ
ーの利用率を高めるためには、国内データセンターの設備コストと運用コストを低減することが不可欠である。
同時に、従来のホスティングサービスから脱却した独自のサービスを提供する必要がある。そのため、本稿で
は、データセンターの冷却技術を既存の空冷式から水冷式,特に海洋深層水を利用した水冷式へと転換して
安価で信頼性の高い高性能データセンターを構築すると共に、新しい高速メモリサーバ及び分散化仮想技術を
提案する。


キーワード: クラウドコンピューティング、運用コスト、海洋深層水、データセンター、高速メモリサーバ、仮想化


1. 序論                                       降である。にもかかわらず、2008年の国内データセ
 2010年4月10日付け日経新聞の記事によると、                   ンター利用料と国外データセンター利用料の総額が
2008年の国内データセンターの利用総額は7621                   ほぼ等価であったとすれば、原因はおそらく日本の
億円であった。そして、同じ年に、それに匹敵する額                    電気代にある。
のデータセンター利用料が国外にも流出したらしい。                      データセンターの運用コストに占める電気代の割
日本のIT企業やICT企業はクラウドコンピューティン                  合は大きい。しかし、アメリカの電気代は日本の電気
グサービスの課金にホスティングサービスと同様な                     代の概ね3分の1以下で10分の1以下の地域もある。
課金スキームを施している。とりわけ回線の課金に                     アジアの他の国々と比較しても日本の電気代はかな
同様な課金スキームを施している。そのため、課金                     り高い。2008年に生じた7000億円以上の国外流
上の理由でいくつかの斬新なアプリケーションプログ                    出の原因が電気代の差にあるとすれば、グーグル
ラムを実装できない場面が生じている。残念ではあ                     やマイクロソフト、アマゾン等のクラウドコンピューティ
るが、国内クラウドコンピューティングサービスの質                    ングサービスが本格稼動した2009年と2010年の
はグーグルやマイクロソフト、アマゾン等のクラウドコ                   国外流出額はさらに大きいと予想する。現状のまま
ンピューティングサービスの質よりかなり劣る。とは                    では、国外流出額が年間2兆〜3兆円規模になるか
いえ、それが2008年に生じた7000億円以上の国                   もしれない。
外流出の原因であるとはおそらく言えない。なぜなら、                     とはいえ、この国外流出が日本の経常収支を悪化
グーグルやマイクロソフト、アマゾン等のクラウドコン                   させる場面があるとしても、世界規模で生じているク
ピューティングサービスは2008年の時点で本格稼                    ラウドコンピューティングサービスの拡大を阻止する
動していないからだ。本格稼動したのは2009年以                    ことはおそらくできない。また、短期間で日本の電気

※1 信州大学情報工学科元講師

        1 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
代をアメリカ並に安くすることもおそらくできない。早                 プロセッサのクロック速度は概ね10MHz程度であっ
急に、日本の高い電気代の下であってもコストパフォ                  た。たとえば、モトローラ社は1981年に10MHzの6
ーマンスの点でグーグルやマイクロソフト、アマゾン                  8000マイクロプロセッサを市販している。その後約
等の巨大データセンターを凌駕する高性能データセ                   20年間、イーサネットの伝送速度とプロセッサのクロ
ンターを発明して建設する必要がある。同時に、従                   ック速度は比例するように増大した。1Gbpsイーサ
来のホスティングサービスから脱却した国内クラウド                  ネットが登場したのは2000年である。同じ年にイン
コンピューティングサービスを提供する必要がある。                  テルとAMDが1GHzのプロセッサを市販している。
さらに、新しい高速プロセッサと高速メモリ、仮想化                  だが、21世紀になって、イーサネットやその他回線
技術等を開発する必要もある。なぜなら、高性能デ                   の帯域増にプロセッサのクロック増が追いつかなくな
ータセンターが新しいサーバコンピュータ=高速メモ                  った。現在、10Gbpsイーサネットが普及しつつある
リサーバの需要を作り出すかもしれないからだ。そ                   が、10GHzのプロセッサは市販どころか開発されて
れらのための、はからずもテコとなるものを提供する                  もいない。
目的でこの論文を書く。
 尚、本文中に埋め込んだ多数の備考はどれもが                     (備考) ちなみに、IEEE802委員会が10Gbpsイーサ
読むに値すると信じるが、読み飛ばしてもかまわな                   ネットの仕様を作成して公開したのは2003年である。その
い。                                        後、IEEE802委員会は40Gbpsや100Gbpsイーサネット
 また、クラウドコンピューティングサービスの概要                  の仕様も作成して公開した。しかし、インテルもAMDも未だ
については、参考文献1を参照されたい。                       に10GHzのプロセッサを市販していない。インテルやAMD
                                          が40GHz超のプロセッサを市販する場面はおそらく永遠に
 (備考) 通常、ISPはトラヒックを基準にしてインターネッ            ないと考える。
 ト・トランジット回線に課金する。したがって、グーグルや
 マイクロソフト、アマゾン等のクラウドコンピューティング                すなわち21世紀になって、回線の帯域増がプロセ
 サービスではデータ量に課金している。ところが、国内ク               ッサのクロック増あるいはムーアの法則を凌駕した。
 ラウドコンピューティングサービスは回線の帯域に課金                回線の帯域増はハードウェア資源の集約化を容易
 する場合が多い。そのため、ローカル・エリア・ネットワー              にする。同時に、分散処理技術の進化を促進する。
 クの帯域だけを使用する場面でもインターネット回線の                  近年、グーグルやマイクロソフト、アマゾン等は北
 使用料を支払わなければならない場面が生じる。それで                米やヨーロッパ、東南アジアの各地に総消費電力数
 は、利用者は、たとえば多数のIaaSインスタンスを購入              万kWクラスの巨大データセンターを建設してハード
 してHadoopのようなミドルウェアで自前のPaaSを構築            ウェア資源を集約した。同時に、40Gbpsや100Gb
 し、分散型アプリケーションプログラムを実装して実行す               psイーサネットによる高速ローカル・エリア・ネットワ
 るといった作業が容易にやれない。現状、ソフトウェアハ               ークを構築し、サーバコンピュータ間のコラボレーショ
 ウス等が国内クラウドコンピューティングサービスの下で               ンを推進した。そして、分散処理技術を進化させ、ク
 ドロップボックスやエバーノートのようなアプリケーション              ラウドコンピューティングの概念を考案した。
 サービスを提供する場面はおそらくない。                        最初に登場したクラウドコンピューティングサービ
                                          スはPaaSと呼ばれるもので、分散処理技術の下で
2.背景と課題、および対策                             強力なコンピューティング環境を利用者に提供する。
                                          とはいえ、わずかに遅れて新たな技術の導入がはじ
1980年、DECとインテル、ゼロックスの三社がイ                 まった。新たな技術は仮想化技術である。最初に仮
ーサネット1.0の仕様を作成して公開した。そして、                 想化技術を導入したのはアマゾンである。当初、アマ
1981年、IEEE802委員会がイーサネット2.0の               ゾンはグーグルやマイクロソフトと同様なPaaSを構
仕様を作成して公開した。イーサネット1.0と2.0の                築し、S3と呼ぶ仮想ストレージサービスを提供して
伝送速度は10Mbpsであった。一方、1980年頃の                いた。しかし、仮想化技術も導入し、EC2と呼ぶ仮想

      2 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
マシンサービスの提供をはじめた。現在、アマゾンの                  数が急増した。そのため、データセンターのコストパ
EC2に相当する仮想マシンサービスをIaaSと呼んで                フォーマンスが大きな問題になった。とりわけ建設コ
いる。                                       ストと電力コストが大きな問題になった。多くのデータ
                                          センターがコンテナ化と外気の導入等による冷却対
 (備考) IPは、ネット領域内でホスト領域のユニークさを             策を実施した。だが、それら対策には大きな見落とし
担保するがインターネット領域内でホスト領域のユニークさ               がひとつある。
を担保しない。この問題を解決するには新しいレイヤー3プ                 大きな見落としは、ハードウェア資源の進化である。
ロトコルを開発してネットアドレスとホストアドレスのフィ−ル             とりわけプロセッサとメモリバスの高速化を見落とし
ドを完全分離し、両フィ−ルドにユニークなアドレスを割り当              ている。現在、多くのサーバコンピュータが搭載して
て、インターネットワーキングを再構築する必要がある。あ               いるXeonプロセッサやOpteronプロセッサのクロッ
るいはIPinIPのようなカプセリングサービスを導入する必             ク速度は概ね2G〜3GHz程度である。すでに述べ
要がある。インターネット下のマルチキャストサービスやモ               たように、10GHzのプロセッサは市販どころか開発
バイルサービスはおそらくその方向で進化する。とはいえ、               されてもいない。とはいえ、IBMのメインフレームプロ
その場合でも、ネット領域内やインターネット領域内でプロ               セッサやPowerプロセッサのクロック速度は概ね4G
セスのユニークさを担保することができない。すなわちOS               〜5GHz程度になっている。したがって、2〜3年後
でプロセスのユニークさを担保することができても、レイヤ               のXeonプロセッサやOpteronプロセッサのクロック
ー3やレイヤー4プロトコルでプロセスのユニークさを担保               速度もおそらく4G〜5GHz程度になる。
することができない。P2Pオーバーレイネットワーキングは
この問題を解決するひとつのアイディアである。そして、P2               (備考) 回線の帯域増にプロセッサのクロック増が追い
Pが進化したひとつの形態がPaaSである。すなわち、すべ              つかない状況を緩和するため、インテルやAMDはプロセッ
てのプロセスが共通のプレゼンテーション層を介してユニー               サのマルチコア化やマルチソケット化を推進した。この傾向
クさを担保しながらネット領域内やインターネット領域内で               は当分続く。とはいえ、アムダールの法則を無視することは
通信を行い、ファイルをアクセスする仕組みがPaaSである。             できない。したがって、当面、プロセッサのクロック速度もお
しかし、プレゼンテーション層のデファクトスタンダードある              そらく2〜3年毎に2G〜3GHz程度の割合で増大する。20
いは「オープンクーリエ」と呼ぶようなミドルウェアは存在し              20年頃のXeonプロセッサやOpteronプロセッサのクロック
ない。したがって、PaaSの利用者はアプリケーションプロ              速度は10GHz以上になっているかもしれない。
グラムのロックインを回避することができない。たとえば、グ
ーグルのPaaS下で動いているアプリケーションプログラム                2〜3年後のXeonプロセッサやOpteronプロセッ
をそのままマイクロソフトのPaaS下で動かすことができな              サのクロック速度が4G〜5GHz程度になるとしても、
い。ロックイン問題はユーザを不安にする。クラウドコンピュ              ポラックの法則を無視することはできない。したがっ
ーティングサービスを利用するユーザはIaaSを利用しなが              て、XeonプロセッサやOpteronプロセッサの消費電
ら必要に応じてPaaSを利用することをおそらく好む。現実              力と発熱の問題は今より大きくなる。
に、アマゾンのサービスのほうがグーグルやマイクロソフト                 しかし、無視できないのはメモリのほうである。プロ
のサービスより好評を得ているように思える。                     セッサのクロック速度を2倍にすればメモリバスのク
                                          ロック速度も2倍にしなければならなくなる。そして、
PaaSおよびPaaSとIaaSを組み合わせたクラウド               メモリバスのクロック速度が今の2倍になればメモリ
コンピューティングサービスは多種多様なユーティリ                  の消費電力量と発熱量が無視できないくらいに大き
ティーやミドルウェア、ゲストOS等を提供する。そし                 くなる。5〜6年後のサーバコンピュータは、プロセッ
て、それらユーティリティー等が多種多様なアプリケ                  サだけでなくメモリの消費電力と発熱の問題もおそら
ーションサービスの提供を支援する。豊富なユーティ                  く抱える。
リティー等がクラウドコンピューティング下のアプリケ                   通常、データセンター内のひとつのラックに実装す
ーションサービス数=SaaS数を急増させ、利用者                  る機材、すなわちサーバコンピュータやL2/L3SW、

      3 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
SANやNAS等の総消費電力は5k〜10kVA程度                 m程度になる。そして、5〜6年後にはおそらく15n
である。稀に20kVA程度分のサーバコンピュータ等                 m程度になる。製造プロセスルールが15nm程度に
を実装する場合もあるが、すべてのラックに実装する                  なるとソフトエラーがより深刻な問題になる。とりわけ
わけではない。                                   宇宙線が含んでいる高エネルギー中性子を無視で
 したがって、通常、データセンターはラックあたり5                 きなくなる。プロセッサにエラー訂正回路等を実装す
k〜10kVA程度分のサーバコンピュータ等を抜熱す                 るだけではソフトエラーの回避がおそらくできない。ラ
る冷却設備を導入している。だが、プロセッサとメモリ                 ックを水冷ラック等に置き換える場面で、マシンルー
バスのクロック速度が今の2倍になればラックあたり                  ム内に水のバリアをつくり、宇宙線中性子からサー
10k〜20kVA程度分のサーバコンピュータ等を抜                 バコンピュータ等を保護する仕組みも構築する必要
熱する冷却設備がおそらく必要になる。ラックあたり                  がある。しかし、内装工事費が莫大になる。
20k〜40kVA程度分のサーバコンピュータ等を抜
熱する冷却設備を導入しなければならない場面もあ                    (備考) データセンター内では1台あたり年間数回程度
るかもしれない。                                  の頻度でのサーバコンピュータに再起動が生じる。再起動
                                          の主原因はメモリーエラーである。従来、メモリーエラーは
 (備考) メモリコントローラがサポートするチャネル数を              もっぱらソフトエラーから派生すると考えられていた。しかし、
増やせばプロセッサが高速化してもメモリを高速化する必                グーグルが行った調査によれば、ハードエラーに起因する
要はあまりないとの考えもある。しかし、実装技術は遅れて               場合のほうが多いようである。メモリバスのクロック速度が
進化する。尚、SSDの容量単価がディスク並に安くなる場               増大すればハードエラーの発生数は今より多くなるかもし
面は当分ない。したがって、ディスクは今後も従来通り使わ               れない。とはいえ、長期的にはハードエラーよりソフトエラ
れ、従来通り高性能化する。5〜6年後のディスクは、セクタ              ーのほうが深刻な問題になると予想する。なぜなら、LSIの
サイズが拡大し、回転速度が毎分2万回転以上になるかも                製造プロセスルールが32nm〜45nm程度の場合、ソフト
しれない。すると、プロセッサとメモリだけでなくディスクの消             エラーの主原因はもっぱらアルファ粒子や熱中性子で、高
費電力と発熱も無視できない問題になる。グーグルは、デ                エネルギー中性子によるソフトエラーはあまり生じないと考
ータセンター内のラックに実装したハードウェアの消費電力               えられるからだ。しかし、15nm程度になると、高エネルギ
量は、プロセッサが約33%でメモリが約30%、ディスクが              ー中性子によるソフトエラーの発生頻度が著しく高まる。
約10%、その他が約22%、L2/L3SWが約5%なると述
べている。しかし、5〜6年後にはディスクの消費電力量が                 今から新しいデータセンターを建設するのであれ
20%以上になるかもしれない。プロセッサとメモリだけでな              ば空冷データセンターより水冷データセンターを建設
くディスクの消費電力量と発熱量の増大まで考え合わせる                するほうがおそらくよい。とはいえ、既存の水冷技術
と、ラックあたり20k〜40kVA程度分のサーバコンピュー             をそのまま導入すれば建設コストが同規模の空冷デ
タ等を抜熱する冷却設備がおそらく必要になる。                    ータセンターより3割以上大きくなる。当面、データセ
                                          ンターの冷却能力はラックあたり5k〜10kVA程度
 エアコン等の能力だけでラックあたり20k〜40kV                で間に合う。ソフトエラーも深刻な問題にまだなって
A程度分のサーバコンピュータ等を抜熱するのは困                   いない。したがって、現時点で水冷データセンターの
難である。5〜6年後のデータセンターはすべてのラ                  建設に積極的なIT企業やICT企業の経営者はおそ
ックを水冷ラック等に置き換えなければならなくなる                  らくいない。だが、同規模の空冷データセンターより
かもしれない。ラックあたりの投資額は200万〜30                 安いコストで水冷データセンターを建設することがで
0万円程度になると予想するが、より困難な問題が                   きるのであれば、事情が大きく異なる。
その先にある。                                     既存水冷技術は閉じた冷却水系の温度をもっぱら
 現在、プロセッサやメモリ等の製造プロセスルール                  機械的な方法で18〜22℃前後に安定させ、サーバ
は32nm〜45nm程度である。しかし、2〜3年後の                コンピュータ等を抜熱する。既存水冷技術の仕組み
プロセッサやメモリ等の製造プロセスルールは22n                  は複雑で、しかも高価である。しかし、安価な低温水

      4 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
の大量消費が可能なら、複雑で高価な仕組みが不                    建築コストを削減することができる。通常、データセンター
要になる。もちろん、エアコン等も不要になる。                    の建設コストはラックあたり1000万円程度である。あるい
  日本国内では、10カ所以上の地域で海洋深層                   は3.3平方メートルあたり1000万円程度である。しかし、
水を取水している(ちなみにアメリカで海洋深層水を                  平屋建て建家の建設コストは概ね3.3平方メートルあたり
取水している地域は1カ所しかない。場所はハワイ                   30万〜40万円程度である。エアコン等も不要になるため、
州のマウイ島である)。海洋深層水の水温は非常に                   海洋深層水の低温性と安定性を活用する水冷データセン
低い。とりわけ寒流が流れる海域で取水する海洋深                   ターの建設コストが同規模の空冷データセンターの1〜2割
層水の水温は2℃以下で、しかも季節変動が生じな                   程度になるとの予想はまったく根拠のない予想ではない。
い。この、海洋深層水の低温性と安定性を活用すれ
ば、おそらく同規模の空冷データセンターの1〜2割                   とはいえ、建設コストの他に電力コストを削減する
程度の建設コストで水冷データセンターを建設するこ                  工夫も必要である。日本の電気代は高い。しかも不
とができる。                                    公正である。日本国内では、多くの空冷データセンタ
                                          ーが原発立地地域に移転しはじめている。原発立地
 (備考) 通常、データセンターはエアコン等を稼動してマ              地域に移転した空冷データセンターは電気代の3割
シンルームの内気を18〜22℃前後に維持し、サーバコン               以上を電力会社からの交付金で補填することができ
ピュータ等を抜熱する。気温が18℃以下の季節に、エアコ               る。海洋深層水の低温性と安定性を活用する水冷デ
ン等を停止して外気を導入し、電力コストを削減する場合                ータセンターは、この「不公正の壁」を乗り越えなけ
がある。また、ラジエータを取り付けてラックを水冷化し、多              ればならない。
数の高性能サーバコンピュータ等を実装する場合もある。                 海洋深層水を取水する施設は海岸付近に存在す
その場合、ラジエータに送水する冷却水の水温も18〜2                る。当然、海洋深層水の低温性と安定性を活用する
2℃前後にしなければならない。水は、熱容量が空気の約                水冷データセンターも海岸付近に建設する。概して、
3450倍、熱伝導率が空気の約23倍ある。既存水冷技術               海岸付近の風は強い。たとえば、富山県入善町に水
の主目的は水の低温性を活用することではない。水の大熱                温2℃以下の海洋深層水を取水する施設があるが、
容量と高熱伝導率を活用してラックあたりの実装密度を高                海岸付近の年平均風速は毎秒5.2m程度である。
めることにある。既存水冷技術は、多くの場合、閉じた一次               入善町ではこの強風を利用して定格出力1500kW
冷却水系でサーバコンピュータ等を抜熱し、河川水等によ                の巨大風車を回し、発電を行っている。概して、風車
る二次冷却水系で一次冷却水系を抜熱する。河川水の水                 のカットイン風速は毎秒3.5〜4.5m程度である。
温は概ね気温に比例する。したがって、河川水で一次冷却                風力発電は不安定であるが、年平均風速が風車の
水系を抜熱できない場合がある。地下水の水温は、概ね1                カットイン風速を上回る地域であれば定格出力の4
8℃以下で安定している。しかし、地下水は貴重な真水資                〜7割程度の電力を供給することができる。したがっ
源である。一次冷却水系あるいはサーバコンピュータ等の                て、海洋深層水の低温性と安定性を活用する水冷デ
抜熱で大量消費することはおそらくできない。既存水冷技                ータセンターを建設する場面で、定格出力がその水
術は、二次冷却水系の冷却能力が不十分な場面や使えな                 冷データセンターの総消費電力と同等以上の風力発
い場合、機械的な方法で一次冷却水系を抜熱する。しかし、               電施設を併設すれば半分以上の電力を補うことがで
海洋深層水の低温性と安定性を活用する水冷データセン                 きる。
ターは、水冷技術の仕組みがまるで異なる。水温2℃以下                 風力発電施設の建設コストは概ね定格出力1kW
の海洋深層水を利用すれば、マシンルーム全体あるいは                 あたり20万〜25万円程度である。とはいえ、建設コ
データセンター全体を冷却することができる。海洋深層水                ストの3〜5割程度が商用電力との系統連系設備や
は大量消費可能な水資源である。したがって、冷却水系を                蓄電設備等のコストである。しかし、水冷であれ空冷
一次系と二次系に分離して複雑にする必要はない。それだ                であれ、データセンターは停電時でも運転を継続す
けでなく、マシンルームの二重床も不要になる。二重床を廃               るための設備が不可欠である。したがって、ディーゼ
止すれば、建家の構造を簡素化して耐震性を高め、さらに                ルエンジン等による非常用発電設備が不可欠で、商

      5 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
用電力との系統連系設備等も不可欠である。また、                   はいえ、我々が食する魚介類は海の表層に生息して
蓄電設備等も不可欠である。それらデータセンター                   いる。海洋表層水の水温は概ね真夏時に32℃前後、
固有の設備を強化して併用すれば、風力発電施設                    真冬時に12℃前後になる。したがって、海洋深層水
の建設コストを定格出力1kWあたり10万〜15万円                 を低温のまま魚介類の養殖や養魚で利用することは
程度にすることができるかもしれない。                        できない。通常、ボイラーで加温して利用する。しか
 すなわち、水温2℃以下の海洋深層水を利用し、                   し、サーバコンピュータ等の抜熱で使用した海洋深
風力発電施設を併設すれば、同規模の空冷データ                    層水=温排水を再利用すれば、ボイラーが不要にな
センターの半分以下の建設コストで半分以上の電力                   るか、あるいはボイラー燃料を節約することができ
を自前で補う水冷データセンターを建設することがお                  る。
そらくできる。
                                           (備考) 1kカロリーの熱量で1リットルの水の水温が1℃
(備考) 風力発電施設は隣接する空き地を利用して事                 上昇する。一方、電気ストーブの発熱量は1ワットあたり毎
後的に併設することもできる。とはいえ、二重の投資は回                時0.86kカロリーである。仮に、取水した海洋深層水を水
避すべきである。風力発電施設を事後的に併設する場合                 温2℃前後でデータセンターに送水し、水温22℃前後で排
でも、海洋深層水の低温性と安定性を活用する水冷データ                水するとする。送水量が毎時100kリットルの場合、2000
センターの分電盤や系統連系設備、蓄電設備等はあらか                 kW以上の電気ストーブあるいはサーバコンピュータ等を抜
じめ風力発電との併用が可能な仕組みにしておかなけれ                 熱することができる。概して、毎時100kリットルの海洋深
ばならない。尚、水冷であれ空冷であれ、データセンターは               層水を取水するポンプの消費電力は10kW程度である。送
夜間でも運転する。したがって、太陽光発電は有効な自家                水ポンプの消費電力も同程度である。したがって、海洋深
発電にならない。太陽光発電は、二重の投資どころか無駄                層水の低温性と安定性を活用する水冷データセンターは、
な投資になりかねない。                               サーバコンピュータ等が消費する電力の100分の1以下の
                                          電力でそのサーバコンピュータ等を抜熱することができる。
 海洋深層水を取水するポンプや送水するポンプの                   海洋深層水の低温性と安定性を活用すればデータセンタ
消費電力は小さい。したがって、海洋深層水の低温                   ーのPUEを1.2以下にすることなど容易である。常温超伝
性と安定性を活用する水冷データセンターのPUEは                  導を活用すれば1.1以下にすることもできる。とはいえ、加
1.2以下になる。また、海洋深層水の低温性は常温                  温した海洋深層水=温排水を魚介類の養殖や養魚で再利
超伝導の二次冷却系で活用することもできる。常温                   用することのほうが重要である。他に、温排水を船舶の洗
超伝導は電力損失を大幅に引き下げる。したがって、                  浄等で利用することもできる。船舶の洗浄は海洋表層水を
海洋深層水の低温性と安定性を活用する水冷デー                    利用する場合が多い。しかし、海洋表層水は有菌水である
タセンターはPUEを1.1以下にすることもできる。                 ため、消毒薬等を混入する必要がある。海洋深層水を利用
 とはいえ、より重要なことは、サーバコンピュータ等                 すれば消毒薬等の混入が不要になる。しかし、低温のまま
の抜熱で使用した海洋深層水、すなわち加温した海                   では洗浄作業が辛いし汚れも落ちにくい。尚、冷却能力は
洋深層水=温排水の再利用である。温排水の水温                    劣るが、暖流が流れる海域で取水する海洋深層水を利用し
は22℃前後になると予想する。18℃前後であって                  て水冷データセンターを建設することもできる。たとえば、沖
もかまわないが、水温がそのくらいあれば温排水は                   縄県で取水している海洋深層水の水温は概ね7〜8℃程
そのまま魚介類の養殖や養魚等で利用することがで                   度で安定している。ちなみに日本の地下水の水温はもっと
きる。                                       も低い場合でも12〜13℃程度である。
 海洋表層水は有菌水である。しかし、海洋深層
水は無菌水である。したがって、海洋深層水は狭い                    海洋深層水の水量は無尽蔵である。風力も無尽蔵
水槽内で多量の魚介類を飼育する養殖や養魚での                    である。したがって、既存の空冷データセンター同様、
利用に適している。海洋深層水を取水する施設には、                  海洋深層水の低温性と安定性、および風力を活用
たいがい、養殖施設や養魚施設が隣接している。と                   する水冷データセンターも巨大化して運用コストを削

      6 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
減することができる。                                 クラウドコンピューティング環境の円滑な運用を目指
 とはいえ、国土の狭い日本では巨大化より高密度                    している。マイクロソフトも、近い将来、使用するサー
化のほうが大規模化に適している。海洋深層水の低                    バコンピュータ等を自社開発するかもしれない。
温性と安定性を活用する水冷データセンターは冷却                     だが、すべての事業者がグーグルやマイクロソフト
能力が高い。ラックの水冷化も容易である。したがっ                   と同様にサーバコンピュータ等を自社開発することは
て、ラックあたり20k〜40kVA程度分のサーバコン                 おそらくできない。サーバコンピュータ等の性能差を
ピュータ等を容易に実装することができる。                       隠蔽する新しい分散処理技術や仮想化技術が必要
 しかし、巨大化や高密度化はオペレータの人件費                    である。既存の分散処理技術や仮想化技術でもプロ
等を削減するが運用コストの本質的な部分を削減し                    セッサの性能差を隠蔽することはできる。しかし、メモ
ない。ファシリティー・マネージメントの主目的はサー                  リバスとメモリの性能差を隠蔽することはできない。
バコンピュータ等ハードウェア資源をより長く使い続                   必要な技術は、プロセッサアーキテクチャ外の分散
けることにある。重要なことは、サーバコンピュータ等                  処理技術や仮想化技術である。たとえば、40Gbps
の長寿命化である。とはいえ、耐用年数を延ばすこ                    や100Gbpsイーサネットを経由してサーバコンピュ
とより相対的な性能劣化問題を解決することのほう                    ータ同士が互いのメモリをアクセスする技術である。
が重要である。どのようにして、古い世代のサーバコ                    尚、データセンターの役割についての概要は、参
ンピュータ等を使い続けながら新しい世代のサーバ                    考文献2を参照されたい。
コンピュータ等を導入し、クラウドコンピューティング
サービスを提供し続けるかが重要である。                         (備考) Xenのような仮想化ソフトウェアに過去のアポ
                                           ロ・コンピュータ社が提供していたリモートデマンドページン
 (備考) 4100番台Opteronプロセッサの値段は同性能            グに相当するものを実装する必要がおそらくある。それによ
の5600番台Xeonプロセッサの値段の6割程度である。同              り、高速メモリバスと高速メモリを搭載したサーバコンピュー
じことが6100番台Opteronプロセッサと7500番台Xeon          タ等だけを集中的に増強して活用すれば、世代間の性能差
プロセッサについても言える。しかし、クラウドコンピューテ               を隠蔽してクラウドコンピューティング環境を円滑に運用す
ィングサービスのハードウェアコストはプロセッサよりメモリ               ることができると考える。尚、高速メモリサーバコンピュータ
のほうが大きい。そして、メモリのメーカー間価格差は小さ                に搭載する高速プロセッサをx86アーキテクチャにしなけれ
い。ディスクも同様である。XeonプロセッサよりOpteronプ           ばならない理由はおそらくない。とはいえ、今から高速メモ
ロセッサを多用することが正しい選択であるとしても、ハー                リバスと高速メモリをサポートする高速プロセッサを開発す
ドウェア資源のコストダウンの本命は長寿命化であり性能                 るのであれば、販売数量が見込めるx86アーキテクチャに
差の隠蔽である。                                   すべきである。ただし、x86−32アーキテクチャは不要であ
                                           る。x86−64アーキテクチャに特化した高速プロセッサを開
 現時点で、相対的な性能劣化問題と正面から向き                    発すべきである。x86−64アーキテクチャはAMDが考案し
合っている代表的な事業者はグーグルである。グー                    た。ライセンスの所得は容易であると考えられ、またレジス
グルでは、導入したサーバコンピュータ等を5年以上                   タファイルやMMUのアーキテクチャがいい意味でx86−3
使用する。したがって、新世代のサーバコンピュータ                   2アーキテクチャとまるで異なる。
等と二世代前のサーバコンピュータ等を混在させて
使用する場面がある。とはいえ、通常、新世代のサ                    3.スモールデータセンター
ーバコンピュータ等と二世代前のサーバコンピュータ
等の性能差は2〜3倍以上ある。性能差の大きいサ                      海洋深層水の低温性と安定性を活用する水冷デ
ーバコンピュータ等が混在するクラウドコンピューティ                  ータセンターは、ラックにラジエータを取り付けてラッ
ング環境の円滑な運用は容易でない。そこで、グー                    クあたり20k〜40kVA程度のサーバコンピュータ等
グルは使用するサーバコンピュータ等を自社開発す                    を抜熱することもできる。とはいえ、今後2〜3年内に
ることにした。それにより、世代間の性能差を抑制し、                  建設するのであれば、ラックあたり10k〜20kVA程

       7 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
度の抜熱が目安になる。その場合、図1のようにマシ                 ソレータを置いて免震対策を施す。現在、1平方メー
ンルームをホットアイル空間とコールドアイル空間に                 トルあたり1トン以上あるいはラックあたり1トン以上
区分けし、データセンター内の天井に貯水タンクを取                 のサーバコンピュータ等を地震から保護する様々な
り付け、ホースやパイプを使って総消費電力に見合                  アイソレータが市販されている。参考文献3が参考に
う水量の海洋深層水を随時送水して排水するだけで                  なるかもしれない。
よい。使用する貯水タンクの材質は水の熱伝導率よ
り高い材質でなければならない。したがって、貯水タ                  (備考) 図1のような仕組みで本当にラックあたり10k〜
ンクは金属製タンクが望ましい。貯水タンクの総容積                 20kVA程度のサーバコンピュータ等を抜熱することができ
はデータセンターの総容積の150分の1程度が目安                 るのかと疑問を持たれた方がいるかもしれない。グーグル
になる。貯水タンクはマシンルームやデータセンター                 やマイクロソフトが水冷コンテナ型データセンターの建設を
の内気を抜熱する他に宇宙線中性子からサーバコ                   推進していた時期がある。使用した水冷技術は既存水冷技
ンピュータ等を保護してソフトエラーの発生率を低減                 術で、閉じた一次冷却水系をもっぱら機械的な方法で抜熱
する役割も担う。                                 し、18〜22℃の水温を維持しながらサーバコンピュータ等
 図1では、ホットアイル空間の熱気をファンでマシ                 を抜熱していた。ただし、ラックにラジエータを取り付けてい
ンルームからデータセンターの通路に排出する。そし                 ない。水冷コンテナ型データセンターはコンテナそのものを
て、貯水タンク内の海洋深層水が熱気を抜熱し、マ                  水冷化する。コンテナ毎にチラーや除湿機等を設置する必
シンルームのコールドアイル空間に戻す。この仕組                  要があるため、高価な仕組みであったが、しかしPUEは1.
みは東京工業大学が運用しているTSUBAMEスー                 2以下でラックあたり25kVA以上のサーバコンピュータ等
パーコンピュータの仕組みと同じである。この仕組み                 を抜熱することができた。この事例から、図1のような仕組
の利点は床を二重床にする必要がない点にある。二                  みでも海洋深層水の低温性と安定性を活用すればラックあ
重床を廃止すれば建家の耐震強度を高めることがで                  たり10k〜20kVA程度のサーバコンピュータ等を容易に
きる。また、構造が簡素になり、建築コストを削減す                 抜熱することができると考える。
ることもできる。この仕組みでは、ラックの直下にアイ




     8 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
水冷であれ空冷であれ、データセンターは湿度や                   は、おそらくレンガである。尚、参考文献5が参考に
結露の問題を回避することができない。空冷データ                  なるかもしれない。
センターの場合、エアコンが除湿機の役割も担う。し
かし、海洋深層水の低温性と安定性を活用する水冷                   (備考) 海洋深層水の送水と排水で使用するパイプやホ
データセンターにエアコンはない。したがって、相応                 ースの敷設は簡素にすべきである。したがって、海洋深層
の除湿機を取り付ける必要がある。たとえば、図2の                 水の低温性と安定性を活用する水冷データセンターは平屋
ように屋根を取り付け、天井裏に除湿機を取り付け                  建てにすべきである。外壁で使用する建材は、水分をあま
て適宜稼動させる必要がある。除湿機の値段は同                   り含まないものであればどのようなものであってもかまわな
程度の除湿能力を持つエアコンの値段よりかなり安                  いと考えるが、しかし耐火性と断熱性を考え合わせるとお
い。また、消費電力もかなり小さい。除湿機の稼動時                 そらくレンガになる。レンガ造りであっても平屋建てであれ
間は一日あたり2〜3時間程度になると予想するが、                 ば家屋の耐震性は十分ある。とはいえ、建築コストが大きく
真夏時は5〜6時間程度になるかもしれない。尚、参                 なるようであれば、別の建材を選択しなければならない。海
考文献4が参考になるかもしれない。                        洋深層水の低温性と安定性を活用する水冷データセンター
                                         は、冷却能力が高いため、外壁の断熱性はさほど重要でな
湿度や結露の問題も考慮すると、データセンター                   い。耐火性に問題がなければ外壁の建材はベニア板等で
はどのような建材を選択して建設するかが重要な課                  もかまわない。
題になる。外壁の耐火性と断熱性は高いほうが望ま
しいが、しかしコンクリートのように多量の水分を含                  図2のように、コールドアイル空間よりホットアイル
む建材は望ましい建材ではない。とりわけ海洋深層                  空間を広くすれば内気の保水性を高めることができ
水の低温性と安定性を活用する水冷データセンター                  る。
は空冷データセンター以上に湿度や結露の問題が
深刻になる恐れがある。したがって、コンクリートはま
ったく望ましい建材ではない。もっとも望ましい建材




     9 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
一方、図3のように、ホットアイル空間よりコールド                 貯水タンクの総容積はデータセンターの総容積の3450分
アイル空間を広くすれば内気の冷却性を高めること                   の1以上あればよい。しかし、水の熱伝導率は空気の約2
ができる。除湿コストがあまり大きくないようなら、海                 3倍である。したがって、内気の抜熱で使用する海洋深層
洋深層水の低温性と安定性を活用する水冷データ                    水の水量は水の熱伝導率を水の熱容量で割った値、すな
センターは図3のようにすべきである。図3は、日立                  わちデータセンターの総容積の150分の1以上が目安にな
電線のデータセンターの仕組みと同じである。ちなみ                  る。とはいえ、総容積がデータセンターの総容積の150分
に日立電線のデータセンターは空冷であるが、PUE                  の1程度のタンクは大きなタンクではない。コールドアイル
は1.2以下である。                                空間上にまで広げると、かなり薄いタンクになる。対策とし
 図3では、貯水タンクはホットアイル空間の熱輻射                  て、タンクの総容積を増やすのはかまわない。しかし、その
を吸収する。しかし、コールドアイル空間の熱輻射も                  分建家の強度を高める必要が生じる。したがって、ソフトエ
吸収する仕組みにしたほうがよい。したがって、図4                  ラー対策は劣るが、貯水タンクを廃止して金属製パイプを
のように貯水タンクを薄く広げ、コールドアイル空間                  天井に張り巡らせるアイディアも検討したほうがよい。
上を覆うようにしたほうがよい。表面積の拡大は内気
の抜熱を高めることにもつながる。熱輻射も考慮して、
マシンルームの天井や壁は熱伝導率の高い金属製
にすべきである。建材はトタン板でよいと考えるが、
コスト上の問題がなければアルミ板の選択もあり得
る。尚、参考文献6が参考になるかもしれない。


(備考) 貯水する海洋深層水の総熱容量はデータセンタ
ー内の空気の総熱容量より大きくしなければならない。とは
いえ、水の熱容量は空気の約3450倍ある。したがって、




      10 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
海洋深層水の低温性と安定性を活用する水冷デ                        エンジニアがサーバコンピュータ等を保守する場
ータセンターはマシンルームをモジュール化すること                   面でふたつ以上のドアを通過してマシンルームに入
ができる(またそうすべきである)。モジュールあたり                  出するのはデータセンターの常識である。防犯対策
のラック数は8ラックが妥当である。ひとつのデータ                   上、「スモールデータセンター」に出入りするドアの他
センター内に複数のモジュールを置くことができる。                   にモジュールに入退室するドアも取り付ける必要が
しかし、小規模なデータセンターの場合、ひとつのモ                   ある。モジュール内はホットアイル空間とコールドア
ジュールになってしまう場合がある。図3や図4がそ                   イル空間に別れている。したがって、ホットアイル空
のような「スモールデータセンター」の事例であるとす                  間に入退室するドアとコールドアイル空間に入退室
ると、ラックの配置は下図のようになる。                        するドアは別のドアになる。




     11   Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
設置するラックは通常の19インチラックや19イン                    「スモールデータセンター」の床面積は小さい。下
チワイドラックでかまわない。大きさも42U程度でか                図は目安である。
まわない。データセンターには強力な消化設備が必
要である。「スモールデータセンター」の場合、天井に
取り付けた貯水タンク内の海洋深層水を消化剤とし
て使用することもできるが、その場合、損害保険料が
高額になる。モジュール内に窒素消化器等を設置す
るほうがコスト的に妥当である。尚、参考文献7が参
考になるかもしれない。




     12 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
ちなみに、下図は「スモールデータセンター」の天
井図である。ホットアイル空間からの熱輻射を吸収
するだけでも貯水タンクの表面積はこれくらいの広さ
になる。




「スモールデータセンター」は8台の各ラックに10k                     (備考) 海洋深層水は、通常、2台のポンプをアクトス
〜20kVA程度のサーバコンピュータ等を実装する。                     タンバイで動かして取水し、いったん水槽に蓄えた後、
したがって、水温2℃前後の海洋深層水を送水する                       2台の別ポンプをアクトスタンバイで動かして送水する。
場合、送水量は毎時4k〜8kリットル程度が目安に                      この仕組みは原発が海洋表層水=二次冷却水を取水
なる。取水施設から送水した海洋深層水はいったん                       して送水する仕組みと同じで、断水の不安がない。「ス
別タンクに蓄え、その後別ポンプで貯水タンクに送水                      モールデータセンター」の別ポンプの仕組みも同様に
する。したがって、「スモールデータセンター」には別                     すべきである。尚、メーカー各社は系統連系設備やデ
の建家が必要になる。別の建家内には、別タンクや                       ィーゼルエンジン等を小さな建家にパッケージングして
別ポンプの他に系統連系設備や非常用発電設備等                        200kW程度の小型非常用発電設備を販売している。
も置く。下図はそのイメージである。「スモールデータ                     パッケージングした小型非常用発電設備の空間に蓄
センター」であっても、風力発電施設を併設して電力                      電設備を置く余裕はおそらくないが、別タンクや別ポン
を補うことができる。「スモールデータセンター」の総                     プを置く余裕はあるかもしれない。以下のURLが参考
消費電力が200kWを超える場面はない。したがっ                      になる。
て、風力発電施設の発電量は200kWh程度が目安                      http://www.hitachi.co.jp/products/power/dynamo/pr
になる。ちなみに、定格出力200kW程度の風車は                      oducts/deisel/index.html
下図のイメージよりかなり大きい。高さが30〜40m
程度になる。



       13 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
ま使用することもできる。しかし、既存水冷技術のラジエ
4.コンビネーションクラウド                             ータは水温18〜22℃前後の冷却水の使用を前提にして
                                           いるため、複雑で高価で重い。冷却水に水温2℃以下の
 最新のGPUの処理能力はCPUの10倍以上ある。                  海洋深層水を使用するのであれば、ラジエータは「金属
そして、SR−IOVのような技術の下で仮想化すること                 パイプを並べた後方ラック扉」でかまわない。ラジエータフ
ができる。しかし、TeslaC2070クラスのGPUカード              ァン等は不要である。もちろん、そのようなラック用ラジエ
の消費電力は100W以上ある。アマゾンがはじめた                   ータは市販されていない。しかし、安くつくることができる。
ようであるが、クラウドコンピューティングサービスで                  したがって、ラックあたり10k〜20kVA程度のサーバコ
もGPGPU環境を提供するのであれば現時点でもラ                   ンピュータ等しか抜熱しない場合でも、海洋深層水の低
ックあたり20k〜40kVA程度のサーバコンピュータ                 温性と安定性を活用する水冷データセンターの内装は図
等を実装する場面がある。事実、東京工業大学のT                    5のようにするほうが望ましいと考える。
SUBAMEスーパーコンピュータには、35kVA分の                  http://pdf.directindustry.com/pdf/liebert/liebert-flex
サーバコンピュータ等を実装したラックが存在するら                    ible-energy-saving-cooling-solutions-for-high-heat-
しい。「スモールデータセンター」の各ラックに20k〜                  density-applications/7027-27770-_11.html
40kVA程度のサーバコンピュータ等を実装する場
合、ラジエータを取り付けてラックを水冷化する。ラジ
エータはホットアイル空間側に取り付ける。そして、
図5のように、天井に取り付けた貯水タンクから海洋
深層水を送水して戻す。


 (備考) 既存水冷技術を導入してラックを水冷化するこ
ともできる。あるいは、冷却水が海洋深層水になるとしても、
以下のURLのような既存水冷技術のラジエータをそのま


     14 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
IaaSで仮想GPUも提供するのであれば、GPUカ                マイグレーション等は可能である。しかし、IaaS環境
ードをサーバコンピュータあたり2〜4カード実装する                はフォールトトレラント化するほうが望ましい。
必要がおそらくある。したがって、1Uサーバコンピュ                   図7では、サーバコンピュータとL2/L3SWの接
ータやブレードサーバ等は使えない。サーバコンピュ                 続は1Gbpsイーサネットでかまわない。しかし、サー
ータの大きさは2Uか4Uになる。当然、CPUはマル                バコンピュータ間の接続は10Gbpsイーサネットが
チソケットになる。2Uや4Uサーバコンピュータのディ               望ましい。IaaS環境はフォールトトレラント化する場
スクのドライブ数は8〜16ドライブになる。しかし、Ia              合、NASがよいストレージ装置になるとは言えない。
aSではふつうサーバコンピュータ内のディスクを使                 また、iSCSIがよいインターフェースになるとも言えな
用しない。SANやNASを使用する。サーバコンピュ                い。ストレージ装置はSAN、サーバコンピュータとS
ータ内のディスクも有効活用するには、PaaSにIaa               ANの接続はFCになる。現在、4UクラスのSANでも
Sをブレンドした「コンビネーションクラウド」が望まし               48ドライブ以上のディスクを実装することができる。
い。                                       それでもディスク容量に不足が生じるようであればF
 図6はPaaSの構成事例である。プライマリサーバ                CoEを選択しなければならない。その場合、10Gbp
とセカンダリサーバの関係がアクトアクトの関係にな                 sイーサネットのポートをサポートするL2/L3SWが
る。そして、L2/L3SWを経由してプライマリサーバ               必要になる。
とセカンダリサーバが互いにファイルのレプリカを保
管する。どちらか1台のサーバコンピュータがクラッ                   (備考) プロセスの状態を監視してCPUやメモリをサス
シュしても、ファイルは保存され処理が継続する。                  ペンドにすることはできる。しかし、ゲストOSの状態を監視
 図7は図6のようなPaaS環境にIaaSをブレンドし              してCPUやメモリをサスペンドするのはむずかしい。サー
た「コンビネーションクラウド」の構成事例である。プ                バコンピュータを仮想化した場合、インテルやAMDが提供
ライマリサーバとセカンダリサーバはPaaSの他にIa               する節電モードはおそらく使えない。「コンビネーションクラ
aSも提供する。IaaS環境下での、ゲストOSのライブ              ウド」は、サーバコンピュータを仮想化して一次的にPaaS


     15 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
を提供し二次的にIaaSを提供する。すなわちサーバコンピ
ュータ間の関係が一次的にアクトアクトになり二次的にアク
トスタンバイになる。したがって、「コンビネーションクラウド」
はIaaS環境をフォールトトレラント化する場面でハードウェ
ア資源と電力の有効活用を促進する。尚、PaaSで使用す
るゲストOSとIaaSで使用するゲストOSが別OSになること
は言うまでもない。




      16 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
図9は1台のラックに4台の4Uサーバコンピュータ
 図7のような「コンビネーションクラウド」の構成                  と2台のSANをマウントした「コンビネーションクラウ
でIaaS環境をフォールトトレラント化する場合、サ                 ド」の実装事例である。GPUカードの消費電力も考
ーバコンピュータの電源を冗長化する必要はない。                   え合わせると、4Uサーバコンピュータの消費電力は
むしろ冗長化しないほうがよい。しかし、L2/L3                  1台あたり2kW程度になる。SANの消費電力も1台
SWとSANの電源を冗長化する必要がある。また、                  あたり2kW程度になる。したがって、15kVA程度の
SANのディスクにRAIDを施す必要もある。しかし、                電力を分電する必要がある。ラックの大きさが42U
図8のような「コンビネーションクラウド」の構成で                  程度の場合、スペースに余裕が生じる。5kVA程度
あれば、L2/L3SWとSANの電源も冗長化する                  のUPSを3台マウントすることができる。
必要はない(むしろ冗長化しないほうがよい)。ま
た、SANのディスクにRAIDを施す必要もない。                    (備考) リチウムイオン電池は、寿命は長いが高価である。
                                          したがって、UPSで使用する蓄電池は安価な鉛電池が望まし
 (備考) 図8は古典的なフォールトトレラント・システムで             い。鉛電池の寿命は通常2〜3年である。しかし、25℃以下
ある。ハードウェア資源への投資が倍増して高価なシステ                の温度環境下であれば寿命が5〜6年になる。海洋深層水の
ムになる。L2/L3SWもSANも電源の冗長化が不要にな              低温性と安定性を活用する水冷データセンターでは、マシン
りディスクにRAIDを施す必要もなくなるが、しかし電源やデ             ルームの室温が25℃以上になる場面は稀である。したがっ
ィスクの耐用年数はせいぜい2〜3年である。電源の冗長                て、ラックスペースに余裕があればUPSは図9のようにラック
化をなくすことやRAIDを不要にすることが倍増するハード              マウントするほうがよい。
ウェア資源投資の節約材料にはならない。とはいえL2/L
3SWは比較的安価である。L2/L3SWの冗長化はやっ                 図10は1台のラックに8台の2Uサーバコンピュー
てみるだけの価値があるかもしれない。しかし、SANの冗               タと4台のSANをマウントした実装事例である。30k
長化は、コスト上の理由でおそらくできない。                     VA程度の電力を分電する必要がある




      17 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
18 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
「コンビネーションクラウド」の利点は利用者がPaa                         5.参考文献
Sの欠点をIaaSで補うことができる点にある。PaaS                        1.元橋一之        独立行政法人 経済産業研究所

環境はスケールアウト型のシステムになる。サーバ                              “クラウドコンピューティングと企業の対応”
                                                     http://www.rieti.go.jp/jp/papers/contribution/motohashi/0
コンピュータ等の増設や交換が容易なため、利用者
                                                   9.html
は安い料金で上限をあまり気にすることなくハードウ                           2.@IT special
ェア資源を活用することができる。                                   “クラウド時代を前に変わるデータセンターの役割”
 しかし、PaaSでOLTPのようなホスト環境を構築す                          http://www.atmarkit.co.jp/ad/sflash/0811dc/dc01.html
                                                   3.株式会社        エーエスエス
ることはできない。OLTPのようなホスト環境が必要
                                                     “サーバラック・電算機用免震”
な場合、利用者はIaaSを選択する。したがって、Pa                           http://www.a-sys.co.jp/si/02.html
aSにIaaSをブレンドした「コンビネーションクラウド」                       4.日立アプライアンス株式会社
は利用者にとって利便性の高いクラウドコンピューテ                             “天井埋込セパレートタイプ除湿機”,
ィングサービスになる。                                          http://www.hitachi-ap.co.jp/products/business/low/dehu
                                                       midifier/ceiling/index.html
 望ましい「コンビネーションクラウド」の提供形態は、
                                                   5.都窯業株式会社
PaaS下に実装するSaaSのひとつとしてIaaSを提
                                                      “タイシンレンガ”
供することである。マイクロソフトがサービス提供を                             http://www.miyakoyogyo.com/products/construct/
開始しつつある「VMロール」はおそらくそのようなも                          6.モリシン工業株式会社
のになる。グーグルも同様なサービス提供を開始す                              “アルミハニカムパネルの製造・加工”

ると思える。                                               http://www.morishin.com/ms-mp.htm

 とはいえ、利用できるゲストOSがWindowsだけの                        7.ホーチキ株式会社

IaaSに魅力はない。同様に、Linux系OSだけのIaa                        “窒素消火設備”

Sにも魅力はない。WindowsやLinux系OSだけで                         http://www.hochiki.co.jp/business/shouka/shouka02.php

なく、SolarisやBSD系OSも利用できるIaaSが良い
IaaSである。IaaSは、多種多様なゲストOSの利用
が可能なクラウドコンピューティングサービスにすべ
きである。そのような「コンビネーションクラウド」がグ
ーグルやマイクロソフトの「コンビネーションクラウド」
を凌駕する。



 本論文を書くにあたって、多数の文献と他論文、そ
してURL等を参照した。それらをすべて記載する余
裕はないが、以下のURLが海洋深層水をより深く知
る上で参考になる。


http://www3.town.nyuzen.toyama.jp/deepsea/index.
htm




          19 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011

Más contenido relacionado

Similar a Data center

オラクルのHPC/GPUソリューションご紹介(2021/08版)
オラクルのHPC/GPUソリューションご紹介(2021/08版)オラクルのHPC/GPUソリューションご紹介(2021/08版)
オラクルのHPC/GPUソリューションご紹介(2021/08版)オラクルエンジニア通信
 
クラウドの組み立て方事始め H/W利用者としての事業者
クラウドの組み立て方事始め H/W利用者としての事業者クラウドの組み立て方事始め H/W利用者としての事業者
クラウドの組み立て方事始め H/W利用者としての事業者Naoto MATSUMOTO
 
OpenStack Kilo with 6Wind VA High-Performance Networking Using DPDK - OpenSta...
OpenStack Kilo with 6Wind VA High-Performance Networking Using DPDK - OpenSta...OpenStack Kilo with 6Wind VA High-Performance Networking Using DPDK - OpenSta...
OpenStack Kilo with 6Wind VA High-Performance Networking Using DPDK - OpenSta...VirtualTech Japan Inc.
 
【たぶん日本初導入!】Azure Stack Hub with GPUの性能と機能紹介
【たぶん日本初導入!】Azure Stack Hub with GPUの性能と機能紹介【たぶん日本初導入!】Azure Stack Hub with GPUの性能と機能紹介
【たぶん日本初導入!】Azure Stack Hub with GPUの性能と機能紹介NTT Communications Technology Development
 
【B-6】sakura.io開発者が語るiotの概要と通信など大事な話
【B-6】sakura.io開発者が語るiotの概要と通信など大事な話【B-6】sakura.io開発者が語るiotの概要と通信など大事な話
【B-6】sakura.io開発者が語るiotの概要と通信など大事な話Developers Summit
 
JAWS-UG 金沢 | これだけ知っていれば LPWA
JAWS-UG 金沢 | これだけ知っていれば LPWAJAWS-UG 金沢 | これだけ知っていれば LPWA
JAWS-UG 金沢 | これだけ知っていれば LPWASORACOM,INC
 
Datacenter As Acomputer 第6章
Datacenter As Acomputer 第6章Datacenter As Acomputer 第6章
Datacenter As Acomputer 第6章Akinori YOSHIDA
 
テレコムのビッグデータ解析 & AI サイバーセキュリティ
テレコムのビッグデータ解析 & AI サイバーセキュリティテレコムのビッグデータ解析 & AI サイバーセキュリティ
テレコムのビッグデータ解析 & AI サイバーセキュリティNVIDIA Japan
 
[db tech showcase Tokyo 2014] B23: SSDとHDDの混在環境でのOracleの超効率的利用方法 by 株式会社日立製作...
[db tech showcase Tokyo 2014] B23: SSDとHDDの混在環境でのOracleの超効率的利用方法  by 株式会社日立製作...[db tech showcase Tokyo 2014] B23: SSDとHDDの混在環境でのOracleの超効率的利用方法  by 株式会社日立製作...
[db tech showcase Tokyo 2014] B23: SSDとHDDの混在環境でのOracleの超効率的利用方法 by 株式会社日立製作...Insight Technology, Inc.
 
[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送
[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送
[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送Google Cloud Platform - Japan
 
「変貌するWebの世界 -- クラウドとクラウド・デバイスのインパクト」
「変貌するWebの世界 -- クラウドとクラウド・デバイスのインパクト」「変貌するWebの世界 -- クラウドとクラウド・デバイスのインパクト」
「変貌するWebの世界 -- クラウドとクラウド・デバイスのインパクト」maruyama097
 
20130817 windows azure最新情報(福井)
20130817 windows azure最新情報(福井)20130817 windows azure最新情報(福井)
20130817 windows azure最新情報(福井)Hirano Kazunori
 
Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」
Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」
Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」オラクルエンジニア通信
 
ゲームの通信をつくる仕事はどうなるのだろう?
ゲームの通信をつくる仕事はどうなるのだろう?ゲームの通信をつくる仕事はどうなるのだろう?
ゲームの通信をつくる仕事はどうなるのだろう?Kengo Nakajima
 
プログラマ目線から見たRDMAのメリットと その応用例について
プログラマ目線から見たRDMAのメリットとその応用例についてプログラマ目線から見たRDMAのメリットとその応用例について
プログラマ目線から見たRDMAのメリットと その応用例についてMasanori Itoh
 
FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化Kazunori Sato
 

Similar a Data center (20)

オラクルのHPC/GPUソリューションご紹介(2021/08版)
オラクルのHPC/GPUソリューションご紹介(2021/08版)オラクルのHPC/GPUソリューションご紹介(2021/08版)
オラクルのHPC/GPUソリューションご紹介(2021/08版)
 
クラウドの組み立て方事始め H/W利用者としての事業者
クラウドの組み立て方事始め H/W利用者としての事業者クラウドの組み立て方事始め H/W利用者としての事業者
クラウドの組み立て方事始め H/W利用者としての事業者
 
OpenStack Kilo with 6Wind VA High-Performance Networking Using DPDK - OpenSta...
OpenStack Kilo with 6Wind VA High-Performance Networking Using DPDK - OpenSta...OpenStack Kilo with 6Wind VA High-Performance Networking Using DPDK - OpenSta...
OpenStack Kilo with 6Wind VA High-Performance Networking Using DPDK - OpenSta...
 
Scaling
ScalingScaling
Scaling
 
【たぶん日本初導入!】Azure Stack Hub with GPUの性能と機能紹介
【たぶん日本初導入!】Azure Stack Hub with GPUの性能と機能紹介【たぶん日本初導入!】Azure Stack Hub with GPUの性能と機能紹介
【たぶん日本初導入!】Azure Stack Hub with GPUの性能と機能紹介
 
Juniper Festa @ Interop Tokyo 2021
Juniper Festa @ Interop Tokyo 2021Juniper Festa @ Interop Tokyo 2021
Juniper Festa @ Interop Tokyo 2021
 
【B-6】sakura.io開発者が語るiotの概要と通信など大事な話
【B-6】sakura.io開発者が語るiotの概要と通信など大事な話【B-6】sakura.io開発者が語るiotの概要と通信など大事な話
【B-6】sakura.io開発者が語るiotの概要と通信など大事な話
 
JAWS-UG 金沢 | これだけ知っていれば LPWA
JAWS-UG 金沢 | これだけ知っていれば LPWAJAWS-UG 金沢 | これだけ知っていれば LPWA
JAWS-UG 金沢 | これだけ知っていれば LPWA
 
Datacenter As Acomputer 第6章
Datacenter As Acomputer 第6章Datacenter As Acomputer 第6章
Datacenter As Acomputer 第6章
 
Exadata with persistent memory an epic journey jp
Exadata with persistent memory  an epic journey jpExadata with persistent memory  an epic journey jp
Exadata with persistent memory an epic journey jp
 
テレコムのビッグデータ解析 & AI サイバーセキュリティ
テレコムのビッグデータ解析 & AI サイバーセキュリティテレコムのビッグデータ解析 & AI サイバーセキュリティ
テレコムのビッグデータ解析 & AI サイバーセキュリティ
 
[db tech showcase Tokyo 2014] B23: SSDとHDDの混在環境でのOracleの超効率的利用方法 by 株式会社日立製作...
[db tech showcase Tokyo 2014] B23: SSDとHDDの混在環境でのOracleの超効率的利用方法  by 株式会社日立製作...[db tech showcase Tokyo 2014] B23: SSDとHDDの混在環境でのOracleの超効率的利用方法  by 株式会社日立製作...
[db tech showcase Tokyo 2014] B23: SSDとHDDの混在環境でのOracleの超効率的利用方法 by 株式会社日立製作...
 
[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送
[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送
[Cloud OnAir] GCP で誰でも始められる HPC 2019年5月9日 放送
 
Kernel vm-2014-05-25
Kernel vm-2014-05-25Kernel vm-2014-05-25
Kernel vm-2014-05-25
 
「変貌するWebの世界 -- クラウドとクラウド・デバイスのインパクト」
「変貌するWebの世界 -- クラウドとクラウド・デバイスのインパクト」「変貌するWebの世界 -- クラウドとクラウド・デバイスのインパクト」
「変貌するWebの世界 -- クラウドとクラウド・デバイスのインパクト」
 
20130817 windows azure最新情報(福井)
20130817 windows azure最新情報(福井)20130817 windows azure最新情報(福井)
20130817 windows azure最新情報(福井)
 
Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」
Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」
Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」
 
ゲームの通信をつくる仕事はどうなるのだろう?
ゲームの通信をつくる仕事はどうなるのだろう?ゲームの通信をつくる仕事はどうなるのだろう?
ゲームの通信をつくる仕事はどうなるのだろう?
 
プログラマ目線から見たRDMAのメリットと その応用例について
プログラマ目線から見たRDMAのメリットとその応用例についてプログラマ目線から見たRDMAのメリットとその応用例について
プログラマ目線から見たRDMAのメリットと その応用例について
 
FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化FPGAによる大規模データ処理の高速化
FPGAによる大規模データ処理の高速化
 

Data center

  • 1. 2010/12/27 高性能データセンターと高速メモリサーバ、および分散仮想化技術の提案 平宮康広※1 Yasuhiro Hiramiya 要旨:近年、ネットワーク,特にインターネット回線を介して外部のコンピュータ資源を利用できるクラウドコンピ ューティングサービスが注目を浴びている。2010年4月10日付け日経新聞の記事によると、2008年の国内 データセンターの利用総額は7621億円であった。そして、同じ年に、それに匹敵する額のデータセンター利用 料が国外にも流出したらしい。国内データセンター利用料と国外データセンターの利用料がほぼ等価であった とすれば、原因はおそらく日本のデータセンターの運用コストにある。現在のデータセンターの運用コストに占 める電気代の割合は大きい。アメリカ等の電気代は日本の電気代の概ね 3 分の1以下であり、その運用コスト の差は歴然である。現状のままでは、国外流出はさらに加速する。このハンディを克服して国内のデータセンタ ーの利用率を高めるためには、国内データセンターの設備コストと運用コストを低減することが不可欠である。 同時に、従来のホスティングサービスから脱却した独自のサービスを提供する必要がある。そのため、本稿で は、データセンターの冷却技術を既存の空冷式から水冷式,特に海洋深層水を利用した水冷式へと転換して 安価で信頼性の高い高性能データセンターを構築すると共に、新しい高速メモリサーバ及び分散化仮想技術を 提案する。 キーワード: クラウドコンピューティング、運用コスト、海洋深層水、データセンター、高速メモリサーバ、仮想化 1. 序論 降である。にもかかわらず、2008年の国内データセ 2010年4月10日付け日経新聞の記事によると、 ンター利用料と国外データセンター利用料の総額が 2008年の国内データセンターの利用総額は7621 ほぼ等価であったとすれば、原因はおそらく日本の 億円であった。そして、同じ年に、それに匹敵する額 電気代にある。 のデータセンター利用料が国外にも流出したらしい。 データセンターの運用コストに占める電気代の割 日本のIT企業やICT企業はクラウドコンピューティン 合は大きい。しかし、アメリカの電気代は日本の電気 グサービスの課金にホスティングサービスと同様な 代の概ね3分の1以下で10分の1以下の地域もある。 課金スキームを施している。とりわけ回線の課金に アジアの他の国々と比較しても日本の電気代はかな 同様な課金スキームを施している。そのため、課金 り高い。2008年に生じた7000億円以上の国外流 上の理由でいくつかの斬新なアプリケーションプログ 出の原因が電気代の差にあるとすれば、グーグル ラムを実装できない場面が生じている。残念ではあ やマイクロソフト、アマゾン等のクラウドコンピューティ るが、国内クラウドコンピューティングサービスの質 ングサービスが本格稼動した2009年と2010年の はグーグルやマイクロソフト、アマゾン等のクラウドコ 国外流出額はさらに大きいと予想する。現状のまま ンピューティングサービスの質よりかなり劣る。とは では、国外流出額が年間2兆〜3兆円規模になるか いえ、それが2008年に生じた7000億円以上の国 もしれない。 外流出の原因であるとはおそらく言えない。なぜなら、 とはいえ、この国外流出が日本の経常収支を悪化 グーグルやマイクロソフト、アマゾン等のクラウドコン させる場面があるとしても、世界規模で生じているク ピューティングサービスは2008年の時点で本格稼 ラウドコンピューティングサービスの拡大を阻止する 動していないからだ。本格稼動したのは2009年以 ことはおそらくできない。また、短期間で日本の電気 ※1 信州大学情報工学科元講師 1 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
  • 2. 代をアメリカ並に安くすることもおそらくできない。早 プロセッサのクロック速度は概ね10MHz程度であっ 急に、日本の高い電気代の下であってもコストパフォ た。たとえば、モトローラ社は1981年に10MHzの6 ーマンスの点でグーグルやマイクロソフト、アマゾン 8000マイクロプロセッサを市販している。その後約 等の巨大データセンターを凌駕する高性能データセ 20年間、イーサネットの伝送速度とプロセッサのクロ ンターを発明して建設する必要がある。同時に、従 ック速度は比例するように増大した。1Gbpsイーサ 来のホスティングサービスから脱却した国内クラウド ネットが登場したのは2000年である。同じ年にイン コンピューティングサービスを提供する必要がある。 テルとAMDが1GHzのプロセッサを市販している。 さらに、新しい高速プロセッサと高速メモリ、仮想化 だが、21世紀になって、イーサネットやその他回線 技術等を開発する必要もある。なぜなら、高性能デ の帯域増にプロセッサのクロック増が追いつかなくな ータセンターが新しいサーバコンピュータ=高速メモ った。現在、10Gbpsイーサネットが普及しつつある リサーバの需要を作り出すかもしれないからだ。そ が、10GHzのプロセッサは市販どころか開発されて れらのための、はからずもテコとなるものを提供する もいない。 目的でこの論文を書く。 尚、本文中に埋め込んだ多数の備考はどれもが (備考) ちなみに、IEEE802委員会が10Gbpsイーサ 読むに値すると信じるが、読み飛ばしてもかまわな ネットの仕様を作成して公開したのは2003年である。その い。 後、IEEE802委員会は40Gbpsや100Gbpsイーサネット また、クラウドコンピューティングサービスの概要 の仕様も作成して公開した。しかし、インテルもAMDも未だ については、参考文献1を参照されたい。 に10GHzのプロセッサを市販していない。インテルやAMD が40GHz超のプロセッサを市販する場面はおそらく永遠に (備考) 通常、ISPはトラヒックを基準にしてインターネッ ないと考える。 ト・トランジット回線に課金する。したがって、グーグルや マイクロソフト、アマゾン等のクラウドコンピューティング すなわち21世紀になって、回線の帯域増がプロセ サービスではデータ量に課金している。ところが、国内ク ッサのクロック増あるいはムーアの法則を凌駕した。 ラウドコンピューティングサービスは回線の帯域に課金 回線の帯域増はハードウェア資源の集約化を容易 する場合が多い。そのため、ローカル・エリア・ネットワー にする。同時に、分散処理技術の進化を促進する。 クの帯域だけを使用する場面でもインターネット回線の 近年、グーグルやマイクロソフト、アマゾン等は北 使用料を支払わなければならない場面が生じる。それで 米やヨーロッパ、東南アジアの各地に総消費電力数 は、利用者は、たとえば多数のIaaSインスタンスを購入 万kWクラスの巨大データセンターを建設してハード してHadoopのようなミドルウェアで自前のPaaSを構築 ウェア資源を集約した。同時に、40Gbpsや100Gb し、分散型アプリケーションプログラムを実装して実行す psイーサネットによる高速ローカル・エリア・ネットワ るといった作業が容易にやれない。現状、ソフトウェアハ ークを構築し、サーバコンピュータ間のコラボレーショ ウス等が国内クラウドコンピューティングサービスの下で ンを推進した。そして、分散処理技術を進化させ、ク ドロップボックスやエバーノートのようなアプリケーション ラウドコンピューティングの概念を考案した。 サービスを提供する場面はおそらくない。 最初に登場したクラウドコンピューティングサービ スはPaaSと呼ばれるもので、分散処理技術の下で 2.背景と課題、および対策 強力なコンピューティング環境を利用者に提供する。 とはいえ、わずかに遅れて新たな技術の導入がはじ 1980年、DECとインテル、ゼロックスの三社がイ まった。新たな技術は仮想化技術である。最初に仮 ーサネット1.0の仕様を作成して公開した。そして、 想化技術を導入したのはアマゾンである。当初、アマ 1981年、IEEE802委員会がイーサネット2.0の ゾンはグーグルやマイクロソフトと同様なPaaSを構 仕様を作成して公開した。イーサネット1.0と2.0の 築し、S3と呼ぶ仮想ストレージサービスを提供して 伝送速度は10Mbpsであった。一方、1980年頃の いた。しかし、仮想化技術も導入し、EC2と呼ぶ仮想 2 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
  • 3. マシンサービスの提供をはじめた。現在、アマゾンの 数が急増した。そのため、データセンターのコストパ EC2に相当する仮想マシンサービスをIaaSと呼んで フォーマンスが大きな問題になった。とりわけ建設コ いる。 ストと電力コストが大きな問題になった。多くのデータ センターがコンテナ化と外気の導入等による冷却対 (備考) IPは、ネット領域内でホスト領域のユニークさを 策を実施した。だが、それら対策には大きな見落とし 担保するがインターネット領域内でホスト領域のユニークさ がひとつある。 を担保しない。この問題を解決するには新しいレイヤー3プ 大きな見落としは、ハードウェア資源の進化である。 ロトコルを開発してネットアドレスとホストアドレスのフィ−ル とりわけプロセッサとメモリバスの高速化を見落とし ドを完全分離し、両フィ−ルドにユニークなアドレスを割り当 ている。現在、多くのサーバコンピュータが搭載して て、インターネットワーキングを再構築する必要がある。あ いるXeonプロセッサやOpteronプロセッサのクロッ るいはIPinIPのようなカプセリングサービスを導入する必 ク速度は概ね2G〜3GHz程度である。すでに述べ 要がある。インターネット下のマルチキャストサービスやモ たように、10GHzのプロセッサは市販どころか開発 バイルサービスはおそらくその方向で進化する。とはいえ、 されてもいない。とはいえ、IBMのメインフレームプロ その場合でも、ネット領域内やインターネット領域内でプロ セッサやPowerプロセッサのクロック速度は概ね4G セスのユニークさを担保することができない。すなわちOS 〜5GHz程度になっている。したがって、2〜3年後 でプロセスのユニークさを担保することができても、レイヤ のXeonプロセッサやOpteronプロセッサのクロック ー3やレイヤー4プロトコルでプロセスのユニークさを担保 速度もおそらく4G〜5GHz程度になる。 することができない。P2Pオーバーレイネットワーキングは この問題を解決するひとつのアイディアである。そして、P2 (備考) 回線の帯域増にプロセッサのクロック増が追い Pが進化したひとつの形態がPaaSである。すなわち、すべ つかない状況を緩和するため、インテルやAMDはプロセッ てのプロセスが共通のプレゼンテーション層を介してユニー サのマルチコア化やマルチソケット化を推進した。この傾向 クさを担保しながらネット領域内やインターネット領域内で は当分続く。とはいえ、アムダールの法則を無視することは 通信を行い、ファイルをアクセスする仕組みがPaaSである。 できない。したがって、当面、プロセッサのクロック速度もお しかし、プレゼンテーション層のデファクトスタンダードある そらく2〜3年毎に2G〜3GHz程度の割合で増大する。20 いは「オープンクーリエ」と呼ぶようなミドルウェアは存在し 20年頃のXeonプロセッサやOpteronプロセッサのクロック ない。したがって、PaaSの利用者はアプリケーションプロ 速度は10GHz以上になっているかもしれない。 グラムのロックインを回避することができない。たとえば、グ ーグルのPaaS下で動いているアプリケーションプログラム 2〜3年後のXeonプロセッサやOpteronプロセッ をそのままマイクロソフトのPaaS下で動かすことができな サのクロック速度が4G〜5GHz程度になるとしても、 い。ロックイン問題はユーザを不安にする。クラウドコンピュ ポラックの法則を無視することはできない。したがっ ーティングサービスを利用するユーザはIaaSを利用しなが て、XeonプロセッサやOpteronプロセッサの消費電 ら必要に応じてPaaSを利用することをおそらく好む。現実 力と発熱の問題は今より大きくなる。 に、アマゾンのサービスのほうがグーグルやマイクロソフト しかし、無視できないのはメモリのほうである。プロ のサービスより好評を得ているように思える。 セッサのクロック速度を2倍にすればメモリバスのク ロック速度も2倍にしなければならなくなる。そして、 PaaSおよびPaaSとIaaSを組み合わせたクラウド メモリバスのクロック速度が今の2倍になればメモリ コンピューティングサービスは多種多様なユーティリ の消費電力量と発熱量が無視できないくらいに大き ティーやミドルウェア、ゲストOS等を提供する。そし くなる。5〜6年後のサーバコンピュータは、プロセッ て、それらユーティリティー等が多種多様なアプリケ サだけでなくメモリの消費電力と発熱の問題もおそら ーションサービスの提供を支援する。豊富なユーティ く抱える。 リティー等がクラウドコンピューティング下のアプリケ 通常、データセンター内のひとつのラックに実装す ーションサービス数=SaaS数を急増させ、利用者 る機材、すなわちサーバコンピュータやL2/L3SW、 3 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
  • 4. SANやNAS等の総消費電力は5k〜10kVA程度 m程度になる。そして、5〜6年後にはおそらく15n である。稀に20kVA程度分のサーバコンピュータ等 m程度になる。製造プロセスルールが15nm程度に を実装する場合もあるが、すべてのラックに実装する なるとソフトエラーがより深刻な問題になる。とりわけ わけではない。 宇宙線が含んでいる高エネルギー中性子を無視で したがって、通常、データセンターはラックあたり5 きなくなる。プロセッサにエラー訂正回路等を実装す k〜10kVA程度分のサーバコンピュータ等を抜熱す るだけではソフトエラーの回避がおそらくできない。ラ る冷却設備を導入している。だが、プロセッサとメモリ ックを水冷ラック等に置き換える場面で、マシンルー バスのクロック速度が今の2倍になればラックあたり ム内に水のバリアをつくり、宇宙線中性子からサー 10k〜20kVA程度分のサーバコンピュータ等を抜 バコンピュータ等を保護する仕組みも構築する必要 熱する冷却設備がおそらく必要になる。ラックあたり がある。しかし、内装工事費が莫大になる。 20k〜40kVA程度分のサーバコンピュータ等を抜 熱する冷却設備を導入しなければならない場面もあ (備考) データセンター内では1台あたり年間数回程度 るかもしれない。 の頻度でのサーバコンピュータに再起動が生じる。再起動 の主原因はメモリーエラーである。従来、メモリーエラーは (備考) メモリコントローラがサポートするチャネル数を もっぱらソフトエラーから派生すると考えられていた。しかし、 増やせばプロセッサが高速化してもメモリを高速化する必 グーグルが行った調査によれば、ハードエラーに起因する 要はあまりないとの考えもある。しかし、実装技術は遅れて 場合のほうが多いようである。メモリバスのクロック速度が 進化する。尚、SSDの容量単価がディスク並に安くなる場 増大すればハードエラーの発生数は今より多くなるかもし 面は当分ない。したがって、ディスクは今後も従来通り使わ れない。とはいえ、長期的にはハードエラーよりソフトエラ れ、従来通り高性能化する。5〜6年後のディスクは、セクタ ーのほうが深刻な問題になると予想する。なぜなら、LSIの サイズが拡大し、回転速度が毎分2万回転以上になるかも 製造プロセスルールが32nm〜45nm程度の場合、ソフト しれない。すると、プロセッサとメモリだけでなくディスクの消 エラーの主原因はもっぱらアルファ粒子や熱中性子で、高 費電力と発熱も無視できない問題になる。グーグルは、デ エネルギー中性子によるソフトエラーはあまり生じないと考 ータセンター内のラックに実装したハードウェアの消費電力 えられるからだ。しかし、15nm程度になると、高エネルギ 量は、プロセッサが約33%でメモリが約30%、ディスクが ー中性子によるソフトエラーの発生頻度が著しく高まる。 約10%、その他が約22%、L2/L3SWが約5%なると述 べている。しかし、5〜6年後にはディスクの消費電力量が 今から新しいデータセンターを建設するのであれ 20%以上になるかもしれない。プロセッサとメモリだけでな ば空冷データセンターより水冷データセンターを建設 くディスクの消費電力量と発熱量の増大まで考え合わせる するほうがおそらくよい。とはいえ、既存の水冷技術 と、ラックあたり20k〜40kVA程度分のサーバコンピュー をそのまま導入すれば建設コストが同規模の空冷デ タ等を抜熱する冷却設備がおそらく必要になる。 ータセンターより3割以上大きくなる。当面、データセ ンターの冷却能力はラックあたり5k〜10kVA程度 エアコン等の能力だけでラックあたり20k〜40kV で間に合う。ソフトエラーも深刻な問題にまだなって A程度分のサーバコンピュータ等を抜熱するのは困 いない。したがって、現時点で水冷データセンターの 難である。5〜6年後のデータセンターはすべてのラ 建設に積極的なIT企業やICT企業の経営者はおそ ックを水冷ラック等に置き換えなければならなくなる らくいない。だが、同規模の空冷データセンターより かもしれない。ラックあたりの投資額は200万〜30 安いコストで水冷データセンターを建設することがで 0万円程度になると予想するが、より困難な問題が きるのであれば、事情が大きく異なる。 その先にある。 既存水冷技術は閉じた冷却水系の温度をもっぱら 現在、プロセッサやメモリ等の製造プロセスルール 機械的な方法で18〜22℃前後に安定させ、サーバ は32nm〜45nm程度である。しかし、2〜3年後の コンピュータ等を抜熱する。既存水冷技術の仕組み プロセッサやメモリ等の製造プロセスルールは22n は複雑で、しかも高価である。しかし、安価な低温水 4 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
  • 5. の大量消費が可能なら、複雑で高価な仕組みが不 建築コストを削減することができる。通常、データセンター 要になる。もちろん、エアコン等も不要になる。 の建設コストはラックあたり1000万円程度である。あるい 日本国内では、10カ所以上の地域で海洋深層 は3.3平方メートルあたり1000万円程度である。しかし、 水を取水している(ちなみにアメリカで海洋深層水を 平屋建て建家の建設コストは概ね3.3平方メートルあたり 取水している地域は1カ所しかない。場所はハワイ 30万〜40万円程度である。エアコン等も不要になるため、 州のマウイ島である)。海洋深層水の水温は非常に 海洋深層水の低温性と安定性を活用する水冷データセン 低い。とりわけ寒流が流れる海域で取水する海洋深 ターの建設コストが同規模の空冷データセンターの1〜2割 層水の水温は2℃以下で、しかも季節変動が生じな 程度になるとの予想はまったく根拠のない予想ではない。 い。この、海洋深層水の低温性と安定性を活用すれ ば、おそらく同規模の空冷データセンターの1〜2割 とはいえ、建設コストの他に電力コストを削減する 程度の建設コストで水冷データセンターを建設するこ 工夫も必要である。日本の電気代は高い。しかも不 とができる。 公正である。日本国内では、多くの空冷データセンタ ーが原発立地地域に移転しはじめている。原発立地 (備考) 通常、データセンターはエアコン等を稼動してマ 地域に移転した空冷データセンターは電気代の3割 シンルームの内気を18〜22℃前後に維持し、サーバコン 以上を電力会社からの交付金で補填することができ ピュータ等を抜熱する。気温が18℃以下の季節に、エアコ る。海洋深層水の低温性と安定性を活用する水冷デ ン等を停止して外気を導入し、電力コストを削減する場合 ータセンターは、この「不公正の壁」を乗り越えなけ がある。また、ラジエータを取り付けてラックを水冷化し、多 ればならない。 数の高性能サーバコンピュータ等を実装する場合もある。 海洋深層水を取水する施設は海岸付近に存在す その場合、ラジエータに送水する冷却水の水温も18〜2 る。当然、海洋深層水の低温性と安定性を活用する 2℃前後にしなければならない。水は、熱容量が空気の約 水冷データセンターも海岸付近に建設する。概して、 3450倍、熱伝導率が空気の約23倍ある。既存水冷技術 海岸付近の風は強い。たとえば、富山県入善町に水 の主目的は水の低温性を活用することではない。水の大熱 温2℃以下の海洋深層水を取水する施設があるが、 容量と高熱伝導率を活用してラックあたりの実装密度を高 海岸付近の年平均風速は毎秒5.2m程度である。 めることにある。既存水冷技術は、多くの場合、閉じた一次 入善町ではこの強風を利用して定格出力1500kW 冷却水系でサーバコンピュータ等を抜熱し、河川水等によ の巨大風車を回し、発電を行っている。概して、風車 る二次冷却水系で一次冷却水系を抜熱する。河川水の水 のカットイン風速は毎秒3.5〜4.5m程度である。 温は概ね気温に比例する。したがって、河川水で一次冷却 風力発電は不安定であるが、年平均風速が風車の 水系を抜熱できない場合がある。地下水の水温は、概ね1 カットイン風速を上回る地域であれば定格出力の4 8℃以下で安定している。しかし、地下水は貴重な真水資 〜7割程度の電力を供給することができる。したがっ 源である。一次冷却水系あるいはサーバコンピュータ等の て、海洋深層水の低温性と安定性を活用する水冷デ 抜熱で大量消費することはおそらくできない。既存水冷技 ータセンターを建設する場面で、定格出力がその水 術は、二次冷却水系の冷却能力が不十分な場面や使えな 冷データセンターの総消費電力と同等以上の風力発 い場合、機械的な方法で一次冷却水系を抜熱する。しかし、 電施設を併設すれば半分以上の電力を補うことがで 海洋深層水の低温性と安定性を活用する水冷データセン きる。 ターは、水冷技術の仕組みがまるで異なる。水温2℃以下 風力発電施設の建設コストは概ね定格出力1kW の海洋深層水を利用すれば、マシンルーム全体あるいは あたり20万〜25万円程度である。とはいえ、建設コ データセンター全体を冷却することができる。海洋深層水 ストの3〜5割程度が商用電力との系統連系設備や は大量消費可能な水資源である。したがって、冷却水系を 蓄電設備等のコストである。しかし、水冷であれ空冷 一次系と二次系に分離して複雑にする必要はない。それだ であれ、データセンターは停電時でも運転を継続す けでなく、マシンルームの二重床も不要になる。二重床を廃 るための設備が不可欠である。したがって、ディーゼ 止すれば、建家の構造を簡素化して耐震性を高め、さらに ルエンジン等による非常用発電設備が不可欠で、商 5 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
  • 6. 用電力との系統連系設備等も不可欠である。また、 はいえ、我々が食する魚介類は海の表層に生息して 蓄電設備等も不可欠である。それらデータセンター いる。海洋表層水の水温は概ね真夏時に32℃前後、 固有の設備を強化して併用すれば、風力発電施設 真冬時に12℃前後になる。したがって、海洋深層水 の建設コストを定格出力1kWあたり10万〜15万円 を低温のまま魚介類の養殖や養魚で利用することは 程度にすることができるかもしれない。 できない。通常、ボイラーで加温して利用する。しか すなわち、水温2℃以下の海洋深層水を利用し、 し、サーバコンピュータ等の抜熱で使用した海洋深 風力発電施設を併設すれば、同規模の空冷データ 層水=温排水を再利用すれば、ボイラーが不要にな センターの半分以下の建設コストで半分以上の電力 るか、あるいはボイラー燃料を節約することができ を自前で補う水冷データセンターを建設することがお る。 そらくできる。 (備考) 1kカロリーの熱量で1リットルの水の水温が1℃ (備考) 風力発電施設は隣接する空き地を利用して事 上昇する。一方、電気ストーブの発熱量は1ワットあたり毎 後的に併設することもできる。とはいえ、二重の投資は回 時0.86kカロリーである。仮に、取水した海洋深層水を水 避すべきである。風力発電施設を事後的に併設する場合 温2℃前後でデータセンターに送水し、水温22℃前後で排 でも、海洋深層水の低温性と安定性を活用する水冷データ 水するとする。送水量が毎時100kリットルの場合、2000 センターの分電盤や系統連系設備、蓄電設備等はあらか kW以上の電気ストーブあるいはサーバコンピュータ等を抜 じめ風力発電との併用が可能な仕組みにしておかなけれ 熱することができる。概して、毎時100kリットルの海洋深 ばならない。尚、水冷であれ空冷であれ、データセンターは 層水を取水するポンプの消費電力は10kW程度である。送 夜間でも運転する。したがって、太陽光発電は有効な自家 水ポンプの消費電力も同程度である。したがって、海洋深 発電にならない。太陽光発電は、二重の投資どころか無駄 層水の低温性と安定性を活用する水冷データセンターは、 な投資になりかねない。 サーバコンピュータ等が消費する電力の100分の1以下の 電力でそのサーバコンピュータ等を抜熱することができる。 海洋深層水を取水するポンプや送水するポンプの 海洋深層水の低温性と安定性を活用すればデータセンタ 消費電力は小さい。したがって、海洋深層水の低温 ーのPUEを1.2以下にすることなど容易である。常温超伝 性と安定性を活用する水冷データセンターのPUEは 導を活用すれば1.1以下にすることもできる。とはいえ、加 1.2以下になる。また、海洋深層水の低温性は常温 温した海洋深層水=温排水を魚介類の養殖や養魚で再利 超伝導の二次冷却系で活用することもできる。常温 用することのほうが重要である。他に、温排水を船舶の洗 超伝導は電力損失を大幅に引き下げる。したがって、 浄等で利用することもできる。船舶の洗浄は海洋表層水を 海洋深層水の低温性と安定性を活用する水冷デー 利用する場合が多い。しかし、海洋表層水は有菌水である タセンターはPUEを1.1以下にすることもできる。 ため、消毒薬等を混入する必要がある。海洋深層水を利用 とはいえ、より重要なことは、サーバコンピュータ等 すれば消毒薬等の混入が不要になる。しかし、低温のまま の抜熱で使用した海洋深層水、すなわち加温した海 では洗浄作業が辛いし汚れも落ちにくい。尚、冷却能力は 洋深層水=温排水の再利用である。温排水の水温 劣るが、暖流が流れる海域で取水する海洋深層水を利用し は22℃前後になると予想する。18℃前後であって て水冷データセンターを建設することもできる。たとえば、沖 もかまわないが、水温がそのくらいあれば温排水は 縄県で取水している海洋深層水の水温は概ね7〜8℃程 そのまま魚介類の養殖や養魚等で利用することがで 度で安定している。ちなみに日本の地下水の水温はもっと きる。 も低い場合でも12〜13℃程度である。 海洋表層水は有菌水である。しかし、海洋深層 水は無菌水である。したがって、海洋深層水は狭い 海洋深層水の水量は無尽蔵である。風力も無尽蔵 水槽内で多量の魚介類を飼育する養殖や養魚での である。したがって、既存の空冷データセンター同様、 利用に適している。海洋深層水を取水する施設には、 海洋深層水の低温性と安定性、および風力を活用 たいがい、養殖施設や養魚施設が隣接している。と する水冷データセンターも巨大化して運用コストを削 6 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
  • 7. 減することができる。 クラウドコンピューティング環境の円滑な運用を目指 とはいえ、国土の狭い日本では巨大化より高密度 している。マイクロソフトも、近い将来、使用するサー 化のほうが大規模化に適している。海洋深層水の低 バコンピュータ等を自社開発するかもしれない。 温性と安定性を活用する水冷データセンターは冷却 だが、すべての事業者がグーグルやマイクロソフト 能力が高い。ラックの水冷化も容易である。したがっ と同様にサーバコンピュータ等を自社開発することは て、ラックあたり20k〜40kVA程度分のサーバコン おそらくできない。サーバコンピュータ等の性能差を ピュータ等を容易に実装することができる。 隠蔽する新しい分散処理技術や仮想化技術が必要 しかし、巨大化や高密度化はオペレータの人件費 である。既存の分散処理技術や仮想化技術でもプロ 等を削減するが運用コストの本質的な部分を削減し セッサの性能差を隠蔽することはできる。しかし、メモ ない。ファシリティー・マネージメントの主目的はサー リバスとメモリの性能差を隠蔽することはできない。 バコンピュータ等ハードウェア資源をより長く使い続 必要な技術は、プロセッサアーキテクチャ外の分散 けることにある。重要なことは、サーバコンピュータ等 処理技術や仮想化技術である。たとえば、40Gbps の長寿命化である。とはいえ、耐用年数を延ばすこ や100Gbpsイーサネットを経由してサーバコンピュ とより相対的な性能劣化問題を解決することのほう ータ同士が互いのメモリをアクセスする技術である。 が重要である。どのようにして、古い世代のサーバコ 尚、データセンターの役割についての概要は、参 ンピュータ等を使い続けながら新しい世代のサーバ 考文献2を参照されたい。 コンピュータ等を導入し、クラウドコンピューティング サービスを提供し続けるかが重要である。 (備考) Xenのような仮想化ソフトウェアに過去のアポ ロ・コンピュータ社が提供していたリモートデマンドページン (備考) 4100番台Opteronプロセッサの値段は同性能 グに相当するものを実装する必要がおそらくある。それによ の5600番台Xeonプロセッサの値段の6割程度である。同 り、高速メモリバスと高速メモリを搭載したサーバコンピュー じことが6100番台Opteronプロセッサと7500番台Xeon タ等だけを集中的に増強して活用すれば、世代間の性能差 プロセッサについても言える。しかし、クラウドコンピューテ を隠蔽してクラウドコンピューティング環境を円滑に運用す ィングサービスのハードウェアコストはプロセッサよりメモリ ることができると考える。尚、高速メモリサーバコンピュータ のほうが大きい。そして、メモリのメーカー間価格差は小さ に搭載する高速プロセッサをx86アーキテクチャにしなけれ い。ディスクも同様である。XeonプロセッサよりOpteronプ ばならない理由はおそらくない。とはいえ、今から高速メモ ロセッサを多用することが正しい選択であるとしても、ハー リバスと高速メモリをサポートする高速プロセッサを開発す ドウェア資源のコストダウンの本命は長寿命化であり性能 るのであれば、販売数量が見込めるx86アーキテクチャに 差の隠蔽である。 すべきである。ただし、x86−32アーキテクチャは不要であ る。x86−64アーキテクチャに特化した高速プロセッサを開 現時点で、相対的な性能劣化問題と正面から向き 発すべきである。x86−64アーキテクチャはAMDが考案し 合っている代表的な事業者はグーグルである。グー た。ライセンスの所得は容易であると考えられ、またレジス グルでは、導入したサーバコンピュータ等を5年以上 タファイルやMMUのアーキテクチャがいい意味でx86−3 使用する。したがって、新世代のサーバコンピュータ 2アーキテクチャとまるで異なる。 等と二世代前のサーバコンピュータ等を混在させて 使用する場面がある。とはいえ、通常、新世代のサ 3.スモールデータセンター ーバコンピュータ等と二世代前のサーバコンピュータ 等の性能差は2〜3倍以上ある。性能差の大きいサ 海洋深層水の低温性と安定性を活用する水冷デ ーバコンピュータ等が混在するクラウドコンピューティ ータセンターは、ラックにラジエータを取り付けてラッ ング環境の円滑な運用は容易でない。そこで、グー クあたり20k〜40kVA程度のサーバコンピュータ等 グルは使用するサーバコンピュータ等を自社開発す を抜熱することもできる。とはいえ、今後2〜3年内に ることにした。それにより、世代間の性能差を抑制し、 建設するのであれば、ラックあたり10k〜20kVA程 7 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
  • 8. 度の抜熱が目安になる。その場合、図1のようにマシ ソレータを置いて免震対策を施す。現在、1平方メー ンルームをホットアイル空間とコールドアイル空間に トルあたり1トン以上あるいはラックあたり1トン以上 区分けし、データセンター内の天井に貯水タンクを取 のサーバコンピュータ等を地震から保護する様々な り付け、ホースやパイプを使って総消費電力に見合 アイソレータが市販されている。参考文献3が参考に う水量の海洋深層水を随時送水して排水するだけで なるかもしれない。 よい。使用する貯水タンクの材質は水の熱伝導率よ り高い材質でなければならない。したがって、貯水タ (備考) 図1のような仕組みで本当にラックあたり10k〜 ンクは金属製タンクが望ましい。貯水タンクの総容積 20kVA程度のサーバコンピュータ等を抜熱することができ はデータセンターの総容積の150分の1程度が目安 るのかと疑問を持たれた方がいるかもしれない。グーグル になる。貯水タンクはマシンルームやデータセンター やマイクロソフトが水冷コンテナ型データセンターの建設を の内気を抜熱する他に宇宙線中性子からサーバコ 推進していた時期がある。使用した水冷技術は既存水冷技 ンピュータ等を保護してソフトエラーの発生率を低減 術で、閉じた一次冷却水系をもっぱら機械的な方法で抜熱 する役割も担う。 し、18〜22℃の水温を維持しながらサーバコンピュータ等 図1では、ホットアイル空間の熱気をファンでマシ を抜熱していた。ただし、ラックにラジエータを取り付けてい ンルームからデータセンターの通路に排出する。そし ない。水冷コンテナ型データセンターはコンテナそのものを て、貯水タンク内の海洋深層水が熱気を抜熱し、マ 水冷化する。コンテナ毎にチラーや除湿機等を設置する必 シンルームのコールドアイル空間に戻す。この仕組 要があるため、高価な仕組みであったが、しかしPUEは1. みは東京工業大学が運用しているTSUBAMEスー 2以下でラックあたり25kVA以上のサーバコンピュータ等 パーコンピュータの仕組みと同じである。この仕組み を抜熱することができた。この事例から、図1のような仕組 の利点は床を二重床にする必要がない点にある。二 みでも海洋深層水の低温性と安定性を活用すればラックあ 重床を廃止すれば建家の耐震強度を高めることがで たり10k〜20kVA程度のサーバコンピュータ等を容易に きる。また、構造が簡素になり、建築コストを削減す 抜熱することができると考える。 ることもできる。この仕組みでは、ラックの直下にアイ 8 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
  • 9. 水冷であれ空冷であれ、データセンターは湿度や は、おそらくレンガである。尚、参考文献5が参考に 結露の問題を回避することができない。空冷データ なるかもしれない。 センターの場合、エアコンが除湿機の役割も担う。し かし、海洋深層水の低温性と安定性を活用する水冷 (備考) 海洋深層水の送水と排水で使用するパイプやホ データセンターにエアコンはない。したがって、相応 ースの敷設は簡素にすべきである。したがって、海洋深層 の除湿機を取り付ける必要がある。たとえば、図2の 水の低温性と安定性を活用する水冷データセンターは平屋 ように屋根を取り付け、天井裏に除湿機を取り付け 建てにすべきである。外壁で使用する建材は、水分をあま て適宜稼動させる必要がある。除湿機の値段は同 り含まないものであればどのようなものであってもかまわな 程度の除湿能力を持つエアコンの値段よりかなり安 いと考えるが、しかし耐火性と断熱性を考え合わせるとお い。また、消費電力もかなり小さい。除湿機の稼動時 そらくレンガになる。レンガ造りであっても平屋建てであれ 間は一日あたり2〜3時間程度になると予想するが、 ば家屋の耐震性は十分ある。とはいえ、建築コストが大きく 真夏時は5〜6時間程度になるかもしれない。尚、参 なるようであれば、別の建材を選択しなければならない。海 考文献4が参考になるかもしれない。 洋深層水の低温性と安定性を活用する水冷データセンター は、冷却能力が高いため、外壁の断熱性はさほど重要でな 湿度や結露の問題も考慮すると、データセンター い。耐火性に問題がなければ外壁の建材はベニア板等で はどのような建材を選択して建設するかが重要な課 もかまわない。 題になる。外壁の耐火性と断熱性は高いほうが望ま しいが、しかしコンクリートのように多量の水分を含 図2のように、コールドアイル空間よりホットアイル む建材は望ましい建材ではない。とりわけ海洋深層 空間を広くすれば内気の保水性を高めることができ 水の低温性と安定性を活用する水冷データセンター る。 は空冷データセンター以上に湿度や結露の問題が 深刻になる恐れがある。したがって、コンクリートはま ったく望ましい建材ではない。もっとも望ましい建材 9 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
  • 10. 一方、図3のように、ホットアイル空間よりコールド 貯水タンクの総容積はデータセンターの総容積の3450分 アイル空間を広くすれば内気の冷却性を高めること の1以上あればよい。しかし、水の熱伝導率は空気の約2 ができる。除湿コストがあまり大きくないようなら、海 3倍である。したがって、内気の抜熱で使用する海洋深層 洋深層水の低温性と安定性を活用する水冷データ 水の水量は水の熱伝導率を水の熱容量で割った値、すな センターは図3のようにすべきである。図3は、日立 わちデータセンターの総容積の150分の1以上が目安にな 電線のデータセンターの仕組みと同じである。ちなみ る。とはいえ、総容積がデータセンターの総容積の150分 に日立電線のデータセンターは空冷であるが、PUE の1程度のタンクは大きなタンクではない。コールドアイル は1.2以下である。 空間上にまで広げると、かなり薄いタンクになる。対策とし 図3では、貯水タンクはホットアイル空間の熱輻射 て、タンクの総容積を増やすのはかまわない。しかし、その を吸収する。しかし、コールドアイル空間の熱輻射も 分建家の強度を高める必要が生じる。したがって、ソフトエ 吸収する仕組みにしたほうがよい。したがって、図4 ラー対策は劣るが、貯水タンクを廃止して金属製パイプを のように貯水タンクを薄く広げ、コールドアイル空間 天井に張り巡らせるアイディアも検討したほうがよい。 上を覆うようにしたほうがよい。表面積の拡大は内気 の抜熱を高めることにもつながる。熱輻射も考慮して、 マシンルームの天井や壁は熱伝導率の高い金属製 にすべきである。建材はトタン板でよいと考えるが、 コスト上の問題がなければアルミ板の選択もあり得 る。尚、参考文献6が参考になるかもしれない。 (備考) 貯水する海洋深層水の総熱容量はデータセンタ ー内の空気の総熱容量より大きくしなければならない。とは いえ、水の熱容量は空気の約3450倍ある。したがって、 10 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
  • 11. 海洋深層水の低温性と安定性を活用する水冷デ エンジニアがサーバコンピュータ等を保守する場 ータセンターはマシンルームをモジュール化すること 面でふたつ以上のドアを通過してマシンルームに入 ができる(またそうすべきである)。モジュールあたり 出するのはデータセンターの常識である。防犯対策 のラック数は8ラックが妥当である。ひとつのデータ 上、「スモールデータセンター」に出入りするドアの他 センター内に複数のモジュールを置くことができる。 にモジュールに入退室するドアも取り付ける必要が しかし、小規模なデータセンターの場合、ひとつのモ ある。モジュール内はホットアイル空間とコールドア ジュールになってしまう場合がある。図3や図4がそ イル空間に別れている。したがって、ホットアイル空 のような「スモールデータセンター」の事例であるとす 間に入退室するドアとコールドアイル空間に入退室 ると、ラックの配置は下図のようになる。 するドアは別のドアになる。 11 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
  • 12. 設置するラックは通常の19インチラックや19イン 「スモールデータセンター」の床面積は小さい。下 チワイドラックでかまわない。大きさも42U程度でか 図は目安である。 まわない。データセンターには強力な消化設備が必 要である。「スモールデータセンター」の場合、天井に 取り付けた貯水タンク内の海洋深層水を消化剤とし て使用することもできるが、その場合、損害保険料が 高額になる。モジュール内に窒素消化器等を設置す るほうがコスト的に妥当である。尚、参考文献7が参 考になるかもしれない。 12 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
  • 13. ちなみに、下図は「スモールデータセンター」の天 井図である。ホットアイル空間からの熱輻射を吸収 するだけでも貯水タンクの表面積はこれくらいの広さ になる。 「スモールデータセンター」は8台の各ラックに10k (備考) 海洋深層水は、通常、2台のポンプをアクトス 〜20kVA程度のサーバコンピュータ等を実装する。 タンバイで動かして取水し、いったん水槽に蓄えた後、 したがって、水温2℃前後の海洋深層水を送水する 2台の別ポンプをアクトスタンバイで動かして送水する。 場合、送水量は毎時4k〜8kリットル程度が目安に この仕組みは原発が海洋表層水=二次冷却水を取水 なる。取水施設から送水した海洋深層水はいったん して送水する仕組みと同じで、断水の不安がない。「ス 別タンクに蓄え、その後別ポンプで貯水タンクに送水 モールデータセンター」の別ポンプの仕組みも同様に する。したがって、「スモールデータセンター」には別 すべきである。尚、メーカー各社は系統連系設備やデ の建家が必要になる。別の建家内には、別タンクや ィーゼルエンジン等を小さな建家にパッケージングして 別ポンプの他に系統連系設備や非常用発電設備等 200kW程度の小型非常用発電設備を販売している。 も置く。下図はそのイメージである。「スモールデータ パッケージングした小型非常用発電設備の空間に蓄 センター」であっても、風力発電施設を併設して電力 電設備を置く余裕はおそらくないが、別タンクや別ポン を補うことができる。「スモールデータセンター」の総 プを置く余裕はあるかもしれない。以下のURLが参考 消費電力が200kWを超える場面はない。したがっ になる。 て、風力発電施設の発電量は200kWh程度が目安 http://www.hitachi.co.jp/products/power/dynamo/pr になる。ちなみに、定格出力200kW程度の風車は oducts/deisel/index.html 下図のイメージよりかなり大きい。高さが30〜40m 程度になる。 13 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
  • 14. ま使用することもできる。しかし、既存水冷技術のラジエ 4.コンビネーションクラウド ータは水温18〜22℃前後の冷却水の使用を前提にして いるため、複雑で高価で重い。冷却水に水温2℃以下の 最新のGPUの処理能力はCPUの10倍以上ある。 海洋深層水を使用するのであれば、ラジエータは「金属 そして、SR−IOVのような技術の下で仮想化すること パイプを並べた後方ラック扉」でかまわない。ラジエータフ ができる。しかし、TeslaC2070クラスのGPUカード ァン等は不要である。もちろん、そのようなラック用ラジエ の消費電力は100W以上ある。アマゾンがはじめた ータは市販されていない。しかし、安くつくることができる。 ようであるが、クラウドコンピューティングサービスで したがって、ラックあたり10k〜20kVA程度のサーバコ もGPGPU環境を提供するのであれば現時点でもラ ンピュータ等しか抜熱しない場合でも、海洋深層水の低 ックあたり20k〜40kVA程度のサーバコンピュータ 温性と安定性を活用する水冷データセンターの内装は図 等を実装する場面がある。事実、東京工業大学のT 5のようにするほうが望ましいと考える。 SUBAMEスーパーコンピュータには、35kVA分の http://pdf.directindustry.com/pdf/liebert/liebert-flex サーバコンピュータ等を実装したラックが存在するら ible-energy-saving-cooling-solutions-for-high-heat- しい。「スモールデータセンター」の各ラックに20k〜 density-applications/7027-27770-_11.html 40kVA程度のサーバコンピュータ等を実装する場 合、ラジエータを取り付けてラックを水冷化する。ラジ エータはホットアイル空間側に取り付ける。そして、 図5のように、天井に取り付けた貯水タンクから海洋 深層水を送水して戻す。 (備考) 既存水冷技術を導入してラックを水冷化するこ ともできる。あるいは、冷却水が海洋深層水になるとしても、 以下のURLのような既存水冷技術のラジエータをそのま 14 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
  • 15. IaaSで仮想GPUも提供するのであれば、GPUカ マイグレーション等は可能である。しかし、IaaS環境 ードをサーバコンピュータあたり2〜4カード実装する はフォールトトレラント化するほうが望ましい。 必要がおそらくある。したがって、1Uサーバコンピュ 図7では、サーバコンピュータとL2/L3SWの接 ータやブレードサーバ等は使えない。サーバコンピュ 続は1Gbpsイーサネットでかまわない。しかし、サー ータの大きさは2Uか4Uになる。当然、CPUはマル バコンピュータ間の接続は10Gbpsイーサネットが チソケットになる。2Uや4Uサーバコンピュータのディ 望ましい。IaaS環境はフォールトトレラント化する場 スクのドライブ数は8〜16ドライブになる。しかし、Ia 合、NASがよいストレージ装置になるとは言えない。 aSではふつうサーバコンピュータ内のディスクを使 また、iSCSIがよいインターフェースになるとも言えな 用しない。SANやNASを使用する。サーバコンピュ い。ストレージ装置はSAN、サーバコンピュータとS ータ内のディスクも有効活用するには、PaaSにIaa ANの接続はFCになる。現在、4UクラスのSANでも Sをブレンドした「コンビネーションクラウド」が望まし 48ドライブ以上のディスクを実装することができる。 い。 それでもディスク容量に不足が生じるようであればF 図6はPaaSの構成事例である。プライマリサーバ CoEを選択しなければならない。その場合、10Gbp とセカンダリサーバの関係がアクトアクトの関係にな sイーサネットのポートをサポートするL2/L3SWが る。そして、L2/L3SWを経由してプライマリサーバ 必要になる。 とセカンダリサーバが互いにファイルのレプリカを保 管する。どちらか1台のサーバコンピュータがクラッ (備考) プロセスの状態を監視してCPUやメモリをサス シュしても、ファイルは保存され処理が継続する。 ペンドにすることはできる。しかし、ゲストOSの状態を監視 図7は図6のようなPaaS環境にIaaSをブレンドし してCPUやメモリをサスペンドするのはむずかしい。サー た「コンビネーションクラウド」の構成事例である。プ バコンピュータを仮想化した場合、インテルやAMDが提供 ライマリサーバとセカンダリサーバはPaaSの他にIa する節電モードはおそらく使えない。「コンビネーションクラ aSも提供する。IaaS環境下での、ゲストOSのライブ ウド」は、サーバコンピュータを仮想化して一次的にPaaS 15 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
  • 17. 図9は1台のラックに4台の4Uサーバコンピュータ 図7のような「コンビネーションクラウド」の構成 と2台のSANをマウントした「コンビネーションクラウ でIaaS環境をフォールトトレラント化する場合、サ ド」の実装事例である。GPUカードの消費電力も考 ーバコンピュータの電源を冗長化する必要はない。 え合わせると、4Uサーバコンピュータの消費電力は むしろ冗長化しないほうがよい。しかし、L2/L3 1台あたり2kW程度になる。SANの消費電力も1台 SWとSANの電源を冗長化する必要がある。また、 あたり2kW程度になる。したがって、15kVA程度の SANのディスクにRAIDを施す必要もある。しかし、 電力を分電する必要がある。ラックの大きさが42U 図8のような「コンビネーションクラウド」の構成で 程度の場合、スペースに余裕が生じる。5kVA程度 あれば、L2/L3SWとSANの電源も冗長化する のUPSを3台マウントすることができる。 必要はない(むしろ冗長化しないほうがよい)。ま た、SANのディスクにRAIDを施す必要もない。 (備考) リチウムイオン電池は、寿命は長いが高価である。 したがって、UPSで使用する蓄電池は安価な鉛電池が望まし (備考) 図8は古典的なフォールトトレラント・システムで い。鉛電池の寿命は通常2〜3年である。しかし、25℃以下 ある。ハードウェア資源への投資が倍増して高価なシステ の温度環境下であれば寿命が5〜6年になる。海洋深層水の ムになる。L2/L3SWもSANも電源の冗長化が不要にな 低温性と安定性を活用する水冷データセンターでは、マシン りディスクにRAIDを施す必要もなくなるが、しかし電源やデ ルームの室温が25℃以上になる場面は稀である。したがっ ィスクの耐用年数はせいぜい2〜3年である。電源の冗長 て、ラックスペースに余裕があればUPSは図9のようにラック 化をなくすことやRAIDを不要にすることが倍増するハード マウントするほうがよい。 ウェア資源投資の節約材料にはならない。とはいえL2/L 3SWは比較的安価である。L2/L3SWの冗長化はやっ 図10は1台のラックに8台の2Uサーバコンピュー てみるだけの価値があるかもしれない。しかし、SANの冗 タと4台のSANをマウントした実装事例である。30k 長化は、コスト上の理由でおそらくできない。 VA程度の電力を分電する必要がある 17 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
  • 18. 18 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011
  • 19. 「コンビネーションクラウド」の利点は利用者がPaa 5.参考文献 Sの欠点をIaaSで補うことができる点にある。PaaS 1.元橋一之 独立行政法人 経済産業研究所 環境はスケールアウト型のシステムになる。サーバ “クラウドコンピューティングと企業の対応” http://www.rieti.go.jp/jp/papers/contribution/motohashi/0 コンピュータ等の増設や交換が容易なため、利用者 9.html は安い料金で上限をあまり気にすることなくハードウ 2.@IT special ェア資源を活用することができる。 “クラウド時代を前に変わるデータセンターの役割” しかし、PaaSでOLTPのようなホスト環境を構築す http://www.atmarkit.co.jp/ad/sflash/0811dc/dc01.html 3.株式会社 エーエスエス ることはできない。OLTPのようなホスト環境が必要 “サーバラック・電算機用免震” な場合、利用者はIaaSを選択する。したがって、Pa http://www.a-sys.co.jp/si/02.html aSにIaaSをブレンドした「コンビネーションクラウド」 4.日立アプライアンス株式会社 は利用者にとって利便性の高いクラウドコンピューテ “天井埋込セパレートタイプ除湿機”, ィングサービスになる。 http://www.hitachi-ap.co.jp/products/business/low/dehu midifier/ceiling/index.html 望ましい「コンビネーションクラウド」の提供形態は、 5.都窯業株式会社 PaaS下に実装するSaaSのひとつとしてIaaSを提 “タイシンレンガ” 供することである。マイクロソフトがサービス提供を http://www.miyakoyogyo.com/products/construct/ 開始しつつある「VMロール」はおそらくそのようなも 6.モリシン工業株式会社 のになる。グーグルも同様なサービス提供を開始す “アルミハニカムパネルの製造・加工” ると思える。 http://www.morishin.com/ms-mp.htm とはいえ、利用できるゲストOSがWindowsだけの 7.ホーチキ株式会社 IaaSに魅力はない。同様に、Linux系OSだけのIaa “窒素消火設備” Sにも魅力はない。WindowsやLinux系OSだけで http://www.hochiki.co.jp/business/shouka/shouka02.php なく、SolarisやBSD系OSも利用できるIaaSが良い IaaSである。IaaSは、多種多様なゲストOSの利用 が可能なクラウドコンピューティングサービスにすべ きである。そのような「コンビネーションクラウド」がグ ーグルやマイクロソフトの「コンビネーションクラウド」 を凌駕する。 本論文を書くにあたって、多数の文献と他論文、そ してURL等を参照した。それらをすべて記載する余 裕はないが、以下のURLが海洋深層水をより深く知 る上で参考になる。 http://www3.town.nyuzen.toyama.jp/deepsea/index. htm 19 Web Journal for non Professional Researchers. 掲載論文集 Vol.2 No.1 2011