高密度省エネデータセンター構築ノウハウ _HCIコミュニティ20171116（公開版）
•
2 recomendaciones•1,436 vistas
大消費電力なGPU機を データセンターに設置するノウハウ 機械学習や高速VDIに使われるGPU搭載機は1U1KW〜3U3KW と大消費電力なので、旧来からのデータセンターでは過熱する 場合があり、設置に苦労します。 データセンター省エネ化技術を発展させた GPU機設置ノウハウをご紹介 Knowing how to install large-power GPU machine in the data center? Since GPU-equipped machines used for machine learning and high-speed VDI have large power consumption of 1 U 1 KW to 3 U 3 KW, they may overheat in traditional data centers? I have difficulty installing. ? Did you develop data center energy conservation technologies? Introduce GPU machine installation know-how
Más contenido relacionado
高密度省エネデータセンター構築ノウハウ _HCIコミュニティ20171116（公開版）
- 1. ⼤消費電⼒なGPU機を データセンターに設置するノウハウ 機械学習や⾼速VDIに使われるGPU搭載機は1U1KW〜3U3KW と⼤消費電⼒なので、旧来からのデータセンターでは過熱する 場合があり、設置に苦労します。 データセンター省エネ化技術を発展させた GPU機設置ノウハウをご紹介 （国研）産業技術総合研究所 情報技術研究部⾨ テクニカルスタッフ 杉⽥正 Hyper-Converged Infrastructure Community Meetup#10 「ちょっと早い2017年度忘年会 2017年を振り返りながら、語りましょう！」 2017./11/16 HCIコミュニティ2017/11/16 1
- 3. 3 10KVA 1m3/sec ⾵速1m/sec ブレードサーバ 8ブレード1筐体8段実装 12cm⾓DCファン@3台ｘ８＝24台稼働/１Rack 最低速@60CFMとして１筐体180CFM 8段1,440CFMが必須⾵量 1,440CFM＝2,450m3/h＝0.68m3/sec ラック断⾯積を1m2とすると ⾵速0.68m/sec以上必要 ⾵量設計⽬安として約2倍 10KVA 1m3/sec ⾵速1m/secが良い 引⽤先：⼭洋電気 DCファン https://products.sanyodenki.com/contents/hp0009/list.php?CNo=9#size_40 サーバー内蔵ファンは この⾵量で変速する 2004年5⽉から10年以上 現在まで稼働。 PUE=1.3を実現 空冷 ⾵量を管理 して省エネ化 キャッピ ング PUE=1.３ GUTP/JDCC 30KVAラックの設計ガイドライン 2017/9/1
- 5. 5 サーバによる安定稼働対策 ⾵量が不⾜するデータセン ターにて、⾼密度化が可能。 しかし、未だ未だ 未対策サーバは使われている。 対策品：静圧⼒が⼤きい2重反転ファン 引⽤先：https://www.sanyodenki.com/archive/document/product/cooling/catalog_E_pdf/San_Ace_40CRB56_E.pdf NEC Express5800/E120ｄ−M(8C/E5-2450L) N8100-1904Y 対策された⾼密度サーバー 2U4ノード HCIに良く使われている。 HCIコミュニティ2017/11/16 サーバ視点から⾒た 熱⼒学の法則遵守 ④ 重要
- 6. 6 必要⾵量検討 ラック背⾯ファン 引⽤先：⼭洋電気 DCファン https://products.sanyodenki.com/contents/hp0009/list.php?CNo=9#size_40 80mm⾓ 1列3台24段＝72台/1Rack ⼭洋電気資料から＠0.9〜1.5m3/min（30〜40CFM） よって ラック当たり72台で 約70m3/min＝4,200m3/h （約2,500CFM） ※ラック消費電⼒によりラック背後ファンを制御する技術は Facebookが特許を持っています。 引⽤先：http://archive.datacenterdynamics.com/focus/ archive/2012/10/google-pictures-data-center-beauty HCIコミュニティ2017/11/16 PUE=1.16
- 9. 9 倉敷チロロネットデータセンター 12KVA/1Rack x10 x2列を3組 空冷-⽔冷（間接外気）、外気導⼊併⽤ 地下⽔を利⽤した熱処理 経済産業省 クラウド補助⾦を得て建設されました。 コールドアイル 床⾯積を拡張 ⾵速を抑えている サーバー熱を井⼾ ⽔を使い”捨てる” 空冷ー⽔冷、外気導⼊ 天候により⾃動切り替え 引⽤先：https://www.chiroro.co.jp/datacenter/ からフューチャーファシリティーズCFD解析図 建築と空調設備 の⼀体設計 ③ HCIコミュニティ2017/11/16
- 10. 10 NEDO事業/再⽣可能エネルギー熱利⽤技術開発/その他 再⽣可能エネルギー熱利⽤トータルシステムの⾼効率化・ 規格化/都市除排雪を利⽤した雪⼭貯蔵による⾼効率熱 供給システムの研究開発 ラック上部に⽔冷コイル40KW/1枚 循環ファンは無し、サーバーファンを利⽤ コイルへは融雪⽔を利⽤ PUE = 約 1.05 ⽔冷コイル（熱交換器）の能⼒は、通過する ”⾵量”で決まる。 温度制御は、⽔冷コイルを流れる雪⼭からの 冷⽔⽔量で⾏う。 ⽔冷コイル通過⾵量は、 サーバー内蔵ファンだけ 空冷ー⽔冷 雪冷熱を使う実証開発 引⽤先：NEDO成果報告 都市除排雪を利⽤した雪⼭貯蔵による⾼効率熱供給システムの研究開発から フューチャーファシリティーズによるCFD解析図 サーバ視点から⾒た 熱⼒学の法則遵守 ④ 重要 搬送動⼒の極⼩化⑥ HCIコミュニティ2017/11/16 建築と空調設備 の⼀体設計 ③
- 11. • ⼤型データセンター（10MW）でDC建設費130億円としても 節電コストで建物コストが償却出来る • 新築だと、構造を最初から最適化出来る。 • 現在⼤⼝電気代は13円。将来上昇する傾向として15円で計算 11 PUE=1.1を実現する間接外気冷却システム 10MWDC 年間電気代 １KWｈ＝13円 PUE=1.5 15,000KWh*0.5(稼働率）*24h*365Day*15 9億8600万円/年 PUE=1.1 11,000KWh*0.5(稼働率）*24h*365Day*15 7億2300万円/年 年差額 2億6300万円 50年 131億5000万円 HCIコミュニティ2017/11/16
- 12. 12 間接外気冷却機 ムンタースOasis ⽇本での第1号採⽤ 東京⼤学ヒトゲノムセンター ⽔冷コイルとチリングを⼀体化したシステム https://supcom.hgc.jp/japanese/cooling_performance.html オーストラリア 2011年 5年間の販売実績は1,000台を越えている。 運転切替 最良値 PUE=1.1 以下 HCIコミュニティ2017/11/16
- 13. 13 多層ビルにて 間接外気気化冷却における ⾼密度ラック配置 １フロア 4ゾーン 360KW x4=1440KW を 40m x 40m =1,600ｍ2で 実現6KVA ALL 1,000 ラック超え 暖気の上昇気流を利⽤し ⽔冷より搬送動⼒が省エネに なる。 直接外気導⼊併⽤でさらに 省エネ 作図：杉⽥ 運転切替 最良値 PUE=1.1以 下 サーバ視点から⾒た 熱⼒学の法則遵守 ④ 重要 HCIコミュニティ2017/11/16 建築と空調設備 の⼀体設計 ③ 運転切替 外気導⼊ PUE=1.07 以下
- 16. 16 n 許容荷重（静荷重） 1200kg n 耐震荷重（地震波） ●兵庫県南部地震波１２５％（１０００ｇａｌ） 1000kg ●ＮＥＢＳ Ｚｏｎｅ４（１６１７ｇａｌ） 500kg リアフレーム搭載荷重 マウントフレーム搭載荷重 +50kg マウントフレーム搭載荷重 耐震性能試験風景 ご注意 代表機種（ＦＣＳ１２０－７２０Ｅ）の当社搭載条件による試験結果です。 機種・仕様・搭載条件（重心の位置）・設置環境などにより搭載可能質量が異なります。 ※1．許容荷重とは、時間的に変化しない一定の荷重に耐えられる搭載可能質量。 ※2．耐震荷重とは、地震波に耐えられる搭載可能質量。 ※1 ※2 ●ＮＥＢＳ Ｚｏｎｅ３（１１０８ｇａｌ） 耐震強度 特殊鋼フレームと厚板鋼コーナーを強固に接合。 サーバの高密度実装による積載荷重の増大に適応。 特殊鋼フレーム 厚板鋼コーナー マウントフレーム コーナー部接合図 ⼤電⼒対策 ⼤きな荷重に耐えるラック HCIコミュニティ2017/11/16
- 17. •ラック単位でサーバーを構築、 ラックで納⼊ • 1ラック6KVA〜10KVA 17 DELL EMC VXBLOCK SYSTEMS 稼働率を60%としても 電源10KVA 冷却能⼒は 1ラック6KVAが欲しい ⾼密度ラックの必要性 HPE 3PAR StoreServ 20000 ストレージ 引⽤先：https://www.hpe.com/jp/ja/product-catalog/storage/disk-storage /pip.hpe-3par-storeserv-20000-storage.8295785.html 引⽤先：https://www.emc.com/collateral/data-sheet/vxblock-product-overview.pdf VxBlockとVblockシステムは、業界をリードするCisco、Dell EMC、 VMwareが提供するエンタープライズ クラスのコンピューティング、 ネットワーク、ストレージ、仮想テクノロジーとシームレス統合 クラウドやITaaSの環境のなかで、パフォーマンスと拡張性に満⾜ できないTier 1ストレージで妥協するよう求められていませんか。 ディスクを90%削減し、毎秒6倍のトランザクションを処理したいと 思いませんか。HPE 3PAR StoreServ 20000ストレージは、エンター プライズフラッシュアレイです。 →専⽤エリア構築 超⾼密度ラック 専⽤エリア 重要 ① HCIコミュニティ2017/11/16
- 19. 1台で5.5KW • Computex Taipei 2017 で展⽰ • ＠３Uで、たった12Uで22KW（＞＜） • 古いデータセンターなら、 僅か1台で 1ラック電⼒制限を超える • 吸気温度25℃ 排気温度50℃設計 温度傾斜25℃ 19 2重反転ファンが４基装備されていた。 撮影：杉⽥ HCIコミュニティ2017/11/16 撮影：杉⽥
- 21. 有償でノウハウを提供 • 産総研ノウハウとして、⼤電⼒サーバーの ⾼密度実装ノウハウを有償で公開しています。 • ⼤幅なデータセンター省エネを実現する を公開 • お問い合わせ先 情報技術研究部⾨ 杉⽥正 tadashi.sugita@aist.go.jp HCIコミュニティ2017/11/16 21 ⾵量を管理 して省エネ化