Recomendados
Más contenido relacionado
Similar a PCCC22：日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」01
Similar a PCCC22：日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」01 (20)
Más de PC Cluster Consortium
Más de PC Cluster Consortium (20)
Último
Último (11)
PCCC22：日本マイクロソフト株式会社 テーマ2「HPC on Azureのお客様事例」01
- 1. 国立大学法人 大阪大学 サイバーメディ アセンター 大阪大学大型計算機センターから、2000 年 4 月に情報基盤センターへと改組された国 立大学法人 大阪大学 サイバーメディアセンター。ここでは逼迫するスーパーコンピュー タ (スパコン) の負荷を軽減し、研究者の待ち時間を短縮することを目的に、Microsoft Azure を活用した 「クラウド バースティング」 が実現されています。これはスパコンのジョ ブの一部をクラウドへと送り、クラウド側で処理したうえでスパコン側に戻すという技術。 その実現方法についてマイクロソフトとの共同研究を行い、論文を発表した後、2019 年 12 月には全国共同利用大規模並列計算システム 「OCTOPUS」 での実証実験を行いまし た。その実現可能性と効果を検証した後、2021 年 5 月にリリースされたクラウド連動型 HPC・HPDA スーパーコンピュータ 「SQUID」 に正式実装。研究者に対する計算リソース 提供をより柔軟に行えるしくみとして、大きな期待が寄せられています。 幅広い研究に対応できる 「OCTOPUS」 を提供する ものの早くからリソースが逼迫 学術研究を行ううえで、もはや欠かせない存在となっているスーパーコンピュータ (スパコン)。最近 では幅広い研究領域で計算ニーズが高まっており、利用されるリソース量も急増しています。大学内 や研究機関内に用意されたリソースでは不足してしまい、スパコンを利用できるまで研究者を待たせ るケースも少なくありません。このような問題を学内のスパコンとパブリック クラウドとの組み合わせ で解決しつつあるのが、国立大学法人 大阪大学 サイバーメディアセンター (以下、大阪大学 CMC) で す。 大阪大学 CMC は、1969 年 4 月に設置された大阪大学大型計算機センターを前身とし、2000 年 4 月に行われた情報基盤センターへの改組に伴い誕生。全国には 7 つの情報基盤センターがあります が、大阪大学 CMC はその 1 つとして国立情報学研究所学術情報ネットワーク (SINET) に接続され、 計算機の相互利用が可能なノードとして機能しています。スパコンの導入も早期から行われており、 1986 年には 「スーパーコンピュータ SX-1」 のサービスを開始。その後も、利用者である全国の研究者 らの計算需要、ニーズを支えるため、スパコンの更新を継続的に行なっており、2017 年 12 月には全 国共同利用大規模並列計算システム 「OCTOPUS (オクトパス)」 をリリース。2014 年に導入されたベ クトル型スーパーコンピュータ 「SX-ACE」 との 2 台体制で計算リソースを提供してきました。 「2014 年当時までは大規模な計算リソースを必要とする研究分野はベクトル計算を行うケースが多く、 スパコンもベクトル型を中心に調達を続けていました」 と振り返るのは、大阪大学 CMC で准教授を 務める伊達 進 氏。スカラー計算を行う大規模計算機は、研究向けだけではなく教育向けと図書館シ ステム向けとで共同調達しており、十分な計算リソースが確保できていなかったと語ります。 「その後、 計算機を使う研究分野が広がり、 スカラー計算へのニーズも高まってきました。また研究に OSS (オー お客様 国立大学法人 大阪大学 サイバーメディア センター 製品とサービス ・Azure ・Azure Virtual Machines 業界 高等教育 組織の規模 中規模 (従業員数 50 〜 999 人) 国 Japan 2021 年 11 月掲載 スーパーコンピュータに Azure を組み合わせた 「クラウ ド バーステ ィ ング」 、マイ クロソフ トとの共同 研究でその効果を実証
- 2. 国立大学法人 大阪大学 サイバーメディ アセンター プン ソース ソフトウェア) を活用するケースも 増えており、その場合もスカラー型の汎用計算 機が必要になります。そこで改めて研究用の汎 用大型計算機として、OCTOPUS を導入するこ とになったのです」 。 OCTOPUS の基本方針は、8 割の安定性と 2 割のチャレンジだったと伊達 氏。学内の複数の システムで共用していた以前の汎用計算機は使 われ方が複雑で負荷状況も不安定だったため、 まずはこの問題を解消するために安定性を最重 要視したと説明します。その一方で、クラスター を構成する個々のノードに関しては、単一種類の構成にした方が作りやす いにも関わらず、多様なニーズに対応するため複数種類のノードを持つ 「ヘ テロ型」 を採用。これがチャレンジの 1 つなのだと言います。 「しかしOCTOPUS のような汎用計算機へのニーズは予想を超えて大きい ものであり、リリース直後から高い利用率になっていました。特に卒論制 作のシーズンにあたる 10 月〜 3 月は利用が集中しやすく、24 時間待ちは 当たり前の状況になっていました」 。 この問題を解決するため、大阪大学 CMC はもう 1 つのチャレンジに踏み 出します。それがパブリック クラウドを活用した 「クラウド バースティング」 なのです。 「ク ラ ウ ド バー ス テ ィ ング」 を提案した マイ クロソフ トと共同で論文を執筆 クラウド バースティングとは、オンプレミス側にある計算機のワークロード (負荷 ) が増大した際に、そのワークロードをクラウド側に送り、クラウド の計算リソースを使用して計算を行うというもの。大阪大学 CMC が目指し たのは、 ユーザーにクラウドの存在を意識させることなく、 このクラウド バー スティングを実装することでした。 「リソースが逼迫したスパコンの代わりに、新たな選択肢としてクラウドを 提供するというアプローチもありますが、私達はそれは違うと考えていまし た」 と伊達 氏。研究者が研究に集中するには、利用者に不要なことを意 識させず、透過的に利用できるクラウド バースティングが必要なのだと説 明します。 「その実現方法について複数のベンダーに話を持ちかけました。 その結果、マイクロソフトが最初にこの要望を実現できそうなソリューショ ンを提示してくれました」 。 その具体的な提案内容は、スパコン側から VPN でネットワークを Azure へと延伸すると共に、スパコン側のジョブ スケジューラー機能を拡張する ことで、 スパコンに投げられたジョブの一部を Azure の仮想マシン (Azure Virtual Machines) で処理するというものでした。これならスパコンの延長 として、 透過的にクラウド バースティングが可能になると判断されたのです。 2018 年 11 月にはマイクロソフトからの提案を受け、クラウド バースティン グに関するスタディを開始。その一環として 2019 年 3 月には、マイクロソ フトのクラウド アーキテクトが大阪大学 CMC のシンポジウムで 「クラウド 時代のハイパフォーマンスコンピューティング」 と題した講演を行っていま す。その後、大阪大学 CMCと、CMC にスパコンを提供する NEC (日本 電気株式会社)、マイクロソフトの共同研究が本格的にスタート。前述のし くみを実際に構築すると共に、共同で論文も執筆しています。なおこの論 文は 2019 年 9 月に大学ICT推進協議会 (AXIES) に提出され、2020 年 3 月に優秀論文賞を受賞しています。 「マイクロソフトのクラウド アーキテクトと共著で論文を執筆し、結果的に いい論文が書けたと思っています。その内容は AXIES で賞を受賞した後、 2019 年 11 月に開催された国際会議 /展示会である 『SC19』 でも、研究展 示ブースでのデモ展示を行っています」 (伊達 氏)。 “研究者が研究に集中するには、利用者 に不要なことを意識させず、透過的に 利用できるクラウド バースティングが必 要です。この要望を実現できそうなソ リ ューションとし て今回 Azure を選定い たしました” ̶伊達 進 氏：サイバーメディアセンター准教授 国立大学法人 大阪大学 国立大学法人 大阪大学 サイバーメディアセンター 准教授 伊達 進 氏 Azure に対するスパコンからのクラウド バースティング。スパコンで需要をまかなえる場合にはスパコン内でジョブを実行しますが、需要が増加した場合にはジョブの一部を Azure へとバーストさせ、Azure 上の仮想マシン (Azure Virtual Machines) で処理を行います。これによって需要が増大した際にも、研究者の待ち時間を減らすことが可能に なります。 Microsoft Azure 需要増加時 スーパーコンピュータ Azure へジョブをバースト
- 3. 国立大学法人 大阪大学 サイバーメディ アセンター 豊富なインスタンスの種類や 西日本リージョンをもつクラウ ド 2019 年 12 月には実証実験にも着手。実際の研究で行われる計算処理を 実行し、クラウド バースティングの理論が実機で検証されていきました。 この実証実験では当然ながら、クラウド バースティング先として Azure が 使われています。その理由を以下のように伊達 氏は説明します。 「まず重視したのは、バースティング先となる仮想マシンのインスタンスの 種類が多いことです」 と伊達 氏。OCTOPUS には複数種類のノードが組み 込まれていますが、それらのノードの処理を肩代わりするには、バースティ ング先のインスタンスも同様、もしくはそれ以上のスペックが必要になるの だと説明します。 「スパコン側と CPU やメモリ容量が異なっていれば、 ジョ ブが走らないことや、計算結果が変わってしまう危険性もあります。その ためインスタンスの品揃えがいいことは、ヘテロ型スパコンのバースティン グでは重要な条件になります」 。 また、 実証実験の段階では低コストかつ手軽に実験を行う必要があるため、 大阪大学 CMC からの距離が近くレイテンシも小さい西日本リージョンの 本格的な運用をいち早く行っていたことも、選定理由のひとつでした。 そして 3 つ目の理由としては、クラウド アーキテクトによる直接のサポート があったことでした。 「他のクラウド ベンダーとも話をしたのですが、テクニカル サポートを行う エンジニアやアーキテクトがなかなか表に出てきてくれないというもどかし さを感じていました。これに対してマイクロソフトはクラウド アーキテクト と直接クラウドや HPC に関する技術的なディスカッションを行うことがで き、最終的には論文まで共同執筆することになりました。 OCTOPUS と Azure で行われた実証実験の成果は、次期スパコンにも 生かされています。2021 年 5 月に稼働を開始したクラウド連動型 HPC ・ HPDA スーパーコンピュータ 「SQUID (スクウィッド)」 に、クラウド バース ティング機能が正式に実装されているのです。 「実証実験では “実際に理論通り動くのか”、 “計算結果に問題はないのか” といった稼働確認が主な目的だったこともあり、まだ効果に関する定量評 価には至っていません。 今後は OCTOPUS と SQUID でクラウド バースティ ングの効果がはっきりしてくると思いますが、その効果を最大化していくた めには単にクラウドにジョブを流すだけではなく、スパコンとクラウドを一 元管理できる新しい資源管理のしくみも必要になります。このようなミッシ ング パーツを組み込んでいくことで、クラウド バースティングはさらに使い 勝手の良いものになるはずです」 (伊達 氏)。 今後はこのような管理基盤の確立に加え、クラウドまでカバーしたコスト の可視化や支払い方法の明確化、ユーザーへの賦課方法なども検討してい く必要があると伊達 氏。ここまでできて初めて、CMC として責任を持って クラウド バースティングを提供できるようになると語ります。 「将来はジョブだけではなく、データも自由自在にスパコンとクラウドとを 行き来できる環境を作りたいと思っています。このような環境があれば、 世界の研究者とデータや研究成果を共有したり、それに基づく共同研究 も容易になるでしょう。近年の研究は広域化かつグローバル化しています。 クラウド バースティングで得られた知見を積極的に活用し、このような研 究を支えられる計算基盤 /データ基盤の確立を目指していきます」 。 2019 年 12 月に全国共同利用大規模並列計算システム 「OCTOPUS」(写真左) での実証実験を行いました。その実現可能性と効果を検証した後、2021 年 5 月にリリースされたクラウド連動型 HPC ・ HPDA スーパーコンピュータ 「SQUID」(写真右) に正式実装しました。
- 4. 国立大学法人 大阪大学 サイバーメディ アセンター お客様事例についてのお問い合わせ 本お客様事例は、インターネット上でも参照できます。https://customers.microsoft.com/ja-jp/ 本お客様事例に記載された情報は制作当時 (2021 年 11 月) のものであり、閲覧される時点では、変更されている可能性があることをご了承ください。 本お客様事例は情報提供のみを目的としています。Microsoft は、明示的または暗示的を問わず、本書にいかなる保証も与えるものではありません。 製品に関するお問い合わせは次のインフォメーションをご利用ください。 ■インターネット ホームページ https://www.microsoft.com/ja-jp/ ■マイクロソフト カスタマー インフォメーションセンター 0120-41-6755 (9:00 〜 17:30 土日祝日、弊社指定休業日を除く) ※電話番号のおかけ間違いにご注意ください。 ＊その他記載されている、会社名、製品名、ロゴ等は、各社の登録商標または商標です。 ＊製品の仕様は、予告なく変更することがあります。予めご了承ください。 〒108-0075 東京都港区港南 2-16-3 品川グランドセントラルタワー SE https://customers.microsoft.com/ja-jp/