SlideShare una empresa de Scribd logo
1 de 22
Descargar para leer sin conexión
Fusion io (ioDrive) の
 Fusion‐io (ioDrive) の
ベンチマークをとってみた
   チ      クを         み
      @zembutsu
 ストレージ友の会 #sfstudy 01 LT
      Jun 11, 2011
About me
                About me
• @zembutsu 前佛雅
            前佛雅人                      クラウドは人生(キリッ

 – 活動:クラウド界隈に出没
   活動 クラウ 界隈 出没
   • Open Cloud Campus, JEUG(Eucalyptus ユーザ会)
   • JAWS‐UG、 おぷ☆すた(OpenStack), くら☆すた
     JAWS UG、 おぷ☆すた(OpenStack),  くら☆すた
     (CloudStack) 等のユーザ会で活動中
 – 執筆:
   • G‐CLOUD Magazine 
               2010年8月6日 発売
                    年 月
               1章~3章 AWS入門記事
Why I am here
                Why I am here
• @
  @zembutsu
      b
  – 仕事:インフラエンジニア的な何か
    • 株式会社リンク twitter: @LINK_PR
      ディベロッパーサポート エンジニア
    • http://www at‐link ad jp/ at+link 専用サーバサービス
      http://www.at‐link.ad.jp/         専用サ バサ ビス
    • とあるソーシャルアプリ特化型ホスティング
     「at+linkアプリプラットフォーム」の企画・開発・運用・保守・営業

    • HaaS (Human As A Service ) を実現。
       –   90分で物理サーバ提供
       –   FusionIO搭載マシンも初期0円 IYH!!
       –   回線・ラック・ファイアウォール・ロードバランサ込み込み
       –   memcached 互換 KVS(okuyama) のキャッシュサーバ提供
それはさておき、Agenda
        それはさておき Agenda
•      導 経緯
    1. 導入経緯
•   2. I/O性能
    2 I/O性能
•   3. MySQL OLTP
•   4. まとめ
                    PCI スロ トに刺さる i D i SLC 160GB
                    PCI スロットに刺さる ioDrive SLC 160GB
Fusion io (ioDrive) を使うきっかけ
Fusion‐io (ioDrive) を使うきっかけ
      年 月
• 2010年5月
 – とあるお客様の専用サーバ&仮想化(VirtualIron)
   システム。データ同期のため NFS を使用
            デ タ 期 た     を使
 – LoadAverageが高くなり、サービスに支障
 – ディスクI/Oがボトルネック
• 2010年6月
 – HP社の「PCIe IO Accelerator」を導入(FusionIO)
 – NFS サーバに FusionIO を使用 ボトルネック解消
   NFS サーバに            を使用、ボトルネック解消
   • お客様大満足、僕らもアラートが減る HAPPY!!
気がついたら PCI Express 版が!!
        PCI‐Express 版が!!
    社 も  ブ  ド   バが必
• HP社のものはブレード・サーバが必要
 – 場所、電力、コスト。。
   場所、電力、   。。
• PCI‐Express なら 1U サーバにのるんじゃね?
• デ
  ディスク I/O を解決するためのソリューション
        ク / を解決するための リ      シ
  としては、こまわりがきく。丁度、データベース
  やファイルI/Oの問題が…
 ↓
 2010年11月 サービス・リリース
FusionIO(ioDrive)の性能公称値


•



※出典:ioDrive Data Sheet (2011/01/06)
            Data Sheet (2011/01/06)
    http://community.fusionio.com/media/p/853.aspx




• 確かに速いけど、                       本当かな?かな?
で、色々データをとってみました。
で 色々データをとってみました
       鯖缶的な視点
• Linux鯖缶的な視点で…
• 1 ディスク I/O
  1. ディスク
  – シーケンシャル Read ( hdparm )
  – シ ケンシ ル Write ( dd )
    シーケンシャル i ( dd
  – ランダム Read/Write ( dbench )
• 2. MySQL 処理性能 (OLTP)
  – DBT 2
    DBT‐2
  – SysBench (oltp mode)

                           見せて貰おう! Fusion‐io とやらの性能を!!!
ちなみに、こんな環境
              ちなみに こんな環境
• マシン
  – IBM x3550M3 (1U)
       •   CPU : E5530 2.40GHz
           CPU : E5530 2 40GHz
       •   Memory: 24GB
       •   HDD: 146GB x 2 (RAID 1) 
       •   ioDrive 160GB (SLC)
            – ext3 format
• OS
  – Red Hat Enteprise Linux 5.4
• MySQL
  – 5.0.77‐ 4.el5_5.4
比較対象
•   Fusion‐io “ioDrive” 160GB SLC
•   Intel X25 SSD
    Intel X25 SSD 64GB
•   SAS (15,000 rpm)
•   SATA (7,200 rpm)
•   IDE (5,600 rpm)
    IDE (5 600 rpm)
                       流行の総選挙とかありますけど、
                       デバイス総選挙とかやりたかったなぁ…
                       デバイス総選挙とかやりたか たなぁ
1 1 Sequential Read
                               1‐1. Sequential
                                                   read 平均 [MB/sec]

600.00 



500.00 



400.00 



300.00 



200.00 



100.00 



  0.00 
              IDE (5,400rpm)   SATA (7,200rpm)   SAS (15,000rpm)         SAS          SSD (X25‐E Extreme    ioDrive
                                                                        ( ,     p )
                                                                   RAID1(15,000rpm)                 )
                                                                                           SATA SSD) 

          –     hdparm –t <device> で測定、30回平均
1‐2. Sequential
                  1 2 Sequential write
                                   write [MB/sec]
1400



1200



1000



800                                                                       IDE (5,400rpm)
                                                                          IDE (5 400rpm)
                                                                          SATA (7,200rpm)
                                                                          SAS (15,000rpm)
600
                                                                          SAS RAID1
                                                                          ioDrive

400



200



  0
           4k   16k   64k   256k       1024k    4096k   16384k   65536k
       •   “dd” でファイル作成 時間を計測
1‐3. Randam
                            1 3 Randam read/write
                                           dbench (NFS) througput
         1400



         1200



         1000



         800
                                                                               SSD
MB/Sec




                                                                               ioDrive

         600                                                                   SAS(RAID1)
                                                                               SATA
                                                                               SA A


         400



         200



             0
                        1             16              32            64   128
         •       dbench (http://dbench.samba.org/) 
FusionIO Disk I/O
                     Disk I/O
• Sequential read
  – ioDrive が圧倒的に速い 約500MB/sec
             圧倒的 速 約      /
     • SAS の 3 ~ 4 倍
     • SSD の 2 倍
       SSD の 2 倍
• Sequential write
             と同程度の書き込み性能
  – SAS RAID と同程度の書き込み性能
• Random read/write
             /
  – 並行処理が増えても、スループットが安定
2‐1. DBT‐2 OLTP
                                                                                                  2 1 DBT 2 OLTP
                                                                                         DBT‐2 (MySQL Response Time Benchmarking)
                      250.000 
                                                                                                                                                                                                                                                                                                                                              235.8 

                                                                                                                                                                                                                                                                                                                                     225.7 
                                                                                                                                                                                                                                                                                                                                                       223.2 

                                                                                                                                                                                                                                                                                                                   215.0                                        214.9 
                                                                                                                                                                                                                                                                                                                                                                     212.8 
                                                                                                                                                                                                                                                                                                    205.3 206.5 
                                                                                                                                                                                                                                                                                                                            201.8 

                      200.000 
                                                                                                                                                                                                                        180.1 




                                                                                                                                                                                                                                                                                  151.6 
              [sec]




                      150.000 
                                                                                                                                                                                                                                 138.6 
response time [




                                                                                                                                                                                                                                                                                           128.2 
                                                                                                                                                                                                                                          122.0 123.6 


                                                                                                                                                                                                                                                                  108.2  109.3 
                                                                                                                                                                                                                                                         104.5 

                      100.000                                                                                                                                                                                                                                                                                                                                                 Total




                       50.000 


                                                                                                13.7                                                            14.5  14.9  14.2  14.2  13.9  14.1  14.0  13.3  12.6 
                                                                                                        9.5    8.0                  7.8    9.1    8.1    7.7 
                                 6.6                                                                                  7.5    7.5 
                                        3.4    2.1    1.9    2.0    2.1    2.2    3.2    3.2 

                        0.000 
                                   ioDrive 16
                                   ioDrive 32
                                   ioDrive 64
                                 ioDrive 128
                                 ioDrive 256




                                        SSD 16
                                        SSD 32
                                        SSD 64
                                      SSD 128
                                      SSD 256




                                        SAS 16
                                        SAS 32
                                        SAS 64
                                      SAS 128
                                      SAS 256
                                            A 1
                                            A 2
                                            A 4
                                            A 8




                                    SATA 128
                                    SATA 256
                                            E 1
                                            E 2
                                            E 4
                                            E 8
                                         IDE 16
                                         IDE 32
                                         IDE 64
                                       IDE 128
                                       IDE 256
                                            e 1
                                            e 2
                                            e 4
                                            e 8




                                            D 1
                                            D 2
                                            D 3
                                            D 8




                                            S 1
                                            S 2
                                            S 4
                                            S 8




                                      SATA 16
                                      SATA 32
                                      SATA 64
                                        SATA
                                        SATA
                                        SATA
                                        SATA
                                          SSD
                                          SSD
                                          SSD
                                          SSD




                                          SAS
                                          SAS
                                          SAS
                                          SAS




                                          IDE
                                          IDE
                                          IDE
                                          IDE
                                     ioDrive
                                     ioDrive
                                     ioDrive
                                     ioDrive
DBT‐2 (MySQL Response Time Benchmarking)
                      16.000 
                                                                                                                                         14.9 
                                                                                                                                     14.5 
                                                                                                                                                 14.2  14.1 
                                                                                                                                             14.2 
                                                                                 13.7                                                                13.9  14.0 
                      14.000                                                                                                                                   13.3 
                                                                                                                                                                   12.6 
                                                                                                                                                                   12 6
                      12.000 



                      10.000                                                         9.5 
                                                                                                                    9.1 
      se time [sec]




                                                                                            8.0                            8.1 
                       8.000                                                                       7.5  7.5  7.8                  7.7 
respons




                                6.6                                                                                                                                        Total

                       6.000 



                       4.000           3.4                               3.2  3.2 
                                              2.1  1.9  2.0  2.1  2.2 
                       2.000 



                       0.000 
Transaction [co
                                                                     ount]




                                                                                                          200000




                  0 
                       50000 
                                                        100000 
                                                                                                150000 
                                                                                                          200000 
                                                                                                                    250000 
    ioDr rive 1
    ioDr rive 2
    ioDr rive 4
    ioDr rive 8
  ioDrive 16
  ioDrive 32
  ioDrive 64
ioDrive  e 128
ioDrive  e 256
         S
         SSD 1
         S
         SSD 2
         S
         SSD 3
         S
         SSD 8
       SSSD 16
       SSSD 32
       SSSD 64
     SSD D 128
     SSD D 256
         S
         SAS 1
         S
         SAS 2
         S
         SAS 4
         S
         SAS 8
       SAAS 16
       SAAS 32
       SAAS 64
     SAS 128
     SAS 256
       SAATA 1
       SAATA 2
       SAATA 4
       SAATA 8
     SAT TA 16
     SAT TA 32
     SAT TA 64
                                                                                                                                                                       2 1 DBT 2 OLTP
                                                                                                                                                                       2‐1. DBT‐2 OLTP




   SATA  A 128
                                                                                                                              DBT‐2 (MySQL Transaction Benchmarking)




   SATA  A 256
          IDE 1
          IDE 2
          IDE 4
          IDE 8
        ID
         DE 16
        ID
         DE 32
        ID
         DE 64
      IDE 128
      IDE 256
                                Delivery
                                                                        Payment


                                           New Order
                                           New Order
                                                                                  Stock Level


                                                         Order Status
2‐2. Sysbench
               2 2 Sysbench OLTP
     • Sysbench Transaction
12000000



10000000



8000000



                                   other
6000000
                                   write
                                   read
4000000                            threads



2000000



      0
Fusion‐io ioDrive Summary
   Fusion io “ioDrive” Summary
                   ) は ランダム / に強い
• Fusion‐io(ioDrive) は、ランダムI/Oに強い
           (
  – シーケンシャル Read は圧倒的!!
  – Write は SAS 並。SSD より速い。   圧倒的ではないか、
                              Fusion‐ioは!!




• M SQL のトランザクション 同時接続数が増えて
  MySQL のトランザクション・同時接続数が増えて
  も、安定したスループット

• NFSサーバとしても、いけまっせ。
Fusion io 正直どうよ?
      Fusion‐io
                        ええいっ、Fusion‐ioは化け物かっ
                        ええいっ Fusion ioは化け物かっ
• 速
  速いっす(;´Д`)
     す ´
  – CPU の iowait がスカスカ。
                   カ カ。
  – サーバの処理能力を持て余す。


• 高いっす(;;´Д`)  IYH 無理
  – ただし、数台以上のサーバを用意するなら
    トータルでは安いですよ
Thank you for listening!
                 Thank you for listening!
• ベンチマ ク初心者です
  ベンチマーク初心者です。。
     – もっとこんなデータ取れないの?とか、ご意見募集!!

• 僕と契約して Fusion‐io を使ってよ!!  ←
     – http://bit.ly/lbvg4u
          http://www.at‐link.ad.jp/appli_platform/



•   Contact Information of Zembutsu Masahito
     – Twitter
         • @zembutsu
     – Facebook
         • http://facebook.com/zembutsu/
                                                     ありがとう
     – Website
         • http://pocketstudio.jp/
     – Email 
         • zembutsu@link.co.jp お仕事
                            jp
                                                     ございました!
           zem@pocketstudio.jp その他
Resources
• Fusion‐io
  – http://www.fusion‐io.com/
       p //                 /


• D
  Document Library
         t Lib
  – http://community.fusionio.com/media/

Más contenido relacionado

La actualidad más candente

OSC2012Kansai@Kyoto 自宅SAN友の会 - インフラエンジニアなら知っておきたい ストレージのはなし
OSC2012Kansai@Kyoto 自宅SAN友の会 - インフラエンジニアなら知っておきたい ストレージのはなしOSC2012Kansai@Kyoto 自宅SAN友の会 - インフラエンジニアなら知っておきたい ストレージのはなし
OSC2012Kansai@Kyoto 自宅SAN友の会 - インフラエンジニアなら知っておきたい ストレージのはなし
Satoshi Shimazaki
 
S02 企業で活用が進む Microsoft Azureの仮想マシン (Linux)
S02 企業で活用が進む Microsoft Azureの仮想マシン (Linux)S02 企業で活用が進む Microsoft Azureの仮想マシン (Linux)
S02 企業で活用が進む Microsoft Azureの仮想マシン (Linux)
Microsoft Azure Japan
 
Microsoft power point ai fss 製品概要-4-4 [互換モード]
Microsoft power point   ai fss 製品概要-4-4 [互換モード]Microsoft power point   ai fss 製品概要-4-4 [互換モード]
Microsoft power point ai fss 製品概要-4-4 [互換モード]
龍雄 炭田
 
Ai fss 製品概要 4-4
Ai fss 製品概要 4-4Ai fss 製品概要 4-4
Ai fss 製品概要 4-4
龍雄 炭田
 
インフラエンジニアなら知っておきたいストレージのはなし2012/Spring ストレージの基礎おさらい編
インフラエンジニアなら知っておきたいストレージのはなし2012/Spring ストレージの基礎おさらい編インフラエンジニアなら知っておきたいストレージのはなし2012/Spring ストレージの基礎おさらい編
インフラエンジニアなら知っておきたいストレージのはなし2012/Spring ストレージの基礎おさらい編
Satoshi Shimazaki
 

La actualidad más candente (20)

使ってみた!ioMemoryで実現する噂のAtomic write!
使ってみた!ioMemoryで実現する噂のAtomic write!使ってみた!ioMemoryで実現する噂のAtomic write!
使ってみた!ioMemoryで実現する噂のAtomic write!
 
Riak事始め&デモ
Riak事始め&デモRiak事始め&デモ
Riak事始め&デモ
 
[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...
[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...
[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...
 
【第二回 ゼロからはじめる Oracle Solaris 11】01 できることは人工知能なみ!? ~すべてを自動化できる AI とは?~
【第二回 ゼロからはじめる Oracle Solaris 11】01 できることは人工知能なみ!? ~すべてを自動化できる AI とは?~【第二回 ゼロからはじめる Oracle Solaris 11】01 できることは人工知能なみ!? ~すべてを自動化できる AI とは?~
【第二回 ゼロからはじめる Oracle Solaris 11】01 できることは人工知能なみ!? ~すべてを自動化できる AI とは?~
 
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
 
[db tech showcase Tokyo 2016] D32: SPARCサーバ + Pure Storage DB仮想化のすべらない話 〜 Exa...
[db tech showcase Tokyo 2016] D32: SPARCサーバ + Pure Storage DB仮想化のすべらない話 〜 Exa...[db tech showcase Tokyo 2016] D32: SPARCサーバ + Pure Storage DB仮想化のすべらない話 〜 Exa...
[db tech showcase Tokyo 2016] D32: SPARCサーバ + Pure Storage DB仮想化のすべらない話 〜 Exa...
 
201711 vxrailチャンピオンクラブ_ワークショップ~入門編~テキスト
201711 vxrailチャンピオンクラブ_ワークショップ~入門編~テキスト201711 vxrailチャンピオンクラブ_ワークショップ~入門編~テキスト
201711 vxrailチャンピオンクラブ_ワークショップ~入門編~テキスト
 
[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...
[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...
[db tech showcase Sapporo 2015] B14:データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第二章 b...
 
OSC2012Kansai@Kyoto 自宅SAN友の会 - インフラエンジニアなら知っておきたい ストレージのはなし
OSC2012Kansai@Kyoto 自宅SAN友の会 - インフラエンジニアなら知っておきたい ストレージのはなしOSC2012Kansai@Kyoto 自宅SAN友の会 - インフラエンジニアなら知っておきたい ストレージのはなし
OSC2012Kansai@Kyoto 自宅SAN友の会 - インフラエンジニアなら知っておきたい ストレージのはなし
 
S02 企業で活用が進む Microsoft Azureの仮想マシン (Linux)
S02 企業で活用が進む Microsoft Azureの仮想マシン (Linux)S02 企業で活用が進む Microsoft Azureの仮想マシン (Linux)
S02 企業で活用が進む Microsoft Azureの仮想マシン (Linux)
 
20171012_VxRailチャンピオンクラブKickOffセミナー_BootUp!ハイパーコンバージド!
20171012_VxRailチャンピオンクラブKickOffセミナー_BootUp!ハイパーコンバージド!20171012_VxRailチャンピオンクラブKickOffセミナー_BootUp!ハイパーコンバージド!
20171012_VxRailチャンピオンクラブKickOffセミナー_BootUp!ハイパーコンバージド!
 
20130203 OSS-DB Exam Silver 技術解説無料セミナー
20130203 OSS-DB Exam Silver 技術解説無料セミナー20130203 OSS-DB Exam Silver 技術解説無料セミナー
20130203 OSS-DB Exam Silver 技術解説無料セミナー
 
【MySQL編】サーバ環境が進化する今話題のPCIe SSDを評価してみた
【MySQL編】サーバ環境が進化する今話題のPCIe SSDを評価してみた【MySQL編】サーバ環境が進化する今話題のPCIe SSDを評価してみた
【MySQL編】サーバ環境が進化する今話題のPCIe SSDを評価してみた
 
[db tech showcase Tokyo 2015] A32:Amazon Redshift Deep Dive by アマゾン データ サービス ...
[db tech showcase Tokyo 2015] A32:Amazon Redshift Deep Dive by アマゾン データ サービス ...[db tech showcase Tokyo 2015] A32:Amazon Redshift Deep Dive by アマゾン データ サービス ...
[db tech showcase Tokyo 2015] A32:Amazon Redshift Deep Dive by アマゾン データ サービス ...
 
【Oracle ORION編】サーバ環境が進化する今話題のPCIe SSDを評価してみた
【Oracle ORION編】サーバ環境が進化する今話題のPCIe SSDを評価してみた【Oracle ORION編】サーバ環境が進化する今話題のPCIe SSDを評価してみた
【Oracle ORION編】サーバ環境が進化する今話題のPCIe SSDを評価してみた
 
Microsoft power point ai fss 製品概要-4-4 [互換モード]
Microsoft power point   ai fss 製品概要-4-4 [互換モード]Microsoft power point   ai fss 製品概要-4-4 [互換モード]
Microsoft power point ai fss 製品概要-4-4 [互換モード]
 
Ai fss 製品概要 4-4
Ai fss 製品概要 4-4Ai fss 製品概要 4-4
Ai fss 製品概要 4-4
 
インフラエンジニアなら知っておきたいストレージのはなし2012/Spring ストレージの基礎おさらい編
インフラエンジニアなら知っておきたいストレージのはなし2012/Spring ストレージの基礎おさらい編インフラエンジニアなら知っておきたいストレージのはなし2012/Spring ストレージの基礎おさらい編
インフラエンジニアなら知っておきたいストレージのはなし2012/Spring ストレージの基礎おさらい編
 
【IOPS編】サーバ環境が進化する今話題のPCIe SSDを評価してみた
【IOPS編】サーバ環境が進化する今話題のPCIe SSDを評価してみた【IOPS編】サーバ環境が進化する今話題のPCIe SSDを評価してみた
【IOPS編】サーバ環境が進化する今話題のPCIe SSDを評価してみた
 
Dsas周りのお話
Dsas周りのお話Dsas周りのお話
Dsas周りのお話
 

Similar a Fusion-io(ioDrive) benchmarking #sfstudy 01 LT

[INSIGHT OUT 2011] B32 open hardwareの夜明け pci express 3・infiniband fdrの登場(yama...
[INSIGHT OUT 2011] B32 open hardwareの夜明け pci express 3・infiniband fdrの登場(yama...[INSIGHT OUT 2011] B32 open hardwareの夜明け pci express 3・infiniband fdrの登場(yama...
[INSIGHT OUT 2011] B32 open hardwareの夜明け pci express 3・infiniband fdrの登場(yama...
Insight Technology, Inc.
 
Ai lms 製品概要 4-2
Ai lms 製品概要 4-2Ai lms 製品概要 4-2
Ai lms 製品概要 4-2
龍雄 炭田
 
Microsoft power point ai lms 製品概要-4-2
Microsoft power point   ai lms 製品概要-4-2Microsoft power point   ai lms 製品概要-4-2
Microsoft power point ai lms 製品概要-4-2
龍雄 炭田
 
Web Operations and Perl kansai.pm#14
Web Operations and Perl kansai.pm#14Web Operations and Perl kansai.pm#14
Web Operations and Perl kansai.pm#14
Masahiro Nagano
 
[INSIGHT OUT 2011] c14 openハードウェアの夜明け前(ssd infiniband検証)
[INSIGHT OUT 2011] c14 openハードウェアの夜明け前(ssd infiniband検証)[INSIGHT OUT 2011] c14 openハードウェアの夜明け前(ssd infiniband検証)
[INSIGHT OUT 2011] c14 openハードウェアの夜明け前(ssd infiniband検証)
Insight Technology, Inc.
 

Similar a Fusion-io(ioDrive) benchmarking #sfstudy 01 LT (20)

Osc 20130223
Osc 20130223Osc 20130223
Osc 20130223
 
Crooz meet fusion io3 open
Crooz meet fusion io3 openCrooz meet fusion io3 open
Crooz meet fusion io3 open
 
An Intelligent Storage?
An Intelligent Storage?An Intelligent Storage?
An Intelligent Storage?
 
[INSIGHT OUT 2011] B32 open hardwareの夜明け pci express 3・infiniband fdrの登場(yama...
[INSIGHT OUT 2011] B32 open hardwareの夜明け pci express 3・infiniband fdrの登場(yama...[INSIGHT OUT 2011] B32 open hardwareの夜明け pci express 3・infiniband fdrの登場(yama...
[INSIGHT OUT 2011] B32 open hardwareの夜明け pci express 3・infiniband fdrの登場(yama...
 
ヤフーを支えるフラッシュストレージ
ヤフーを支えるフラッシュストレージヤフーを支えるフラッシュストレージ
ヤフーを支えるフラッシュストレージ
 
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...
[db tech showcase Tokyo 2015] D13:PCIeフラッシュで、高可用性高性能データベースシステム?! by 株式会社HGSTジ...
 
Azure Stack 受け入れ準備_20180630
Azure Stack 受け入れ準備_20180630Azure Stack 受け入れ準備_20180630
Azure Stack 受け入れ準備_20180630
 
Windows Server 2016 で作るシンプルなハイパーコンバージドインフラ (Microsoft TechSummit 2016)
Windows Server 2016 で作るシンプルなハイパーコンバージドインフラ (Microsoft TechSummit 2016)Windows Server 2016 で作るシンプルなハイパーコンバージドインフラ (Microsoft TechSummit 2016)
Windows Server 2016 で作るシンプルなハイパーコンバージドインフラ (Microsoft TechSummit 2016)
 
20140315 jawsdays i2 instance io performance
20140315 jawsdays i2 instance io performance20140315 jawsdays i2 instance io performance
20140315 jawsdays i2 instance io performance
 
MariaDB 10.3 概要
MariaDB 10.3 概要 MariaDB 10.3 概要
MariaDB 10.3 概要
 
Cld002 windows server_2016_で作るシンプ
Cld002 windows server_2016_で作るシンプCld002 windows server_2016_で作るシンプ
Cld002 windows server_2016_で作るシンプ
 
Ai lms 製品概要 4-2
Ai lms 製品概要 4-2Ai lms 製品概要 4-2
Ai lms 製品概要 4-2
 
Microsoft power point ai lms 製品概要-4-2
Microsoft power point   ai lms 製品概要-4-2Microsoft power point   ai lms 製品概要-4-2
Microsoft power point ai lms 製品概要-4-2
 
Db2をAWS上に構築する際のヒント&TIPS 2020年6月版
Db2をAWS上に構築する際のヒント&TIPS 2020年6月版Db2をAWS上に構築する際のヒント&TIPS 2020年6月版
Db2をAWS上に構築する際のヒント&TIPS 2020年6月版
 
[db tech showcase Tokyo 2016] B22: 超高速NoSQLデータベースと超高速SSDの融合 by Aerospike Inc....
[db tech showcase Tokyo 2016] B22: 超高速NoSQLデータベースと超高速SSDの融合 by Aerospike Inc....[db tech showcase Tokyo 2016] B22: 超高速NoSQLデータベースと超高速SSDの融合 by Aerospike Inc....
[db tech showcase Tokyo 2016] B22: 超高速NoSQLデータベースと超高速SSDの融合 by Aerospike Inc....
 
Web Operations and Perl kansai.pm#14
Web Operations and Perl kansai.pm#14Web Operations and Perl kansai.pm#14
Web Operations and Perl kansai.pm#14
 
[INSIGHT OUT 2011] c14 openハードウェアの夜明け前(ssd infiniband検証)
[INSIGHT OUT 2011] c14 openハードウェアの夜明け前(ssd infiniband検証)[INSIGHT OUT 2011] c14 openハードウェアの夜明け前(ssd infiniband検証)
[INSIGHT OUT 2011] c14 openハードウェアの夜明け前(ssd infiniband検証)
 
GPUアクセラレータと不揮発性メモリを考慮したI/O性能の予備評価
GPUアクセラレータと不揮発性メモリを考慮したI/O性能の予備評価GPUアクセラレータと不揮発性メモリを考慮したI/O性能の予備評価
GPUアクセラレータと不揮発性メモリを考慮したI/O性能の予備評価
 
[db tech showcase Tokyo 2014] B13: PCIe SSDを用いたMySQL 5.6と5.7 のパフォーマンス対決!~MySQ...
[db tech showcase Tokyo 2014] B13: PCIe SSDを用いたMySQL 5.6と5.7 のパフォーマンス対決!~MySQ...[db tech showcase Tokyo 2014] B13: PCIe SSDを用いたMySQL 5.6と5.7 のパフォーマンス対決!~MySQ...
[db tech showcase Tokyo 2014] B13: PCIe SSDを用いたMySQL 5.6と5.7 のパフォーマンス対決!~MySQ...
 
Riak / Riak-CS(Enterprise版) ベンチマークしました
 Riak / Riak-CS(Enterprise版) ベンチマークしました Riak / Riak-CS(Enterprise版) ベンチマークしました
Riak / Riak-CS(Enterprise版) ベンチマークしました
 

Más de Masahito Zembutsu

Más de Masahito Zembutsu (20)

忙しい人のための Rocky Linux 入門〜Rocky LinuxはCentOSの後継者たり得るか?〜
忙しい人のための Rocky Linux 入門〜Rocky LinuxはCentOSの後継者たり得るか?〜忙しい人のための Rocky Linux 入門〜Rocky LinuxはCentOSの後継者たり得るか?〜
忙しい人のための Rocky Linux 入門〜Rocky LinuxはCentOSの後継者たり得るか?〜
 
自由検証環境提供宣言+Docker Compose V2 GA
自由検証環境提供宣言+Docker Compose V2 GA自由検証環境提供宣言+Docker Compose V2 GA
自由検証環境提供宣言+Docker Compose V2 GA
 
CentOS Linux 8 の EOL と対応策の検討
CentOS Linux 8 の EOL と対応策の検討CentOS Linux 8 の EOL と対応策の検討
CentOS Linux 8 の EOL と対応策の検討
 
さくらインターネットのコミュニティ with COVID-19
さくらインターネットのコミュニティ with COVID-19さくらインターネットのコミュニティ with COVID-19
さくらインターネットのコミュニティ with COVID-19
 
Docker Chronicle 2021.09
Docker Chronicle  2021.09Docker Chronicle  2021.09
Docker Chronicle 2021.09
 
ブックトーク@CROSS ~SF編~ 発表資料「攻殻機動隊」「導きの星」
ブックトーク@CROSS ~SF編~ 発表資料「攻殻機動隊」「導きの星」ブックトーク@CROSS ~SF編~ 発表資料「攻殻機動隊」「導きの星」
ブックトーク@CROSS ~SF編~ 発表資料「攻殻機動隊」「導きの星」
 
インターネットでウェブサイトを表示している裏側の話
インターネットでウェブサイトを表示している裏側の話インターネットでウェブサイトを表示している裏側の話
インターネットでウェブサイトを表示している裏側の話
 
3分で分かる「プログラミング教育・情報教育」
3分で分かる「プログラミング教育・情報教育」3分で分かる「プログラミング教育・情報教育」
3分で分かる「プログラミング教育・情報教育」
 
ようこそオンラインの展示会場へ
ようこそオンラインの展示会場へようこそオンラインの展示会場へ
ようこそオンラインの展示会場へ
 
小学校プログラミング教育に対する企業の取り組みと課題 #KOF2020
小学校プログラミング教育に対する企業の取り組みと課題 #KOF2020小学校プログラミング教育に対する企業の取り組みと課題 #KOF2020
小学校プログラミング教育に対する企業の取り組みと課題 #KOF2020
 
オンライン発表で気を付けているポイント~姿勢編
オンライン発表で気を付けているポイント~姿勢編オンライン発表で気を付けているポイント~姿勢編
オンライン発表で気を付けているポイント~姿勢編
 
Docker道場オンライン#1 Docker基礎概念と用語の理解
Docker道場オンライン#1 Docker基礎概念と用語の理解Docker道場オンライン#1 Docker基礎概念と用語の理解
Docker道場オンライン#1 Docker基礎概念と用語の理解
 
Jitsi Meetとは?
Jitsi Meetとは?Jitsi Meetとは?
Jitsi Meetとは?
 
Docker 9 tips~意外と知られていない日常で役立つ便利技
Docker 9 tips~意外と知られていない日常で役立つ便利技Docker 9 tips~意外と知られていない日常で役立つ便利技
Docker 9 tips~意外と知られていない日常で役立つ便利技
 
コンテナの作り方「Dockerは裏方で何をしているのか?」
コンテナの作り方「Dockerは裏方で何をしているのか?」コンテナの作り方「Dockerは裏方で何をしているのか?」
コンテナの作り方「Dockerは裏方で何をしているのか?」
 
クリスマスに工場(Factorio)を作るゲームをしよう
クリスマスに工場(Factorio)を作るゲームをしようクリスマスに工場(Factorio)を作るゲームをしよう
クリスマスに工場(Factorio)を作るゲームをしよう
 
Dockerfileを改善するためのBest Practice 2019年版
Dockerfileを改善するためのBest Practice 2019年版Dockerfileを改善するためのBest Practice 2019年版
Dockerfileを改善するためのBest Practice 2019年版
 
Dockerfile を書くためのベストプラクティス解説編
Dockerfile を書くためのベストプラクティス解説編Dockerfile を書くためのベストプラクティス解説編
Dockerfile を書くためのベストプラクティス解説編
 
2020年から始まる小学校プログラミング教育の話 #osc19os
2020年から始まる小学校プログラミング教育の話 #osc19os2020年から始まる小学校プログラミング教育の話 #osc19os
2020年から始まる小学校プログラミング教育の話 #osc19os
 
Docker Compose 徹底解説
Docker Compose 徹底解説Docker Compose 徹底解説
Docker Compose 徹底解説
 

Último

Último (11)

Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
 
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
 
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイスLoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
 
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
 
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
 
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
 
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
 
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半        2024/04/26の勉強会で発表されたものです。新人研修 後半        2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
 
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
 
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
 

Fusion-io(ioDrive) benchmarking #sfstudy 01 LT

  • 1. Fusion io (ioDrive) の Fusion‐io (ioDrive) の ベンチマークをとってみた チ クを み @zembutsu ストレージ友の会 #sfstudy 01 LT Jun 11, 2011
  • 2. About me About me • @zembutsu 前佛雅 前佛雅人 クラウドは人生(キリッ – 活動:クラウド界隈に出没 活動 クラウ 界隈 出没 • Open Cloud Campus, JEUG(Eucalyptus ユーザ会) • JAWS‐UG、 おぷ☆すた(OpenStack), くら☆すた JAWS UG、 おぷ☆すた(OpenStack),  くら☆すた (CloudStack) 等のユーザ会で活動中 – 執筆: • G‐CLOUD Magazine  2010年8月6日 発売 年 月 1章~3章 AWS入門記事
  • 3. Why I am here Why I am here • @ @zembutsu b – 仕事:インフラエンジニア的な何か • 株式会社リンク twitter: @LINK_PR ディベロッパーサポート エンジニア • http://www at‐link ad jp/ at+link 専用サーバサービス http://www.at‐link.ad.jp/ 専用サ バサ ビス • とあるソーシャルアプリ特化型ホスティング 「at+linkアプリプラットフォーム」の企画・開発・運用・保守・営業 • HaaS (Human As A Service ) を実現。 – 90分で物理サーバ提供 – FusionIO搭載マシンも初期0円 IYH!! – 回線・ラック・ファイアウォール・ロードバランサ込み込み – memcached 互換 KVS(okuyama) のキャッシュサーバ提供
  • 4. それはさておき、Agenda それはさておき Agenda • 導 経緯 1. 導入経緯 • 2. I/O性能 2 I/O性能 • 3. MySQL OLTP • 4. まとめ PCI スロ トに刺さる i D i SLC 160GB PCI スロットに刺さる ioDrive SLC 160GB
  • 5. Fusion io (ioDrive) を使うきっかけ Fusion‐io (ioDrive) を使うきっかけ 年 月 • 2010年5月 – とあるお客様の専用サーバ&仮想化(VirtualIron) システム。データ同期のため NFS を使用 デ タ 期 た を使 – LoadAverageが高くなり、サービスに支障 – ディスクI/Oがボトルネック • 2010年6月 – HP社の「PCIe IO Accelerator」を導入(FusionIO) – NFS サーバに FusionIO を使用 ボトルネック解消 NFS サーバに を使用、ボトルネック解消 • お客様大満足、僕らもアラートが減る HAPPY!!
  • 6. 気がついたら PCI Express 版が!! PCI‐Express 版が!! 社 も ブ ド バが必 • HP社のものはブレード・サーバが必要 – 場所、電力、コスト。。 場所、電力、 。。 • PCI‐Express なら 1U サーバにのるんじゃね? • デ ディスク I/O を解決するためのソリューション ク / を解決するための リ シ としては、こまわりがきく。丁度、データベース やファイルI/Oの問題が… ↓ 2010年11月 サービス・リリース
  • 7. FusionIO(ioDrive)の性能公称値 • ※出典:ioDrive Data Sheet (2011/01/06) Data Sheet (2011/01/06) http://community.fusionio.com/media/p/853.aspx • 確かに速いけど、 本当かな?かな?
  • 8. で、色々データをとってみました。 で 色々データをとってみました 鯖缶的な視点 • Linux鯖缶的な視点で… • 1 ディスク I/O 1. ディスク – シーケンシャル Read ( hdparm ) – シ ケンシ ル Write ( dd ) シーケンシャル i ( dd – ランダム Read/Write ( dbench ) • 2. MySQL 処理性能 (OLTP) – DBT 2 DBT‐2 – SysBench (oltp mode) 見せて貰おう! Fusion‐io とやらの性能を!!!
  • 9. ちなみに、こんな環境 ちなみに こんな環境 • マシン – IBM x3550M3 (1U) • CPU : E5530 2.40GHz CPU : E5530 2 40GHz • Memory: 24GB • HDD: 146GB x 2 (RAID 1)  • ioDrive 160GB (SLC) – ext3 format • OS – Red Hat Enteprise Linux 5.4 • MySQL – 5.0.77‐ 4.el5_5.4
  • 10. 比較対象 • Fusion‐io “ioDrive” 160GB SLC • Intel X25 SSD Intel X25 SSD 64GB • SAS (15,000 rpm) • SATA (7,200 rpm) • IDE (5,600 rpm) IDE (5 600 rpm) 流行の総選挙とかありますけど、 デバイス総選挙とかやりたかったなぁ… デバイス総選挙とかやりたか たなぁ
  • 11. 1 1 Sequential Read 1‐1. Sequential read 平均 [MB/sec] 600.00  500.00  400.00  300.00  200.00  100.00  0.00  IDE (5,400rpm) SATA (7,200rpm) SAS (15,000rpm) SAS  SSD (X25‐E Extreme  ioDrive ( , p ) RAID1(15,000rpm) ) SATA SSD)  – hdparm –t <device> で測定、30回平均
  • 12. 1‐2. Sequential 1 2 Sequential write write [MB/sec] 1400 1200 1000 800 IDE (5,400rpm) IDE (5 400rpm) SATA (7,200rpm) SAS (15,000rpm) 600 SAS RAID1 ioDrive 400 200 0 4k 16k 64k 256k 1024k 4096k 16384k 65536k • “dd” でファイル作成 時間を計測
  • 13. 1‐3. Randam 1 3 Randam read/write dbench (NFS) througput 1400 1200 1000 800 SSD MB/Sec ioDrive 600 SAS(RAID1) SATA SA A 400 200 0 1 16 32 64 128 • dbench (http://dbench.samba.org/) 
  • 14. FusionIO Disk I/O Disk I/O • Sequential read – ioDrive が圧倒的に速い 約500MB/sec 圧倒的 速 約 / • SAS の 3 ~ 4 倍 • SSD の 2 倍 SSD の 2 倍 • Sequential write と同程度の書き込み性能 – SAS RAID と同程度の書き込み性能 • Random read/write / – 並行処理が増えても、スループットが安定
  • 15. 2‐1. DBT‐2 OLTP 2 1 DBT 2 OLTP DBT‐2 (MySQL Response Time Benchmarking) 250.000  235.8  225.7  223.2  215.0  214.9  212.8  205.3 206.5  201.8  200.000  180.1  151.6  [sec] 150.000  138.6  response time [ 128.2  122.0 123.6  108.2  109.3  104.5  100.000  Total 50.000  13.7  14.5  14.9  14.2  14.2  13.9  14.1  14.0  13.3  12.6  9.5  8.0  7.8  9.1  8.1  7.7  6.6  7.5  7.5  3.4  2.1  1.9  2.0  2.1  2.2  3.2  3.2  0.000  ioDrive 16 ioDrive 32 ioDrive 64 ioDrive 128 ioDrive 256 SSD 16 SSD 32 SSD 64 SSD 128 SSD 256 SAS 16 SAS 32 SAS 64 SAS 128 SAS 256 A 1 A 2 A 4 A 8 SATA 128 SATA 256 E 1 E 2 E 4 E 8 IDE 16 IDE 32 IDE 64 IDE 128 IDE 256 e 1 e 2 e 4 e 8 D 1 D 2 D 3 D 8 S 1 S 2 S 4 S 8 SATA 16 SATA 32 SATA 64 SATA SATA SATA SATA SSD SSD SSD SSD SAS SAS SAS SAS IDE IDE IDE IDE ioDrive ioDrive ioDrive ioDrive
  • 16. DBT‐2 (MySQL Response Time Benchmarking) 16.000  14.9  14.5  14.2  14.1  14.2  13.7  13.9  14.0  14.000  13.3  12.6  12 6 12.000  10.000  9.5  9.1  se time [sec] 8.0  8.1  8.000  7.5  7.5  7.8  7.7  respons 6.6  Total 6.000  4.000  3.4  3.2  3.2  2.1  1.9  2.0  2.1  2.2  2.000  0.000 
  • 17. Transaction [co ount] 200000 0  50000  100000  150000  200000  250000  ioDr rive 1 ioDr rive 2 ioDr rive 4 ioDr rive 8 ioDrive 16 ioDrive 32 ioDrive 64 ioDrive e 128 ioDrive e 256 S SSD 1 S SSD 2 S SSD 3 S SSD 8 SSSD 16 SSSD 32 SSSD 64 SSD D 128 SSD D 256 S SAS 1 S SAS 2 S SAS 4 S SAS 8 SAAS 16 SAAS 32 SAAS 64 SAS 128 SAS 256 SAATA 1 SAATA 2 SAATA 4 SAATA 8 SAT TA 16 SAT TA 32 SAT TA 64 2 1 DBT 2 OLTP 2‐1. DBT‐2 OLTP SATA A 128 DBT‐2 (MySQL Transaction Benchmarking) SATA A 256 IDE 1 IDE 2 IDE 4 IDE 8 ID DE 16 ID DE 32 ID DE 64 IDE 128 IDE 256 Delivery Payment New Order New Order Stock Level Order Status
  • 18. 2‐2. Sysbench 2 2 Sysbench OLTP • Sysbench Transaction 12000000 10000000 8000000 other 6000000 write read 4000000 threads 2000000 0
  • 19. Fusion‐io ioDrive Summary Fusion io “ioDrive” Summary ) は ランダム / に強い • Fusion‐io(ioDrive) は、ランダムI/Oに強い ( – シーケンシャル Read は圧倒的!! – Write は SAS 並。SSD より速い。 圧倒的ではないか、 Fusion‐ioは!! • M SQL のトランザクション 同時接続数が増えて MySQL のトランザクション・同時接続数が増えて も、安定したスループット • NFSサーバとしても、いけまっせ。
  • 20. Fusion io 正直どうよ? Fusion‐io ええいっ、Fusion‐ioは化け物かっ ええいっ Fusion ioは化け物かっ • 速 速いっす(;´Д`) す ´ – CPU の iowait がスカスカ。 カ カ。 – サーバの処理能力を持て余す。 • 高いっす(;;´Д`)  IYH 無理 – ただし、数台以上のサーバを用意するなら トータルでは安いですよ
  • 21. Thank you for listening! Thank you for listening! • ベンチマ ク初心者です ベンチマーク初心者です。。 – もっとこんなデータ取れないの?とか、ご意見募集!! • 僕と契約して Fusion‐io を使ってよ!!  ← – http://bit.ly/lbvg4u http://www.at‐link.ad.jp/appli_platform/ • Contact Information of Zembutsu Masahito – Twitter • @zembutsu – Facebook • http://facebook.com/zembutsu/ ありがとう – Website • http://pocketstudio.jp/ – Email  • zembutsu@link.co.jp お仕事 jp ございました! zem@pocketstudio.jp その他
  • 22. Resources • Fusion‐io – http://www.fusion‐io.com/ p // / • D Document Library t Lib – http://community.fusionio.com/media/