クラウドを掴むような話
Amazon EC2, S3, Xen, Hadoop
とか

目次
最近の話題
Amazon Web Services
Amazon Elastic Compute Cloud
Amazon Simple Storage Service
Xen
Hadoop
ほとんどリンク集です

最近の話題

http://www.kddi.com/corporate/news_release/2009/0324/index.html
2009/6/5からKDDIもサービス開始

Amazon Web Services
沢山種類がある

Amazon web services (1/2)
Infrastructure Services
Amazon Elastic Compute Cloud (Amazon EC2)
Amazon SimpleDB
Amazon Simple Storage Service(Amazon S3)
Amazon CloudFront
Amazon Simple Queue Service(Amazon SQS)
AWS Premium Support
Payments & Billing Services
Amazon Flexible Payments Sercie(Amazon FPS)
Amazon DevPay
On-Demand Workforce
Amazon Mechanical Turk

Amzaon web services (2/2)
Web search & Information Service
Alexa Web Search
Alexa Web Information Service
Alexa Top Sites
Alexa Site Thumbnail
http://aws.amazon.com/products/
Amazon Web Services LLCが提供するサービス

Elastic Compute Cloud
クラウドコンピューティング

Amazon Elastic Computer Cloud(EC2)
ネイティブに近いサーバ環境を提供するサービス
xenベースのディスクイメージ（AMI）
ユーザがOSを自由に選択することができる
SLA提供
Annual Uptime Percentage of at least 99.95% during the
Service Year.
http://aws.amazon.com/ec2-sla/
Windowsサーバ，ms sql serverサポート（βサービス）
Amamzon Elastic Block Store for Amazon EC2
（βサービス）
データを永続化
データベースとしての利用が一般的

99.95%の信頼性ってどれぐらい？
年：4.38時間，停止可
99.95%
2重障害だとアウト
年：26.28分，停止可
99.995%
年：2.628分，停止可
99.9995%
年：15.768秒，停止可
99.99995% キャリアグレード

EC2 Instance Type
Standard Instances
Small Instance (default)
Large Instance
Extra Large Instance
High-CPU Instances
High-CPU Medium Instance
High-CPU Extra Large Instance
http://aws.amazon.com/ec2/instance-types/

Standard Instances (1/2)
Small Instance Large Instance
1.7GB mem 7.5GB mem
1 EC2 Compute Unit 4 EC2 Compute Units
1 virtual core 2 virtual cores x 2
10+150GB storage 2x420+10GB storage
32bit platform 64bit platform
$0.10/h $0.40/h
$0.125/h (windows) $0.50/h(windows)

Standards Instances (2/2)
Extra Large Instance
15GB mem
8 EC2 Compute Units
4 virtual cores x 2
4x420+10GB storage
64bit platform
$0.80/h
$1.00/h (windows)

High-CPU Instances
High-CPU Medium Instance High-CPU Extra Large
1.7GB mem Instance
5 EC2 Compute Unites 7GB mem
2 virtual cores x 2.5 20 EC2 Compute Unites
350GB storage 8 virtural cores x 2.5
32bit platform 1690GB storage
$0.20/h $0.80/h
$0.30/h(windows) $1.20/h(windows)

トラフィックも課金対象

http://calculator.s3.amazonaws.com/calc5.html
詳細な料金はこちらで把握

申込方法
面倒なのでここでは説明しません
日本語での説明は以下が秀逸です
ってか，元々そこを読んでもらえばいいんだけど
http://d.hatena.ne.jp/rx7/20080528/p1

制御方法
提供されたjavaベースのCUIで制御
ブラウザのアドオンで制御
AWSが提供するwebサービスで制御
サードパーティのwebサービスで制御

http://docs.amazonwebservices.
com/AWSEC2/latest/DeveloperGuide/
提供されたコマンドラインツール

Elasticfox
ブラウザ addon EC2用

http://console.aws.amazon.com
AWSが提供するwebサービス

サードパーティのwebサービス利用

Amazon
Simple Storage Service

Amazon Simple Storage Service
1Bから5GBまでのデータの固まりを読み書き消去
保存できるデータ群は無制限
米国と欧州に保存可能
Amazon S3 Service Level Agreementで保証
http://aws.amazon.com/s3-sla/

料金体系

S3 Organizer
ブラウザのaddon S3用

http://jeremy.zawodny.com/blog/archives/007641.html
利用例：S3を利用したバックアップツールとか

http://code.google.com/p/s3fs/wiki/FuseOverAmazon
利用例：S3FS

http://wiki.apache.org/hadoop/AmazonS3
利用例：S3FS for Hadoop

http://github.com/why/parkplace/tree/master
開発中はParkPlaceで (S3 Clone)

EC2/S3以外のサービス
ざっと紹介

Amazon SimpleDB
Amazon謹製 Dynamo
http://www.allthingsdistributed.
com/2007/10/amazons_dynamo.html
CTO Werner Vogels らが開発
key-valueストア（ハッシュテーブル）
スケールアウト（数百台とか）
障害に強い（マシン障害のみならずラック障害にも）
my %hash = (
key1 => quot;value1quot;,
key2 => quot;value2quot;
);

Amazon CloudFront
CDNサービス
米国8箇所，ロンドン，ダブリン、アムステルダム，フランクフル
ト，香港，東京
1000Mbps, 1000req/sのピーク負荷に耐える

Amazon Simple Queue Service
信頼性が高く，高度にスケーラブルなキュー環境
分散アプリケーションのコンポーネント同士のメッセージバッファ
キューに関しては以下の説明を読んでください
http://japan.cnet.
com/blog/kenn/2004/11/05/entry_amazon_simple_q/

Payments & Billing Services
Amazon Flexible Payments Service (Amazon FPS)
PaypalとGoogle Checkoutに対抗する決裁サービス
クレジット／デビットカード，Amazon Payments
Amazonでつかっている情報を利用
Amazon DevPay
EC2上で動かすサービスに対して開発者が課金
Amazon EC2 Machine Image (AMI) 販売

On-Demand Workforce
Amazon Mechanical Turk
沢山の人にタスクをこなしてもらうためのマーケット
Q&Aだけではない
例えば．．．

http://www.allthingsdistributed.com/2007/02/help_find_jim_gray.html
利用例：Help Find Jim Gray

http://www.tenthousandcents.com/index.html
利用例：Ten Thousand Cents

サービスが止まってないか？
簡単な死活監視

http://status.aws.amazon.com/
AWS Service Health Dashboard

http://itpro.nikkeibp.co.jp/article/EVENTS/20090309/326164/
何げにでかいこと書いてる日経BP

Xen
EC2はXenベース

最近の話題
Xenネタで

プライベートクラウド
普段はローカルな環境のXenでゲストを動かしておき，必要な時
にはEC2にそのゲストを投げる
OpenNebula
http://www.opennebula.org/doku.php

パブリッククラウド
Amazon EC2/S2互換インタフェース
Eucalyptus
http://eucalyptus.cs.ucsb.edu/wiki/EucalyptusOverview

XenServer無料ダウンロード開始
http://deliver.citrix.com/go/citrix/wbFreeXenServer

概要
ドキュメントが実体に
おいついてない

http://tinyurl.com/dbkul7

Xenのネットワーク周り
二つの仮想スイッチ

仮想ネットワーク(Xenbr)

仮想ネットワーク(Virbr)

こういうのもでてきた
http://www.linode.com/

Hadoop
試しにインストールはしてみたけど
まだよくわかってない

使っているところ
A9.com(Amazon) 1-100
Adknowledge 50-200
Baidu 10-500
Cornell University Web Lab 100
Facebook 600
Neptune 200
NetSeer <1000
Powerset/Microsoft <400
Search Wikia 125
The Lydia News Analysis Project 17+103
Visible Technologies 150
Yahoo! 20,000
http://wiki.apache.org/hadoop/PoweredBy

http://oreilly.com/catalog/9780596521998/index.html#top
年内に本が出る

日本語解説
Hadoop, hBaseで構築する大規模分散データ処理システム
http://codezine.jp/article/detail/2448
複数マシンへHadoopをインストールする
http://codezine.jp/article/detail/2699
Hadoopのインストールとサンプルプログラムの実行
http://codezine.jp/article/detail/2485
blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術
https://codezine.jp/article/detail/2841
mapreduceに対するnaoya氏の解説
http://d.hatena.ne.jp/naoya/20080511/1210506301
Hadoop Streamingに対するnaoya氏の解説
http://d.hatena.ne.jp/naoya/20080513/1210684438

おまけ
Googleファンの方向け

http://code.google.com/p/appscale/
Google AppEngine クローン