Enviar búsqueda
Cargar
aws seminer_so-net_public
•
1 recomendación
•
841 vistas
A
awsadovantageseminar
Seguir
Tecnología
Denunciar
Compartir
Denunciar
Compartir
1 de 40
Recomendados
【JAWS-UG Sapporo】はじめてのAWSワークショップ 概説
【JAWS-UG Sapporo】はじめてのAWSワークショップ 概説
Machie Atarashi
NoSQL on AWSで作る最新ソーシャルゲームアーキテクチャ
NoSQL on AWSで作る最新ソーシャルゲームアーキテクチャ
Yasuhiro Matsuo
Redshift勉強会
Redshift勉強会
yuya-nakamura
[AWSマイスターシリーズ]Amazon Relational Database Service (RDS)
[AWSマイスターシリーズ]Amazon Relational Database Service (RDS)
Amazon Web Services Japan
JAZUG仙台#1勉強会
JAZUG仙台#1勉強会
Shinichiro Isago
Amazon Athena 初心者向けハンズオン
Amazon Athena 初心者向けハンズオン
Amazon Web Services Japan
[AWSマイスターシリーズ] Amazon DynamoDB
[AWSマイスターシリーズ] Amazon DynamoDB
Amazon Web Services Japan
はじめてのAmazon RDS for PostgreSQL
はじめてのAmazon RDS for PostgreSQL
Junpei Nakada
Más contenido relacionado
La actualidad más candente
RDS詳細 -ほぼ週刊AWSマイスターシリーズ第8回-
RDS詳細 -ほぼ週刊AWSマイスターシリーズ第8回-
SORACOM, INC
AWS Elastic MapReduce詳細 -ほぼ週刊AWSマイスターシリーズ第10回-
AWS Elastic MapReduce詳細 -ほぼ週刊AWSマイスターシリーズ第10回-
SORACOM, INC
DynamoDB活用事例 株式会社マイネット
DynamoDB活用事例 株式会社マイネット
伊藤 祐策
DB2をAWS上に構築する際のヒント&TIPS 2018年1月版
DB2をAWS上に構築する際のヒント&TIPS 2018年1月版
Akira Shimosako
2017年1月のAWSサービスアップデートまとめ
2017年1月のAWSサービスアップデートまとめ
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 動画配信 on AWS
AWS Black Belt Online Seminar 2017 動画配信 on AWS
Amazon Web Services Japan
ビッグデータサービス群のおさらい & AWS Data Pipeline
ビッグデータサービス群のおさらい & AWS Data Pipeline
Amazon Web Services Japan
なぜソーシャルゲームはクラウドなのか? ~AWSの成功事例を紐解く~
なぜソーシャルゲームはクラウドなのか? ~AWSの成功事例を紐解く~
SORACOM, INC
MongoDB on AWSクラウドという選択
MongoDB on AWSクラウドという選択
Yasuhiro Matsuo
インストールマニアックス5中間セミナー Windows Azureって何? インストールする前に相手を知ろう!
インストールマニアックス5中間セミナー Windows Azureって何? インストールする前に相手を知ろう!
満徳 関
AWS Black Belt Online Seminar 2017 Amazon ElastiCache
AWS Black Belt Online Seminar 2017 Amazon ElastiCache
Amazon Web Services Japan
AWS Black Belt Tech シリーズ 2015 - Amazon EC2 スポットインスタンス & Auto Scaling
AWS Black Belt Tech シリーズ 2015 - Amazon EC2 スポットインスタンス & Auto Scaling
Amazon Web Services Japan
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 AWSへのネットワーク接続とAWS上のネットワーク内部設計
AWS Black Belt Online Seminar 2017 AWSへのネットワーク接続とAWS上のネットワーク内部設計
Amazon Web Services Japan
AWS Black Belt Online Seminar 2017 Amazon Relational Database Service (Amazon...
AWS Black Belt Online Seminar 2017 Amazon Relational Database Service (Amazon...
Amazon Web Services Japan
20120409 aws meister-reloaded-dynamo-db
20120409 aws meister-reloaded-dynamo-db
Amazon Web Services Japan
Webdb2011 hadoop
Webdb2011 hadoop
Ichiro Fukuda
Jazug静岡勉強会資料
Jazug静岡勉強会資料
Shinichiro Isago
La actualidad más candente
(18)
RDS詳細 -ほぼ週刊AWSマイスターシリーズ第8回-
RDS詳細 -ほぼ週刊AWSマイスターシリーズ第8回-
AWS Elastic MapReduce詳細 -ほぼ週刊AWSマイスターシリーズ第10回-
AWS Elastic MapReduce詳細 -ほぼ週刊AWSマイスターシリーズ第10回-
DynamoDB活用事例 株式会社マイネット
DynamoDB活用事例 株式会社マイネット
DB2をAWS上に構築する際のヒント&TIPS 2018年1月版
DB2をAWS上に構築する際のヒント&TIPS 2018年1月版
2017年1月のAWSサービスアップデートまとめ
2017年1月のAWSサービスアップデートまとめ
AWS Black Belt Online Seminar 2017 動画配信 on AWS
AWS Black Belt Online Seminar 2017 動画配信 on AWS
ビッグデータサービス群のおさらい & AWS Data Pipeline
ビッグデータサービス群のおさらい & AWS Data Pipeline
なぜソーシャルゲームはクラウドなのか? ~AWSの成功事例を紐解く~
なぜソーシャルゲームはクラウドなのか? ~AWSの成功事例を紐解く~
MongoDB on AWSクラウドという選択
MongoDB on AWSクラウドという選択
インストールマニアックス5中間セミナー Windows Azureって何? インストールする前に相手を知ろう!
インストールマニアックス5中間セミナー Windows Azureって何? インストールする前に相手を知ろう!
AWS Black Belt Online Seminar 2017 Amazon ElastiCache
AWS Black Belt Online Seminar 2017 Amazon ElastiCache
AWS Black Belt Tech シリーズ 2015 - Amazon EC2 スポットインスタンス & Auto Scaling
AWS Black Belt Tech シリーズ 2015 - Amazon EC2 スポットインスタンス & Auto Scaling
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート
AWS Black Belt Online Seminar 2017 AWSへのネットワーク接続とAWS上のネットワーク内部設計
AWS Black Belt Online Seminar 2017 AWSへのネットワーク接続とAWS上のネットワーク内部設計
AWS Black Belt Online Seminar 2017 Amazon Relational Database Service (Amazon...
AWS Black Belt Online Seminar 2017 Amazon Relational Database Service (Amazon...
20120409 aws meister-reloaded-dynamo-db
20120409 aws meister-reloaded-dynamo-db
Webdb2011 hadoop
Webdb2011 hadoop
Jazug静岡勉強会資料
Jazug静岡勉強会資料
Destacado
Aws seminar-tokyo ken-final-publish
Aws seminar-tokyo ken-final-publish
awsadovantageseminar
Aws seminar-tokyo dan-jp-final-publish
Aws seminar-tokyo dan-jp-final-publish
awsadovantageseminar
Aws privte20110406 arai
Aws privte20110406 arai
awsadovantageseminar
Cockpad
Cockpad
awsadovantageseminar
Aws tonchidot
Aws tonchidot
awsadovantageseminar
Gumi mr. horiuchi
Gumi mr. horiuchi
awsadovantageseminar
Aws, an intro to startups
Aws, an intro to startups
Subramanyam Kasibhat
Destacado
(7)
Aws seminar-tokyo ken-final-publish
Aws seminar-tokyo ken-final-publish
Aws seminar-tokyo dan-jp-final-publish
Aws seminar-tokyo dan-jp-final-publish
Aws privte20110406 arai
Aws privte20110406 arai
Cockpad
Cockpad
Aws tonchidot
Aws tonchidot
Gumi mr. horiuchi
Gumi mr. horiuchi
Aws, an intro to startups
Aws, an intro to startups
Similar a aws seminer_so-net_public
東北クラウド実践カンファレンス2011
東北クラウド実践カンファレンス2011
Shinichiro Isago
Yahoo! JAPANとRiak
Yahoo! JAPANとRiak
Yahoo!デベロッパーネットワーク
現場開発者視点で答えるWindows Azure
現場開発者視点で答えるWindows Azure
Keiichi Hashimoto
成長していくサービスとAWS
成長していくサービスとAWS
Mitsuharu Hamba
HTML5J AWS でできるIoT
HTML5J AWS でできるIoT
Toshiaki Enami
AWS Black Belt Techシリーズ AWS Data Pipeline
AWS Black Belt Techシリーズ AWS Data Pipeline
Amazon Web Services Japan
Amazon Web Services 最新事例集
Amazon Web Services 最新事例集
SORACOM, INC
JAWS-UG山形 AWSのきほん 2016/11/12
JAWS-UG山形 AWSのきほん 2016/11/12
Gyori Nagafuchi
AWS All Stars ~Lightning Talks x 13~
AWS All Stars ~Lightning Talks x 13~
Amazon Web Services Japan
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
Amazon Web Services Japan
【JAWS DAYS 2013】ランサーズを支えるAWS
【JAWS DAYS 2013】ランサーズを支えるAWS
Kei Kinoshita
AWSオンリーで実現するIoTクラウド基盤
AWSオンリーで実現するIoTクラウド基盤
Godai Nakamura
AWS 主要なサービスアップデート 6/3-11/28
AWS 主要なサービスアップデート 6/3-11/28
崇之 清水
XDev2010 WindowsAzure
XDev2010 WindowsAzure
Shinichiro Isago
re:Invent 社内共有会資料(サーバーワークス)
re:Invent 社内共有会資料(サーバーワークス)
Aya Komuro
小規模チームでも実現!スケーラブルな広告システム開発
小規模チームでも実現!スケーラブルな広告システム開発
Tomohiro Kikuyama
Aws summits2014 ソニー銀行_ソニー銀行の考える金融機関のaws活用方式
Aws summits2014 ソニー銀行_ソニー銀行の考える金融機関のaws活用方式
Boss4434
Automation with SoftLayer and Zabbix
Automation with SoftLayer and Zabbix
softlayerjp
InterBEE 2018 AWS & AWS Elemental Booth Review
InterBEE 2018 AWS & AWS Elemental Booth Review
Amazon Web Services Japan
性能問題を起こしにくい信頼されるクラウド RDB のつくりかた
性能問題を起こしにくい信頼されるクラウド RDB のつくりかた
Tomoyuki Oota
Similar a aws seminer_so-net_public
(20)
東北クラウド実践カンファレンス2011
東北クラウド実践カンファレンス2011
Yahoo! JAPANとRiak
Yahoo! JAPANとRiak
現場開発者視点で答えるWindows Azure
現場開発者視点で答えるWindows Azure
成長していくサービスとAWS
成長していくサービスとAWS
HTML5J AWS でできるIoT
HTML5J AWS でできるIoT
AWS Black Belt Techシリーズ AWS Data Pipeline
AWS Black Belt Techシリーズ AWS Data Pipeline
Amazon Web Services 最新事例集
Amazon Web Services 最新事例集
JAWS-UG山形 AWSのきほん 2016/11/12
JAWS-UG山形 AWSのきほん 2016/11/12
AWS All Stars ~Lightning Talks x 13~
AWS All Stars ~Lightning Talks x 13~
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
【IVS CTO Night & Day】AWS re:Invent 2017 振り返り
【JAWS DAYS 2013】ランサーズを支えるAWS
【JAWS DAYS 2013】ランサーズを支えるAWS
AWSオンリーで実現するIoTクラウド基盤
AWSオンリーで実現するIoTクラウド基盤
AWS 主要なサービスアップデート 6/3-11/28
AWS 主要なサービスアップデート 6/3-11/28
XDev2010 WindowsAzure
XDev2010 WindowsAzure
re:Invent 社内共有会資料(サーバーワークス)
re:Invent 社内共有会資料(サーバーワークス)
小規模チームでも実現!スケーラブルな広告システム開発
小規模チームでも実現!スケーラブルな広告システム開発
Aws summits2014 ソニー銀行_ソニー銀行の考える金融機関のaws活用方式
Aws summits2014 ソニー銀行_ソニー銀行の考える金融機関のaws活用方式
Automation with SoftLayer and Zabbix
Automation with SoftLayer and Zabbix
InterBEE 2018 AWS & AWS Elemental Booth Review
InterBEE 2018 AWS & AWS Elemental Booth Review
性能問題を起こしにくい信頼されるクラウド RDB のつくりかた
性能問題を起こしにくい信頼されるクラウド RDB のつくりかた
Último
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
arts yokohama
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
Matsushita Laboratory
2024 04 minnanoito
2024 04 minnanoito
arts yokohama
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
ssuser370dd7
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
Sadao Tokuyama
2024 03 CTEA
2024 03 CTEA
arts yokohama
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
Industrial Technology Research Institute (ITRI)(工業技術研究院, 工研院)
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
arts yokohama
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
Tetsuya Nihonmatsu
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
Ayachika Kitazaki
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
ssuser539845
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
Shumpei Kishi
Último
(12)
2024 01 Virtual_Counselor
2024 01 Virtual_Counselor
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
TaketoFujikawa_台本中の動作表現に基づくアニメーション原画システムの提案_SIGEC71.pdf
2024 04 minnanoito
2024 04 minnanoito
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
情報処理学会86回全国大会_Generic OAMをDeep Learning技術によって実現するための課題と解決方法
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
ARスタートアップOnePlanetの Apple Vision Proへの情熱と挑戦
2024 03 CTEA
2024 03 CTEA
What is the world where you can make your own semiconductors?
What is the world where you can make your own semiconductors?
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
2024 02 Nihon-Tanken ~Towards a More Inclusive Japan~
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
「今からでも間に合う」GPTsによる 活用LT会 - 人とAIが協調するHumani-in-the-Loopへ
20240326_IoTLT_vol109_kitazaki_v1___.pdf
20240326_IoTLT_vol109_kitazaki_v1___.pdf
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
IFIP IP3での資格制度を対象とする国際認定(IPSJ86全国大会シンポジウム)
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
持続可能なDrupal Meetupのコツ - Drupal Meetup Tokyoの知見
aws seminer_so-net_public
1.
クラウド連携による BI 構築事例 www.so-net.ne.jp April
6, 2011 ソネットエンタテインメント株式会社 サービス開発部 安田 崇浩 So-net Entertainment Corporation Service Development Department Takahiro YASUDA Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
2.
本日の発表の概要 • 広告配信の事業を行っています • この事業にとって
BI(≒データ分析による意思決定) は重要です • BIシステムの機能は、蓄積、分析、閲覧です • 蓄積に Amazon Simple Storage Service (S3) を 分析に Amazon Elastic MapReduce を 閲覧に Salesforce Force.com のクラウドサービスを組み合わせて システムを開発しました 2 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
3.
自己紹介 • 氏名: 安田
崇浩 • 所属: ソネットエンタテインメント株式会社 サービス開発部 • 最近の開発 • 2006-2009 • ブログ解析 のシステムを開発 • サービス名: 「Blog Keyword Visualizer」「近未来予報ツギクル」「バズク ル」 • Amazon Web Services EC2 を活用 • 2010-2011 • 広告配信事業 の分析システムを開発 • サービス名: アドネットワーク 「TRUST CLICK」 • Amazon Web Services Elastic MapReduce, S3 Salesforce Force.com を活用 3 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
4.
会社紹介 ■
社名 ソネットエンタテインメント株式会社 ■ 上場証券取引所 東証1部 (証券コード:3789) ■ 設立 1995年11月 ■ サービス開始 1996年 1月 ■ 株主 ソニーグループ 58.2% (2010年9月末現在) その他株主 41.8% ■ 資本金 79億65百万円 (2010年9月末現在) ■ 従業員数 445名 (単体 2010年12月末現在) 1,199名 (連結 2010年12月末現在) 4 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
5.
会社紹介
会社名 ソネット・メディア・ネットワークス株式会社 (英文表記: So-net Media Networks Corporation) 代表取締役 穂谷野 智 設立 平成12年3月21日 所在地 〒141-6009 東京都品川区大崎2丁目1番1号 ThinkPark Tower tel. 03(5435)7930(代表) fax. 03(5435)7932 会社HP http://www.so-netmedia.jp/ 事業内容 インターネットマーケティング事業 株主 ソネットエンタテインメント株式会社 持株比率 100% 5 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
6.
広告配信事業のアドネットワークについて • アドネットワークとは、複数のメディアサイトをネットワーク化して広告配信するサービスです。 • 通常のWEB広告(純広告)ではメディアサイトが特定される為、配信された広告は限られた ユーザーにしか露出されません。 •
一方でアドネットワークでは多くのユーザーに対して広告を配信することが可能です。 AD AD AD AD AD AD AD アド AD 入稿 サーバ AD AD AD 広告主様 6 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
7.
広告配信事業のデータ分析の重要性 • 広告を どのメディアサイトに、どのバナーを、どのくらいの量で、どの時
間帯に、どのようなユーザーに配信するか の設定が重要です • この設定によって アドネットワークのパフォーマンス(クリック率、コン バージョン率)が変化します • 広告の配信ログを分析し、この設定を決めています AD AD 時間帯 AD AD AD サイト AD AD AD 入稿 フリークエンシー 配信 AD クリエイティブ AD AD 広告主様 広告配信設定 7 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
8.
データ分析の要件 • 広告配信のデータ分析システムの要件は大きく3つ • 蓄積
• 広告の配信ログを最低2年分を蓄積したい • 分析 • 蓄積した広告配信ログに対して、集計、抽出など様々な分析を行い たい • 閲覧 • 広告配信の設定に役立てるために、分析結果をWebブラウザで閲覧 したい 8 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
9.
蓄積 9
Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
10.
「蓄積」するデータの特徴 • 広告配信ログの特徴
• メディアサイトの ページビュー (PV) に比例して増加 • メディアサイトの数 : 約6,000 • 広告配信ログのサイズ • 1日間のログのサイズ ( gzip 圧縮済み) • 10 GByte / 日 • 2年間のログのサイズ • 10 GByte x 365日 x 2年間 = 7.2 TByte • ログのサイズは、増加傾向 10 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
11.
「蓄積」の要件と解決策 • 要件
• 2年間の広告配信ログ 7.2 TByte を保存したい • クラウド利用前 • 10 TByteクラスの容量のストレージ製品が必要 • 初期投資: 数百万円~ • 運用費: 6U 以上のラックスペースによる運用が必要(数万円~) • コストと効果のバランスが合わずストレージ製品は未導入 • 既存システムではログの一部の保存のみ実施 • 分析に制限が発生 • クラウド利用後 • 広告配信ログの保存先としてAmazon Simple Storage Service (S3) を利用 • 10 TByte の1カ月間の利用料金: 約1250 USD/month ≒ 10万円 / 月 • すべてのデータの分析が可能に 11 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
12.
「蓄積」S3 • AWS Simple
Storage Service (S3) に保存して問題ないか? • 個人情報 • 広告ログ配信データは広告主様やメディアサイト様の顧客情報などの個 人情報は含まない • US の S3 サーバーに保存しても問題がないデータ • 信頼性 • 可用性(availability): 99.99% をSLAにより保証 • 耐久性(durability): 99.999999999% • アクセスコントロール • ACL : ファイル単位のRead, Write権限の設定 • Bucket Policy : Bucket単位のRead, Write権限の設定, IPアドレス制限 • Identity and Access Management(IAM) • 特定のアクセス権を持ったユーザーを任意に作成 12 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
13.
「蓄積」S3 の Region •
利用している Region • 「分析」でAWS Elastic MapReduce を利用しているため US-East Region を利用 • アップロード時の転送速度 • 東京からUS-EastのS3へのアップロード速度は 約200 ~ 500Kbps • 10 GByte のファイルをアップロードすると 10GByte x 8 bit / 500Kbps = 約 45 時間 • Tips: 同時接続してもアップロード速度は変わらない 13 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
14.
「蓄積」アップロード方法 • アップロード方法
• ファイルを一定のサイズに分割 • 合計10GByte のファイルを 50MByte x 200個 に分割 AWS S3 • 同時接続でアップロード Upload • JetS3t Toolkit を利用し、 分割 同時10接続でアップロード • アップロード処理時間 • 50MByte x 8bit / 0.2 ~ 0.5Mbps x 200個 / 同時10接続 = 約4.5 ~ 11時間 • エラー処理 • HTTP エラーは、少なくない割合で発生 • リトライ処理の実装が重要。JetS3t Toolkit のリトライ実装を利用 14 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
15.
「蓄積」S3 の URL
設計 • ログファイルのS3のURL設計 • スラッシュ / で区切り、日付で階層化 • AWS Management Console, S3Fox で閲覧する際に便利 • 例 • http://foo-bucket/title=bar/year=2011/month=01/day=01/001.gz • http://foo-bucket/title=bar/year=2011/month=01/day=01/002.gz • Amazon Elastic MapReduce の入力として URL prefix と ワイルドーカー ドが利用可能 • 年単位, 月単位, 日単位の入力が容易 • 例 • http://foo-bucket/title=bar/year=2011/*/* • http://foo-bucket/title=bar/year=2011/month=01/* 15 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
16.
「分析」 16
Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
17.
「分析」の要件 • 広告の配信ログのサイズ
• 1日: 10 GByte, 2年間: 7.2 TByte • 分析の要件は大きく2つ • 大量のデータの集計 • 統計解析ツール、データマイニングツールで解析が難しいサイズの 集計 • 例 • 数ヶ月間以上のユニークユーザー数など • ツール向けのデータ抽出 • 統計解析ツール、データマイニングツール向けに条件を指定して、 データを抽出 17 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
18.
「分析」の実行環境の検討 • 7.2 TByte
のデータをREAD するとどのくらいの時間がかかるか? • HDD の読み取り速度 : 50MByte/秒 • 7.2TByte ÷ 50 MByte/秒 = 40時間 • 大容量データの解析 • MapReduce • コンピューター機器のクラスター上で、巨大なデータセットに対し 分散並列処理を行うのを支援する目的で、Googleによって考案さ れたソフトウェアフレームワーク。(Wikipedia より) • MapReduce の実行環境 • Apache Hadoop • Apache の Open Source Project • AWS Elastic MapReduce • Amazon の Web Service 18 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
19.
「分析」Apache Hadoop と
AWS EMR Apache Hadoop AWS EMR 形態 Open Source Project Web Service サーバーリソース 自前で構築したクラスタの On Demand で AWS の サーバーリソース サーバーリソースを利用 初期費用 クラスタ構築サーバー費 なし 運用費用 サーバー運用費 AWS EMR, S3 の利用料 入出力のストレー HDFS AWS Simple Storage ジ Service(S3) 19 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
20.
「分析」入出力のストレージの比較検討
Apache Hadoop AWS EMR 入出力のストレージ HDFS AWS Simple Storage Service(S3) • HDFS • 自前で構築したクラスタ環境で動作する分散ファイルシステム • ファイル管理する部分に単一障害点がある • AWS Simple Storage Service (S3) • インターネット用のストレージサービス • 低コスト、高可用性(availability)、高耐久性(durability) • 検討結果 • HDFS は、自社の運用経験が少ないためファイル損失の恐れあり • HDFS を利用する場合、別のストレージ製品にファイルの保存の必要があ ると判断 • データの性質や S3 の機能から AWS S3 上に保存しても問題ないと判断 20 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
21.
「分析」利用環境の比較
Apache Hadoop AWS EMR サーバーリソース 自前で構築したクラスタの On Demand で AWS の サーバーリソース サーバーリソースを利用 初期費用 クラスタ構築サーバー費 なし 運用費用 サーバー運用費 AWS EMR, S3 の利用料 • 状況 • MapReduce の処理が決まっておらず、必要なサーバー台数が不明 • 検討結果 • 数台-100台超まで柔軟にサーバー数を利用可能な AWS EMR を使用 • 現在のAWS EMR の利用状況 • 1時間毎 2台使用の処理から1ヵ月毎 80台使用の処理まで様々 • 利用するサーバー数にバラつきがあり、結果的に AWS EMR に向き 21 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
22.
AWS EMR の所感 •
良い点 • MapReduce処理のサーバー数にバラつきがある場合、コストが最適化され る • Hadoop クラスタを構築、運用するインフラエンジニアが不要 • 集計処理ごとにコストが算出できるので、費用対効果がわかりやすい • Reduce 処理でメモリ不足のエラーが発生した場合、メモリの大きいインス タンスタイプに変更することで暫定対応が可能 • 悪い点 • サーバーリソースのモニタリング機能がないため、パフォーマンスチューニ ングが難しい • 現場の判断で EMR を実行しているため、月額の予算をオーバーすること がある • 開発時のデプロイと実行に時間がかかり、開発サイクルが少し遅い 22 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
23.
「蓄積」と「分析」の連携
23 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
24.
「蓄積」と「分析」の連携 • 要件
• 広告配信ログを S3 にアップロードした後に、 そのログを入力とするMapReduce 処理を起動したい • 解決策 • AWS Simple Queue Service (SQS) を利用 24 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
25.
「蓄積」と「分析」の連携 • AWS Simple
Queue Service (SQS) • AWS の Queue サービス • 短い文字列のMessage を登録、参照、削除ができる • 厳密なFIFO(First In First Out) ではない • AWS Elastic MapReduce へ通知方法 • アップロードしたファイルの URL を Message として Queue に登録 • Queue を定期的に参照するバッチを実装 • Queue から参照した message に応じて、 AWS Elastic MapReduce を起動 25 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
26.
「蓄積」と「分析」の連携の流れ 1. 2011/1/1 のログファイルを
AWS S3 にアップロード • http://foo- bucket/title=bar/year=2011/month= 01/day=01/001.gz 2. AWS SQS に message を登 • “http://foo- bucket/title=bar/year=2011/mont h=01/day=01/001.gz” 3. SQS から message を取得 (polling) 4. 2011/1/1 のユニークユーザーを 集計する AWS EMR の処理を起動 26 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
27.
閲覧 27
Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
28.
「閲覧」の要件 • 要件
• 社員が利用する業務アプリケーション • AWS Elastic MapReduce (EMR) で処理した結果を Web ブラウザで 表示 • 表示形式は、グラフ、表 • テータの閲覧権限の管理 • 広告配信の設定画面との連携 • 実装方法 • Salesforce Force.com を利用 28 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
29.
「閲覧」Force.com • Salesforce Force.com
• PaaS 型のクラウドサービス • インフラ、データベース、インテグレーション、ロジック、ユーザーイン ターフェースといった、クラウドコンピューティングモデルのアプリ ケーション開発に必要とされる要素を備えている (Wikipedia より) • 採用した目的 • 業務アプリケーションの開発生産性の高さ • 認証、認可の機能の実装コストの削減 • アプリケーションサーバー, 認証サーバーの運用コスト削減 29 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
30.
「閲覧」Force.com と AWS
S3 のデータ連携 • 当初の設計方針 • AWS EMR が出力した AWS S3 上のデータを定期的に Force.com の DB へインポート • Force.com の DB のデータをレポート機能を利用して、グラフ表示 • Force.com の DB と容量の問題 • 初期データベースの空き容量は 1 GByte • 1レコードで 約 2 KByte 消費, 約 50 万レコード で 1 GByte 消費 • データベースの容量追加コスト と 想定利用容量 のバランスが合わず 30 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
31.
「閲覧」Ajax の利用 • 問題
• Force.com の DB を利用せず AWS S3 のデータを表示できないか? • 解決策 • Ajax を利用 • JavaScript で AWS S3 のデータを取得し、表示 • 良い点 • Force.com の 追加DB を利用しないことによるコスト抑制 • 認証、ページのアクセス権の管理は Force.com の機能を利用 • AWS IAM を利用し、 IP アドレス によるアクセス制限が厳密に • 悪い点 • Force.com の レポート機能が利用できない • クロスドメイン問題 : saleseforce.com と s3.amazonaws.com 31 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
32.
「閲覧」AWS Access Key,
Secret Key の管理 • 問題 • AWS Access Key, Secret Key の管理をどうするか ? • AWS Access Key, Secret Key AWS S3, SimpleDB, SQS 等に Read, WriteするためのID, Password • Force.com に AWS から発行された Access Key, Secret Key を配置したく ない • 解決策 • AWS Identity and Access Management (IAM) を利用し、必要な権限のみ 保持したAccess Key, Secret Key を作成 • AWS Identity and Access Management (IAM) • ユーザーの追加, アクセスリソース(S3 bucket)の制限, アクセス条件 (Read/Write, IPアドレス, アクセス時間)の制限など • 例: 社内IPアドレスから S3 foo-bucket の Read のみ可能なユーザー 32 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
33.
「閲覧」AWS Access Key,
Secret Key in Force.com • 次の権限を持ったAWS Access Key, Secret Key を AWS IAM で作成 • 社内のIPアドレス:202.0.113.0 から AWS S3 “foo-bucket” への Read 権限 • もし漏洩した場合、同じ社内の誰かからアクセスされる恐れ • Secret Key はForce.com のロジック内で Hash 化 33 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
34.
「閲覧」ID, Password • Force.com
から AWS S3 へアクセスする設計の場合 • 次の権限を持ったAWS Access Key, Secret Key を AWS IAM で作成 • Force.com の IP Address Range:202.0.113.0/24 から AWS S3 “foo-bucket” への Read 権限 • もし漏洩した場合、他の Force.com ユーザーからアクセスされる恐れ 34 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
35.
まとめ 35
Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
36.
「蓄積」のまとめ • AWS Simple
Storage Service (S3) を利用して、広告配信ログを「蓄積」 • 分割し、並列でアップロード 36 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
37.
「分析」まとめ • AWS Elastic
MapReduce を利用して「分析」機能を実装 • AWS Simple Queue Service(SQS) を利用して S3 へアップロード後に AWS EMR を起動 37 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
38.
「閲覧」まとめ • Salesforce Force.com
を利用して「閲覧」機能を実装 • Ajax を利用し AWS EMR の出力データを Force.com の画面に表示 38 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
39.
まとめ • 広告配信ログのBIシステムを AWS
S3, EMR, Salesforce Force.com を 組み合わせて構築しました • AWS Simple Storage Service(S3), Elastic MapReduce (EMR) • 大規模データを分析するシステム開発としては取り組みやすい • 運用コストが低い • Salesforce Force.com • 業務アプリケーションの機能が揃っており開発速度は速い • 技術サポートの対応が早い • 運用コストが低い • 様々なクラウドサービスの良い点を組み合わせることで、 要件にあったシステムを開発できる 39 Copyright © 2011 So-net Entertainment Corporation, All rights reserved.
40.
END 40
Copyright © 2011 So-net Entertainment Corporation, All rights reserved.