ゲームインフラと解析基盤 そのものの考え方を変えるAWS
•
12 likes•11,342 views
【大好評につき増席決定！！】第8回テックヒルズ開催！「Games on the Cloud! 〜ゲームシステムをクラウドで〜」で発表した資料です。
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (12)
Similar to ゲームインフラと解析基盤 そのものの考え方を変えるAWS
Similar to ゲームインフラと解析基盤 そのものの考え方を変えるAWS (20)
More from Yasuhiro Horiuchi
More from Yasuhiro Horiuchi (20)
ゲームインフラと解析基盤 そのものの考え方を変えるAWS
- 2. Who am I ? • 堀内 康弘 (ほりうち やすひろ) • 1978年生まれ 山梨県出身 • AWS テクニカルエバンジェリスト • 140回以上の講演 • 60回以上のハンズオン • 250本以上のブログ記事 Amazon Web Services ブログ http://aws.typepad.com/aws_japan/ • 10+ years web engineer in startups • Director of V-cube (perl), 2001 - 2006 • CTO of FlipClip (perl), 2006 - 2009 • CTO of gumi (python), 2009 - 2012 @horiuchi horiyasu フォロー歓迎!
- 5. 拡大を続けるAWS グローバルインフラストラクチャー GovCloud 米国西部 米国東部 南米 EU アジアパシフィック 中国 US ITAR Region 北カリフォルニア オレゴン 北バージニア サンパウロ アイルランド シドニー 東京 シンガポール 中国 10 Regions (地域) | 26 Availability Zones(データセンター群) | 51 Edge Locations アカウント一つで世界中のデータセンターを利用可能 セキュリティーレベルは全て同じ 使い勝手も全て同じ
- 6. 30を超えるAWSビルディングブロック Support CertificationTrainingProfessional Services Technology Partners Consulting Partners AWS MarketplaceEcosystem Elastic Beanstalk for Java, Node.js, Python, Ruby, PHP and .Net OpsWorks CloudFormationContainers & Deployment (PaaS) Management & AdministrationIAM CloudWatchCloudTrail APIs and SDKsManagement ConsoleCloud HSM Command Line Interface Direct Connect Route 53VPC Networking Analytics Data PipelineRedshiftEMR Kinesis SWFSNS SQS CloudSearchSES AppStreamCloudFront Application Services WorkSpaces Regions Availability Zones Content Delivery POPs Storage GatewayS3 EBS Glacier Import/Export DynamoDB ElastiCache StorageCompute Databases RDS MySQL, PostgreSQL Oracle, SQL Server Elastic Load BalancerEC2 Auto Scaling
- 8. 2014年もすでに70以上のアップデート 70+ new features since Feb 2013 Regional expansion to US West (Oregon) Support for temporary credentials when loading data from Amazon S3 Regional expansion to EU West (Dublin) SOC1/2/3 Compliance certification Ability to UNLOAD encrypted files in parallel to Amazon S3 Regional expansion to Asia Pacific (Tokyo) Support for JDBC fetch size to enable extraction of large data sets over JDBC/ODBC Enable logging of UNLOAD statements New built-in function to compute the SHA1 hash of a value Added support for UTF-8 characters up to 4 bytes in size Ability to share snapshots between accounts to simplify manageability. Support for statement timeouts to automatically terminate queries that exceeded allotted execution time Added support for timezone conversion in SQL Added support for datetime values expressed in milliseconds since EPOCH to simplify ingestion Simplified ingestion by automatically detecting date and time formats. Added support for automatic query timeouts to workload management queues. Enabled the use of wildcards when assigning queries to workload management queues. New built-in function to enable customers to calculate the CRC32 checksum of a value Console improvements to show progress bars for backup and restore operations. Added the ability to support IAM at the resource level allowing tight control of who can take what actions on which resources. Obtained PCI compliance Added the ability to substitute a customer chosen character for invalid UTF-8 characters to simplify ingestion Allowed customers to store JSON data in VARCHAR columns and added built-in functions to enable data extraction Added support for POSIX regex expressions when using SIMILAR to in SQL queries Added Cursor support to enable extraction of large data sets over ODBC connections Built-in function to enable splitting a string using a supplied delimiter to make parsing values easier Added system tables to enable logging of database activity for auditing Regional expansion to Asia Pacific (Singapore, Sydney) Enable customers to control cluster encryption keys by using an on premises hardware security module (HSM) or Amazon CloudHSM Enable customers to receive alerts via SNS for informational or error-related events for cluster monitoring, management, configuration and security. Integration with Canal to enable streaming data ingestion Copy from an arbitrary SSH connection enabling direct copy from Amazon EMR, HDFS, or any other database that supports SSH access and script execution Enable distributing tables to all compute nodes to speed up queries, especially those involving star or snowflake schemas Logging of database logins, failed logins, SQL execution and data loads to S3 and integration with CloudTrails for control plane events Enabled caching of database blocks to speed up access to frequently queried data Increase cluster concurrency limits from 15 to 50 to enable higher concurrent query execution Optimizations to resize code that lead to 2-4x improvement in resize performance Approximate COUNT DISTINCT using HyperLogLog giving 10-20x performance improvements with less than 1% error Enable customers to continuously, automatically and incrementally back up data to a second AWS region for DR On track to obtain Fedramp certification Deliver Redshift on SSD instances enabling a lower-cost, high performance entry point IAM Redshift Elastic Map Reduce Data Pipeline Route 53CloudFront CloudFormation Elastic Load Balancer EC2 S3 EBS DynamoDB AppStream Kinesis
- 9. リリースされたサービスもどんどん便利に Internet scale throughput Consistent performance and unlimited storage DynamoDB: A Generation Beyond a NoSQL Key/Value Store
- 10. Internet scale throughput Global and local secondary indexes Item-level access control Consistent performance and unlimited storage リリースされたサービスもどんどん便利に DynamoDB: A Generation Beyond a NoSQL Key/Value Store
- 11. Deep mobile SDK integration Geospatial indexing library Local test tool Storage pricing reduction by up to 75% Throughput pricing reduced by up to 35% Batched writes In-console item updatesGovCloud (US) availability Parallel scan Transaction library Cross-region copy, export and import Internet scale throughput Global and local secondary indexes Item-level access control Consistent performance and unlimited storage リリースされたサービスもどんどん便利に DynamoDB: A Generation Beyond a NoSQL Key/Value Store
- 12. 新世代のメモリ最適化インスタンスタイプ(R3)が利用可能に • 価格(東京リージョン) - GiBあたり$0.0138 (largeのみ$0.0140) - m2(GiBあたり$0.0168)の約8割の料金で利用可能 2014/04/10 http://bit.ly/1kvdG2V
- 13. AWS Elastic Beanstalk for Docker 2014/04/24 http://bit.ly/1f8Bd7z Meets Amazon Linux AMI 2014.03 からDockerをサポート
- 15. 42回目の値下げ 平均51%の値下げ 36%から65%の値下げ 東京リージョンは $0.033 /GB/月に S3 EMR 27%から61% の値下げ 平均28%の値下げ RDS ElastiCache 平均34%の値下げ M3 38%の値下げ C3 30%の値下げ EC2 M1、M2、C1、CC2 10%から40%の値下げ 2014年4月1日から有効
- 22. 多種多様なインスタンスタイプ GPU一般用途 バランス型 メモリ 最適化 ストレージとIO 最適化 コンピュート 最適化 CR1M2CC2C1 HI1 CG1M1 G2M3 R3C3 I2 HS1
- 23. M3インスタンス - 汎用タイプ • Intel Xeon E5-2670 (Sandy Bridge) • SSDのインスタンス ストレージ CPU性能、メモリー、ネットワークのバランスがとれたタイプ 特徴 モデル vCPU メモリ (GiB) SSD ストレージ (GB) オンデマン ド料金 （東京) m3.medium 1 3.75 1 x 4 $0.101 m3.large 2 7.5 1 x 32 $0.203 m3.xlarge 4 15 2 x 40 $0.405 m3.2xlarge 8 30 2 x 80 $0.810
- 24. C3インスタンス - CPU最適化 • Intel Xeon E5-2670 v2 (Ivy Bridge) • SSDインスタンスストレージ • 低レイテンシー、低ジッタ、高い 秒間あたりのパケット性能を持つ 拡張されたネットワーク (SR-IOV, VPCのみ) • クラスタリングサポート CPU性能に特化したタイプ。CPUあたりの料金が最も安い 特徴 モデル vCPU メモリ (GiB) SSD ストレージ (GB) オンデマン ド料金 （東京) c3.large 2 7 2 x 16 $0.128 c3.xlarge 4 14 2 x 40 $0.255 c3.2xlarge 8 28 2 x 80 $0.511 c3.4xlarge 16 55 2 x 160 $1.021 c3.8xlarge 32 108 2 x 320 $2.043
- 25. R3インスタンス - メモリ最適化 • Intel Xeon E5-2670 v2 (Ivy Bridge) • SSDインスタンスストレージ • 低レイテンシー、低ジッタ、 高い秒間あたりのパケット性 能を持つ拡張されたネットワー ク (SR-IOV, VPCのみ) メモリに特化したタイプ。メモリGiBあたりの料金が最も安い 特徴 モデル vCPU メモリ (GiB) SSD ストレージ (GB) オンデマン ド料金 （東京) r3.large 2 15 1 x 32 $0.210 r3.xlarge 4 30.05 1 x 80 $0.420 r3.2xlarge 8 61 1 x 160 $0.840 r3.4xlarge 16 122 1 x 320 $1.680 r3.8xlarge 32 244 2 x 320 $3.360
- 26. I2インスタンス - ストレージ最適化 • Intel Xeon E5-2670 v2 (Ivy Bridge) • SSDインスタンスストレージ • TRIMサポート • 低レイテンシー、低ジッタ、高い 秒間あたりのパケット性能を持つ 拡張されたネットワーク (SR-IOV, VPCのみ) ストレージに最適化されており、高いランダムI/O性能、IOPSを提供 i2.8xlargeで秒間365,000超のランダムリードと秒間315,000超のランダムライト 特徴 モデル vCPU メモリ (GiB) SSD ストレージ (GB) オンデマン ド料金 （東京) i2.xlarge 4 30.05 1 x 800 $1.051 i2.2xlarge 8 61 2 x 800 $2.101 i2.4xlarge 16 122 4 x 800 $4.202 i2.8xlarge 32 244 8 x 800 $8.404
- 28. EBS プロビジョンドIOPS • ディスクのIO性能(IOPS)を指定できる • IOPS値の指定は100∼4000で1刻みが可能 - (StandardなEBSのIOPSは、約100程度) • 複数ボリュームを組み合わせてさらに高いIO性能も実現可能
- 29. EBS 最適化オプション • EBS用にネットワーク帯域を最適化 • 確保される帯域は、500Mbpsか1000Mbps （インスタンスタイプ Net work Net work
- 30. 疑問その2 スケールするの？
- 32. Start Simple • Write Events File on Device • Periodically Upload to S3 • Process into Redshift • Point GUI Tool to Redshift 2014-‐01-‐24,nateware,e4df,login 2014-‐01-‐24,nateware,e4df,gamestart 2014-‐01-‐24,nateware,e4df,gameend 2014-‐01-‐25,nateware,a88c,login 2014-‐01-‐25,nateware,a88c,friendlist 2014-‐01-‐25,nateware,a88c,gamestart Profit!
- 33. Amazon Redshift 10 GigE (HPC) Ingestion Backup Restore SQL Clients/BI Tools 128GB RAM 16TB disk 16 cores Amazon S3/DynamoDB JDBC/ODBC 128GB RAM 16TB disk 16 coresCompute Node 128GB RAM 16TB disk 16 coresCompute Node 128GB RAM 16TB disk 16 coresCompute Node Leader Node • リーダーノード - SQLエンドポイント - メタデータの保存 - クエリ実行のコーディネート ! • コンピュートノード - カラムナ型のストレージ - Amazon S3を介したデータの ロード、バックアップ、リストア - Amazon DynamoDBからの並列ロード ! • シングルノードでも利用可能
- 35. More Data Sources • Also Collect Server Logs • Periodically Upload to S3 • Stuff into Redshift • External Analytics Data Too External Analytics EC2
- 36. Dealing With Messy Data • Different File Formats • Device vs Apache vs CDN • Cleanup with EMR Job • Output to Clean Bucket • Load into Redshift EC2
- 37. Direct From DynamoDB • Integrate Game DB • Load Directly into Redshift • Redshift does Intelligent Merge • Tracks Hash Keys, Columns EC2
- 38. Direct From DynamoDB • Integrate Game DB • Load Directly into Redshift • Redshift does Intelligent Merge • Tracks Hash Keys, Columns • Or Stream into EMR EC2
- 39. リアルタイム分析もできます
- 40. Back To Basics 2014-‐01-‐24,nateware,e4df,login 2014-‐01-‐24,nateware,e4df,gamestart 2014-‐01-‐24,nateware,e4df,gameend 2014-‐01-‐25,nateware,a88c,login 2014-‐01-‐25,nateware,a88c,friendlist 2014-‐01-‐25,nateware,a88c,gamestart
- 41. Back To Basics [Dubstep Remix] • Always Batch Due to S3 EC2
- 42. Need Data Faster! • Stream Data With Kinesis • Multiple Writers and Readers • Still Output to Redshift EC2
- 43. Lots of Ins and Outs • Stream Data With Kinesis • Multiple Writers and Readers • Still Output to Redshift • Stream to Spark on EMR • Storm via Kinesis Spout • Custom EC2 Workers EC2 EC2
- 44. Amazon Kinesis リアルタイムでビッグデータを取り込むためのサービス Data Sources App.4 ! [Machine Learning] ! ! ! A WS En dp oin t App.1 ! [Aggregate & De-‐Duplicate] Data Sources Data Sources Data Sources App.2 ! [Metric Extraction] S3 DynamoDB Redshift App.3 [Sliding Window Analysis] Data Sources Availability Zone Shard 1 Shard 2 Shard N Availability Zone Availability Zone
- 46. ‹#›‹#› お客さんの声: “拡張性、パフォーマンス、信頼性はわれわれにとって不不可⽋欠です” “AWS を使⽤用することは簡単な選択でした” -‐‑‒ Yliharju, サービスリーダー iOS デバイス上で毎⽇日 850 万⼈人を超えるプレーヤー ビジネス効果: ゲーム開発に集中して、プレーヤー を楽しませ続けることができた。 AWSの利利⽤用: •EC2: 数百 •S3: 4TB/⽇日 •Glacier: バックアップ •Hadoop: 分析 http://aws.amazon.com/jp/solutions/case-studies/supercell/
- 47. Clash of Clans Amazon Kinesis Redshift Clickstream archive EC2: In-game engagement trends dashboard Real-time clickstream processing app Kinesis: Real-time data stream of in-game activity Multiple Kinesis applications: Dashboards, analytics and storage Redshift: Business intelligence reporting and interactive queries S3 and Glacier: Data storage and long term archival In-game activity S3 Aggregate statistics Business-intelligence user Kinesis-enabled apps on EC2
- 48. 【参考】S3、EMR、Redshiftでデータ解析の実例 • データ分析が支えるスマホゲーム開発 ~ユーザー動向から見えてくるアプリ ケーションの姿~ • 越智 修司 (著), 高田 敦史 (著), 丸山 弘 詩 (編集) http://amzn.to/1ih9n9M
- 50. AWSサポートをご利用ください
- 51. AWSのGameでの利用事例
- 52. 190か国にわたる数十万のお客様
- 53. 20,000以上の日本のお客様
- 54. ゲーム業界のお客様の一例
- 55. 任天堂様： ! ニンテンドー3DSやWii Uの 利利⽤用者向けサービスMiiverse のインフラにクラウドを活⽤用。 ユーザ体験の向上に寄与。 コンシュマー向け⼤大規模ネットワークでも http://aws.amazon.com/jp/solutions/case-studies/nintendo/ *ニンテンドー3DS™ ・Wii U™ は任天堂の商標です
- 56. PS4の代表的なゲームの１つ http://www.slideshare.net/AmazonWebServices/killzones-‐servers-‐flexible-‐architecture-‐and-‐ componentbased-‐design-‐mbl305-‐aws-‐reinvent-‐2013-‐28622640 ビジネス効果: AWSのスケールと柔軟性がアーキテ クチャの選択肢を広げます AWSの利利⽤用: EC2, S3, DynamoDB, Elastic Beanstalk, SQS, ELB. ポイント: • DynamoDBとElastic Beanstalkを活⽤用 • Multi-‐‑‒region, hybrid cloud (Sony Hosting + AWS)
- 57. お客さんの声: “膨⼤大なゲームトラフィックを処理理するためのインフラを⼀一⼈人で構築、運⽤用 するには、 AWSしか選択肢がありませんでした。” -‐‑‒-‐‑‒ 齋藤 ⿓龍龍⼀一 様, インフラ部 リーダー 80万⼈人強のユーザーのリアルタイムバトルゲーム GREE FPランキングで1位 ビジネス効果: インフラ環境の構築を、最⼩小限のコストで、元々 インフラ経験の無いエンジニア⼀一⼈人で⾏行行うことが できました。 AWSの利利⽤用: •EC2 Windows Server •RDS for MySQL •ピーク時で5,000req/sec http://www.awsmicrosite.jp/game/case-studies/grani.html
- 58. ゲーム紹介サイトでも話題となっているiPhone⽤用ゴルフゲーム http://www.awsmicrosite.jp/game/case-‐studies/appbankgames.html ビジネス効果: インフラストラクチャ管理理を簡便便化 でき、コストを安く抑えることがで きた AWSの利利⽤用: • EC2, ELB, DynamoDB, EMR, SQS • ビジネスサポート お客さんの声: “AWSサポートの迅速さと問題解決能⼒力力、費⽤用対効果は⾮非常に⾼高い⽔水準にあると思いま す。” -‐‑‒-‐‑‒ ⼩小野 将司 様
- 59. スマホ向け戦略略型本格カードバトルゲーム http://www.awsmicrosite.jp/game/case-‐studies/gmode.html ビジネス効果: コンテンツのリリースがスピーディー に⾏行行うことができるようになりまし た AWSの利利⽤用: EC2, RDS, CloudFront, Route53, Storage Gateway, Direct Connect お客さんの声: “セキュリティレベルがとても⾼高く、しっかりしている点もAWSのメリットだと思いま す。” -‐‑‒-‐‑‒ 鈴鈴⽊木 賢俊 様, 研究開発部 リーダー
- 60. GREE Platform Award 2012 優秀賞の ファンタジーカードバトルゲーム http://www.awsmicrosite.jp/game/case-‐studies/enish.html ビジネス効果: • 分析基盤として活⽤用しています、 深堀りするクエリも迅速にレスポ ンス • 時間短縮・運⽤用コスト削減 AWSの利利⽤用: EC2, EMR, CloudFront, RDS, S3, Redshift, ElastiCache お客さんの声: “Amazon Redshiftがリリースされた時は衝撃的でした。” -‐‑‒-‐‑‒ 仲江 謙仁 様, リードエンジニア
- 61. 海外向けバトルゲーム http://www.awsmicrosite.jp/game/case-‐studies/gnt.html ビジネス効果: • 海外展開をより迅速に⾏行行えるようになりました • イニシャルコストでおよそ80％以上削減 AWSの利利⽤用: すでに5年年程度度利利⽤用しています お客さんの声: “AWS であれば迅速なサービス開始と継続的な成⻑⾧長を実現でき、当社にとって⼤大きなメ リットとなっています。” -‐‑‒-‐‑‒ ⽊木村 グエン 様, 技術本部 部⻑⾧長
- 62. 発売後12⽇日で累累積1200万ダウンロード、20億回プレー http://aws.amazon.com/ko/solutions/case-‐studies/devsisters/ ビジネス効果: IDCの運⽤用から開放され、開発が容易易 になった。 トラフィックに合わせたリリースコ ントロールが可能になります。 AWSの利利⽤用: EC2, RDS, S3, CloudFront, EBS お客さんの声: “我々は、AWSが答えだと思いました。”
- 64. ２週間で⽉月間アクティブユーザーが １００万から８００万に http://www.allthingsdistributed.com/2012/06/amazon-‐dynamodb-‐growth.html ビジネス効果: ゲームの急速な成⻑⾧長に対応できま す。 スケールの問題から開放され、開発 に集中。 AWSの利利⽤用: DynamoDB, etc. お客さんの声: “DynamoDBがちょうどいいタイミングでリリースされた。” -‐‑‒ Glen Arrowsmith, Systems Architect
- 65. Angry Birds: もっとも⼈人気のゲーム、世界中１７億ダウンロー ド http://aws.amazon.com/solutions/case-‐studies/rovio/ ビジネス効果: ゲームとビジネスの急速な成⻑⾧長に必 要なスケールと柔軟性を⽀支えてき た。 AWSの利利⽤用: EC2, RDS, EMR, S3, CloudFront お客さんの声: “The flexibility of the AWS Cloud allows us to do things that we otherwise couldnʼ’t do.” -‐‑‒ Mikko Peltola, Operations Lead
- 66. Tiny Village: 百万ユーザーがプレーする トップゲームの１つ http://aws.amazon.com/solutions/case-‐studies/tinyco/ ビジネス効果: 迅速かつ容易易にスケールするインフ ラ、ゲーム開発に集中できました。 AWSの利利⽤用: EC2, S3, CloudFront, EMR, RDS お客さんの声: “AWS allows us to focus on our core competency-‐‑‒-‐‑‒making games” -‐‑‒ Rob Kotredes, Head of Engineering
- 67. 全世界の初⽇日での出荷数は380万本を超え、ミリオンセラーを記 録する⼤大ヒット作 http://aws.amazon.com/jp/solutions/case-studies/naughty-dog/ ビジネス効果: オンプレミス IT サービスに⽐比べて約 90% を節約できます AWSの利利⽤用: EC2, S3, CloudFront, EBS お客さんの声: “AWS によって驚くほどの柔軟性が実現しました。何かができないという状 況には決して戻りません。” -‐‑‒ Christophe Balestra, 共同社⻑⾧長
- 68. スケール、アジャイル、マーケットへの速度度を AWSが⽀支える http://aws.amazon.com/solutions/case-studies/ubisoft/ ビジネス効果: スケール、アジャイル、マーケット への速度度に集中できます。 ! ８週間で５タイトルリリース。 AWSの利利⽤用: EC2, S3, EBS お客さんの声: “AWS は⾮非常にイノベーティブ、我々が必要なサービスを常に開発してくれ ます。” -‐‑‒ Lenin Gali, Senior Director, Dev Operations/Analytic Services
- 69. ６５万ユーザーがプレーするブラウザベース 3D MMOFPS ゲーム http://aws.amazon.com/jp/solutions/case-‐studies/cmune/ ビジネス効果: AWSのスケールで速いダウンロード と低レイテンシーを実現していま す。 AWSの利利⽤用: EC2, CloudFront ポイント: EC2 Dedicated Instancesを利利⽤用し、リアルタイムのメッセジング・システ ムを実現。
- 70. « Want to increase innovation? Lower the cost of failure » ! Joi Ito
- 72. AWS Summit Tokyo 2014 • 2014年7月17日(木) ∼ 18日(金) • グランドプリンス新高輪 (国際館パミール) • 来場無料 (要事前登録) • http://www.awssummittokyo.com/ - 申し込み受付開始通知メール受付開始！