SlideShare una empresa de Scribd logo
1 de 66
Descargar para leer sin conexión
re:Invent報告
2013.11.29
金春 利幸(R3 institute)
Introduction
金春 利幸(こんぱる としゆき)
アールスリーインスティテュート
マネージャー&ソリューションアーキテクト
FB: t.konparu
twitter: t_konparu

2
re:Invent
初参加してきました
今回はそのご報告です
AAの機内食はエサ感満載
AAの機内食はエサ感満載

THE 炭水化物
以上、報告でした
システム開発会社の
人間としての感想は
きた!
AWSはもはや
「インフラ」ではない
いい色の絵の具をみたら絵を描きたくなるように
新しい音色を聞いたら曲のイメージが湧くように
新しいスニーカーを買ったら走りたくなるように

今回の新サービスで
想像力をかきたてましょう
Amazon Kinesis
記事とか読んだけど
ピンとこない人?
Amazon Kinesisは
リアルタイム分析
プラットフォーム
です
は?
想像してください
あなたはTwitter関連サービス
の開発者です
ある日上司に言われました
!

「ハッシュタグの登場回数カ
ウントして!」
「あっ、バッチじゃダメ
だよリアルタイムね」
は?(゜_゜)
膨大なデータくるよな・・・
ちゃんと受け取るには・・・
ハッシュタグで分類するには・・・
カウントの負荷読めないよな・・・
そんなあなたに
Amazon Kinesis
リアルタイムに
不規則に
発生するデータを
漏らすことなく
スマートに処理するための仕組み
Amazon Kinesis

App

Shard
App
データ
発生元

RDS

Shard
Shard

S3
DynamoDB

App

Shard
App

RedShift
Kinesis
#jawsug っていいよね

#awsサンタ C3インスタンスにEBS Optimized

#jawsug 大阪熱いよね
#awsサンタ Workspacesにもっとスペックを

#jawsug すごいよね

#iegg 2/15はクロスエッグだよね
Amazon Kinesis
Shard

Shard
Amazon Kinesis
#jawsug っていいよね

Shard

#awsサンタ C3インスタンスにEBS Optimized

#jawsug 大阪熱いよね

Shard
#awsサンタ Workspacesにもっとスペックを

#jawsug すごいよね

#iegg 2/15はクロスエッグだよね
Amazon Kinesis
Shard
#jawsug っていいよね

#jawsug 大阪熱いよね

#jawsug すごいよね

Shard
#awsサンタ C3インスタンスにEBS Optimized

#awsサンタ Workspacesにもっとスペックを

#iegg 2/15はクロスエッグだよね
Partion Key
Amazon Kinesis
Shard

1

Kinesis App

#jawsug っていいよね

GetNextRecord
#jawsug すごいよね

#jawsug 大阪熱いよね

2

4

Shard

3
5

Kinesis App

#awsサンタ C3インスタンスにEBS Optimized

#awsサンタ Workspacesにもっとスペックを

#iegg 2/15はクロスエッグだよね

6

GetNextRecord
Partion Key
Amazon Kinesis
Shard

1

Kinesis App
GetNextRecord

#jawsug すごいよね

#jawsug 大阪熱いよね

2

#jawsug っていいよね

4

Shard

3
5

Kinesis App

#awsサンタ C3インスタンスにEBS Optimized

#awsサンタ Workspacesにもっとスペックを

#iegg 2/15はクロスエッグだよね

6

GetNextRecord
Partion Key
Amazon Kinesis
Shard

1

Kinesis App
GetNextRecord

#jawsug すごいよね

#jawsug 大阪熱いよね

2

#jawsug っていいよね

4

Shard

#awsサンタ Workspacesにもっとスペックを

#iegg 2/15はクロスエッグだよね

6

3
5

Kinesis App
GetNextRecord
#awsサンタ C3インスタンスにEBS Optimized
DynamoDB
Kinesis App
#jawsug: 3

Kinesis App
#awsサンタ: 2

#iegg: 1
できた!
Twitterのストリームなんか
処理することないし・・・
#jawsug っていいよね

#awsサンタ C3インスタンスにEBS Optimized

#jawsug 大阪熱いよね
#awsサンタ Workspacesにもっとスペックを

#jawsug すごいよね

#iegg 2/15はクロスエッグだよね
レタス

キャベツ

はくさい
キャベツ

はくさい

レタス
POSから送られるデータから
リアルタイムで売れてる
商品を探せ
あっ!
ってなった人?
もうあなたは
Kinesis使えます
Kinesis Client Library(KCL)
Kinesis Appを作りやすくする便利ライブラリ
APIを直接使わなくても簡単に使える
データを処理するWorkerの生成
各Shardに対してWorkerがちゃんとつくよう
に制御
Shard増減時のWorkerの増減
処理中にWorkerが死んだときの再処理制御
AutoScaling時にWorkerとShardの割当を
自動的に調整
Limited Previewの申込はこちら
http://aws.amazon.com/jp/kinesis/
RDS for
PostgreSQL
やっとか・・・
Keynoteでの発表時に会場から
「Yeah!!!!!!!!!!!!!」
の声が上がりました
海外ではMySQLがOracleに買収さ
れてからOracleがオープンソースに
素っ気ないので、PostgreSQLに乗
り換える動きが出ています
日本は、元々なぜかPostgreSQLの
人気が高く利用者も多いです
日本のAWS界隈でも
RDSが出た当初から
「ぽすぐれを・・・」
と声が上がっていました
やっとか・・・
基本、全部入りです
DB Snapshot
Multi-AZ
Automated Backup
Point-in-time Recovery
Provisioned IOPS
PostgreSQL独自機能もサポート

PostGIS
PL/PGSQL
など
1つだけ・・・

リードレプリカ
がありません
そのうちできるよう
になると思います
注意
PostgreSQLのバージョンは9.3.1
バージョン8などを使っている人をちゃんと検証を!
PostgreSQLはバージョン上げると
「SQLが通らなくなったり」
「通るんだけど結果が違う」
とかあります
(実話です)
RDS
Cross-Region
Read Replica
リードレプリカを
リージョンを
またいで作る
読み込みは
Replicaで分散
書き込みは
Masterへ

レプリケーションの速度は
CloudWatchで監視

出典:http://aws.typepad.com/aws_japan/2013/11/cross-region-read-replicas-for-amazon-rds-for-mysql.html
Thank You!
Join Us
http://www.r3it.com/

Más contenido relacionado

Más de Toshiyuki Konparu

20150829 tohoku it_bussanten
20150829 tohoku it_bussanten20150829 tohoku it_bussanten
20150829 tohoku it_bussantenToshiyuki Konparu
 
20150624 kintone Café 福岡
20150624 kintone Café  福岡20150624 kintone Café  福岡
20150624 kintone Café 福岡Toshiyuki Konparu
 
20150603 JAWS-UG Tokyo AWS Summit
20150603 JAWS-UG Tokyo AWS Summit20150603 JAWS-UG Tokyo AWS Summit
20150603 JAWS-UG Tokyo AWS SummitToshiyuki Konparu
 
20150530 JAWS-UG kintone Café Kochi
20150530 JAWS-UG kintone Café Kochi20150530 JAWS-UG kintone Café Kochi
20150530 JAWS-UG kintone Café KochiToshiyuki Konparu
 
20150321 JAWS-UG Leaders Meeting
20150321 JAWS-UG Leaders Meeting20150321 JAWS-UG Leaders Meeting
20150321 JAWS-UG Leaders MeetingToshiyuki Konparu
 
20150307 fukuoka meetup community jaws-ug
20150307 fukuoka meetup community jaws-ug20150307 fukuoka meetup community jaws-ug
20150307 fukuoka meetup community jaws-ugToshiyuki Konparu
 
jaws-ug kansai-special_kinesis_20150207
jaws-ug kansai-special_kinesis_20150207jaws-ug kansai-special_kinesis_20150207
jaws-ug kansai-special_kinesis_20150207Toshiyuki Konparu
 
jaws-ug kansai-special_aurora_20150207
jaws-ug kansai-special_aurora_20150207jaws-ug kansai-special_aurora_20150207
jaws-ug kansai-special_aurora_20150207Toshiyuki Konparu
 
20150121 JAWS-UG 関西女子会
20150121 JAWS-UG 関西女子会20150121 JAWS-UG 関西女子会
20150121 JAWS-UG 関西女子会Toshiyuki Konparu
 
JAWS-UG Kansai Special AWS ゆく年来る年
JAWS-UG Kansai Special AWS ゆく年来る年JAWS-UG Kansai Special AWS ゆく年来る年
JAWS-UG Kansai Special AWS ゆく年来る年Toshiyuki Konparu
 
JAWS-UG三都物語2014 諸注意
JAWS-UG三都物語2014 諸注意JAWS-UG三都物語2014 諸注意
JAWS-UG三都物語2014 諸注意Toshiyuki Konparu
 
JAWSDAYS2014 Amazon Kinesis for Beginner
JAWSDAYS2014 Amazon Kinesis for BeginnerJAWSDAYS2014 Amazon Kinesis for Beginner
JAWSDAYS2014 Amazon Kinesis for BeginnerToshiyuki Konparu
 
InnovationEgg XEgg JAWS-UG 2014.02.15
InnovationEgg XEgg JAWS-UG 2014.02.15InnovationEgg XEgg JAWS-UG 2014.02.15
InnovationEgg XEgg JAWS-UG 2014.02.15Toshiyuki Konparu
 
JAWS-UG Osaka 2013.11.02 Feel the Elesticity v2.0
JAWS-UG Osaka 2013.11.02 Feel the Elesticity v2.0JAWS-UG Osaka 2013.11.02 Feel the Elesticity v2.0
JAWS-UG Osaka 2013.11.02 Feel the Elesticity v2.0Toshiyuki Konparu
 

Más de Toshiyuki Konparu (20)

20150829 tohoku it_bussanten
20150829 tohoku it_bussanten20150829 tohoku it_bussanten
20150829 tohoku it_bussanten
 
20150704 Innovation Egg
20150704 Innovation Egg20150704 Innovation Egg
20150704 Innovation Egg
 
20150624 kintone Café 福岡
20150624 kintone Café  福岡20150624 kintone Café  福岡
20150624 kintone Café 福岡
 
20150603 JAWS-UG Tokyo AWS Summit
20150603 JAWS-UG Tokyo AWS Summit20150603 JAWS-UG Tokyo AWS Summit
20150603 JAWS-UG Tokyo AWS Summit
 
20150530 JAWS-UG kintone Café Kochi
20150530 JAWS-UG kintone Café Kochi20150530 JAWS-UG kintone Café Kochi
20150530 JAWS-UG kintone Café Kochi
 
20150522 kintone hive
20150522 kintone hive20150522 kintone hive
20150522 kintone hive
 
20150425 JAWS-UG Okinawa
20150425 JAWS-UG Okinawa20150425 JAWS-UG Okinawa
20150425 JAWS-UG Okinawa
 
20150321 JAWS-UG Leaders Meeting
20150321 JAWS-UG Leaders Meeting20150321 JAWS-UG Leaders Meeting
20150321 JAWS-UG Leaders Meeting
 
20150307 fukuoka meetup community jaws-ug
20150307 fukuoka meetup community jaws-ug20150307 fukuoka meetup community jaws-ug
20150307 fukuoka meetup community jaws-ug
 
jaws ug hiroshima-20150221
jaws ug hiroshima-20150221jaws ug hiroshima-20150221
jaws ug hiroshima-20150221
 
jaws-ug kansai-special_kinesis_20150207
jaws-ug kansai-special_kinesis_20150207jaws-ug kansai-special_kinesis_20150207
jaws-ug kansai-special_kinesis_20150207
 
jaws-ug kansai-special_aurora_20150207
jaws-ug kansai-special_aurora_20150207jaws-ug kansai-special_aurora_20150207
jaws-ug kansai-special_aurora_20150207
 
20150121 JAWS-UG 関西女子会
20150121 JAWS-UG 関西女子会20150121 JAWS-UG 関西女子会
20150121 JAWS-UG 関西女子会
 
JAWS-UG Kansai Special AWS ゆく年来る年
JAWS-UG Kansai Special AWS ゆく年来る年JAWS-UG Kansai Special AWS ゆく年来る年
JAWS-UG Kansai Special AWS ゆく年来る年
 
JAWS-UG三都物語2014 諸注意
JAWS-UG三都物語2014 諸注意JAWS-UG三都物語2014 諸注意
JAWS-UG三都物語2014 諸注意
 
JAWSDAYS2014 Amazon Kinesis for Beginner
JAWSDAYS2014 Amazon Kinesis for BeginnerJAWSDAYS2014 Amazon Kinesis for Beginner
JAWSDAYS2014 Amazon Kinesis for Beginner
 
InnovationEgg XEgg JAWS-UG 2014.02.15
InnovationEgg XEgg JAWS-UG 2014.02.15InnovationEgg XEgg JAWS-UG 2014.02.15
InnovationEgg XEgg JAWS-UG 2014.02.15
 
JAWS-UG Osaka 2014 Plan
JAWS-UG Osaka 2014 PlanJAWS-UG Osaka 2014 Plan
JAWS-UG Osaka 2014 Plan
 
JAWS-UG girls 20131214
JAWS-UG girls 20131214JAWS-UG girls 20131214
JAWS-UG girls 20131214
 
JAWS-UG Osaka 2013.11.02 Feel the Elesticity v2.0
JAWS-UG Osaka 2013.11.02 Feel the Elesticity v2.0JAWS-UG Osaka 2013.11.02 Feel the Elesticity v2.0
JAWS-UG Osaka 2013.11.02 Feel the Elesticity v2.0
 

Último

[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略Ryo Sasaki
 
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...Toru Tamaki
 
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する       2024/04/19 の勉強会で発表されたものですSOPを理解する       2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものですiPride Co., Ltd.
 
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A surveyToru Tamaki
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムsugiuralab
 
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdfTSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdftaisei2219
 
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)Hiroki Ichikura
 
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNetToru Tamaki
 
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Yuma Ohgami
 

Último (9)

[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
 
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
 
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する       2024/04/19 の勉強会で発表されたものですSOPを理解する       2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
 
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
 
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdfTSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
 
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
 
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
 
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
 

JAWS-UG Osaka Special re:Invent 2013