Más contenido relacionado La actualidad más candente (20) Similar a JAWSDAYS2014 Amazon Kinesis for Beginner (20) Más de Toshiyuki Konparu (20) JAWSDAYS2014 Amazon Kinesis for Beginner3. #jawsdays #ace
自己紹介
金春 利幸(こんぱる としゆき)
!
アールスリーインスティテュート
マネージャー&ソリューションアーキテクト
!
JAWS-UG大阪 コアメンバー
!
ブログ: http://www.konpa.ru/
(網元AMIで動いてます)
FB: t.konparu
twitter: t_konparu
14. #jawsdays #ace
Shard
Shard
Partition Key Data Body
Partition Key Data Body
Partition Key Data Body
Partition Key Data Body
Partition Key Data Body
Partition Key Data Body1
2
3
4
Shardの能力
Write 1MB/sec(1000write/sec)
Read 2MB/sec(5read/sec)
50KB256bytes
ストリーム全体でユニークな
SequenceNumberが振られる
Shard内のデータは
24時間で削除される
どのShardにデータが入る
かはPartitionKeyで決まる
18. #jawsdays #ace
GetNextRecord
Kinesis App
Kinesis App
Amazon Kinesis
Shard
Shard
#jawsug っていいよね
#jawsug すごいよね
#jawsug 大阪熱いよね
#aws C3インスタンスにEBS Optimized
#aws Workspacesにもっとスペックを
#aws AWS太っ腹
Partition Key
1
2
3
4
5
6
GetNextRecord
Kinesisでのデータの流れ方
20. #jawsdays #ace
Kinesis Client Library(KCL)
・APIを直接使わなくても簡単に使える
!
・データを処理するWorkerの生成
!
・各Shardに対してWorkerがちゃんとつくように制御
!
・Shard増減時のWorkerの増減
!
・処理中にWorkerが死んだときの再処理制御
!
・AutoScaling時にWorkerとShardの割当を自動的に調整
21. #jawsdays #ace
Kinesis Connector Library
・Kinesis Streamから必要なデータ変換をしてS3,
DaynamoDB, Redshiftへデータを格納するライブラリ
!
・変換部分の記述に集中できる
!
・最近EMR(ElasticMapReduce)用のConnectorも発表に
なりました
!
・Kinesis log4j Appenderも公開されているので、Webサ
イトのログをKinesisに流してEMRで分析なんてのも簡
単にできます