Submit Search
Upload
Akka Stream x Kinesis at Shinjuku reactive meetup vol2
•
0 likes
•
1,580 views
Masaki Toyoshima
Follow
lightning talk at reactive meetup in Japan
Read less
Read more
Technology
Report
Share
Report
Share
1 of 14
Download now
Download to read offline
Recommended
Akka stream
Akka stream
Masaki Toyoshima
Aerospike deep dive LDTs
Aerospike deep dive LDTs
Masaki Toyoshima
Cookpad 17 day Tech internship 2017 言語処理系入門 Rubyをコンパイルしよう
Cookpad 17 day Tech internship 2017 言語処理系入門 Rubyをコンパイルしよう
Koichi Sasada
Rxに入門しようとしている
Rxに入門しようとしている
onotchi_
async/await のしくみ
async/await のしくみ
信之 岩永
Perl 非同期プログラミング
Perl 非同期プログラミング
lestrrat
Em synchrony について
Em synchrony について
Tomoya Kawanishi
Kobe.R #15 - Incanter チョットシッテル
Kobe.R #15 - Incanter チョットシッテル
tnoda
Recommended
Akka stream
Akka stream
Masaki Toyoshima
Aerospike deep dive LDTs
Aerospike deep dive LDTs
Masaki Toyoshima
Cookpad 17 day Tech internship 2017 言語処理系入門 Rubyをコンパイルしよう
Cookpad 17 day Tech internship 2017 言語処理系入門 Rubyをコンパイルしよう
Koichi Sasada
Rxに入門しようとしている
Rxに入門しようとしている
onotchi_
async/await のしくみ
async/await のしくみ
信之 岩永
Perl 非同期プログラミング
Perl 非同期プログラミング
lestrrat
Em synchrony について
Em synchrony について
Tomoya Kawanishi
Kobe.R #15 - Incanter チョットシッテル
Kobe.R #15 - Incanter チョットシッテル
tnoda
UniRx勉強会 reactive extensions inside(公開用)
UniRx勉強会 reactive extensions inside(公開用)
wilfrem
【Unite Tokyo 2018】さては非同期だなオメー!async/await完全に理解しよう
【Unite Tokyo 2018】さては非同期だなオメー!async/await完全に理解しよう
Unity Technologies Japan K.K.
CEDEC 2018 最速のC#の書き方 - C#大統一理論へ向けて性能的課題を払拭する
CEDEC 2018 最速のC#の書き方 - C#大統一理論へ向けて性能的課題を払拭する
Yoshifumi Kawai
Deep Dive async/await in Unity with UniTask(UniRx.Async)
Deep Dive async/await in Unity with UniTask(UniRx.Async)
Yoshifumi Kawai
Kotlin
Kotlin
Shumpei Hozumi
SECDマシン 実装と動きとその他もろもろについて
SECDマシン 実装と動きとその他もろもろについて
t-sin
Effective Modern C++ 勉強会#3 Item16
Effective Modern C++ 勉強会#3 Item16
Mitsuru Kariya
Real world rails
Real world rails
Jun Yokoyama
LLVM overview 20110122
LLVM overview 20110122
nothingcosmos
Project Loom + Project Panama
Project Loom + Project Panama
Yuichi Sakuraba
ヒカリノアトリエ演出「アバターと手から粒子」
ヒカリノアトリエ演出「アバターと手から粒子」
Atelier Frameworks
Inside FastEnum
Inside FastEnum
Takaaki Suzuki
Echo server implementation for Python
Echo server implementation for Python
Toshiki Tsuboi
C#次世代非同期処理概観 - Task vs Reactive Extensions
C#次世代非同期処理概観 - Task vs Reactive Extensions
Yoshifumi Kawai
Effective Modern C++ 勉強会#3 Item 15
Effective Modern C++ 勉強会#3 Item 15
Mitsuru Kariya
続・SECDマシン
続・SECDマシン
t-sin
Shadow Server on Fluentd at Fluentd Casual Talks #3
Shadow Server on Fluentd at Fluentd Casual Talks #3
Naotoshi Seo
OSC2013 Tokyo/Spring JOSUG
OSC2013 Tokyo/Spring JOSUG
Hideki Saito
きつねさんでもわかるLlvm読書会 第2回
きつねさんでもわかるLlvm読書会 第2回
Tomoya Kawanishi
Tottoruby 20110903
Tottoruby 20110903
Takashi SAKAGUCHI
Google cloudinside3
Google cloudinside3
Masaki Toyoshima
Stream processing using alpakka cloud pub sub connector
Stream processing using alpakka cloud pub sub connector
Masaki Toyoshima
More Related Content
What's hot
UniRx勉強会 reactive extensions inside(公開用)
UniRx勉強会 reactive extensions inside(公開用)
wilfrem
【Unite Tokyo 2018】さては非同期だなオメー!async/await完全に理解しよう
【Unite Tokyo 2018】さては非同期だなオメー!async/await完全に理解しよう
Unity Technologies Japan K.K.
CEDEC 2018 最速のC#の書き方 - C#大統一理論へ向けて性能的課題を払拭する
CEDEC 2018 最速のC#の書き方 - C#大統一理論へ向けて性能的課題を払拭する
Yoshifumi Kawai
Deep Dive async/await in Unity with UniTask(UniRx.Async)
Deep Dive async/await in Unity with UniTask(UniRx.Async)
Yoshifumi Kawai
Kotlin
Kotlin
Shumpei Hozumi
SECDマシン 実装と動きとその他もろもろについて
SECDマシン 実装と動きとその他もろもろについて
t-sin
Effective Modern C++ 勉強会#3 Item16
Effective Modern C++ 勉強会#3 Item16
Mitsuru Kariya
Real world rails
Real world rails
Jun Yokoyama
LLVM overview 20110122
LLVM overview 20110122
nothingcosmos
Project Loom + Project Panama
Project Loom + Project Panama
Yuichi Sakuraba
ヒカリノアトリエ演出「アバターと手から粒子」
ヒカリノアトリエ演出「アバターと手から粒子」
Atelier Frameworks
Inside FastEnum
Inside FastEnum
Takaaki Suzuki
Echo server implementation for Python
Echo server implementation for Python
Toshiki Tsuboi
C#次世代非同期処理概観 - Task vs Reactive Extensions
C#次世代非同期処理概観 - Task vs Reactive Extensions
Yoshifumi Kawai
Effective Modern C++ 勉強会#3 Item 15
Effective Modern C++ 勉強会#3 Item 15
Mitsuru Kariya
続・SECDマシン
続・SECDマシン
t-sin
Shadow Server on Fluentd at Fluentd Casual Talks #3
Shadow Server on Fluentd at Fluentd Casual Talks #3
Naotoshi Seo
OSC2013 Tokyo/Spring JOSUG
OSC2013 Tokyo/Spring JOSUG
Hideki Saito
きつねさんでもわかるLlvm読書会 第2回
きつねさんでもわかるLlvm読書会 第2回
Tomoya Kawanishi
Tottoruby 20110903
Tottoruby 20110903
Takashi SAKAGUCHI
What's hot
(20)
UniRx勉強会 reactive extensions inside(公開用)
UniRx勉強会 reactive extensions inside(公開用)
【Unite Tokyo 2018】さては非同期だなオメー!async/await完全に理解しよう
【Unite Tokyo 2018】さては非同期だなオメー!async/await完全に理解しよう
CEDEC 2018 最速のC#の書き方 - C#大統一理論へ向けて性能的課題を払拭する
CEDEC 2018 最速のC#の書き方 - C#大統一理論へ向けて性能的課題を払拭する
Deep Dive async/await in Unity with UniTask(UniRx.Async)
Deep Dive async/await in Unity with UniTask(UniRx.Async)
Kotlin
Kotlin
SECDマシン 実装と動きとその他もろもろについて
SECDマシン 実装と動きとその他もろもろについて
Effective Modern C++ 勉強会#3 Item16
Effective Modern C++ 勉強会#3 Item16
Real world rails
Real world rails
LLVM overview 20110122
LLVM overview 20110122
Project Loom + Project Panama
Project Loom + Project Panama
ヒカリノアトリエ演出「アバターと手から粒子」
ヒカリノアトリエ演出「アバターと手から粒子」
Inside FastEnum
Inside FastEnum
Echo server implementation for Python
Echo server implementation for Python
C#次世代非同期処理概観 - Task vs Reactive Extensions
C#次世代非同期処理概観 - Task vs Reactive Extensions
Effective Modern C++ 勉強会#3 Item 15
Effective Modern C++ 勉強会#3 Item 15
続・SECDマシン
続・SECDマシン
Shadow Server on Fluentd at Fluentd Casual Talks #3
Shadow Server on Fluentd at Fluentd Casual Talks #3
OSC2013 Tokyo/Spring JOSUG
OSC2013 Tokyo/Spring JOSUG
きつねさんでもわかるLlvm読書会 第2回
きつねさんでもわかるLlvm読書会 第2回
Tottoruby 20110903
Tottoruby 20110903
More from Masaki Toyoshima
Google cloudinside3
Google cloudinside3
Masaki Toyoshima
Stream processing using alpakka cloud pub sub connector
Stream processing using alpakka cloud pub sub connector
Masaki Toyoshima
CQRS+ES on GCP
CQRS+ES on GCP
Masaki Toyoshima
Ladder of cqrs+es
Ladder of cqrs+es
Masaki Toyoshima
Scala on gae
Scala on gae
Masaki Toyoshima
Scalaでもgae
Scalaでもgae
Masaki Toyoshima
仕様をコードに落としこむ際気をつけたいこと
仕様をコードに落としこむ際気をつけたいこと
Masaki Toyoshima
More from Masaki Toyoshima
(7)
Google cloudinside3
Google cloudinside3
Stream processing using alpakka cloud pub sub connector
Stream processing using alpakka cloud pub sub connector
CQRS+ES on GCP
CQRS+ES on GCP
Ladder of cqrs+es
Ladder of cqrs+es
Scala on gae
Scala on gae
Scalaでもgae
Scalaでもgae
仕様をコードに落としこむ際気をつけたいこと
仕様をコードに落としこむ際気をつけたいこと
Recently uploaded
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
Recently uploaded
(9)
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Akka Stream x Kinesis at Shinjuku reactive meetup vol2
1.
copyright Fringe81 Co.,Ltd. LT:
Akka Stream x Kinesis 第2回Reactive System Meetup in 西新宿 2016/02/02 @mtoyoshi
2.
copyright Fringe81 Co.,Ltd. @mtoyoshi Fringe81で働くScalaエンジニア 以前、関数型ストリーム処理勉強会でAkka Streamについて話しました http://www.slideshare.net/MasakiToyoshima/akka-stream-54843336
3.
copyright Fringe81 Co.,Ltd. OutOfMemoryの危険 Actor
Actor Akka StreamといえばBack-Pressure(?) 各ステージはBufferを持つのでした
4.
copyright Fringe81 Co.,Ltd. EC2
EC2 ... ... ex.広告配信サーバー ex.集計用サーバー
5.
copyright Fringe81 Co.,Ltd. EC2
EC2Kinesis ... ... 自分のペースで
6.
copyright Fringe81 Co.,Ltd. EC2
EC2 ... ... 自分のペースで 自分のペースで 自分のペースで Kinesis
7.
copyright Fringe81 Co.,Ltd. Akka
Streamと違って buffer(=Kinesis)は 数ではなく時間(=24H) EC2 EC2Kinesis ... ...
8.
copyright Fringe81 Co.,Ltd. ●
Write: 秒間1000records/shard, 1MB ● Read: 秒間5req/shard, 2MB ● Shard数増減はカジュアルに出来る ● 24Hデータ保持 ● アプリ側で読み込み済み箇所を記録 ● 類似サービスにKafkaがある Kinesis
9.
copyright Fringe81 Co.,Ltd. EC2
Kinesis ... ... ● fluent-plugin-kinesisを使用した ○ EC2→S3で利用していた ○ 仮にshardの処理量を超えて書き込むとエラー となるがリトライしてくれる EC2
10.
copyright Fringe81 Co.,Ltd. EC2
Kinesis ... ... ● KCL(Kinesis Client Library)を使用した ○ 以下実装済みでAppコードに集中できる ○ 読み込み箇所の記録(Dynamo) ○ Shard増減対応 ○ CloudWatchメトリクス記録 EC2Kinesis
11.
copyright Fringe81 Co.,Ltd. EC2
Kinesis ... ... override def processRecords(pri: ProcessRecordsInput) = { val records: List[Record] = pri.getRecords().asScala.toList Source(records) .map{ record => new String(record.getData().array(), CHARSET) } …. EC2Kinesis using Akka Stream
12.
copyright Fringe81 Co.,Ltd. 余談:Spark
StreamingでもKCLが
13.
copyright Fringe81 Co.,Ltd. Spark1.6でKCLを使ったCheckpoint関連のbugが 取り除かれ、晴れて(?)コード上のコメントから制約 を伝える部分が消える https://github.com/apache/spark/pull/9421
14.
copyright Fringe81 Co.,Ltd. おわり
Download now