Enviar búsqueda
Cargar
バッチを Akka Streams で再実装したら100倍速くなった話 #ScalaMatsuri
•
33 recomendaciones
•
23,978 vistas
Kazuki Negoro
Seguir
2016/01/30 @negokaz http://scalamatsuri.org/
Leer menos
Leer más
Tecnología
Denunciar
Compartir
Denunciar
Compartir
1 de 59
Descargar ahora
Descargar para leer sin conexión
Recomendados
ログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについて
cyberagent
並行処理初心者のためのAkka入門
並行処理初心者のためのAkka入門
Yoshimura Soichiro
Spanner移行について本気出して考えてみた
Spanner移行について本気出して考えてみた
techgamecollege
忙しい人の5分で分かるMesos入門 - Mesos って何だ?
忙しい人の5分で分かるMesos入門 - Mesos って何だ?
Masahito Zembutsu
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
Yahoo!デベロッパーネットワーク
インフラ廻戦 品川事変 前夜編
インフラ廻戦 品川事変 前夜編
Toru Makabe
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
20190911 AWS Black Belt Online Seminar AWS Batch
20190911 AWS Black Belt Online Seminar AWS Batch
Amazon Web Services Japan
Recomendados
ログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについて
cyberagent
並行処理初心者のためのAkka入門
並行処理初心者のためのAkka入門
Yoshimura Soichiro
Spanner移行について本気出して考えてみた
Spanner移行について本気出して考えてみた
techgamecollege
忙しい人の5分で分かるMesos入門 - Mesos って何だ?
忙しい人の5分で分かるMesos入門 - Mesos って何だ?
Masahito Zembutsu
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
Yahoo!デベロッパーネットワーク
インフラ廻戦 品川事変 前夜編
インフラ廻戦 品川事変 前夜編
Toru Makabe
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
Apache Sparkに手を出してヤケドしないための基本 ~「Apache Spark入門より」~ (デブサミ 2016 講演資料)
NTT DATA OSS Professional Services
20190911 AWS Black Belt Online Seminar AWS Batch
20190911 AWS Black Belt Online Seminar AWS Batch
Amazon Web Services Japan
Presto ベースのマネージドサービス Amazon Athena
Presto ベースのマネージドサービス Amazon Athena
Amazon Web Services Japan
AWSでDockerを扱うためのベストプラクティス
AWSでDockerを扱うためのベストプラクティス
Amazon Web Services Japan
Hive on Spark の設計指針を読んでみた
Hive on Spark の設計指針を読んでみた
Recruit Technologies
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Noritaka Sekiyama
Apache Arrow - データ処理ツールの次世代プラットフォーム
Apache Arrow - データ処理ツールの次世代プラットフォーム
Kouhei Sutou
Ansible ではじめるインフラのコード化入門
Ansible ではじめるインフラのコード化入門
Sho A
NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例
Amazon Web Services Japan
OpenStack超入門シリーズ いまさら聞けないNeutronの使い方
OpenStack超入門シリーズ いまさら聞けないNeutronの使い方
Toru Makabe
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
Trainocate Japan, Ltd.
DockerとPodmanの比較
DockerとPodmanの比較
Akihiro Suda
The Twelve-Factor Appで考えるAWSのサービス開発
The Twelve-Factor Appで考えるAWSのサービス開発
Amazon Web Services Japan
Serverless時代のJavaについて
Serverless時代のJavaについて
Amazon Web Services Japan
Hive on Tezのベストプラクティス
Hive on Tezのベストプラクティス
Yahoo!デベロッパーネットワーク
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Akihiro Suda
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Treasure Data, Inc.
SPAセキュリティ入門~PHP Conference Japan 2021
SPAセキュリティ入門~PHP Conference Japan 2021
Hiroshi Tokumaru
BuildKitによる高速でセキュアなイメージビルド
BuildKitによる高速でセキュアなイメージビルド
Akihiro Suda
ブレソルでテラバイト級データのALTERを短時間で終わらせる
ブレソルでテラバイト級データのALTERを短時間で終わらせる
KLab Inc. / Tech
分散システムについて語らせてくれ
分散システムについて語らせてくれ
Kumazaki Hiroki
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
How Scala code is expressed in the JVM
How Scala code is expressed in the JVM
Koichi Sakata
From Microliths To Microsystems
From Microliths To Microsystems
Jonas Bonér
Más contenido relacionado
La actualidad más candente
Presto ベースのマネージドサービス Amazon Athena
Presto ベースのマネージドサービス Amazon Athena
Amazon Web Services Japan
AWSでDockerを扱うためのベストプラクティス
AWSでDockerを扱うためのベストプラクティス
Amazon Web Services Japan
Hive on Spark の設計指針を読んでみた
Hive on Spark の設計指針を読んでみた
Recruit Technologies
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Noritaka Sekiyama
Apache Arrow - データ処理ツールの次世代プラットフォーム
Apache Arrow - データ処理ツールの次世代プラットフォーム
Kouhei Sutou
Ansible ではじめるインフラのコード化入門
Ansible ではじめるインフラのコード化入門
Sho A
NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例
Amazon Web Services Japan
OpenStack超入門シリーズ いまさら聞けないNeutronの使い方
OpenStack超入門シリーズ いまさら聞けないNeutronの使い方
Toru Makabe
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
Trainocate Japan, Ltd.
DockerとPodmanの比較
DockerとPodmanの比較
Akihiro Suda
The Twelve-Factor Appで考えるAWSのサービス開発
The Twelve-Factor Appで考えるAWSのサービス開発
Amazon Web Services Japan
Serverless時代のJavaについて
Serverless時代のJavaについて
Amazon Web Services Japan
Hive on Tezのベストプラクティス
Hive on Tezのベストプラクティス
Yahoo!デベロッパーネットワーク
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Akihiro Suda
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Treasure Data, Inc.
SPAセキュリティ入門~PHP Conference Japan 2021
SPAセキュリティ入門~PHP Conference Japan 2021
Hiroshi Tokumaru
BuildKitによる高速でセキュアなイメージビルド
BuildKitによる高速でセキュアなイメージビルド
Akihiro Suda
ブレソルでテラバイト級データのALTERを短時間で終わらせる
ブレソルでテラバイト級データのALTERを短時間で終わらせる
KLab Inc. / Tech
分散システムについて語らせてくれ
分散システムについて語らせてくれ
Kumazaki Hiroki
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
NTT DATA Technology & Innovation
La actualidad más candente
(20)
Presto ベースのマネージドサービス Amazon Athena
Presto ベースのマネージドサービス Amazon Athena
AWSでDockerを扱うためのベストプラクティス
AWSでDockerを扱うためのベストプラクティス
Hive on Spark の設計指針を読んでみた
Hive on Spark の設計指針を読んでみた
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Apache Arrow - データ処理ツールの次世代プラットフォーム
Apache Arrow - データ処理ツールの次世代プラットフォーム
Ansible ではじめるインフラのコード化入門
Ansible ではじめるインフラのコード化入門
NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例
OpenStack超入門シリーズ いまさら聞けないNeutronの使い方
OpenStack超入門シリーズ いまさら聞けないNeutronの使い方
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識(CCSI監修!)
DockerとPodmanの比較
DockerとPodmanの比較
The Twelve-Factor Appで考えるAWSのサービス開発
The Twelve-Factor Appで考えるAWSのサービス開発
Serverless時代のJavaについて
Serverless時代のJavaについて
Hive on Tezのベストプラクティス
Hive on Tezのベストプラクティス
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
SPAセキュリティ入門~PHP Conference Japan 2021
SPAセキュリティ入門~PHP Conference Japan 2021
BuildKitによる高速でセキュアなイメージビルド
BuildKitによる高速でセキュアなイメージビルド
ブレソルでテラバイト級データのALTERを短時間で終わらせる
ブレソルでテラバイト級データのALTERを短時間で終わらせる
分散システムについて語らせてくれ
分散システムについて語らせてくれ
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
モノリスからマイクロサービスへの移行 ~ストラングラーパターンの検証~(Spring Fest 2020講演資料)
Destacado
How Scala code is expressed in the JVM
How Scala code is expressed in the JVM
Koichi Sakata
From Microliths To Microsystems
From Microliths To Microsystems
Jonas Bonér
Go Reactive: Building Responsive, Resilient, Elastic & Message-Driven Systems
Go Reactive: Building Responsive, Resilient, Elastic & Message-Driven Systems
Jonas Bonér
Pragmatic Real-World Scala (short version)
Pragmatic Real-World Scala (short version)
Jonas Bonér
Reactive Microsystems: The Evolution of Microservices at Scale
Reactive Microsystems: The Evolution of Microservices at Scale
Jonas Bonér
How Events Are Reshaping Modern Systems
How Events Are Reshaping Modern Systems
Jonas Bonér
Scala Refactoring for Fun and Profit (Japanese subtitles)
Scala Refactoring for Fun and Profit (Japanese subtitles)
Tomer Gabel
Contributing to Scala OSS from East Asia #ScalaMatsuri
Contributing to Scala OSS from East Asia #ScalaMatsuri
Kazuhiro Sera
Why Reactive Matters #ScalaMatsuri
Why Reactive Matters #ScalaMatsuri
Yuta Okamoto
ScalaMatsuri 2016
ScalaMatsuri 2016
Yoshitaka Fujii
あなたのScalaを爆速にする7つの方法(日本語版)
あなたのScalaを爆速にする7つの方法(日本語版)
x1 ichi
Zen of Akka
Zen of Akka
Konrad Malawski
Building Reactive Systems with Akka (in Java 8 or Scala)
Building Reactive Systems with Akka (in Java 8 or Scala)
Jonas Bonér
Destacado
(13)
How Scala code is expressed in the JVM
How Scala code is expressed in the JVM
From Microliths To Microsystems
From Microliths To Microsystems
Go Reactive: Building Responsive, Resilient, Elastic & Message-Driven Systems
Go Reactive: Building Responsive, Resilient, Elastic & Message-Driven Systems
Pragmatic Real-World Scala (short version)
Pragmatic Real-World Scala (short version)
Reactive Microsystems: The Evolution of Microservices at Scale
Reactive Microsystems: The Evolution of Microservices at Scale
How Events Are Reshaping Modern Systems
How Events Are Reshaping Modern Systems
Scala Refactoring for Fun and Profit (Japanese subtitles)
Scala Refactoring for Fun and Profit (Japanese subtitles)
Contributing to Scala OSS from East Asia #ScalaMatsuri
Contributing to Scala OSS from East Asia #ScalaMatsuri
Why Reactive Matters #ScalaMatsuri
Why Reactive Matters #ScalaMatsuri
ScalaMatsuri 2016
ScalaMatsuri 2016
あなたのScalaを爆速にする7つの方法(日本語版)
あなたのScalaを爆速にする7つの方法(日本語版)
Zen of Akka
Zen of Akka
Building Reactive Systems with Akka (in Java 8 or Scala)
Building Reactive Systems with Akka (in Java 8 or Scala)
Similar a バッチを Akka Streams で再実装したら100倍速くなった話 #ScalaMatsuri
Mc web controllerご紹介資料2017.03.13
Mc web controllerご紹介資料2017.03.13
MPN Japan
AWSオンリーで実現するIoTクラウド基盤
AWSオンリーで実現するIoTクラウド基盤
Godai Nakamura
Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから
Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから
Yahoo!デベロッパーネットワーク
[db tech showcase Tokyo 2017] C25: 世界最速のAnalytic DBがHadoopとタッグを組んだ! ~スケールアウト検...
[db tech showcase Tokyo 2017] C25: 世界最速のAnalytic DBがHadoopとタッグを組んだ! ~スケールアウト検...
Insight Technology, Inc.
Diskless Compute Nodeを使ったImmutable OpenStack
Diskless Compute Nodeを使ったImmutable OpenStack
Yuki Yamashita
Akkaを使ったスケーラブルなLINE BOT
Akkaを使ったスケーラブルなLINE BOT
Takashi Sugimoto
Yahoo! JAPANが実践するOpenStackと大規模環境でのコンテナ利用 #devsumi
Yahoo! JAPANが実践するOpenStackと大規模環境でのコンテナ利用 #devsumi
Yahoo!デベロッパーネットワーク
JobScheduler ユーザカンファレンス 2016 東京日産コンピュータシステム様 事例紹介
JobScheduler ユーザカンファレンス 2016 東京日産コンピュータシステム様 事例紹介
Daisuke Ikeda
20180220 AWS Black Belt Online Seminar - Amazon Container Services
20180220 AWS Black Belt Online Seminar - Amazon Container Services
Amazon Web Services Japan
Python / R で使うSAS Viya
Python / R で使うSAS Viya
SAS Institute Japan
バッチソリューションAzarea cluster 2016
バッチソリューションAzarea cluster 2016
AzareaCluster
HANAのハナシの基本のき
HANAのハナシの基本のき
Koji Shinkubo
[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...
[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...
Insight Technology, Inc.
Contrail deploy by Juju/MAAS
Contrail deploy by Juju/MAAS
Ikuo Kumagai
弊社IoT事例とAlexaSkil開発レシピ
弊社IoT事例とAlexaSkil開発レシピ
Takashi Kozu
Docker国内外本番環境サービス事例のご紹介
Docker国内外本番環境サービス事例のご紹介
ThinkIT_impress
知って得する!パブリッククラウドをオンプレミスのように使う裏ワザ
知って得する!パブリッククラウドをオンプレミスのように使う裏ワザ
エクイニクス・ジャパン
クラウドファースト時代の最適なシステム配置について
クラウドファースト時代の最適なシステム配置について
エクイニクス・ジャパン
Enterpriseapi20160210
Enterpriseapi20160210
Shinichiro Takezaki
OpenStack環境の継続的インテグレーション
OpenStack環境の継続的インテグレーション
エクイニクス・ジャパン
Similar a バッチを Akka Streams で再実装したら100倍速くなった話 #ScalaMatsuri
(20)
Mc web controllerご紹介資料2017.03.13
Mc web controllerご紹介資料2017.03.13
AWSオンリーで実現するIoTクラウド基盤
AWSオンリーで実現するIoTクラウド基盤
Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから
Yahoo! JAPANのサービス開発を10倍早くした社内PaaS構築の今とこれから
[db tech showcase Tokyo 2017] C25: 世界最速のAnalytic DBがHadoopとタッグを組んだ! ~スケールアウト検...
[db tech showcase Tokyo 2017] C25: 世界最速のAnalytic DBがHadoopとタッグを組んだ! ~スケールアウト検...
Diskless Compute Nodeを使ったImmutable OpenStack
Diskless Compute Nodeを使ったImmutable OpenStack
Akkaを使ったスケーラブルなLINE BOT
Akkaを使ったスケーラブルなLINE BOT
Yahoo! JAPANが実践するOpenStackと大規模環境でのコンテナ利用 #devsumi
Yahoo! JAPANが実践するOpenStackと大規模環境でのコンテナ利用 #devsumi
JobScheduler ユーザカンファレンス 2016 東京日産コンピュータシステム様 事例紹介
JobScheduler ユーザカンファレンス 2016 東京日産コンピュータシステム様 事例紹介
20180220 AWS Black Belt Online Seminar - Amazon Container Services
20180220 AWS Black Belt Online Seminar - Amazon Container Services
Python / R で使うSAS Viya
Python / R で使うSAS Viya
バッチソリューションAzarea cluster 2016
バッチソリューションAzarea cluster 2016
HANAのハナシの基本のき
HANAのハナシの基本のき
[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...
[db analytics showcase Sapporo 2017] B27:世界最速のAnalytic DBはHadoopの夢を見るか by 株式会...
Contrail deploy by Juju/MAAS
Contrail deploy by Juju/MAAS
弊社IoT事例とAlexaSkil開発レシピ
弊社IoT事例とAlexaSkil開発レシピ
Docker国内外本番環境サービス事例のご紹介
Docker国内外本番環境サービス事例のご紹介
知って得する!パブリッククラウドをオンプレミスのように使う裏ワザ
知って得する!パブリッククラウドをオンプレミスのように使う裏ワザ
クラウドファースト時代の最適なシステム配置について
クラウドファースト時代の最適なシステム配置について
Enterpriseapi20160210
Enterpriseapi20160210
OpenStack環境の継続的インテグレーション
OpenStack環境の継続的インテグレーション
バッチを Akka Streams で再実装したら100倍速くなった話 #ScalaMatsuri
1.
バッチを Akka Stream
で再実装したら100倍速くなった話
2.
Copyright © 2016
TIS Inc. All rights reserved. 根来 和輝 TIS 株式会社 生産技術R&D室 ‣ ‣ ‣
3.
Copyright © 2016
TIS Inc. All rights reserved. 今日話すこと Akka Streams を使ってバッチの処理速度を100倍にした事例
4.
Copyright © 2016
TIS Inc. All rights reserved. パフォーマンスに問題を抱えた本番運用されているバッチ処理
5.
Copyright © 2016
TIS Inc. All rights reserved. バッチ処理 毎日夜間に、その日の取引情報をCSVファイルに書き出す
6.
Copyright © 2016
TIS Inc. All rights reserved. アーキテクチャ Active Record
7.
Copyright © 2016
TIS Inc. All rights reserved. DBから一括で時刻順の取引情報を取得し、一行ずつ処理し、 一行ずつファイルへ書き出す
8.
Copyright © 2016
TIS Inc. All rights reserved. 問題は何か 処理が終わるのが遅い。応急処置でなんとか凌いでいる。
9.
Copyright © 2016
TIS Inc. All rights reserved. 遅い原因はなにか?
10.
Copyright © 2016
TIS Inc. All rights reserved. 調査環境として仮想マシンを構築。 本番環境と同じリソースを割り当て。 ‣ ‣ ‣ ‣
11.
Copyright © 2016
TIS Inc. All rights reserved. 調査のシナリオでは100万件のデータを用意
12.
Copyright © 2016
TIS Inc. All rights reserved. 結果、処理速度は毎秒4件
13.
Copyright © 2016
TIS Inc. All rights reserved. 100万件処理するのに3日
14.
Copyright © 2016
TIS Inc. All rights reserved. ボトルネックはどこか? スワップ領域が大量に消費 0 1000 2000 3000 4000 5000 6000 0:00 0:20 0:40 1:00 1:20 1:40 2:00 2:20 2:40 - - Memory - - Swap ‣
15.
Copyright © 2016
TIS Inc. All rights reserved. 処理のボトルネック
16.
Copyright © 2016
TIS Inc. All rights reserved. メモリを潤沢に用意すれば問題ないのか?
17.
Copyright © 2016
TIS Inc. All rights reserved. ‣ ‣ ‣ ‣
18.
Copyright © 2016
TIS Inc. All rights reserved. 調査のシナリオでは100万件のデータを処理
19.
Copyright © 2016
TIS Inc. All rights reserved. 結果、処理速度は毎秒100件
20.
Copyright © 2016
TIS Inc. All rights reserved. 100万件処理するのに3時間
21.
Copyright © 2016
TIS Inc. All rights reserved. ボトルネックは解消されたのか? メモリ不足は解消 0 1000 2000 3000 4000 5000 6000 7000 0:00 0:05 0:10 0:15 0:20 0:25 - - Memory - - Swap ‣
22.
Copyright © 2016
TIS Inc. All rights reserved. 使われているCPUコアは1つのみ ‣
23.
Copyright © 2016
TIS Inc. All rights reserved. 第2のボトルネック
24.
Copyright © 2016
TIS Inc. All rights reserved. 少しずつデータを取得。処理を並列で行う。 ただし、取得したデータの並びは維持。 ‣
25.
Copyright © 2016
TIS Inc. All rights reserved. DBから時刻順のデータを少しずつ取得。並列で処理。 取得した順序で書き出し。
26.
Copyright © 2016
TIS Inc. All rights reserved. ここに Akka Streams が使える
27.
Copyright © 2016
TIS Inc. All rights reserved. Akka Streams は Reactive Streams の Akka を使った実装 ‣ ‣
28.
Copyright © 2016
TIS Inc. All rights reserved. アーキテクチャ Streams
29.
Copyright © 2016
TIS Inc. All rights reserved. Reactive Streams の Publisher を通じてデータを ストリーミングするAPIを提供 Streams
30.
Copyright © 2016
TIS Inc. All rights reserved. 同期的な入出力と並列処理 Streams
31.
Copyright © 2016
TIS Inc. All rights reserved. 既存のバッチと同じ結果が得られるように実装。 キャッシュも既存のものと同様に実装。
32.
Copyright © 2016
TIS Inc. All rights reserved. 実装の構成要素 ‣ ‣ ‣
33.
Copyright © 2016
TIS Inc. All rights reserved. 実装 ※ 説明用に簡略化したコード
34.
Copyright © 2016
TIS Inc. All rights reserved. 入力、処理、出力、実行
35.
Copyright © 2016
TIS Inc. All rights reserved.
36.
Copyright © 2016
TIS Inc. All rights reserved.
37.
Copyright © 2016
TIS Inc. All rights reserved. この部分の処理は並列に実行される
38.
Copyright © 2016
TIS Inc. All rights reserved.
39.
Copyright © 2016
TIS Inc. All rights reserved.
40.
Copyright © 2016
TIS Inc. All rights reserved. 調査環境として仮想マシンを構築。 本番環境と同じリソースを割り当て。 ‣ ‣ ‣ ‣
41.
Copyright © 2016
TIS Inc. All rights reserved. 調査のシナリオでは100万件のデータを処理
42.
Copyright © 2016
TIS Inc. All rights reserved. 結果、処理速度は毎秒1,180件
43.
Copyright © 2016
TIS Inc. All rights reserved. 100万件処理するのに14分
44.
Copyright © 2016
TIS Inc. All rights reserved. ボトルネックは解消されたのか? メモリ不足は発生していない 0 200 400 600 800 1000 1200 1400 1600 1800 2000 0:00 0:00 0:01 0:02 0:03 0:04 0:05 0:05 0:06 0:07 0:08 0:09 - - Memory - - Swap ‣
45.
Copyright © 2016
TIS Inc. All rights reserved. CPUの全コアが使われている ‣
46.
Copyright © 2016
TIS Inc. All rights reserved. メモリがボトルネックになっていた場合と比較
47.
Copyright © 2016
TIS Inc. All rights reserved. CPUがボトルネックになっていた場合と比較
48.
Copyright © 2016
TIS Inc. All rights reserved.
49.
バッチを Akka Streams
で再実装したら295倍速くなった話
50.
Copyright © 2016
TIS Inc. All rights reserved. ハードウェアを変更せずに大幅な性能改善できた。 experimental なので本番環境への適用は注意。
51.
Copyright © 2016
TIS Inc. All rights reserved.
52.
Copyright © 2016
TIS Inc. All rights reserved. ストリームなのにメモリ不足。Slick の streaming API を使っ てデータを取得しているのに一括で取得されてしまう。
53.
Copyright © 2016
TIS Inc. All rights reserved. MySQL固有の問題 解決方法: enableStreamingResults() を設定
54.
Copyright © 2016
TIS Inc. All rights reserved. 非同期キャッシュ - spray-caching 非同期ノンブロッキングでスレッドセーフなキャッシュ
55.
Copyright © 2016
TIS Inc. All rights reserved.
56.
Copyright © 2016
TIS Inc. All rights reserved.
57.
Copyright © 2016
TIS Inc. All rights reserved. 2016年2月2日 7:00PM-10:30PM、場所は西新宿
58.
Copyright © 2016
TIS Inc. All rights reserved. 2016年2月2日 7:00PM-10:30PM、場所は西新宿
59.
THANK YOU
Descargar ahora