Submit Search
Upload
今更聞けないストリーム処理のあれとかこれ
•
Download as PPTX, PDF
•
6 likes
•
11,289 views
Tatsuro Hisamori
Follow
JAWS-UG Meguro #2 のLT
Read less
Read more
Technology
Report
Share
Report
Share
1 of 26
Download now
Recommended
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
SmartNews, Inc.
Spring で実現する SmartNews のニュース配信基盤
Spring で実現する SmartNews のニュース配信基盤
SmartNews, Inc.
SmartNewsを支えるデータパイプラインとその運用
SmartNewsを支えるデータパイプラインとその運用
SmartNews, Inc.
SmartNewsのニュース配信を支えるサーバ技術 / Kazhiro Sera @ SmartNews,Inc. #jjug_ccc
SmartNewsのニュース配信を支えるサーバ技術 / Kazhiro Sera @ SmartNews,Inc. #jjug_ccc
SmartNews, Inc.
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...
Insight Technology, Inc.
Analytics CloudとEmbulkを使った社会的データの分析
Analytics CloudとEmbulkを使った社会的データの分析
tzm_freedom
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
Kentaro Yoshida
ここがつらいよAws batch
ここがつらいよAws batch
Yu Yamada
Recommended
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
Strem処理(Spark Streaming + Kinesis)とOffline処理(Hive)の統合
SmartNews, Inc.
Spring で実現する SmartNews のニュース配信基盤
Spring で実現する SmartNews のニュース配信基盤
SmartNews, Inc.
SmartNewsを支えるデータパイプラインとその運用
SmartNewsを支えるデータパイプラインとその運用
SmartNews, Inc.
SmartNewsのニュース配信を支えるサーバ技術 / Kazhiro Sera @ SmartNews,Inc. #jjug_ccc
SmartNewsのニュース配信を支えるサーバ技術 / Kazhiro Sera @ SmartNews,Inc. #jjug_ccc
SmartNews, Inc.
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...
[data analytics showcase] B11: ビッグデータを高速に検索・分析する「Elasticsearch」~新プラグイン「Graph」...
Insight Technology, Inc.
Analytics CloudとEmbulkを使った社会的データの分析
Analytics CloudとEmbulkを使った社会的データの分析
tzm_freedom
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
TREASUREDATAのエコシステムで作るロバストなETLデータ処理基盤の作り方
Kentaro Yoshida
ここがつらいよAws batch
ここがつらいよAws batch
Yu Yamada
GoAzure 2015:IoTなどの大量データをStream Analyticsでリアルタイムデータ分析してみよう
GoAzure 2015:IoTなどの大量データをStream Analyticsでリアルタイムデータ分析してみよう
Hidemasa Togashi
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
VirtualTech Japan Inc.
Renewed using elasticsearchonaspnet-core5
Renewed using elasticsearchonaspnet-core5
Shotaro Suzuki
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
Takahiro Moteki
Elasticsearch勉強会#44 20210624
Elasticsearch勉強会#44 20210624
Tetsuya Sodo
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
Kentaro Yoshida
Azure bastion ignite the tour @tokyo 2019
Azure bastion ignite the tour @tokyo 2019
Yoshimasa Katakura
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Recruit Technologies
Moving from on prem to managed services with elastic on azure-final
Moving from on prem to managed services with elastic on azure-final
Shotaro Suzuki
ApexからAWS IoT叩いてみた話
ApexからAWS IoT叩いてみた話
tzm_freedom
[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判...
[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判...
Insight Technology, Inc.
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Yasuhiro Matsuo
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Junichi Noda
AI for Business - Microsoft AI Business summit 2018
AI for Business - Microsoft AI Business summit 2018
Daiyu Hatakeyama
Gpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure ai
Gpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure ai
Shotaro Suzuki
20190731 Azure Functions x Line at Azure Tech Lab #4
20190731 Azure Functions x Line at Azure Tech Lab #4
Issei Hiraoka
azure functionsでlinebotを作ってみた
azure functionsでlinebotを作ってみた
裕之 木下
Apm enables python app observability
Apm enables python app observability
Shotaro Suzuki
【SecurityJAWS】Kibana Canvasで魅せる!AWS環境における脅威分析ユースケース
【SecurityJAWS】Kibana Canvasで魅せる!AWS環境における脅威分析ユースケース
Hibino Hisashi
懲りずにazure functionsでlinebotを作ってみた
懲りずにazure functionsでlinebotを作ってみた
裕之 木下
平均レスポンスタイム50msをPerlで捌く中規模サービスの実装/運用
平均レスポンスタイム50msをPerlで捌く中規模サービスの実装/運用
Tatsuro Hisamori
Riakmeetup2forupload
Riakmeetup2forupload
Tatsuro Hisamori
More Related Content
What's hot
GoAzure 2015:IoTなどの大量データをStream Analyticsでリアルタイムデータ分析してみよう
GoAzure 2015:IoTなどの大量データをStream Analyticsでリアルタイムデータ分析してみよう
Hidemasa Togashi
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
VirtualTech Japan Inc.
Renewed using elasticsearchonaspnet-core5
Renewed using elasticsearchonaspnet-core5
Shotaro Suzuki
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
Takahiro Moteki
Elasticsearch勉強会#44 20210624
Elasticsearch勉強会#44 20210624
Tetsuya Sodo
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
Kentaro Yoshida
Azure bastion ignite the tour @tokyo 2019
Azure bastion ignite the tour @tokyo 2019
Yoshimasa Katakura
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Recruit Technologies
Moving from on prem to managed services with elastic on azure-final
Moving from on prem to managed services with elastic on azure-final
Shotaro Suzuki
ApexからAWS IoT叩いてみた話
ApexからAWS IoT叩いてみた話
tzm_freedom
[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判...
[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判...
Insight Technology, Inc.
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Yasuhiro Matsuo
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Junichi Noda
AI for Business - Microsoft AI Business summit 2018
AI for Business - Microsoft AI Business summit 2018
Daiyu Hatakeyama
Gpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure ai
Gpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure ai
Shotaro Suzuki
20190731 Azure Functions x Line at Azure Tech Lab #4
20190731 Azure Functions x Line at Azure Tech Lab #4
Issei Hiraoka
azure functionsでlinebotを作ってみた
azure functionsでlinebotを作ってみた
裕之 木下
Apm enables python app observability
Apm enables python app observability
Shotaro Suzuki
【SecurityJAWS】Kibana Canvasで魅せる!AWS環境における脅威分析ユースケース
【SecurityJAWS】Kibana Canvasで魅せる!AWS環境における脅威分析ユースケース
Hibino Hisashi
懲りずにazure functionsでlinebotを作ってみた
懲りずにazure functionsでlinebotを作ってみた
裕之 木下
What's hot
(20)
GoAzure 2015:IoTなどの大量データをStream Analyticsでリアルタイムデータ分析してみよう
GoAzure 2015:IoTなどの大量データをStream Analyticsでリアルタイムデータ分析してみよう
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月
Renewed using elasticsearchonaspnet-core5
Renewed using elasticsearchonaspnet-core5
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
Elasticsearch勉強会#44 20210624
Elasticsearch勉強会#44 20210624
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
ElasticSearch+Kibanaでログデータの検索と視覚化を実現するテクニックと運用ノウハウ
Azure bastion ignite the tour @tokyo 2019
Azure bastion ignite the tour @tokyo 2019
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Moving from on prem to managed services with elastic on azure-final
Moving from on prem to managed services with elastic on azure-final
ApexからAWS IoT叩いてみた話
ApexからAWS IoT叩いてみた話
[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判...
[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判...
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
AI for Business - Microsoft AI Business summit 2018
AI for Business - Microsoft AI Business summit 2018
Gpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure ai
Gpu accelerates aimodeldevelopmentandanalyticsutilizingelasticsearchandazure ai
20190731 Azure Functions x Line at Azure Tech Lab #4
20190731 Azure Functions x Line at Azure Tech Lab #4
azure functionsでlinebotを作ってみた
azure functionsでlinebotを作ってみた
Apm enables python app observability
Apm enables python app observability
【SecurityJAWS】Kibana Canvasで魅せる!AWS環境における脅威分析ユースケース
【SecurityJAWS】Kibana Canvasで魅せる!AWS環境における脅威分析ユースケース
懲りずにazure functionsでlinebotを作ってみた
懲りずにazure functionsでlinebotを作ってみた
Viewers also liked
平均レスポンスタイム50msをPerlで捌く中規模サービスの実装/運用
平均レスポンスタイム50msをPerlで捌く中規模サービスの実装/運用
Tatsuro Hisamori
Riakmeetup2forupload
Riakmeetup2forupload
Tatsuro Hisamori
Html5j 8
Html5j 8
Tatsuro Hisamori
YAPCEurope2014-myfinder
YAPCEurope2014-myfinder
Tatsuro Hisamori
YAPC::Europe 2014 に行ってきました
YAPC::Europe 2014 に行ってきました
Tatsuro Hisamori
CGI Perlでわかる!サーバレス
CGI Perlでわかる!サーバレス
Tatsuro Hisamori
Kafkaを活用するためのストリーム処理の基本
Kafkaを活用するためのストリーム処理の基本
Sotaro Kimura
FluentdとAWSを使ったログの運用
FluentdとAWSを使ったログの運用
Keisuke Izumiya
エンジニアのための Azure 基礎知識
エンジニアのための Azure 基礎知識
Daiyu Hatakeyama
At42 qt1010 datasheet
At42 qt1010 datasheet
Brutcat
My sql event_scheduler_casual_slideshare__
My sql event_scheduler_casual_slideshare__
Tatsuro Hisamori
プログラミング言語とは ~ 非エンジニアの方へ ~
プログラミング言語とは ~ 非エンジニアの方へ ~
Eiji Kuroda
JS開発環境を晒す。
JS開発環境を晒す。
Eiji Kuroda
はじめてのCouch db
はじめてのCouch db
Eiji Kuroda
HTMLElementの派生が作りたかった。
HTMLElementの派生が作りたかった。
Eiji Kuroda
新卒のみなさんへ 〜大志のいだき方〜
新卒のみなさんへ 〜大志のいだき方〜
Eiji Kuroda
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
Kazuki Taniguchi
Hotサービスの傾向
Hotサービスの傾向
Eiji Kuroda
いまどきのチームびるでぃんぐ
いまどきのチームびるでぃんぐ
Eiji Kuroda
SmartPhone と AdTechの世界
SmartPhone と AdTechの世界
Eiji Kuroda
Viewers also liked
(20)
平均レスポンスタイム50msをPerlで捌く中規模サービスの実装/運用
平均レスポンスタイム50msをPerlで捌く中規模サービスの実装/運用
Riakmeetup2forupload
Riakmeetup2forupload
Html5j 8
Html5j 8
YAPCEurope2014-myfinder
YAPCEurope2014-myfinder
YAPC::Europe 2014 に行ってきました
YAPC::Europe 2014 に行ってきました
CGI Perlでわかる!サーバレス
CGI Perlでわかる!サーバレス
Kafkaを活用するためのストリーム処理の基本
Kafkaを活用するためのストリーム処理の基本
FluentdとAWSを使ったログの運用
FluentdとAWSを使ったログの運用
エンジニアのための Azure 基礎知識
エンジニアのための Azure 基礎知識
At42 qt1010 datasheet
At42 qt1010 datasheet
My sql event_scheduler_casual_slideshare__
My sql event_scheduler_casual_slideshare__
プログラミング言語とは ~ 非エンジニアの方へ ~
プログラミング言語とは ~ 非エンジニアの方へ ~
JS開発環境を晒す。
JS開発環境を晒す。
はじめてのCouch db
はじめてのCouch db
HTMLElementの派生が作りたかった。
HTMLElementの派生が作りたかった。
新卒のみなさんへ 〜大志のいだき方〜
新卒のみなさんへ 〜大志のいだき方〜
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
Hotサービスの傾向
Hotサービスの傾向
いまどきのチームびるでぃんぐ
いまどきのチームびるでぃんぐ
SmartPhone と AdTechの世界
SmartPhone と AdTechの世界
Similar to 今更聞けないストリーム処理のあれとかこれ
スマートニュースの世界展開を支えるログ解析基盤
スマートニュースの世界展開を支えるログ解析基盤
Takumi Sakamoto
Azure Function GAした!Visual Studio Tools for Azure Functions もプレビューだ!
Azure Function GAした!Visual Studio Tools for Azure Functions もプレビューだ!
Yasuaki Matsuda
AWS を活用して小さなチームで 世界で使われるサービスを運用する方法 - JAWS Days 2013
AWS を活用して小さなチームで 世界で使われるサービスを運用する方法 - JAWS Days 2013
Takashi Someda
できる!KickstartとAnsible!
できる!KickstartとAnsible!
Wataru NOGUCHI
[Japan Tech summit 2017] MAI 003
[Japan Tech summit 2017] MAI 003
Microsoft Tech Summit 2017
Azure Datalake 大全
Azure Datalake 大全
Daiyu Hatakeyama
○○をAWSで作るにはどうすればいい? ~ 構築例とアーキテクチャ図を添えて
○○をAWSで作るにはどうすればいい? ~ 構築例とアーキテクチャ図を添えて
mokomoko9
20120405 setsunaセミナー
20120405 setsunaセミナー
Takahiro Iwase
ARMテンプレートでサーバーレスに挑む!
ARMテンプレートでサーバーレスに挑む!
Kazumi IWANAGA
Asp.netとbluemixで遊んでみたお話
Asp.netとbluemixで遊んでみたお話
Kazunori Hamamoto
Azure Machine Learningを触ってみた!
Azure Machine Learningを触ってみた!
Takuya Tachibana
DBFluteを用いて開発されている全文検索システムFess
DBFluteを用いて開発されている全文検索システムFess
Shinsuke Sugaya
鹿駆動勉強会 青江発表資料
鹿駆動勉強会 青江発表資料
Takashi Aoe
EmbulkのGCS/BigQuery周りのプラグインについて
EmbulkのGCS/BigQuery周りのプラグインについて
Satoshi Akama
AWSによるサーバーレスアーキテクチャ
AWSによるサーバーレスアーキテクチャ
真吾 吉田
SWF+FlowFrameworkを使ってみた@JAWS-UG高尾山 2015.09.27
SWF+FlowFrameworkを使ってみた@JAWS-UG高尾山 2015.09.27
Tetsuya Mase
Big data解析ビジネス
Big data解析ビジネス
Mie Mori
Azure使いから見たAWSの良いところ
Azure使いから見たAWSの良いところ
Masaki Yamamoto
Backlog、Cacoo にみるAWS運用の勘所 - JAWS UG 三都物語
Backlog、Cacoo にみるAWS運用の勘所 - JAWS UG 三都物語
Takashi Someda
DBA から開発者への情報提供
DBA から開発者への情報提供
Masayuki Ozawa
Similar to 今更聞けないストリーム処理のあれとかこれ
(20)
スマートニュースの世界展開を支えるログ解析基盤
スマートニュースの世界展開を支えるログ解析基盤
Azure Function GAした!Visual Studio Tools for Azure Functions もプレビューだ!
Azure Function GAした!Visual Studio Tools for Azure Functions もプレビューだ!
AWS を活用して小さなチームで 世界で使われるサービスを運用する方法 - JAWS Days 2013
AWS を活用して小さなチームで 世界で使われるサービスを運用する方法 - JAWS Days 2013
できる!KickstartとAnsible!
できる!KickstartとAnsible!
[Japan Tech summit 2017] MAI 003
[Japan Tech summit 2017] MAI 003
Azure Datalake 大全
Azure Datalake 大全
○○をAWSで作るにはどうすればいい? ~ 構築例とアーキテクチャ図を添えて
○○をAWSで作るにはどうすればいい? ~ 構築例とアーキテクチャ図を添えて
20120405 setsunaセミナー
20120405 setsunaセミナー
ARMテンプレートでサーバーレスに挑む!
ARMテンプレートでサーバーレスに挑む!
Asp.netとbluemixで遊んでみたお話
Asp.netとbluemixで遊んでみたお話
Azure Machine Learningを触ってみた!
Azure Machine Learningを触ってみた!
DBFluteを用いて開発されている全文検索システムFess
DBFluteを用いて開発されている全文検索システムFess
鹿駆動勉強会 青江発表資料
鹿駆動勉強会 青江発表資料
EmbulkのGCS/BigQuery周りのプラグインについて
EmbulkのGCS/BigQuery周りのプラグインについて
AWSによるサーバーレスアーキテクチャ
AWSによるサーバーレスアーキテクチャ
SWF+FlowFrameworkを使ってみた@JAWS-UG高尾山 2015.09.27
SWF+FlowFrameworkを使ってみた@JAWS-UG高尾山 2015.09.27
Big data解析ビジネス
Big data解析ビジネス
Azure使いから見たAWSの良いところ
Azure使いから見たAWSの良いところ
Backlog、Cacoo にみるAWS運用の勘所 - JAWS UG 三都物語
Backlog、Cacoo にみるAWS運用の勘所 - JAWS UG 三都物語
DBA から開発者への情報提供
DBA から開発者への情報提供
Recently uploaded
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
Recently uploaded
(12)
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
今更聞けないストリーム処理のあれとかこれ
1.
今更聞けない ストリーム処理の “あれ” とか ”これ“ まいんだー JAWS-UG
MEGURO #2
2.
で、誰? Tatsuro Hisamori(id:myfinder) AWS関連のアウトプット ・失業エントリ - http://myfinder.hatenablog.com/entry/2015/03/27/141416 ・AWS
Casual Talks #3 - https://github.com/myfinder/aws-casual-3/blob/master/slide.md ・AWS Users Advanced Meetup vol.2 - https://github.com/myfinder/aws-advanced-users-meetup- 2/blob/master/slide.md
3.
“あれ” と “これ” あれ
= どの基盤を選択するか これ = どの技術を選択するか
4.
結論 – 目的/事情に合わせて選ぼう PaaSに任せたい 自分で構築したい プログラムでやりたい
SQLでやりたい
5.
ストリーム処理?
6.
“静止したデータ” vs “動いてるデータ” 何台存在?
直近 1 分で何台通過?
7.
“ストリーム処理” ・2007年くらいには既に実用化されてたけどその頃のWeb屋のサーバスペック/インフラリテラ シは。。。 ・金融のアルゴリズムトレードあたりから使われる ◦ ウォッチしている証券コードの値動きと、ニュース記事を連動させたいとかそういうの ・最近だとIoT方面でよく聞く(よくそういう話を仕事でしている) ・ネット広告だと配信/クリック/コンバージョン状況をできるだけリアルタイムにフィードバックし たいとかいうニーズなんかがある ・でもストリーム処理をやるためのソフトウェアが知られてない頃はcrontabに ”*
* * * *” とか書 いてログをゴニョゴニョしてた人が多いんじゃないか(主観) ・選択肢も実例も増えてきたし、もうそういう似非ストリームっぽい何かはやめにしよう
8.
“ストリーム処理” ・基本的な構成概念 何らかの アプリ (Producer) データの ブローカー (Broker) ストリーム処理 実体 (Consumer) 何らかの 出力先 (RDB, ObjectStorage, BI Tool, etc) pull型 push型
9.
“ストリーム処理” ・基本的な構成概念 何らかの アプリ データの ブローカー ストリーム処理 実装 何らかの 出力先 pull型 push型 今日の内容は この部分
10.
“あれ” と “これ”の 類型と選択パターン
11.
自分で構築してプログラムでやる PaaSに任せたい 自分で構築したい プログラムでやりたい SQLでやりたい
12.
Kafka + Spark
Streaming EC2 or オンプレで頑張る。 uprushさんが話してくれた内容がきっとこ れに該当すると信じて詳細は割愛。
13.
PaaSに任せつつプログラムを書く(1) PaaSに任せたい 自分で構築したい プログラムでやりたい SQLでやりたい
14.
Kinesis + Lambda 誰か話してくれるかと思ったけど誰も話さ ないとは。。。 AWSだけの環境の人はこれを使っておけ ば目黒の人たちが助けてくれる
15.
PaaSに任せつつプログラムを書く(2) PaaSに任せたい 自分で構築したい プログラムでやりたい SQLでやりたい
16.
GCP Pub/Sub +
DataFlow SDKがJava8縛り fluent-plugin-gcloud-pubsub で Pub/Sub へデータを送れば気軽に連携できる ここはJAWS-UGなので細かいことは割愛
17.
自分で構築しつつSQLでやる(1) PaaSに任せたい 自分で構築したい プログラムでやりたい SQLでやりたい
18.
Fluentd + Norikra EC2でやる。 Fluentd
+ Norikraはコードを書かずにSQLを登 録するだけでOKなところが良い スケーラビリティが課題(多段Norikraやばい) あとpush型なので “いったんクエリを止めて更 新する” みたいなメンテが面倒
19.
自分で構築しつつSQLでやる(2) PaaSに任せたい 自分で構築したい プログラムでやりたい SQLでやりたい
20.
Kafka + Spark
Streaming SQL EC2でがんばる。 SQLでできる、と言いつつも結局コールす るコードが必要なのは⤵ http://spark.apache.org/docs/latest/strea ming-programming-guide.html#dataframe- and-sql-operations
21.
PaaSを使ってさらにSQLでやる(1) PaaSに任せたい 自分で構築したい プログラムでやりたい SQLでやりたい
22.
Kinesis + EMR(Spark
Streaming SQL) EMRでSparkをポチっとな。 PaaSでSQLと言いつつもAPIをつなげる部 分のコーディングは要求される(承前)
23.
PaaSに任せたい 自分で構築したい プログラムでやりたい SQLでやりたい PaaSを使ってさらにSQLでやる(2)
24.
Azure Event Hubs
+ Stream Analytics エンドポイントを作ってクエリ設定して、 fluent-plugin-azureeventhubs でデータを流 し込むだけでOK 複数のストリームをJOIN句でつなげられ たり便利 ここはJAWS-UGなので細かいことは割愛
25.
選択の基準 とりあえずやってみたいよ -> Kinesis
+ Lambda を推奨 大したトラフィックないよ -> fluentd + Norikra を推奨 コード書きたくないし運用したくないよ -> PaaS + SQL を推奨
26.
結論 – 目的/事情に合わせて選ぼう PaaSに任せたい 自分で構築したい プログラムでやりたい
SQLでやりたい
Download now