Enviar búsqueda
Cargar
Asakusaによる分散分析基盤構築事例紹介
•
6 recomendaciones
•
1,595 vistas
Kozo Fukugauchi
Seguir
This is case study to use Asakusa framework on the Hadoop environment.
Leer menos
Leer más
Datos y análisis
Vista de diapositivas
Denunciar
Compartir
Vista de diapositivas
Denunciar
Compartir
1 de 33
Descargar ahora
Descargar para leer sin conexión
Recomendados
OpenWhiskを使ってみた
OpenWhiskを使ってみた
Kozo Fukugauchi
Scala製機械学習サーバ「Apache PredictionIO」
Scala製機械学習サーバ「Apache PredictionIO」
takezoe
jaws-ug kansai-special_aurora_20150207
jaws-ug kansai-special_aurora_20150207
Toshiyuki Konparu
[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判...
[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判...
Insight Technology, Inc.
jaws-ug kansai-special_kinesis_20150207
jaws-ug kansai-special_kinesis_20150207
Toshiyuki Konparu
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Recruit Technologies
Azure DevOps CICD Azure SQL / Data Factory
Azure DevOps CICD Azure SQL / Data Factory
Ryoma Nagata
JAZUG沖縄第二回 Azure App Service Web Apps
JAZUG沖縄第二回 Azure App Service Web Apps
Kazumi Hirose
Recomendados
OpenWhiskを使ってみた
OpenWhiskを使ってみた
Kozo Fukugauchi
Scala製機械学習サーバ「Apache PredictionIO」
Scala製機械学習サーバ「Apache PredictionIO」
takezoe
jaws-ug kansai-special_aurora_20150207
jaws-ug kansai-special_aurora_20150207
Toshiyuki Konparu
[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判...
[data analytics showcase] A15: デジタルデータの可視化基盤「ENdoSnipe」を使った、システムトラブルの未然防止、経営判...
Insight Technology, Inc.
jaws-ug kansai-special_kinesis_20150207
jaws-ug kansai-special_kinesis_20150207
Toshiyuki Konparu
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Recruit Technologies
Azure DevOps CICD Azure SQL / Data Factory
Azure DevOps CICD Azure SQL / Data Factory
Ryoma Nagata
JAZUG沖縄第二回 Azure App Service Web Apps
JAZUG沖縄第二回 Azure App Service Web Apps
Kazumi Hirose
クラウド時代だからこそ見直したい PHPアプリケーションのパフォーマンスチューニング
クラウド時代だからこそ見直したい PHPアプリケーションのパフォーマンスチューニング
Terui Masashi
いまさら聞けないAWSの基本
いまさら聞けないAWSの基本
Trainocate Japan, Ltd.
Splunkと各種ツールによるAWSの管理
Splunkと各種ツールによるAWSの管理
kinunori
Azure Hybrid全体整理! ~ Azure Hybrid Dayに登場した要素 + αの関係性を整理! ~
Azure Hybrid全体整理! ~ Azure Hybrid Dayに登場した要素 + αの関係性を整理! ~
Masahiko Ebisuda
Azure aws違い
Azure aws違い
Masanobu Sato
Azure使いから見たAWSの良いところ
Azure使いから見たAWSの良いところ
Masaki Yamamoto
PySpark Intro Part.2 with SQL Graph
PySpark Intro Part.2 with SQL Graph
Oshitari_kochi
おいしいフルマネージドデータベース はじめました
おいしいフルマネージドデータベース はじめました
Miho Yamamoto
Azure Fundamental
Azure Fundamental
Yui Ashikaga
Azure API Management 俺的マニュアル
Azure API Management 俺的マニュアル
貴志 上坂
[Japan Tech summit 2017] MAI 003
[Japan Tech summit 2017] MAI 003
Microsoft Tech Summit 2017
Hybrid serverless architecture using open whisk ibm cloud functions and istio...
Hybrid serverless architecture using open whisk ibm cloud functions and istio...
Tsuyoshi Hirayama
[Deep Dive]Infra寄りのDevがお送りするRDS for Aurora徹底検証
[Deep Dive]Infra寄りのDevがお送りするRDS for Aurora徹底検証
Terui Masashi
20190124 hccjp vmware_final
20190124 hccjp vmware_final
yohara0913
[簡易提案書]Azure overview 2017_sep_v0.9
[簡易提案書]Azure overview 2017_sep_v0.9
Toshihiko Sawaki
第5回 cogbot勉強会!
第5回 cogbot勉強会!
貴志 上坂
Azure(クラウド)を使った堅牢なシステムを考える
Azure(クラウド)を使った堅牢なシステムを考える
Tsubasa Yoshino
20190410 azure stackhci-hybridstrategy
20190410 azure stackhci-hybridstrategy
Osamu Takazoe
AWS Cloud Design Pattern for Enterprise
AWS Cloud Design Pattern for Enterprise
Akio Katayama
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
Yosuke Katsuki
20150630_データ分析に最適な基盤とは? -コスト/スピードでビジネスバリューを得るために- by 株式会社インサイトテクノロジー CTO 石川雅也
20150630_データ分析に最適な基盤とは? -コスト/スピードでビジネスバリューを得るために- by 株式会社インサイトテクノロジー CTO 石川雅也
Insight Technology, Inc.
[C34] ビックデータ×マーケティング 進化するデジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu
[C34] ビックデータ×マーケティング 進化するデジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu
Insight Technology, Inc.
Más contenido relacionado
La actualidad más candente
クラウド時代だからこそ見直したい PHPアプリケーションのパフォーマンスチューニング
クラウド時代だからこそ見直したい PHPアプリケーションのパフォーマンスチューニング
Terui Masashi
いまさら聞けないAWSの基本
いまさら聞けないAWSの基本
Trainocate Japan, Ltd.
Splunkと各種ツールによるAWSの管理
Splunkと各種ツールによるAWSの管理
kinunori
Azure Hybrid全体整理! ~ Azure Hybrid Dayに登場した要素 + αの関係性を整理! ~
Azure Hybrid全体整理! ~ Azure Hybrid Dayに登場した要素 + αの関係性を整理! ~
Masahiko Ebisuda
Azure aws違い
Azure aws違い
Masanobu Sato
Azure使いから見たAWSの良いところ
Azure使いから見たAWSの良いところ
Masaki Yamamoto
PySpark Intro Part.2 with SQL Graph
PySpark Intro Part.2 with SQL Graph
Oshitari_kochi
おいしいフルマネージドデータベース はじめました
おいしいフルマネージドデータベース はじめました
Miho Yamamoto
Azure Fundamental
Azure Fundamental
Yui Ashikaga
Azure API Management 俺的マニュアル
Azure API Management 俺的マニュアル
貴志 上坂
[Japan Tech summit 2017] MAI 003
[Japan Tech summit 2017] MAI 003
Microsoft Tech Summit 2017
Hybrid serverless architecture using open whisk ibm cloud functions and istio...
Hybrid serverless architecture using open whisk ibm cloud functions and istio...
Tsuyoshi Hirayama
[Deep Dive]Infra寄りのDevがお送りするRDS for Aurora徹底検証
[Deep Dive]Infra寄りのDevがお送りするRDS for Aurora徹底検証
Terui Masashi
20190124 hccjp vmware_final
20190124 hccjp vmware_final
yohara0913
[簡易提案書]Azure overview 2017_sep_v0.9
[簡易提案書]Azure overview 2017_sep_v0.9
Toshihiko Sawaki
第5回 cogbot勉強会!
第5回 cogbot勉強会!
貴志 上坂
Azure(クラウド)を使った堅牢なシステムを考える
Azure(クラウド)を使った堅牢なシステムを考える
Tsubasa Yoshino
20190410 azure stackhci-hybridstrategy
20190410 azure stackhci-hybridstrategy
Osamu Takazoe
AWS Cloud Design Pattern for Enterprise
AWS Cloud Design Pattern for Enterprise
Akio Katayama
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
Yosuke Katsuki
La actualidad más candente
(20)
クラウド時代だからこそ見直したい PHPアプリケーションのパフォーマンスチューニング
クラウド時代だからこそ見直したい PHPアプリケーションのパフォーマンスチューニング
いまさら聞けないAWSの基本
いまさら聞けないAWSの基本
Splunkと各種ツールによるAWSの管理
Splunkと各種ツールによるAWSの管理
Azure Hybrid全体整理! ~ Azure Hybrid Dayに登場した要素 + αの関係性を整理! ~
Azure Hybrid全体整理! ~ Azure Hybrid Dayに登場した要素 + αの関係性を整理! ~
Azure aws違い
Azure aws違い
Azure使いから見たAWSの良いところ
Azure使いから見たAWSの良いところ
PySpark Intro Part.2 with SQL Graph
PySpark Intro Part.2 with SQL Graph
おいしいフルマネージドデータベース はじめました
おいしいフルマネージドデータベース はじめました
Azure Fundamental
Azure Fundamental
Azure API Management 俺的マニュアル
Azure API Management 俺的マニュアル
[Japan Tech summit 2017] MAI 003
[Japan Tech summit 2017] MAI 003
Hybrid serverless architecture using open whisk ibm cloud functions and istio...
Hybrid serverless architecture using open whisk ibm cloud functions and istio...
[Deep Dive]Infra寄りのDevがお送りするRDS for Aurora徹底検証
[Deep Dive]Infra寄りのDevがお送りするRDS for Aurora徹底検証
20190124 hccjp vmware_final
20190124 hccjp vmware_final
[簡易提案書]Azure overview 2017_sep_v0.9
[簡易提案書]Azure overview 2017_sep_v0.9
第5回 cogbot勉強会!
第5回 cogbot勉強会!
Azure(クラウド)を使った堅牢なシステムを考える
Azure(クラウド)を使った堅牢なシステムを考える
20190410 azure stackhci-hybridstrategy
20190410 azure stackhci-hybridstrategy
AWS Cloud Design Pattern for Enterprise
AWS Cloud Design Pattern for Enterprise
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
実案件で見る データ分析用AWS基盤の構築方法 - Developers.IO 2017 (20170701)
Destacado
20150630_データ分析に最適な基盤とは? -コスト/スピードでビジネスバリューを得るために- by 株式会社インサイトテクノロジー CTO 石川雅也
20150630_データ分析に最適な基盤とは? -コスト/スピードでビジネスバリューを得るために- by 株式会社インサイトテクノロジー CTO 石川雅也
Insight Technology, Inc.
[C34] ビックデータ×マーケティング 進化するデジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu
[C34] ビックデータ×マーケティング 進化するデジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu
Insight Technology, Inc.
【Zansa】物理学はWebデータ分析に使えるか
【Zansa】物理学はWebデータ分析に使えるか
Zansa
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Recruit Technologies
オープンソースのデータ分析ソフト3製品「RapidMiner」「NYSOL」「Revolution R Enterprise (RRE) ※Rの商用版」のご紹介
オープンソースのデータ分析ソフト3製品「RapidMiner」「NYSOL」「Revolution R Enterprise (RRE) ※Rの商用版」のご紹介
Satoshi Kitajima
大規模ログ分析におけるAmazon Web Servicesの活用
大規模ログ分析におけるAmazon Web Servicesの活用
Shintaro Takemura
データサイエンティスト スキルチェックリスト
データサイエンティスト スキルチェックリスト
The Japan DataScientist Society
tokyo_webmining_no51
tokyo_webmining_no51
Shu (shoe116)
[data analytics showcase] B16: Live Demo! データ分析基盤を支えるデータレプリケーション技術とデータワークロード分...
[data analytics showcase] B16: Live Demo! データ分析基盤を支えるデータレプリケーション技術とデータワークロード分...
Insight Technology, Inc.
アドネットワークのデータ解析チームを支える技術
アドネットワークのデータ解析チームを支える技術
hagino 3000
モノタロウがトレジャーデータを使う理由と、データを活かす企業文化
モノタロウがトレジャーデータを使う理由と、データを活かす企業文化
株式会社MonotaRO Tech Team
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
Makoto SHIMURA
ビッグデータ分析基盤が直面する課題をオブジェクトストレージで解決
ビッグデータ分析基盤が直面する課題をオブジェクトストレージで解決
CLOUDIAN KK
EmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤と
Toru Takahashi
Embulk, an open-source plugin-based parallel bulk data loader
Embulk, an open-source plugin-based parallel bulk data loader
Sadayuki Furuhashi
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
Recruit Technologies
データに振り回されて失敗した あんなことやこんなこと+α 〜なぜ数字の手助けが必要になるのか、その理由と分析の実践例〜
データに振り回されて失敗した あんなことやこんなこと+α 〜なぜ数字の手助けが必要になるのか、その理由と分析の実践例〜
Daisuke Nogami
DeNAの分析を支える分析基盤
DeNAの分析を支える分析基盤
Kenshin Yamada
1000人規模で使う分析基盤構築 〜redshiftを活用したeuc
1000人規模で使う分析基盤構築 〜redshiftを活用したeuc
Kazuhiro Miyajima
機械学習によるデータ分析まわりのお話
機械学習によるデータ分析まわりのお話
Ryota Kamoshida
Destacado
(20)
20150630_データ分析に最適な基盤とは? -コスト/スピードでビジネスバリューを得るために- by 株式会社インサイトテクノロジー CTO 石川雅也
20150630_データ分析に最適な基盤とは? -コスト/スピードでビジネスバリューを得るために- by 株式会社インサイトテクノロジー CTO 石川雅也
[C34] ビックデータ×マーケティング 進化するデジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu
[C34] ビックデータ×マーケティング 進化するデジタルマーケティングを支えるビックデータ活用基盤 by Takatomo Kamatsu
【Zansa】物理学はWebデータ分析に使えるか
【Zansa】物理学はWebデータ分析に使えるか
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
オープンソースのデータ分析ソフト3製品「RapidMiner」「NYSOL」「Revolution R Enterprise (RRE) ※Rの商用版」のご紹介
オープンソースのデータ分析ソフト3製品「RapidMiner」「NYSOL」「Revolution R Enterprise (RRE) ※Rの商用版」のご紹介
大規模ログ分析におけるAmazon Web Servicesの活用
大規模ログ分析におけるAmazon Web Servicesの活用
データサイエンティスト スキルチェックリスト
データサイエンティスト スキルチェックリスト
tokyo_webmining_no51
tokyo_webmining_no51
[data analytics showcase] B16: Live Demo! データ分析基盤を支えるデータレプリケーション技術とデータワークロード分...
[data analytics showcase] B16: Live Demo! データ分析基盤を支えるデータレプリケーション技術とデータワークロード分...
アドネットワークのデータ解析チームを支える技術
アドネットワークのデータ解析チームを支える技術
モノタロウがトレジャーデータを使う理由と、データを活かす企業文化
モノタロウがトレジャーデータを使う理由と、データを活かす企業文化
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
ビッグデータ分析基盤が直面する課題をオブジェクトストレージで解決
ビッグデータ分析基盤が直面する課題をオブジェクトストレージで解決
EmbulkとDigdagとデータ分析基盤と
EmbulkとDigdagとデータ分析基盤と
Embulk, an open-source plugin-based parallel bulk data loader
Embulk, an open-source plugin-based parallel bulk data loader
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
データに振り回されて失敗した あんなことやこんなこと+α 〜なぜ数字の手助けが必要になるのか、その理由と分析の実践例〜
データに振り回されて失敗した あんなことやこんなこと+α 〜なぜ数字の手助けが必要になるのか、その理由と分析の実践例〜
DeNAの分析を支える分析基盤
DeNAの分析を支える分析基盤
1000人規模で使う分析基盤構築 〜redshiftを活用したeuc
1000人規模で使う分析基盤構築 〜redshiftを活用したeuc
機械学習によるデータ分析まわりのお話
機械学習によるデータ分析まわりのお話
Similar a Asakusaによる分散分析基盤構築事例紹介
Asakusa Framework 勉強会 2014 夏
Asakusa Framework 勉強会 2014 夏
鉄平 土佐
20140711 evf2014 hadoop_recommendmachinelearning
20140711 evf2014 hadoop_recommendmachinelearning
Takumi Yoshida
Asakusa fw勉強会2014冬
Asakusa fw勉強会2014冬
鉄平 土佐
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
NTT DATA OSS Professional Services
エウレカ:SageMakerを導入した話
エウレカ:SageMakerを導入した話
Mizuki Kobayashi
ビッグデータ関連Oss動向調査とニーズ分析
ビッグデータ関連Oss動向調査とニーズ分析
Yukio Yoshida
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
Insight Technology, Inc.
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Ryuji Tamagawa
Askusa on AWS
Askusa on AWS
Shingo Furuyama
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
Kotaro Tsukui
JAWS-UG三都物語_企業でのAWS導入のエントリーポイント
JAWS-UG三都物語_企業でのAWS導入のエントリーポイント
Toshiyuki Konparu
CDH4セミナー資料
CDH4セミナー資料
Cloudera Japan
Hadoop/Spark セルフサービス系の事例まとめ
Hadoop/Spark セルフサービス系の事例まとめ
Yuta Imai
Apache NiFi の紹介 #streamctjp
Apache NiFi の紹介 #streamctjp
Yahoo!デベロッパーネットワーク
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
NTT DATA OSS Professional Services
SB Tech Festival ビッグデータ活用の第一歩、aws環境での大容量ログ可視化
SB Tech Festival ビッグデータ活用の第一歩、aws環境での大容量ログ可視化
Kedamari1
Yifeng hadoop-present-public
Yifeng hadoop-present-public
Yifeng Jiang
Smart data integration to hybrid data analysis infrastructure
Smart data integration to hybrid data analysis infrastructure
DataWorks Summit
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
スタートアップでのAWS(Amazon Web Services)活用事例
スタートアップでのAWS(Amazon Web Services)活用事例
schoowebcampus
Similar a Asakusaによる分散分析基盤構築事例紹介
(20)
Asakusa Framework 勉強会 2014 夏
Asakusa Framework 勉強会 2014 夏
20140711 evf2014 hadoop_recommendmachinelearning
20140711 evf2014 hadoop_recommendmachinelearning
Asakusa fw勉強会2014冬
Asakusa fw勉強会2014冬
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
エウレカ:SageMakerを導入した話
エウレカ:SageMakerを導入した話
ビッグデータ関連Oss動向調査とニーズ分析
ビッグデータ関連Oss動向調査とニーズ分析
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Askusa on AWS
Askusa on AWS
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
JAWS-UG三都物語_企業でのAWS導入のエントリーポイント
JAWS-UG三都物語_企業でのAWS導入のエントリーポイント
CDH4セミナー資料
CDH4セミナー資料
Hadoop/Spark セルフサービス系の事例まとめ
Hadoop/Spark セルフサービス系の事例まとめ
Apache NiFi の紹介 #streamctjp
Apache NiFi の紹介 #streamctjp
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
SB Tech Festival ビッグデータ活用の第一歩、aws環境での大容量ログ可視化
SB Tech Festival ビッグデータ活用の第一歩、aws環境での大容量ログ可視化
Yifeng hadoop-present-public
Yifeng hadoop-present-public
Smart data integration to hybrid data analysis infrastructure
Smart data integration to hybrid data analysis infrastructure
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
スタートアップでのAWS(Amazon Web Services)活用事例
スタートアップでのAWS(Amazon Web Services)活用事例
Asakusaによる分散分析基盤構築事例紹介
1.
2014年7月11日
2.
2 本日のアジェンダ • 自己紹介 • Asakusa+Hadoop(EMR)を利用した背景 •
ユーザ毎で収集・分析したいデータ • データ分析ツールの比較 • 分析基盤システム全体構成 • サーバ側の構成 - Asakusa+EMR • (参考)サーバ側の構成 – Apache Hadoop • 集計イメージ • Asakusa利用のために用意しておくもの • 開発から実行までの手順 • Asakusa+Hadoop(EMR)を使ってみての感想
3.
3 自己紹介 氏名 福垣内 孝造(ふくがうち
こうぞう) 所属 アクセンチュア株式会社 テクノロジーコンサルティング本部 シニアプリンシパル ソフトウェア会社に7年間勤務 担当領域 通信、ハイテク産業におけるシステムインテグレーションのテクニカルアーキテク チャ設計・構築 JavaベースのCustom Development(特にWeb系)アプリケーション開発リード OSSやクラウドをベースとしたシステムインテグレーションのソリューション、アプリ ケーション構築の推進、テクニカルレビュー 出身 広島県
4.
4 Asakusa+Hadoop(EMR)を利用した背景 プロジェクトで「Hadoop」によるデータ分析処理を試したいという要望があり、具体的に何が できるかを把握するため、まずは分析基盤を構築してみることにした。 ユーザ毎にサイトの 利用状況を把握し たい。 ビッグデータの分析 で具体的に使える ツールを確認したい。 PV、CVRではなく、ユーザ毎でサイト利用状況やアクション間の相関を知りたい。 サービスインからRDBMS内に蓄積された数千万件のレコードを活用したい。
分析はSQL文のみで行ってきたが、レコード件数の増加で処理時間が増えてきた。 Apache Hadoopだと、HBase、HDFS、Hive、Pig、MapReduce等、初めて 聞くIT用語が多く、すぐに使い方が分からない。 短期間での導入を目指しているが、HiveやPigで処理を記述できるようになるまで 時間がかかりそう。 SQL文だけでは処理に時間がかかるような大容量で複雑な分析では、Hadoop、 HANA、Teradata、RedShift等ある中で、分析プラットフォームに向くのがどれか を判断したい。 分析プラットフォームの初期導入段階なので、できるだけコストは抑えたい。 Asakusa+Hadoop(EMR)の組み合わせなら、短期間でかつ初期導入費用も抑えた分析 プラットフォームを作れないか。 Hadoop環境を簡 単に構築したい。
5.
5 ユーザ毎で収集・分析したいデータ サイトの足跡分析 ユーザを軸とした使用状況の分析 トップ画面 ホーム画面
アップロード 注文 • サイトのPV数やコンバージョン率は、Google Analytics で取得することが可能 • 一方で、各ユーザ単位で、本サービスをどのように使ってい るかまでは把握できない。 100,000 40,000 10,000 5,000PV ユーザ ログイン回数 写真枚数 注文回数 エンドユーザがサイト内をどう訪問したかを把握し、SEOや導 線がきちんと機能しているかを把握したい。 サービスを利用しているユーザの使用状況によって、トレンド や相関を持っているかを把握したい。 AAA001 BBB001 CCC001 DDD001 10 20 5 0 0 0 200 50 450 1 2 5 : : : : • SQLだけでもデータ抽出は可能だが、複数テーブルの JOINが必要で保守性の低いSQLになる。 • データ件数が1000万件以上あるテーブルもあり、データ抽 出だけでRDBMSが高負荷になる。 60% ロスト 25% ロスト 50% ロスト サイト内のWeb KPIは、Google Analyticsを利用していたが、ユーザを軸としたサイトの使用 状況の取得にHadoopを利用してみた。 EEE001 3 10 0
6.
6 データ分析ツールの比較 SQL・PL/SQL Hadoop Redshift・HANA・Oracle •
ソフトウェアを新規にインストール することなく、SQL文だけでデー タを抽出できる。 • テーブルを参照するだけで新規 のプログラム開発が不要。 • データを抽出するまでの初期導 入は早い。 • リアルタイムで見たい時に見たい 切り口でデータを参照することが できる。 • TB、PB級のデータボリュームを 扱うことができる。 • データをINSERTするだけで集 計結果を参照できる。 • 複数のテーブルをJoinしてデー タを抽出すると、保守性の低い SQL文となる。 • データ抽出の頻繁な変更に対 応しづらい。 • データ件数が多くなればなるほど、 処理時間がかかる。 • OSSの組み合わせだけで実装 できるので、初期導入費用は 安い。 • データボリュームが多くなってもス ケールアウトで対応できるため、 処理時間が劇的に遅くならない。 • リアルタイムでデータを集計、抽 出した結果を参照するような処 理には向かない。 • データ件数が少ない場合は SQL文の方が速い。 • MapReduceにHiveやPigを 使うと、習得が難しい。 • 初期導入費用が高い。 • データを抽出するまでに、ソフト ウェアの仕様を理解する必要が あり、時間がかかる。 • ハイスペックなサーバが必要。 Pros Cons 易 安 少 難 高 多 大容量のデータを扱いたいが、高価なBI用ソフトウェアまでは不要なため、Hadoopを選択。 データ量 費用 導入
7.
7 分析基盤システム全体構成 Webプラットフォーム ユーザ管理 ログイン管理 SNS連携 フォトプリントサービス ユーザ管理 写真管理 注文管理 SNS ログイン管理
商品管理 写真管理 分析基盤 デ ー タ の 加 工 Hadoop分析基盤加工後の データ SQLでデータ抽出 分析対象 データ① 分析対象 データ② 抽出データ 集計後のデータ RDBMS 分析アプリケーション Application EMR起動スクリプト Hadoop Master Slave1 Slave2 Slave3 ログインと注文 Timeline ファイル数と注文 抽出データ 抽出データ 集計後データの インポート データの 分析 0.00% 10.00% 20.00% 30.00% 40.00% 50.00% 60.00% 70.00% 80.00% 90.00% 100.00% 0 200 400 600 800 1000 1200 1400 1600 1800 グラフ 表示 分析担当 データ抽出 集計 結果をロード データの蓄積 分析用にデータを加工 分析 分析基盤の全体構成は、以下の通り。 分析対象 データ③
8.
8 サーバ側の構成 - Asakusa+EMR Webサイト のデータ MySQL 抽出 データ 集計 データ 分析 MySQL スレーブノード①
スレーブノード② スレーブノード③ Hadoop分析基盤データ抽出 データ集計 データ分析 あらかじめ起動するスレーブノードの台数を記述 Amazon Web ServiceのEMR上で、Asakusaをベースとして構築すると、以下のような構成 となる。 Asakusa DSL/DMDL (Asakusa Framework) EMR起動オプションスクリプト マスターノード アプリケーション EMR起動時にアプリケーショ ンのファイルをS3からコピー MySQLから「Windgate」 で直接データを取得 実行に必要な ファイルをS3上 に格納しておく Map/Reduce(DSLコンパイラ) MapReduce(DSL) S3 抽出 データ データをS3から 「DirectI/O」で取得 集計 データ 集計結果を元に、 [Mahout]や[R]を 使って、高度なレコ メンドや行動分析を 行うことも可能 Java レコメンド生成 行動分析 実行結果を S3に格納 プログラム EMR
9.
9 (参考)サーバ側の構成 - Apache
Hadoop Webサイト のデータ MySQL 抽出 データ 集計 データ 分析 MySQL スレーブノード① スレーブノード② スレーブノード③ Hadoop分析基盤データ抽出 データ集計 データ分析 HDFS アプリケーション 集計 データ MapReduce Hive Pig Java Program or or HBase 抽出 データ Hadoopのコ マンドでHDFS にファイル格納 マスターノードと同じHadoop構成を、計算に必要な台数分スケールアウト Hadoopのコマ ンドでHDFSか らファイル抽出 Apache Hadoop(HDFS・HBase)をベースとして、Hadoop分析基盤も構築した。 プログラムに データを Import プログラムか らデータを Export
10.
10 ユーザID 地域 2014/01
2014/02 2014/03 … 10000001 A 3 1 10000002 B 1 10000003 A 4 集計イメージ 10000001,2014/01/03 10000001,2014/01/05 10000002,2014/01/05 10000001,2014/01/10 ユーザ情報 ユーザID 地域 ログイン履歴情報 ユーザID ログイン日時 Sum Join 10000003,2014/02/03 10000003,2014/02/05 10000001,2014/02/05 10000003,2014/02/10 10000003,2014/02/12 ユーザ毎に、サービス提供地域別に、毎月何回ログインしたかをログイン履歴情報から集 計し、月毎のログイン回数を集計結果として出力する。
11.
11 EMR 起動ツール Asakusa利用のために用意しておくもの Asakusa 開発環境 • VMware Player上にUbuntuをインストールし、Jinrikisha(開発環境のイン ストーラ)で開発環境(Asakusa
Framework/Java/Hadoop/Eclipse…) を一括インストール • その他、ビルドツール(Gradle)やDMDLエディタプラグイン、shahuをインストー ル • ※上記はAsakusa Frameworkのドキュメント通り • EMRを起動するためのコマンドラインツール(Amazon Elastic Map Reduce Command Line Interface)をインストール – コマンドラインツールのインストールにはRubyが必要 – AWSの認証情報(アクセスキーID、シークレットアクセスキー)が必要 Asakusaでプログラムを開発するための環境構築と、Amazon Web Serviceから提供される EMR起動ツールをセットアップする。
12.
12 開発から実行までの手順 プログラム開発 ビルド デプロイ
EMRジョブ登録 EMR起動 • 抽出データ入力用プ ログラムをDMDL、 DSLで作成 • 集計用プログラムを DSLで作成 • 集計データ出力用プ ログラムをDMDL、 DSLで作成 • ブートストラップ用スク リプトとステップ用スクリ プトをシェルで作成 • 集計用データを格納 しておくフォルダをS3 上に作成 • [gradlew]コマンドで、 Asakusa Framework、バッチ 用アーカイブを作成 • 作成したプログラムを ビルド。jarファイルが 作成される。 • デプロイ用全ファイルを 含んだtar.gzファイル が作成される。 • ビルドしたモジュール [tar.gzファイル]をS3 上に配置 • ブートストラップ用スク リプトとステップ用スクリ プトAWS management ConsoleからS3に配 置 • EMRで実行するジョブ を登録 • 作成したS3に集計入 力用データ(CSVファ イル)を格納 • EMRを起動 • AWS Management Consoleで、EMR用 のEC2インスタンスが 起動されるのを確認 • 処理結果がS3上に 出力 • S3上の処理結果ファ イル確認 AsakusaとEMR起動ツールセットアップ後、プログラムを作成してEMR上にデプロイ、登録し EMRを起動してプログラムを実行させる。
13.
13 抽出データ 入力用 プログラム 分析用に作成したプログラム • 入力データ定義実装(DMDL) • Importerプログラム(DSL) •
入力データ格納用ディレクトリ(S3) 集計用 プログラム 集計データ 出力用 プログラム • 出力データ定義実装(DMDL) • Exporterプログラム(DSL) • Operator実装プログラム(DSL) • JobFlowプログラム(DSL) プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動 ユーザID、日付のデータ項目の定義 集計用データを読み込むプログラム 集計用のCSVファイルを格納するディレクトリ MapReduceで集計するプログラム 実行するジョブを定義したプログラム ユーザID、月、回数のデータ項目の定義 集計データを出力するプログラム データロード、集計、集計結果出力と、EMR用の4種類のプログラムを作成する。 EMR用 スクリプト • ブートストラップ用スクリプト(shell) • ステップ用スクリプト(shell) バッチを実行可能状態にするスクリプト バッチを実行するスクリプト
14.
14 プログラム開発-入力データ定義実装(DMDL) プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動
15.
15 プログラム開発- Importer実装 [getBasePath]でS3のパスを指定、 [getResourcePattern]で入力ファ イル名を指定。入力ファイル名は、ワ イルドカードで複数ファイルの読み込 みを可能にしておく。 プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動
16.
16 プログラム開発-入力データ配置用ディレクトリ(S3) プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動 S3の入力データディレクトリに 取得データ種類毎のディレク トリを作成
17.
17 プログラム開発-Operator実装 プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動 集計・時系列データへの マージ処理を実装
18.
18 プログラム開発- Jobflow実装 プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動
19.
19 プログラム開発-出力データモデル定義実装(DMDL) プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動
20.
20 プログラム開発- Exporter実装 プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動 [getBasePath]でS3のパスを指定 し、[getResourcePattern]で出 力ファイル名を指定。出力フォルダー はプログラムで自動的に作成される。
21.
21 プログラム開発- スクリプト プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動 #!/bin/bash set
–e ### Change it ### _bucket=s3fs.dev.emr.tokyo.projects exportUSER="hadoop“ exportHOME="/home/$USER“ Export ASAKUSA_HOME="$HOME/asakusa“ #_asakusafw_filename="asakusafw-*.tar.gz“ _asakusafw_filename="asakusafw-0.6.2.tar.gz“ _asakusafw_path="asakusafw/${_asakusafw_filename}“ # Deploy asakusafw mkdir -p ${ASAKUSA_HOME} hadoop fs –get "s3://${_bucket}/${_asakusafw_path}" ${ASAKUSA_HOME} cd ${ASAKUSA_HOME} tar -xzf ${_asakusafw_filename} find ${ASAKUSA_HOME} -name"*.sh" | xargs chmod u+x #!/bin/bash . ~/.bash_profileexportUSER="hadoop“ exportHOME="/home/$USER“ exportASAKUSA_HOME="$HOME/asakusa“ export_CMD_LOG="$ASAKUSA_HOME/job-step.log“ # Run YAESS echo "$0 $*" >> $_CMD_LOG $ASAKUSA_HOME/yaess/bin/yaess-batch.sh"$@" 2>&1 | tee -a $_CMD_LOG exit "${PIPESTATUS[0]}" ブートストラップ用スクリプト ステップ用スクリプト
22.
22 ビルド-gradlew実行 [gradlew]でデプロイ用Asakusa Framework、バッチアプリのアーカ イブを作成 プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動
23.
23 デプロイ-アーカイブの配置 プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動 S3に[gradlew]で作成されたモ ジュール、Asakusa Framework、 バッチアプリのアーカイブを配置する。 ここではS3Foxを利用してアーカイブ を配置している。
24.
24 デプロイ-スクリプト配置 プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動 ブートストラップ用スクリプト インスタンス上で、アーカイブを解凍し、 バッチを実行可能状態とするスクリプト ステップ用スクリプト インスタンス上でバッチを実行する スクリプト
25.
25 EMRジョブ登録-EMRでジョブ登録 EMRのコマンドでジョブを登録する。 引数で、起動するEC2インスタンスの サイズや数を指定。ここではマスター 用にm1.large1台、スレーブ用に m1.small3台を指定。 プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動
26.
26 EMRジョブ登録-Management Consoleでジョブ確認 プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動 EMRでジョブ登録した結果として、 AWSのManagement
Console上 にジョブが登録される。
27.
27 EMR起動-入力CSVファイルをS3に格納 プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動
28.
28 EMR起動- EMRステップ登録 ジョブ登録時に生成されたジョブフロー IDを確認して、そのジョブフローIDに 対してステップ[test-step]を登録 プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動
29.
29 EMR起動- Management Consoleで登録ステップ確認 プログラム 開発 ビルド
デプロイ EMR ジョブ登録 EMR 起動 EMRステップ登録の結果として、AWS Management Console上でステップ [test-step]が登録される。この状態か ら、ジョブが実行される。
30.
30 EMR起動- インスタンス起動 プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動 EMRジョブ登録スクリプトで指定したイ ンスタンスがローンチされる。ジョブ登録 時に指定した、マスター用にm1.large が1台、スレーブ用にm1.smallが3台、 起動されている。
31.
31 EMR起動-処理終了 プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動 Statusが[Completed]で、 実行したジョブが終了。
32.
32 EMR起動-処理結果出力 プログラム 開発 ビルド デプロイ EMR ジョブ登録 EMR 起動 JobFlow Map
Reduce Job01(Order) 0:12:57 0:10:06 Job02(Login) 0:15:20 0:11:47 Job03(Print) 0:15:32 0:09:15 Job04(Community) 0:07:28 0:04:29 Job05(Upload) 0:16:25 0:09:34 合計 1:07:42 0:45:11 今回実行した集計バッチの処理時間 Exporterで指定したS3の パスに、結果ファイルが出力 される。
33.
33 Asakusa+Hadoop(EMR)を使ってみての感想 • MapReduceを特に意識することなくHadoopの 動きを体験できる。 • 初期導入のコストを抑えることができるのでお試し で使うには最適。1ヶ月約6千円 •
開発環境構築から実行まで至れりつくせりなツー ルがある (IDE(Eclipse)で開発可能/テスト/ビ ルド/データ連携) • DSLをEclipseで使えば、従来の使い慣れた環 境とさほど違わずプログラミング開発できる。 良かった点 今後は、Asakusaの適用事例を集めながら、Asakusaデザインパターンのようなものを作り、 ベストプラクティスやサンプルコードを活用しやすい形で紹介していきたい。 • 事例が少なく、今回の使い方よりもっといいやり方、 実装方法があるのかが分からなかった。 • S3とEMRの連携は手探りで行った。 • Asakusaのトレーニングを受けていないと、用語、 演算子、機能の面でとりかかりが難しい。 • これから実例がでてくるであろう、「SPARK」のよう な新しい技術とAsakusaとの連携と、Hadoopと の使い分け。 改善点&今後の期待
Descargar ahora