Enviar búsqueda
Cargar
[社内勉強会]サクっと業務でつくったログ/データ調査環境(re:dash ☓ AWS Athena ☓ embulk)
•
5 recomendaciones
•
2,375 vistas
Takahiro Moteki
Seguir
CyberZ社内勉強会資料@201711
Leer menos
Leer más
Tecnología
Denunciar
Compartir
Denunciar
Compartir
1 de 30
Descargar ahora
Descargar para leer sin conexión
Recomendados
[JAWSBigData#11]Cloudera on AWSと Amazon EMRを両方本番運用し 3つの観点から比較してみる
[JAWSBigData#11]Cloudera on AWSと Amazon EMRを両方本番運用し 3つの観点から比較してみる
Takahiro Moteki
[F.O.XMeetup#2]インフラ業務を開発エンジニアへ移譲して_2年間の軌跡_
[F.O.XMeetup#2]インフラ業務を開発エンジニアへ移譲して_2年間の軌跡_
Takahiro Moteki
[AWSセミナーマイグレーション事例祭20190409]分析環境をAWS_Athenaに移行_その後1年間の運用課題を振り返る
[AWSセミナーマイグレーション事例祭20190409]分析環境をAWS_Athenaに移行_その後1年間の運用課題を振り返る
Takahiro Moteki
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
Takahiro Moteki
スケーラブルな Deep Leaning フレームワーク "Apache MXNet” を AWS で学ぶ
スケーラブルな Deep Leaning フレームワーク "Apache MXNet” を AWS で学ぶ
Amazon Web Services Japan
データレイクを基盤としたAWS上での機械学習サービス構築
データレイクを基盤としたAWS上での機械学習サービス構築
Amazon Web Services Japan
Amazon Athena で実現する データ分析の広がり
Amazon Athena で実現する データ分析の広がり
Amazon Web Services Japan
Aurora
Aurora
maruyama097
Recomendados
[JAWSBigData#11]Cloudera on AWSと Amazon EMRを両方本番運用し 3つの観点から比較してみる
[JAWSBigData#11]Cloudera on AWSと Amazon EMRを両方本番運用し 3つの観点から比較してみる
Takahiro Moteki
[F.O.XMeetup#2]インフラ業務を開発エンジニアへ移譲して_2年間の軌跡_
[F.O.XMeetup#2]インフラ業務を開発エンジニアへ移譲して_2年間の軌跡_
Takahiro Moteki
[AWSセミナーマイグレーション事例祭20190409]分析環境をAWS_Athenaに移行_その後1年間の運用課題を振り返る
[AWSセミナーマイグレーション事例祭20190409]分析環境をAWS_Athenaに移行_その後1年間の運用課題を振り返る
Takahiro Moteki
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
[2018bcu30]1年半もかけてしまったビッグデータ環境のリプレイス
Takahiro Moteki
スケーラブルな Deep Leaning フレームワーク "Apache MXNet” を AWS で学ぶ
スケーラブルな Deep Leaning フレームワーク "Apache MXNet” を AWS で学ぶ
Amazon Web Services Japan
データレイクを基盤としたAWS上での機械学習サービス構築
データレイクを基盤としたAWS上での機械学習サービス構築
Amazon Web Services Japan
Amazon Athena で実現する データ分析の広がり
Amazon Athena で実現する データ分析の広がり
Amazon Web Services Japan
Aurora
Aurora
maruyama097
re:Growth athena
re:Growth athena
淳 千葉
ついに解禁!Amazon Aurora徹底検証!
ついに解禁!Amazon Aurora徹底検証!
Terui Masashi
Programming AWS with Python
Programming AWS with Python
Yasuhiro Matsuo
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
Amazon Web Services Japan
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Yasuhiro Matsuo
Re invent 2017 データベースサービス総復習!
Re invent 2017 データベースサービス総復習!
Satoru Ishikawa
Using Amazon Aurora for Enterprise Workloads
Using Amazon Aurora for Enterprise Workloads
Amazon Web Services Japan
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Noritaka Sekiyama
金融機関でのHive/Presto事例紹介
金融機関でのHive/Presto事例紹介
Amazon Web Services Japan
AWS Black Belt Tech シリーズ 2015 - Amazon Elastic MapReduce
AWS Black Belt Tech シリーズ 2015 - Amazon Elastic MapReduce
Amazon Web Services Japan
オンプレからAuroraへの移行とその効果
オンプレからAuroraへの移行とその効果
Masato Kataoka
ソーシャルゲームのEMR活用事例
ソーシャルゲームのEMR活用事例
知教 本間
Amazon Elastic MapReduce with Hive/Presto ハンズオン(講義)
Amazon Elastic MapReduce with Hive/Presto ハンズオン(講義)
Amazon Web Services Japan
20111215_第1回EMR勉強会発表資料
20111215_第1回EMR勉強会発表資料
Kotaro Tsukui
AWS サービスアップデートまとめ re:Invent 2017 直前編
AWS サービスアップデートまとめ re:Invent 2017 直前編
Amazon Web Services Japan
Scaling MongoDB on AWS
Scaling MongoDB on AWS
Yasuhiro Matsuo
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
yuichi_komatsu
[CWT2017]Infrastructure as Codeを活用したF.O.Xのクラウドビッグデータ環境の変化
[CWT2017]Infrastructure as Codeを活用したF.O.Xのクラウドビッグデータ環境の変化
Takahiro Moteki
Aurora新時代の幕開けとDynamoDBの進化
Aurora新時代の幕開けとDynamoDBの進化
Classmethod,Inc.
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Recruit Technologies
監査要件を有するシステムに対する PostgreSQL 導入の課題と可能性
監査要件を有するシステムに対する PostgreSQL 導入の課題と可能性
Ohyama Masanori
実践で学んだLog Analytics
実践で学んだLog Analytics
Tetsuya Odashima
Más contenido relacionado
La actualidad más candente
re:Growth athena
re:Growth athena
淳 千葉
ついに解禁!Amazon Aurora徹底検証!
ついに解禁!Amazon Aurora徹底検証!
Terui Masashi
Programming AWS with Python
Programming AWS with Python
Yasuhiro Matsuo
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
Amazon Web Services Japan
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Yasuhiro Matsuo
Re invent 2017 データベースサービス総復習!
Re invent 2017 データベースサービス総復習!
Satoru Ishikawa
Using Amazon Aurora for Enterprise Workloads
Using Amazon Aurora for Enterprise Workloads
Amazon Web Services Japan
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Noritaka Sekiyama
金融機関でのHive/Presto事例紹介
金融機関でのHive/Presto事例紹介
Amazon Web Services Japan
AWS Black Belt Tech シリーズ 2015 - Amazon Elastic MapReduce
AWS Black Belt Tech シリーズ 2015 - Amazon Elastic MapReduce
Amazon Web Services Japan
オンプレからAuroraへの移行とその効果
オンプレからAuroraへの移行とその効果
Masato Kataoka
ソーシャルゲームのEMR活用事例
ソーシャルゲームのEMR活用事例
知教 本間
Amazon Elastic MapReduce with Hive/Presto ハンズオン(講義)
Amazon Elastic MapReduce with Hive/Presto ハンズオン(講義)
Amazon Web Services Japan
20111215_第1回EMR勉強会発表資料
20111215_第1回EMR勉強会発表資料
Kotaro Tsukui
AWS サービスアップデートまとめ re:Invent 2017 直前編
AWS サービスアップデートまとめ re:Invent 2017 直前編
Amazon Web Services Japan
Scaling MongoDB on AWS
Scaling MongoDB on AWS
Yasuhiro Matsuo
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
yuichi_komatsu
[CWT2017]Infrastructure as Codeを活用したF.O.Xのクラウドビッグデータ環境の変化
[CWT2017]Infrastructure as Codeを活用したF.O.Xのクラウドビッグデータ環境の変化
Takahiro Moteki
Aurora新時代の幕開けとDynamoDBの進化
Aurora新時代の幕開けとDynamoDBの進化
Classmethod,Inc.
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Recruit Technologies
La actualidad más candente
(20)
re:Growth athena
re:Growth athena
ついに解禁!Amazon Aurora徹底検証!
ついに解禁!Amazon Aurora徹底検証!
Programming AWS with Python
Programming AWS with Python
クラウド上のデータ活用デザインパターン
クラウド上のデータ活用デザインパターン
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Game Architecture Trends in Tokyo Kansai Social Game Study#5
Re invent 2017 データベースサービス総復習!
Re invent 2017 データベースサービス総復習!
Using Amazon Aurora for Enterprise Workloads
Using Amazon Aurora for Enterprise Workloads
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ (Hadoop / Spark Conference Japan 2019)
金融機関でのHive/Presto事例紹介
金融機関でのHive/Presto事例紹介
AWS Black Belt Tech シリーズ 2015 - Amazon Elastic MapReduce
AWS Black Belt Tech シリーズ 2015 - Amazon Elastic MapReduce
オンプレからAuroraへの移行とその効果
オンプレからAuroraへの移行とその効果
ソーシャルゲームのEMR活用事例
ソーシャルゲームのEMR活用事例
Amazon Elastic MapReduce with Hive/Presto ハンズオン(講義)
Amazon Elastic MapReduce with Hive/Presto ハンズオン(講義)
20111215_第1回EMR勉強会発表資料
20111215_第1回EMR勉強会発表資料
AWS サービスアップデートまとめ re:Invent 2017 直前編
AWS サービスアップデートまとめ re:Invent 2017 直前編
Scaling MongoDB on AWS
Scaling MongoDB on AWS
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
Amazon Elastic MapReduceやSparkを中心とした社内の分析環境事例とTips
[CWT2017]Infrastructure as Codeを活用したF.O.Xのクラウドビッグデータ環境の変化
[CWT2017]Infrastructure as Codeを活用したF.O.Xのクラウドビッグデータ環境の変化
Aurora新時代の幕開けとDynamoDBの進化
Aurora新時代の幕開けとDynamoDBの進化
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Elasticsearch+nodejs+dynamodbで作る全社システム基盤
Similar a [社内勉強会]サクっと業務でつくったログ/データ調査環境(re:dash ☓ AWS Athena ☓ embulk)
監査要件を有するシステムに対する PostgreSQL 導入の課題と可能性
監査要件を有するシステムに対する PostgreSQL 導入の課題と可能性
Ohyama Masanori
実践で学んだLog Analytics
実践で学んだLog Analytics
Tetsuya Odashima
シンプルでシステマチックな Oracle Database, Exadata 性能分析
シンプルでシステマチックな Oracle Database, Exadata 性能分析
Yohei Azekatsu
【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
Hibino Hisashi
[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake
[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake
de:code 2017
AWSでのビッグデータ分析
AWSでのビッグデータ分析
Amazon Web Services Japan
The overview of Server-ide Bulk Loader
The overview of Server-ide Bulk Loader
Treasure Data, Inc.
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
Satoru Ishikawa
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
Amazon Web Services Japan
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
Moving from on prem to managed services with elastic on azure-final
Moving from on prem to managed services with elastic on azure-final
Shotaro Suzuki
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Tetsutaro Watanabe
トレジャーデータ株式会社について(for all Data_Enthusiast!!)
トレジャーデータ株式会社について(for all Data_Enthusiast!!)
Takahiro Inoue
Elasticsearchで教師あり機械学習
Elasticsearchで教師あり機械学習
shinhiguchi
Treasure Data Intro for Data Enthusiast!!
Treasure Data Intro for Data Enthusiast!!
Takahiro Inoue
スマートニュースの世界展開を支えるログ解析基盤
スマートニュースの世界展開を支えるログ解析基盤
Takumi Sakamoto
企業等に蓄積されたデータを分析するための処理機能の提案
企業等に蓄積されたデータを分析するための処理機能の提案
Toshiyuki Shimono
Azure Antenna はじめての Azure Data Lake
Azure Antenna はじめての Azure Data Lake
Hideo Takagi
Spark Analytics - スケーラブルな分散処理
Spark Analytics - スケーラブルな分散処理
Tusyoshi Matsuzaki
アプリのロギングからデータ収集・分析・活用
アプリのロギングからデータ収集・分析・活用
Atsushi Yokohama (BEACHSIDE)
Similar a [社内勉強会]サクっと業務でつくったログ/データ調査環境(re:dash ☓ AWS Athena ☓ embulk)
(20)
監査要件を有するシステムに対する PostgreSQL 導入の課題と可能性
監査要件を有するシステムに対する PostgreSQL 導入の課題と可能性
実践で学んだLog Analytics
実践で学んだLog Analytics
シンプルでシステマチックな Oracle Database, Exadata 性能分析
シンプルでシステマチックな Oracle Database, Exadata 性能分析
【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
【第21回Elasticsearch勉強会】aws環境に合わせてelastic stackをログ分析基盤として構築した話
[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake
[DI07] あらゆるデータに価値がある! アンチ断捨離ストのための Azure Data Lake
AWSでのビッグデータ分析
AWSでのビッグデータ分析
The overview of Server-ide Bulk Loader
The overview of Server-ide Bulk Loader
Developers.IO 2019 Effective Datalake
Developers.IO 2019 Effective Datalake
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
AWS Lambdaによるデータ処理理の⾃自動化とコモディティ化
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Moving from on prem to managed services with elastic on azure-final
Moving from on prem to managed services with elastic on azure-final
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
トレジャーデータ株式会社について(for all Data_Enthusiast!!)
トレジャーデータ株式会社について(for all Data_Enthusiast!!)
Elasticsearchで教師あり機械学習
Elasticsearchで教師あり機械学習
Treasure Data Intro for Data Enthusiast!!
Treasure Data Intro for Data Enthusiast!!
スマートニュースの世界展開を支えるログ解析基盤
スマートニュースの世界展開を支えるログ解析基盤
企業等に蓄積されたデータを分析するための処理機能の提案
企業等に蓄積されたデータを分析するための処理機能の提案
Azure Antenna はじめての Azure Data Lake
Azure Antenna はじめての Azure Data Lake
Spark Analytics - スケーラブルな分散処理
Spark Analytics - スケーラブルな分散処理
アプリのロギングからデータ収集・分析・活用
アプリのロギングからデータ収集・分析・活用
Más de Takahiro Moteki
[excite open beerbash 特別篇]レガシーシステムをAWS移行で幸せになった話
[excite open beerbash 特別篇]レガシーシステムをAWS移行で幸せになった話
Takahiro Moteki
[社内勉強会]ワークフローエンジンdigdag研究&プロダクトF.O.Xに導入
[社内勉強会]ワークフローエンジンdigdag研究&プロダクトF.O.Xに導入
Takahiro Moteki
[社内共有会]AWS NAT-GW導入と構成変化 2年運用して 同時接続数 秒間100->10万へ成長
[社内共有会]AWS NAT-GW導入と構成変化 2年運用して 同時接続数 秒間100->10万へ成長
Takahiro Moteki
[社内勉強会]計算機工学のスケジューリングを現実世界に活かせないだろうか(ネタ)
[社内勉強会]計算機工学のスケジューリングを現実世界に活かせないだろうか(ネタ)
Takahiro Moteki
[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験
[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験
Takahiro Moteki
[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-
[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-
Takahiro Moteki
[社内勉強会]エンジニアな僕の情報収集法
[社内勉強会]エンジニアな僕の情報収集法
Takahiro Moteki
[社内勉強会]ELBとALBと数万スパイク負荷テスト
[社内勉強会]ELBとALBと数万スパイク負荷テスト
Takahiro Moteki
[社内勉強会]Webエンジニアへ送るインフラのおすすめ本:記事7本
[社内勉強会]Webエンジニアへ送るインフラのおすすめ本:記事7本
Takahiro Moteki
Más de Takahiro Moteki
(9)
[excite open beerbash 特別篇]レガシーシステムをAWS移行で幸せになった話
[excite open beerbash 特別篇]レガシーシステムをAWS移行で幸せになった話
[社内勉強会]ワークフローエンジンdigdag研究&プロダクトF.O.Xに導入
[社内勉強会]ワークフローエンジンdigdag研究&プロダクトF.O.Xに導入
[社内共有会]AWS NAT-GW導入と構成変化 2年運用して 同時接続数 秒間100->10万へ成長
[社内共有会]AWS NAT-GW導入と構成変化 2年運用して 同時接続数 秒間100->10万へ成長
[社内勉強会]計算機工学のスケジューリングを現実世界に活かせないだろうか(ネタ)
[社内勉強会]計算機工学のスケジューリングを現実世界に活かせないだろうか(ネタ)
[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験
[serverlessconf2017]FaaSで簡単に実現する数十万RPSスパイク負荷試験
[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-
[社内合同勉強会]インフラ業務を開発エンジニアへ移譲して 移譲前-移譲後-そして今-
[社内勉強会]エンジニアな僕の情報収集法
[社内勉強会]エンジニアな僕の情報収集法
[社内勉強会]ELBとALBと数万スパイク負荷テスト
[社内勉強会]ELBとALBと数万スパイク負荷テスト
[社内勉強会]Webエンジニアへ送るインフラのおすすめ本:記事7本
[社内勉強会]Webエンジニアへ送るインフラのおすすめ本:記事7本
Último
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Hiroshi Tomioka
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Último
(11)
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
[社内勉強会]サクっと業務でつくったログ/データ調査環境(re:dash ☓ AWS Athena ☓ embulk)
1.
サクっと業務でつくった ログ/データ調査環境 (re:dash ☓ AWS
Athena ☓ embulk)
2.
自己紹介 2 茂木 高宏(もてき たかひろ) 株式会社
CyberZ F.O.X事業 SRE engineer twitter: @tkmoteki facebook: takahiro.moteki.31 最近の業務 ● ログ/データ調査環境 ● AWS内の移行
3.
はじめに: 対象のログ/データ 3 ● サービスログ ○
例:) 広告系(クリック,コンバージョン), KPIログ... ● システムログ ○ 例:) アクセスログ, パフォーマンスログ, セキュリティログ... ● サービスデータ ○ 例:) マスタデータ, 中間データ, アカウントデータ... ● システムデータ ○ 例:) サービスディスカバリデータ, 監視/モニタリングデータ...
4.
はじめに: 話すところ データ収集 ETL/集計/保存
分析/調査/可視化 今回対象 (赤字) 今回対象外 (既存環境)
5.
Agenda 背景/課題1 方針2 選定/設計(システム/運用)3 構想(今後)5 re:dash紹介4
6.
背景: チーム/ユーザの用途 6 チーム A チーム B チーム C チーム SRE チーム SDK CS PO CSE セールス 開発チーム(ベーシックユーザ): 開 発/運用/調査用途 CSチーム(ライトユーザ): 調査用途,
顧客依頼の特殊対応 分析用途 エンジニア 非エンジニア
7.
背景: チーム/ユーザの調査利用 7 チーム A チーム B チーム C チーム SRE チーム SDK CS PO CSE セールス データベース エンジニア CS ETL/集計/保存 ビッグデータ クエリ クエリ エンジニア/CSで 同じユーザイン ターフェース エンジニア/CSで 同じ計算機リソー ス エンジニア
非エンジニア
8.
課題: 8 集計環境に影響し クエリ ゲロ遅い ● 1週間に2回
影響受けるETL/集計環境 ● Hive利用のため データ活用性低下 画面開発工数問題 ● ○○データの一覧取得&一括ダウンロード等で 画面開発工数かかる ● 大量データストアの調査クエリ発行の煩瑣 ● 全データ/結果を組み合わせにくい
9.
ログ/データ調査環境をサクっとつくる (分析環境ではない)
10.
Agenda 背景/課題1 方針2 設計(システム/運用)3 構想(今後)5 re:dash紹介4
11.
方針: 解決方針 11 集計環境に影響, クエリ ゲロ遅い
実行エンジンの見直し ~課題~ データ活用性低下 画面開発工数問題 ~解決方針~ ユーザインタフェース見直 し データの一元アクセス , 結果の結合が可能
12.
方針: システム要件 12 集計環境に影響, クエリ ゲロ遅い
実行エンジンの見直し ~課題~ データ活用性低下 画面開発工数問題 ~解決方針~ ユーザインタフェース見直 し データの一元アクセス , 結果の結合が可能 ~システム要件~ Scalability Simply Maintenability
13.
サクッとつくる極意 13 ● プログラムレス(なるべくコーディングしない) ● 構築レス(なるべくサーバつくらない) ●
設定レス(なるべくチューニングしない)
14.
Agenda 背景/課題1 方針2 設計(システム/運用)3 構想(今後)5 re:dash紹介4
15.
設計: 導入 15 集計環境に影響, クエリ ゲロ遅い
実行エンジンの見直し ~課題~ データ活用性低下 画面開発工数問題 ~解決方針~ ユーザインタフェース見直 し データの一元アクセス , 結果の結合が可能 ~システム要件~~導入~ Scalability Simply Maintenability AWS Athena re:dash embulk
16.
設計: 全体システムアーキ S3 S3 エンジニア CS フロントエンド Athena S3 バックエンド ログ/データ調査環境既存環境 他データストア/ストレージ
17.
設計: カンタンに説明 17 ● AWS
Athena ○ クラスタ不要/サーバ不要 インタラクティブなクエリサービス(マネージドpresto環境) ○ S3上データにpresto queryでアクセス ○ Big Queryとは異なる(DWH的に使えない) ● embulk ○ データロード, ETLを補完するツール(スキーマ推定型) ○ データストア、ストレージ/ファイルシステムへ対応 ○ プラグインアーキテクチャ(世の中の既存実装を取り込める) ● re:dash ○ 後ほど紹介
18.
規模 18 まだやり始めたばかりなので小規模 ● AWS Athena ○
12 データベース ○ 106 テーブル ○ 課金 約40$/月(※ これホントです! partition設計、ストレージフォーマット、スモールファイル撤廃等もろもろやってる) ● AWS S3 (Athenaスキャン対象 既存データ) ○ 総データ量 375TB ● embulk ○ データロード数(バッチ数) 32 ● re:dash ○ 約50~100 クエリ/日 ○ 登録query数 62 ○ dash boards数 8 工数: 約2~3週間でサクっとつくった
19.
Agenda 背景/課題1 方針2 設計(システム/運用)3 構想(今後)5 re:dash紹介4
20.
re:dash? オープンソースの軽量BI/可視化、 コラボレーションツール (エンジニア向けツール)
21.
何が出来るのか? 画面(ここからdemo)
22.
UI/機能 超シンプル 基本3つ(dashborad, query,
aleart) re:dash メリット
23.
対応データストアが多い (パブリッククラウドと親和性が高い) メリット
24.
低コスト (金額面、システム面、運用面) メリット
25.
便利機能 他 ● SQLスイスアーミーナイフ ●
スケジュールクエリ ● アラート ● クエリ/BIリンク ● クエリフォーク ● 異なるデータストア間での結合(join) ● REST API
26.
どう使ってるか?(例) 頻出クエリを登録&任意パラメータ実行 @AWS Athenaデータストア
27.
簡単な可視化 どう使ってるか?(例)
28.
どう使ってるか? :他 ● 大量データストアの調査クエリ等 ●
データ仕様書確認 @スプレッドシートデータソース ● 利用統計 @postgresql データソース ● 複数クエリの結合 @pythonデータソース
29.
Agenda 背景/課題1 方針2 設計(システム/運用)3 構想(今後)5 re:dash紹介4
30.
構想(今後) ● 分析環境(既存Tableau) ☓
バックエンド連携 30 Liquid Athena S3 バックエンド
Descargar ahora