Enviar búsqueda
Cargar
Riak Search 2.0を使ったデータ集計
•
7 recomendaciones
•
3,008 vistas
正志 坪坂
Seguir
Tecnología
Denunciar
Compartir
Denunciar
Compartir
1 de 16
Descargar ahora
Descargar para leer sin conexión
Recomendados
MariaDB migration from commercial database
MariaDB migration from commercial database
GOTO Satoru
Apache Sparkやってみたところ
Apache Sparkやってみたところ
Tatsunori Nishikori
スキーマ 付き 分散ストリーム処理 を実行可能な FlinkSQLClient の紹介
スキーマ 付き 分散ストリーム処理 を実行可能な FlinkSQLClient の紹介
Sotaro Kimura
Hiveを高速化するLLAP
Hiveを高速化するLLAP
Yahoo!デベロッパーネットワーク
ROMA のアーキテクチャと社内事例
ROMA のアーキテクチャと社内事例
Rakuten Group, Inc.
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Treasure Data, Inc.
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
Sotaro Kimura
Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例
Taro L. Saito
Recomendados
MariaDB migration from commercial database
MariaDB migration from commercial database
GOTO Satoru
Apache Sparkやってみたところ
Apache Sparkやってみたところ
Tatsunori Nishikori
スキーマ 付き 分散ストリーム処理 を実行可能な FlinkSQLClient の紹介
スキーマ 付き 分散ストリーム処理 を実行可能な FlinkSQLClient の紹介
Sotaro Kimura
Hiveを高速化するLLAP
Hiveを高速化するLLAP
Yahoo!デベロッパーネットワーク
ROMA のアーキテクチャと社内事例
ROMA のアーキテクチャと社内事例
Rakuten Group, Inc.
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Prestoで実現するインタラクティブクエリ - dbtech showcase 2014 Tokyo
Treasure Data, Inc.
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
スキーマつきストリーム データ処理基盤、 Confluent Platformとは?
Sotaro Kimura
Presto As A Service - Treasure DataでのPresto運用事例
Presto As A Service - Treasure DataでのPresto運用事例
Taro L. Saito
Travel & Leisure Platform Department's tech info
Travel & Leisure Platform Department's tech info
Rakuten Group, Inc.
Cassandra における SSD の活用
Cassandra における SSD の活用
Yuji Ito
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Web Services Japan
A Tour of PostgreSQL
A Tour of PostgreSQL
EDB
そうだRack作ろう。
そうだRack作ろう。
Kazuma Suzuki
MariaDB meetup Tokyo 2019 #01
MariaDB meetup Tokyo 2019 #01
GOTO Satoru
Treasure Dataを支える技術 - MessagePack編
Treasure Dataを支える技術 - MessagePack編
Taro L. Saito
HDInsight & CosmosDB - Global IoT · Big data processing infrastructure
HDInsight & CosmosDB - Global IoT · Big data processing infrastructure
DataWorks Summit
HDFS Supportaiblity Improvements
HDFS Supportaiblity Improvements
Cloudera Japan
事例で学ぶApache Cassandra
事例で学ぶApache Cassandra
Yuki Morishita
The overview of Server-ide Bulk Loader
The overview of Server-ide Bulk Loader
Treasure Data, Inc.
MariaDB 10.3 概要
MariaDB 10.3 概要
GOTO Satoru
Recsys2014 recruit
Recsys2014 recruit
正志 坪坂
Tokyowebmining2012
Tokyowebmining2012
正志 坪坂
Deeplearning勉強会20160220
Deeplearning勉強会20160220
正志 坪坂
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
正志 坪坂
Recsys2015
Recsys2015
正志 坪坂
Introduction to contexual bandit
Introduction to contexual bandit
正志 坪坂
KDD 2015読み会
KDD 2015読み会
正志 坪坂
KDD2014_study
KDD2014_study
正志 坪坂
EMNLP2014_reading
EMNLP2014_reading
正志 坪坂
Contexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMining
正志 坪坂
Más contenido relacionado
La actualidad más candente
Travel & Leisure Platform Department's tech info
Travel & Leisure Platform Department's tech info
Rakuten Group, Inc.
Cassandra における SSD の活用
Cassandra における SSD の活用
Yuji Ito
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Web Services Japan
A Tour of PostgreSQL
A Tour of PostgreSQL
EDB
そうだRack作ろう。
そうだRack作ろう。
Kazuma Suzuki
MariaDB meetup Tokyo 2019 #01
MariaDB meetup Tokyo 2019 #01
GOTO Satoru
Treasure Dataを支える技術 - MessagePack編
Treasure Dataを支える技術 - MessagePack編
Taro L. Saito
HDInsight & CosmosDB - Global IoT · Big data processing infrastructure
HDInsight & CosmosDB - Global IoT · Big data processing infrastructure
DataWorks Summit
HDFS Supportaiblity Improvements
HDFS Supportaiblity Improvements
Cloudera Japan
事例で学ぶApache Cassandra
事例で学ぶApache Cassandra
Yuki Morishita
The overview of Server-ide Bulk Loader
The overview of Server-ide Bulk Loader
Treasure Data, Inc.
MariaDB 10.3 概要
MariaDB 10.3 概要
GOTO Satoru
La actualidad más candente
(12)
Travel & Leisure Platform Department's tech info
Travel & Leisure Platform Department's tech info
Cassandra における SSD の活用
Cassandra における SSD の活用
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
Amazon Redshiftへの移行方法と設計のポイント(db tech showcase 2016)
A Tour of PostgreSQL
A Tour of PostgreSQL
そうだRack作ろう。
そうだRack作ろう。
MariaDB meetup Tokyo 2019 #01
MariaDB meetup Tokyo 2019 #01
Treasure Dataを支える技術 - MessagePack編
Treasure Dataを支える技術 - MessagePack編
HDInsight & CosmosDB - Global IoT · Big data processing infrastructure
HDInsight & CosmosDB - Global IoT · Big data processing infrastructure
HDFS Supportaiblity Improvements
HDFS Supportaiblity Improvements
事例で学ぶApache Cassandra
事例で学ぶApache Cassandra
The overview of Server-ide Bulk Loader
The overview of Server-ide Bulk Loader
MariaDB 10.3 概要
MariaDB 10.3 概要
Destacado
Recsys2014 recruit
Recsys2014 recruit
正志 坪坂
Tokyowebmining2012
Tokyowebmining2012
正志 坪坂
Deeplearning勉強会20160220
Deeplearning勉強会20160220
正志 坪坂
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
正志 坪坂
Recsys2015
Recsys2015
正志 坪坂
Introduction to contexual bandit
Introduction to contexual bandit
正志 坪坂
KDD 2015読み会
KDD 2015読み会
正志 坪坂
KDD2014_study
KDD2014_study
正志 坪坂
EMNLP2014_reading
EMNLP2014_reading
正志 坪坂
Contexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMining
正志 坪坂
NIPS 2012 読む会
NIPS 2012 読む会
正志 坪坂
確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング
正志 坪坂
WSDM 2016勉強会 Geographic Segmentation via latent factor model
WSDM 2016勉強会 Geographic Segmentation via latent factor model
正志 坪坂
Recsys2016勉強会
Recsys2016勉強会
正志 坪坂
Tokyowebmining ctr-predict
Tokyowebmining ctr-predict
正志 坪坂
static index pruningについて
static index pruningについて
正志 坪坂
Getting The Most Out Of Your Flash/SSDs
Getting The Most Out Of Your Flash/SSDs
Aerospike, Inc.
Yokozuna 日本語検索機能を評価しました
Yokozuna 日本語検索機能を評価しました
Takashi Sogabe
[D25] 分散Key-Valueストア「okuyama」&「Riak」の同時書込み性能検証 by Yusuke Kuramata
[D25] 分散Key-Valueストア「okuyama」&「Riak」の同時書込み性能検証 by Yusuke Kuramata
Insight Technology, Inc.
Riak on SoftLayer
Riak on SoftLayer
Minoru Nakabayashi
Destacado
(20)
Recsys2014 recruit
Recsys2014 recruit
Tokyowebmining2012
Tokyowebmining2012
Deeplearning勉強会20160220
Deeplearning勉強会20160220
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
Recsys2015
Recsys2015
Introduction to contexual bandit
Introduction to contexual bandit
KDD 2015読み会
KDD 2015読み会
KDD2014_study
KDD2014_study
EMNLP2014_reading
EMNLP2014_reading
Contexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMining
NIPS 2012 読む会
NIPS 2012 読む会
確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング
WSDM 2016勉強会 Geographic Segmentation via latent factor model
WSDM 2016勉強会 Geographic Segmentation via latent factor model
Recsys2016勉強会
Recsys2016勉強会
Tokyowebmining ctr-predict
Tokyowebmining ctr-predict
static index pruningについて
static index pruningについて
Getting The Most Out Of Your Flash/SSDs
Getting The Most Out Of Your Flash/SSDs
Yokozuna 日本語検索機能を評価しました
Yokozuna 日本語検索機能を評価しました
[D25] 分散Key-Valueストア「okuyama」&「Riak」の同時書込み性能検証 by Yusuke Kuramata
[D25] 分散Key-Valueストア「okuyama」&「Riak」の同時書込み性能検証 by Yusuke Kuramata
Riak on SoftLayer
Riak on SoftLayer
Similar a Riak Search 2.0を使ったデータ集計
コンテナ環境でJavaイメージを小さくする方法!
コンテナ環境でJavaイメージを小さくする方法!
オラクルエンジニア通信
事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11
事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11
MapR Technologies Japan
クラウドカンファレンスIn静岡 r cloud
クラウドカンファレンスIn静岡 r cloud
Kazuki Aranami
sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16
Yifeng Jiang
Apache Drill Overview - Tokyo Apache Drill Meetup 2015/09/15
Apache Drill Overview - Tokyo Apache Drill Meetup 2015/09/15
MapR Technologies Japan
単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介
AdvancedTechNight
Web Operations and Perl kansai.pm#14
Web Operations and Perl kansai.pm#14
Masahiro Nagano
Java Day Tokyo 2014 まとめ (chen)
Java Day Tokyo 2014 まとめ (chen)
Appresso Engineering Team
Javaヂカラ #Java最新動向 -Java 11 の新機能やOracle Code One 2018 発の最新技術トレンドを一気にキャッチアップ-
Javaヂカラ #Java最新動向 -Java 11 の新機能やOracle Code One 2018 発の最新技術トレンドを一気にキャッチアップ-
PE-BANK
Using docker infrastructure
Using docker infrastructure
Junya Niwa
Java in the World of Container by David Buck
Java in the World of Container by David Buck
オラクルエンジニア通信
Autonomous を支える技術、Oracle Database 18c デモンストレーション
Autonomous を支える技術、Oracle Database 18c デモンストレーション
オラクルエンジニア通信
JavaOne2015報告またはこれからのJava
JavaOne2015報告またはこれからのJava
なおき きしだ
Seasar ユーザだったプログラマが目指す OSS の世界展開 #seasarcon
Seasar ユーザだったプログラマが目指す OSS の世界展開 #seasarcon
Kazuhiro Sera
The truth about SQL and Data Warehousing on Hadoop
The truth about SQL and Data Warehousing on Hadoop
DataWorks Summit/Hadoop Summit
Handlersocket 20140218
Handlersocket 20140218
akirahiguchi
クラウドから始めるRのビッグデータ分析- Oracle R Enterprise in Cloud
クラウドから始めるRのビッグデータ分析- Oracle R Enterprise in Cloud
幹雄 小川
RestKitの紹介 - Webサービスのクライアント実装補助フレームワーク -
RestKitの紹介 - Webサービスのクライアント実装補助フレームワーク -
次朗 永島
おすすめ gem
おすすめ gem
chocoby
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
オラクルエンジニア通信
Similar a Riak Search 2.0を使ったデータ集計
(20)
コンテナ環境でJavaイメージを小さくする方法!
コンテナ環境でJavaイメージを小さくする方法!
事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11
事例から見るNoSQLの使い方 - db tech showcase Tokyo 2015 2015/06/11
クラウドカンファレンスIn静岡 r cloud
クラウドカンファレンスIn静岡 r cloud
sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16
Apache Drill Overview - Tokyo Apache Drill Meetup 2015/09/15
Apache Drill Overview - Tokyo Apache Drill Meetup 2015/09/15
単なるキャッシュじゃないよ!?infinispanの紹介
単なるキャッシュじゃないよ!?infinispanの紹介
Web Operations and Perl kansai.pm#14
Web Operations and Perl kansai.pm#14
Java Day Tokyo 2014 まとめ (chen)
Java Day Tokyo 2014 まとめ (chen)
Javaヂカラ #Java最新動向 -Java 11 の新機能やOracle Code One 2018 発の最新技術トレンドを一気にキャッチアップ-
Javaヂカラ #Java最新動向 -Java 11 の新機能やOracle Code One 2018 発の最新技術トレンドを一気にキャッチアップ-
Using docker infrastructure
Using docker infrastructure
Java in the World of Container by David Buck
Java in the World of Container by David Buck
Autonomous を支える技術、Oracle Database 18c デモンストレーション
Autonomous を支える技術、Oracle Database 18c デモンストレーション
JavaOne2015報告またはこれからのJava
JavaOne2015報告またはこれからのJava
Seasar ユーザだったプログラマが目指す OSS の世界展開 #seasarcon
Seasar ユーザだったプログラマが目指す OSS の世界展開 #seasarcon
The truth about SQL and Data Warehousing on Hadoop
The truth about SQL and Data Warehousing on Hadoop
Handlersocket 20140218
Handlersocket 20140218
クラウドから始めるRのビッグデータ分析- Oracle R Enterprise in Cloud
クラウドから始めるRのビッグデータ分析- Oracle R Enterprise in Cloud
RestKitの紹介 - Webサービスのクライアント実装補助フレームワーク -
RestKitの紹介 - Webサービスのクライアント実装補助フレームワーク -
おすすめ gem
おすすめ gem
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
オラクル・データベース・クラウド~さらなる進化のご紹介(Oracle Cloud Days Tokyo 2015)
Más de 正志 坪坂
Recsys2018 unbiased
Recsys2018 unbiased
正志 坪坂
WSDM2018Study
WSDM2018Study
正志 坪坂
KDD 2016勉強会 Deep crossing
KDD 2016勉強会 Deep crossing
正志 坪坂
Deeplearning輪読会
Deeplearning輪読会
正志 坪坂
OnlineMatching勉強会第一回
OnlineMatching勉強会第一回
正志 坪坂
WSDM 2012 勉強会資料
WSDM 2012 勉強会資料
正志 坪坂
Complex network-reading 7
Complex network-reading 7
正志 坪坂
転置インデックスとTop k-query
転置インデックスとTop k-query
正志 坪坂
EMNLP 2011 reading
EMNLP 2011 reading
正志 坪坂
A scalable probablistic classifier for language modeling: ACL 2011 読み会
A scalable probablistic classifier for language modeling: ACL 2011 読み会
正志 坪坂
Cvpr2011 reading-tsubosaka
Cvpr2011 reading-tsubosaka
正志 坪坂
Icml2011 reading-sage
Icml2011 reading-sage
正志 坪坂
TokyowebminingInferNet
TokyowebminingInferNet
正志 坪坂
Infer.NETを使ってLDAを実装してみた
Infer.NETを使ってLDAを実装してみた
正志 坪坂
Más de 正志 坪坂
(14)
Recsys2018 unbiased
Recsys2018 unbiased
WSDM2018Study
WSDM2018Study
KDD 2016勉強会 Deep crossing
KDD 2016勉強会 Deep crossing
Deeplearning輪読会
Deeplearning輪読会
OnlineMatching勉強会第一回
OnlineMatching勉強会第一回
WSDM 2012 勉強会資料
WSDM 2012 勉強会資料
Complex network-reading 7
Complex network-reading 7
転置インデックスとTop k-query
転置インデックスとTop k-query
EMNLP 2011 reading
EMNLP 2011 reading
A scalable probablistic classifier for language modeling: ACL 2011 読み会
A scalable probablistic classifier for language modeling: ACL 2011 読み会
Cvpr2011 reading-tsubosaka
Cvpr2011 reading-tsubosaka
Icml2011 reading-sage
Icml2011 reading-sage
TokyowebminingInferNet
TokyowebminingInferNet
Infer.NETを使ってLDAを実装してみた
Infer.NETを使ってLDAを実装してみた
Último
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
Último
(9)
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
Riak Search 2.0を使ったデータ集計
1.
Riak Search 2.0を使った
データ集計 Bashoジャパン(株) 坪坂正志
2.
Riakとは • 分散Key-‐Value Store
• データを複数のサーバに分散して格納するこ とにより高い可用性と拡張性を実現
3.
Key-‐Value Storeの問題点 • DBに入っているすべてのデータについて処理 をすることが難しい
• RiakにはMapReduce機能はついてはいるが ErlangかJSでプログラムを書く必要があるなど 難易度が高い
4.
Riak Search 2.0 •
元々Riak 1.xバージョンでは検索機能は存在 した • しかしマルチバイト対応していない、機能が少 ないなどの問題があった • 2.0からバックエンドにSolrを使うことによりマ ルチバイト対応やStats Componentなどの処 理が可能に
5.
Solrの機能を使うと • SolrのStatsComponentを利用することによって、特定フィー ルドの個数や合計、平均などが計算可能となっている –
hFp://wiki.apache.org/solr/StatsComponent • SQLでいうところのselect sum(field) ~的な処理が可能に – Facetsの機能を使うことによりgroup by的な処理も可能となる • SolrをAnalyQcs PlaSormに利用している事例としては以下 の記事が参考となる – hFp://www.lucenerevoluQon.org/sites/default/files/Building %20a%20Real-‐Qme,%20Big%20Data%20AnalyQcs%20PlaSorm %20with%20Solr.pdf
6.
Riak Searchを使った集計 • 各Riakサーバーで動いてるSolrプロセスが個別 に集計処理を行い、結果を一つにまとめる
– 複数サーバでの検索はSolrのDistributed Searchの機 能を利用 – サーバ内での集計処理は独立に行われるのでサー バを増やすことによってスケールアウトが可能
7.
Solr Cloudとの違い • SolrのバイナリがRiakに同梱されているので Zookeeprなどの他のコンポネントを立ち上げ る必要が無い
• 事前にshard数を決める必要が無い – 必要に応じていくらでもサーバの追加が可能と なっている
8.
適応イメージ • Riakに格納した広告ログから広告主ごとのク リック数、インプレッション数などを集計する •
Riakに格納したセンサデータから特定時間の センサの出力の平均値を出したりすることが できる
9.
テストに利用したデータ • データマイニングのコンテストで用いられた検 索連動型広告のログデータ – hFps://www.kddcup2012.org/c/kddcup2012-‐ track2
– 各行にはclick数,imps数,広告ID,表示位置,広告主 ID,UserIDなどが含まれる – 実験では一部のフィールドを利用 • {"click_i":0,"imps_i” 1,"adid_s":"20665700", "advid_s":"34004”,"pos_i":1,"kwid_s":"20775"}
10.
テストに利用したデータ • 実際のデータは1億4000万件あるが、クライ アントからのデータのアップロードに時間がか かるので先頭2000万件を利用 – EC2の料金を節約したかった。。
– アップロードの際にはRiak Cluster 3台で構築 • 3台で構築した場合物理サーバにデータが3重化され ないことがあるのでProducQonでは5台以上を推奨
11.
Riak Searchを使ってできるクエリ • 特定の広告主IDに対するClickの合計を計算す る
– q=advid_s:hoge&rows=0&stats=true&stats.field=click_i • さらにポジションごとのクリック数の合計を計算する – + &stats.facet=pos_i
12.
Example Query • adid_s=20030165のものについて、click_iフィールドの統計値を 出力
13.
クエリのパフォーマンスについて • 特定の広告主を指定してclick/impsの合計を 投げた場合 – 数msec程度で結果が帰ってくる
• 全体のclick/impsの合計を求めた場合 – 数百msec程度のorder • 全体的に書き込みを行ってる途中のときと書 き込みを行ってないときでパフォーマンスが 大きく変わった
14.
サーバを増やしたときの挙動 • Riakクラスタを3台=>6台に変更 •
増やしているときは多少のレスポンスの低下が見られた • サーバを追加するときも追加の設定やシステムの停止が 一切なく、簡単なコマンドで追加可能 • 変更終了後各サーバの保持している文章量は半分に – データが増えていったときもサーバ追加することによりシステム の停止なく対応可能 • 応答速度は今使っているデータにおいてはそこまで変わら なかった – より大規模なデータで試験する必要がある – 実際のところ2000万件程度であればMySQL1台でも扱える
15.
実験しててはまったところ • 割当メモリが少ないとSolrが落ちる – 設定のsearch.solr.jvm_opQonsのXms,Xmxの部分 を増やす
• 最初シングルプロセスでinsertのクライアント を書いたところ書き込みのパフォーマンスが でない – 並列で書き込みをするように処理を変更するよう にして改善
16.
今後の課題 • より大規模なデータにおけるテスト – 特に実験環境貸してくれる方とか募集中
• 今後Solr5.0でAnalyQcs周りが強化されるので、 Riak SearchでのAnalyQcsも強化される – hFps://issues.apache.org/jira/browse/SOLR-‐5302
Descargar ahora