Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月

2.905 visualizaciones

Publicado el

Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど)
講師:大谷 純 (Elastic)
アジェンダ:
- Elastic stack紹介
--- Logstash - Log収集
--- Elasticsearch - 検索・解析
--- Kibana - 可視化 • 事例紹介
- Searchlight

Publicado en: Tecnología
  • Sé el primero en comentar

Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) - OpenStack最新情報セミナー 2016年5月

  1. 1. ‹#› 2016/05/26 Evangelist at Elastic Jun Ohtani @johtani Elastic Stackの紹介と OpenStackでの活用事例 (Searchlightなど)
  2. 2. ‹#›
  3. 3. アジェンダ • Elastic stack紹介 • Logstash - Log収集 • Elasticsearch - 検索・解析 • Kibana - 可視化 • 事例紹介 • Searchlight 3
  4. 4. about • Me, Jun Ohtani / Technical Adovocate ‒ lucene-gosenコミッター ‒ ElasticSearch Server日本語版の翻訳 ‒ elasticsearch-extended-analysisの開発 ‒ http://blog.johtani.info • Elasticsearch, founded in 2012 ‒ Products: Elasticsearch, Logstash, Kibana, Marvel, Sheild
 Professional services: Support & development subscriptions ‒ Trainings 4
  5. 5. 検索から解析まで 5 Elastic Stack
  6. 6. 6 Elasticは分散アプリケーションの構築を簡単にします データ 複雑/多種多様 開発者要件を満たすことが可能 ユースケース 多数のユーザー / ユースケース リアルタイムの 利⽤可能性 迅速な クエリ実⾏ 柔軟な データモデル スキーマレス ⽔平的な
 スケーリング 洗練された クエリ⾔語 バリュー/ビジネス影響 短期/中期/⻑期 位置情報 マシン/ログファイル ユーザーアクティビティ ドキュメント ソーシャル 収益の増加 新しいアプリや、収益化サービ スを開始:ユーザーエクスペリ エンスのパーソナライズ コスト削減/リスク管理 アプリ
 検索 組み込み型 の検索 ログ分析 セキュリティ 分析 運⽤の分析 その他 次世代アーキテクチャ、既存シ ステムの再ツール化、リスクお よびコンプライアンスの管理
  7. 7. 7 Elastic Cloud セキュリティ 監視 アラート グラフ X-Pack Kibanaユーザー
 インターフェイス Elasticsearch 保存、インデック ス、分析 取り込み Logstash Beats + Elastic スタック Elastic社の製品ポートフォリオ
  8. 8. 8 IT運⽤ アプリケーション管理
 セキュリティ分析 マーケティング洞察 ビジネス配備 顧客センチメント分析 Webサイト検索
 内部/イントラネット検索 URL検索 内部システム / アプリケーション 外部システム / アプリケーション 開発者     IT / 運⽤      ビジネスユーザー あらゆる業種で多数のユースケースを解決 ログ分析 アナリティクス 検索セキュリティ
  9. 9. 9
  10. 10. 10 保存、インデックス、分析 • 弾⼒性のある、スケールアウ トを考慮した設計 • ⾼可⽤性、マルチテナンシー • 構造化/⾮構造化データに対 応 分散型かつ
 スケーラブル 開発者にとって
 親しみやすい 検索と分析 • スキーマレス • ネイティブなJSON • クライアントライブラリ • Apache Lucene • リアルタイム • 全⽂検索 • 集計 • 地理空間データ • 多⾔語データ
  11. 11. 11 Elasticsearchとは?
  12. 12. 12 フリーワード検索
  13. 13. 13 絞り込み
  14. 14. 14 ハイライト
  15. 15. 15 ソート
  16. 16. 16 ページング
  17. 17. 17 集計
  18. 18. 18 サジェスト 17
  19. 19. 19 簡単なCRUD
  20. 20. 20 データ登録 curl -XPUT localhost:9200/books/book/1 -d ' { "title" : "Elasticsearch - The definitive guide", "authors" : "Clinton Gormley", "started" : "2013-02-04", "pages" : 230 }'
  21. 21. 21 データ更新 curl -XPUT localhost:9200/books/book/1 -d ' { "title" : "Elasticsearch - The definitive guide", "authors" : [ "Clinton Gormley", "Zachary Tong" ], "started" : "2013-02-04", "pages" : 230 }'
  22. 22. 22 データ削除 curl -X DELETE localhost:9200/books/book/1 データの取得 curl -X GET localhost:9200/books/book/1 curl -X GET localhost:9200/books/book/1/_source
  23. 23. 23 検索 curl -XGET localhost:9200/books/_search?q=elasticsearch { "took" : 2, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "failed" : 0 }, "hits" : { "total" : 1, "max_score" : 0.076713204, "hits" : [ { "_index" : “books", "_type" : “book", "_id" : "1", "_score" : 0.076713204, "_source" : { "title" : "Elasticsearch - The definitive guide", "authors" : [ "Clinton Gormley", "Zachary Tong" ], "started" : “2013-02-04", "pages" : 230 } } ] } }
  24. 24. 24 検索 - Query DSL curl -XGET ‘localhost:9200/books/book/_search' -d '{ "query": { "filtered" : { "query" : { "match": { "text" : { "query" : “To Be Or Not To Be", "cutoff_frequency" : 0.01 } } }, "filter" : { "range": { "price": { "gte": 20.0 "lte": 50.0 ... } }'
  25. 25. 25
  26. 26. 26 可視化と探索 • データ内に存在するパターン の探索と分析:任意のレベル へのドリルダウンが可能 • Elasticsearchの強⼒な
 分析機能を活⽤ 洞察の発⾒ カスタマイズと
 共有 アプリ構築向け UXプラット
 フォーム • 棒グラフ、折れ線グラフや 散布図、マップ、ヒストグ ラムの作成 • ダッシュボードを共有し、 運⽤ワークフローに組み込 み • 組込み可能なアーキテク チャ:ダッシュボードや可 視化をアプリとして作成 • セッション管理、ユーザー ロール、セキュリティ統合
  27. 27. 27 Kibana 4
  28. 28. 28 取り込み
  29. 29. 29 取り込み • データ収集とリッチ化:200 種類以上のプラグイン • 次世代データパイプライン: マイクロバッチ。イベントの グループを処理 ES-Hadoop • 軽量型データシッパーを構 築するためのプラット フォーム • ホストベースの数値指標や あらゆるデータを Elasticsearchに転送 • HDFS、Spark、 MapReduceなどとの統合 を⾏う双⽅向型のコネク タ • Hadoopデータに関するリ アルタイムの検索クエリ を実現
  30. 30. 30 収集、リッチ化、転送 ログおよび数値指標データ センサーおよびデバイスデータ Webおよびソーシャルデータ データストアおよびストリーム 分析 Elasticsearch + 任意のデータストア アラート Watcher+任意の通知ツール 監視 Marvel+任意の監視ツール アーカイブ Hadoop+任意のクラウドストレージプラットフ ォーム
  31. 31. 31 軽量型データシッパー ホストベースの数値指標を Elasticsearchに転送するためのラ イブラリ Libbeat Packetbeat Topbeat Web、データベース、任意のネッ トワークプロトコルに関するリア ルタイムのネットワークパケット 分析 CPUやメモリなどのリソース利 ⽤率に関するデータを収集 ログファイルの収集、前処理、転 送を⾏う次世代のLogstashフォ ワーダー Filebeat Winlogbeat {Future}beats Windowsイベントログからシステ ム、アプリケーション、セキュリ ティに関する情報を収集 http、Redis、Nginx、Docker、 Twitterなどのデータを収集する beatsがコミュニティにより多数作 成されている
  32. 32. Elastic stackによるデータ分析 32 データ Import/Parse
 /Export Store/Search Visualize
  33. 33. elasticsearch-hadoop 33 - •  D E H •  PD ecd ER •  g D •  CH •  Ca M DMS D FERC
  34. 34. cloud
  35. 35. Elastic Cloud • Elasticsearch as a Service • Elasticsearchの機能が利用可能 • プラグインの利用も可能 • アップグレードも簡単 • カスタム辞書、プラグインも利用可能 • 14日間のお試し期間あり • SLAベースのサブスクリプション+商用プラグイン
 が利用可能なサービスも 35
  36. 36. 36 活用事例
  37. 37. ‹#› Searchlight
  38. 38. 38 Searchlightとは? • OpenStackの様々な情報を検索可能にするためのプロジェクト • バックエンドにElasticsearchを使用 • 様々なOpenStackのデータを検索可能に • Novaのインスタンス • Glanceイメージ、スナップショット • Cinderのボリュームとスナップショット • Neutronネットワーク、ポートサブネットなど
  39. 39. 39 構成
  40. 40. 40 Searchlight API • Elasticsearchの前面にロールベースの認証機能を追加したAPI • Keystoneの認証トークンを利用して認証可能 • 検索クエリ、検索結果のJSON構造についてはElasticsearchのDSLを利用
  41. 41. 41 Searchlight Indexing • 各種データをElasticsearchにindexing • Bulk indexingとIncremental update • Search pluginとしてインストール
  42. 42. 42 リソース • プロジェクト:https://wiki.openstack.org/wiki/Searchlight • Demonstration of Searchlight Horizon integration • https://www.youtube.com/watch?v=2feC1njvZe0
  43. 43. 43 ログ収集と解析
  44. 44. 44 対象となるログ • OpenStack上で動作しているサービスのログ • 参考: https://hirokiaramaki.com/author/hirokiaramaki/ • OpenStack自体のログ • Searchlight? • Monasca • https://www.openstack.org/summit/tokyo-2015/videos/ presentation/elk-and-monasca-crossing-logging-as-an-openstack- service
  45. 45. 参考文献 • Elasticsearch - The Definitive guide ‒ http://www.elastic.co/guide/en/elasticsearch/guide/current/index.html • 書籍(日本語) ‒ ElasticSearchServer日本語版
 サーバ/インフラエンジニア
  養成読本 ログ収集 45
  46. 46. 参考サイト • ユースケース • https://www.elastic.co/use-cases • Discuss(Webフォーラム) • https://discuss.elastic.co • Elastic{ON}のビデオと資料 • https://www.elastic.co/elasticon/videos • サポートメニュー • https://www.elastic.co/subscriptions 46
  47. 47. Thanks for listening! Q & A 47 We’re hiring! https://www.elastic.co/about/careers/ We’re helping! https://www.elastic.co/subscriptions http://training.elastic.co

×