Beatsファミリーの紹介

1. Beatsファミリーの紹介
(Log Analytics Tech Meetup)
2019/10/23（水）
日比野 恒

2. 自己紹介
名前: 日比野 恒 (ひびの ひさし)
セキュリティアーキテクト
(CISSP、CISA、情報処理安全確保支援士)
モチベーション:
1. クラウドセキュリティにおけるデザインパターンの設計
2. コンテナ環境におけるセキュリティアーキテクチャの設計
クラウド環境のログをどう活かす？先駆者の知見から学ぶ
https://ascii.jp/elem/000/001/697/1697672/
後日スライド公開予定

3. What’s Observability ?

4. OS(VM)
Observability = 可観測性
「ITシステムを安定運用する上でシステム内部のステータスを取得できる状態にあること」です。
サービス
コンテナ
サービス
コンテナ
OS(VM)
サービス
コンテナ
OS(VM)
サービス
コンテナ
サービス
コンテナ
OS(VM)
サービス
コンテナ
OS(VM)
サービス
コンテナ
OS(VM) OS(VM)
サービス
コンテナ
OS(VM)
サービス
コンテナ
サービス
コンテナ
サービス
コンテナ
OS(VM)
サービス
コンテナ
サービス
コンテナ
OS(VM)
サービス
コンテナ
OS(VM)
サービス
コンテナ
サービス
コンテナ
OS(VM)
サービス
コンテナ
リソース リソース リソース
パブリッククラウド
サービス
コンテナ
サービス
コンテナ
【背景】
・分散疎結合アーキテクチャの普及
・パブリッククラウドサービスの普及

5. Observabilityの3つの柱
メトリック
ログ
トレーシング Elastic APM

6. 非機能要求グレードとは
6
独立行政法人情報処理推進機構(IPA)が公開している、システム調達における非機能要求定義漏れを
防止するための支援ツール群です。6つの大きなカテゴリーがあり、項目数は合計238個にも及ぶ。
【参考】IPA システム構築の上流工程強化（非機能要求グレード）
https://www.ipa.go.jp/sec/softwareengineering/std/ent03-b.html
要求項目 項目数 説明 内容
可用性 33 システムサービスを継続的に利用可能とするための要求 ・運用スケジュール(稼働時間・停止予定など)
・障害、災害時における稼働目標
性能・拡張性 43 システムの性能、将来のシステム拡張に関する要求 ・業務量や先々の増加見積もり
・システム化対象業務の特性
運用・保守性 71 システムの運用や保守に関する要求 ・運用中に求められるシステム稼働レベル
・問題発生時の対応レベル
移行性 18 システムのリプレースや移行方式に関する要求 ・新システムへの移行期間と移行方法
・移行対象資産の種類、移行量
セキュリティ 37 システムの安全性確保に関する要求 ・セキュリティ分析や管理方法
・不正利用の防止や検知
システム環境・
エコロジー
36 システムの設備環境やエコロジーに関する要求 ・耐震性、重量、空調、騒音
・Co2排出量や消費エネルギー

7. 【参考】非機能要求グレード活用シート

8. 「性能」と「セキュリティ」は変動する
システム構築時に要件定義を行うが、運用フェーズで常に変化するのは「性能」と「セキュリティ」である。
システムアーキテクチャ上、全レイヤー横断で「性能不足」や「脆弱性と脅威」を把握する必要がある。
システム環境・
エコロジー
セキュリティ移行性
運用・保守性
性能・拡張性
可用性
【非機能要求グレード】
データセンター
ネットワーク
サーバ基盤
オペレーティングシステム
データベース
アプリケーション
【システムアーキテクチャ】
性能不足
脆弱性と脅威
全レイヤー横断

9. セキュリティユースケースで考えていること
IDS/WAF
Webサーバ
(or ELB)
APPサーバ
(EC2/Fargate)
Database
(RDS)
外部攻撃者
侵入行為
アクセスログ アプリログ
HTTP/HTTPS SQL
SQLログ※1
AWSサービスログ
ミドルウェア/アプリケーションログ
【凡例】
※1 「接続元IPアドレス」や「セッション情報」は記録されない。
【システムコンポーネント図】
①
アプリケーション脆弱性を突くリクエストが記録されるであろうアクセスログやアプリケーションログと
守るべき資産を格納しているDBに対するクエリの記録であるSQL監査ログの相関性を判断する情報を
各コンポーネントのログデータから見つけ出すことは、意外と難しい。
資産
②
ログの相関性

10. 分散トレーシング(APM)に期待すること
クライアントからのリクエストと
DBへのSQLアクセスの一連性の可視化
(機械学習と組み合わせた不正検知など)

11. こういうことになると考えている
logging
metrics
tracing
Observability
Platform
Reliability
Security
Marketing
Beats
Beats
Elastic APM

12. 本日のテーマは、「Beatsファミリーの紹介」
Beatsは、データシッピング専用のプラットフォームです。
何百、何千ものマシンからLogstashやElasticsearchにデータを転送できる。

13. Beatsファミリーの紹介
Go言語で書かれた軽量データ収集エージェント群である。
基本的には、Linux、Windows、Macのマルチプラットフォームで動作する。
✓ ログファイルの収集
✓ Filebeatモジュール
(テンプレート化)
Filebeat
Metricbeat
Packetbeat
Winlogbeat
Auditbeat
Heartbeat
Functionbeat
✓ メトリックの収集
✓ CPU、Mem、Diskなどの
性能データを収集
✓ パケットデータの収集
✓ パケットデータの構造化
✓ HTTPやMySQL等の解析
✓ イベントログの収集
✓ XML→JSON化
✓ Windowsのみ
✓ Linux認証ログの収集
✓ 改ざん検知ログの収集
(Windowsも対応)
✓ サービス状態の収集
✓ ICMP/TCP/HTTP
✓ 各種ログデータの収集
(CWL、Kinesis、SQS)
✓ AWS Lambda対応
logging
logging
logging
logging
metrics
logging

14. 軽量なデータ転送エージェントの嬉しみ
Beatsは、Go言語で書かれてる軽量エージェントのため、各サーバがサービス提供にリソース集中できる。
Webサーバ
Elasticsearch
Beats
Beats
Beats
Logstash
Elasticsearch
【よくあるFluentd構成】
【Elastic Stack推奨構成】
WebサーバのCPU/メモリリソースをそれなりに奪ってしまう。
Go言語で軽量に書かれていて、CPU/メモリリソースを殆ど消費しない。
【Elastic社の有償サポートで一括保守できる】
Webサーバ

15. Beats全体アーキテクチャ図
1つのBeatsインスタンスは、1つの出力先にしかOutputできないシンプルな構造である。
性能データ
Beats
EventLog
ログファイル
audit.log
パケットデータ
AWS 各サービス
サーバ稼働
データソース 出力先
File
AWS S3とかに出力できると嬉しい...
※Functionbeatsは、ElasticCloud、Elasticsearch、Logstashにのみ出力可

16. 個人的に好きなのは、「Winlogbeat」
EventIDに応じた可変フォーマットとなっているEventLogをキレイにパースできることが素晴らしい。

17. WindowsのEventLogってどうしてます？
Windows踏み台サーバでよく取るログイン関連のEventLogは簡単に取得ができる。
Windows OS
WinlogbeatEventLog
Elasticsearch
① ②
#================== Winlogbeat specific options =================
winlogbeat.event_logs:
- name: Microsoft-Windows-TerminalServices-LocalSessionManager/Operational
tags: ["login"]
event_id: 21,23,24,25
- name: Security
tags: ["login"]
event_id: 4625
#======================== Outputs ========================
#-------------------------- Elasticsearch output ------------------------------
output.elasticsearch:
# Array of hosts to connect to.
hosts: ["<ElasticsearchのIPアドレス>:9200"]
No EventID 内容
1 21 OSログイン成功
2 23 OSログオフ成功
3 24 OSセッション切断
4 25 OSセッション再接続
5 4625 OSログイン失敗
【winlogbeat.yml】
Windows踏み台のログイン証跡の賢い取り方
https://qiita.com/hssh2_bin/items/394c93bd1250e89d295c

18. こういう構成で組むことでBeats運用負荷が減る
WinRMとWecsvcを利用したイベントサブスクリプションでイベントログを集約することができる。
イベントログを集約したサーバ上にWinlogbeatを入れることで各サーバに導入しないで済む。
Windows OS
EventLog
①
Windows OS
③
Winlogbeat
Elasticsearch
②
WinRM
Wecsvc
EventLog
②
④
Windows OS
EventLog
①
WinRM

19. まとめ
Beatsを通じて、Observability Platformについてお伝えしてきました。
✓ Observabilityは、「ログ・メトリック・トレーシング」の3つからなる
✓ 非機能要求の中で「性能」と「セキュリティ」は可観測性が求められる
✓ Winlogbeatは、Windowsイベントログ管理に便利である(おまけ)

20. thankyou.