More Related Content
Similar to 正確な意思決定を阻む 問題・障害との向き合い方 (20)
正確な意思決定を阻む 問題・障害との向き合い方
- 2. 自己紹介
● 吉田 康久
○ Twitterやはてなidは@syou6162 / id:syou6162
● 前職: NTTコミュニケーション科学基礎研究所
○ 自然言語処理や機械学習の研究に従事
● 株式会社はてな
○ アプリケーションエンジニアとして入社
○ はてなブックマーク
○ サーバー管理/監視システムMackerel
■ 教師なし学習による異常検知機能開発
● 2020年2月よりMackerelチームのCRE (Customer Reliability Engineer)
○ 主にデータ基盤整備 / データ分析
2
- 5. 制約が付けられないデータストア
● データに制約を付けられないデータストアもたくさんある
○ 例: Salesforceやスプレッドシート
● 制約がないと困る例
○ 同じ会社名が複数存在しまくると困る
■ 同名企業は存在し得る。とはいえ...
■ あまりに多いと入力時の確認ミスの可能性
○ 商談が次のフェイズに移ったのに完了日が未記入
■ リードタイムの計算ができない
■ 本来は入力必須の項目になっていて欲しい
○ ある月のある企業の売上が複数行に存在
■ スプレッドシート上の手動オペレーション(コピペ)時のミス
● RDBMSが恋しくなるときもあるが、それぞれのデータストアのよさはある 5
- 10. 対策: データマートの定期的な掃除
● 四半期に一度、利用頻度の低いテーブルやビューを削除する
● 以下の情報を元に削除対象を決定
○ クエリが最後に発行されたのはいつか
○ クエリが最後に発行したのは誰か
○ クエリが何回発行されたか
● いきなり消えると困る場合もあるので、2週間後にexpireするように設定
○ 必要な場合はexpireを自分で外してもらう
○ expire後に泣きつかれた場合(?)用に、viewならSQLを手元にバックアップ
10
GCP(BigQuery)ならAudit Logや
INFORMATION_SCHEMAでメタ情報が取
れる!