アプリ向けエラー・クラッシュ検知ツールの運用品質について@Ques13th

Confidential
アプリ向け
エラー・クラッシュ検知ツールの
運用品質について
FROSK株式会社仲井裕紀
2019年5月17日@第13回Ques

Confidential
会社紹介
Copyright (C) FROSK,Inc.,All Rights Reserved. 2
■SmartBeat
国内No1リアルタイムエラー検知解析
ツール
アプリの品質を改善し、顧客満足度向
上や継続率UPを図るツール
■FROSK株式会社
B2D（Business To Developers）
というコンセプトのもと、
アプリ開発者支援ツールを開発/提供
現在 16名(CTO, エンジニア：8名)

Confidential
自己紹介
リクルートにて新規事業の立ち上げや
グロースを経て、2017年から現職。
サービスを通して得たアプリのグロース手
法について、情報提供を続けている
認定スクラムプロダクトオーナー
仲井裕紀
SmartBeatプロダクトマネージャー

Confidential
お話する前提として
ちょっとだけツールの紹介！

Confidential
リアルタイム検知はSmartBeatだけ！
5
日本初！スマホアプリのリアルタイムエラー検知・解析ツール
アプリ品質の改善によるユーザ満足度向上を強力にサポート
不具合の早期発見
デバッグ/開発の効率化
カスタマーサポートの充実
継続率/レビュー評価向上
※CPA改善、DAU向上などにも間接的に寄与
Copyright (C) FROSK,Inc.,All Rights Reserved.
次回起動時クラッシュ発生！
アプリ削除
長期離脱
リアルタイム検知は
SmartBeatだけ！

Confidential
SmartBeatはエラーを原因別に分類し、柔軟なソート&フィルタが可能
6
エラーを原因別に分類し発生回数や影響ユーザー数でソート
アプリバージョンやOSバージョン、デバイス毎にフィルタ可能
どれを直すか決めて
開発チームに共有するだけ！

Confidential
7
業界初 iOS, Android両プラットフォームの
メモリーリークの発生回数モニタリング可能
Copyright (C) 2018 FROSK,Inc.,All Rights Reserved.
イベントやキャンペーン時の
異常終了増加も検知可能
SmartBeatはメモリーリークも検知可能

Confidential
導入実績
8
主要大手アプリ・ゲームデベロッパー様にご利用いただいています。
導入アプリ数
2,400アプリ
月間アクティブユーザー数
1.9億人
1日あたりのエラー検出数
3,000万件以上
ご利用企業様例
大手ゲーム企業様を始め、
EC、O2O、動画などさまざまなアプリにご
利用いただいております。
詳しくはHPまで
(https://smrtbeat.com/)

Confidential
なぜ、利用してくれるのか。
9Copyright (C) FROSK,Inc.,All Rights Reserved.
クラッシュはアプリ運営に
ネガティブな影響が
たくさん

Confidential
ちょっとだけデモ！！
落ちるデモ用の不具合アプリ作ってきました！
(きっとここで5分くらい！)

Confidential
SmartBeatの運用品質について

Confidential
本日は、
12
バックエンド+アプリ向けSDK
の運用品質を話します
1. 品質管理サービスならではの運用品質
2. アプリ向けSaasであるこだわりどころ
※改善中な部分箇所もまだまだあるので
ぜひアドバイスください！

Confidential
運用品質でキーとなってくるのは２つ
お客さん待ってくれないので、、
サービスを
止めないこと
世の中の変化が早い中で、、
顧客アプリに
影響がないこと

Confidential
サービスを
止めないこと
顧客アプリに

Confidential
サービスを
止めないこと
顧客アプリに
負けたくない！
(弊社CTO談)

Confidential
お客さん待ってくれないので、、サービスを止めないこと
サービスの状態を把握する

Confidential
常にサービスを止めたくないけど、ピンチはありました。。
2014 2015 2016 2017 2018
サービス開始 YJによる買収 1億MAU突破
韓国市場進出
エラー検索高速化
🔥
🌋 🌋
🔥
エラー数推移

Confidential
アプリにとって重要なタイミングにSmartBeatの負荷ピークも連動する
2014 2015 2016 2017 2018
サービス開始 YJによる買収 1億MAU突破
韓国市場進出
エラー検索高速化
🔥
🌋 🌋
🔥
エラー数推移
G.W. 年始
OS
update

Confidential
止めないために作ったマイクロサービス化された構成
バックエンドは、すべてAWS
• マイクロサービス化
• マネージド化進行中
非常に大量のコンポーネントのため、
サービスは安定しやすいが、
全員が全てを把握するのは無理。
• 各コンポーネントに、
1~2名担当を設定
• 障害時の状況の共有や対策は
担当からが多い

Confidential
ひと目で状況がわかるモニタリングとアラートを自社ツール等で用意
詳細なモニタリングシステム
• 各コンポーネントの状態をす
べて自作ツール及びZabbixでモ
ニタリング(healthy, unhealthyな
ど)し危険があればすぐに全員
に通知
• 障害時ログを追ったりするこ
となく状況の把握が可能とな
り素早い対応が可能に
• Slackにアラートが届くように
して会社全員が気づける仕組
み化

Confidential
課題も見えてきました
モニタリング/アラートの課題
• 不安定な1箇所から大量にアラートが出ている場合に、
他の箇所のアラートが埋もれてしまう
• High, Disaster等で分類していても埋もれる
• コンポーネントが多く、アラートの設定に関する議
論が多くなりがち
効率化できる方法があれば教えてくださいm(_ _)m

Confidential
お客さん待ってくれないので、、サービスを止めないこと
品質改善を行い続けること

Confidential
エンジニア:8名
チームの体制を分けて常にバックエンドの品質改善を実施
機能追加:4名基盤改善:4名

Confidential
実は急成長したために、負荷問題が出てました。。
巨大アプリだと、エラー一覧のフィルタに
数分以上かかることもありました。。

Confidential

Confidential
検索&DBシステムのリプレイス
リプレイスの概要
- 検索システムをElasticsearch(ES)にリプレイス
- 既存ESではパフォーマンスが足りず、独自プラグインを開発
性能試験(一部)
1. 本番の2倍の負荷状況を作り、性能試験&チューニング
2. 自作ツールを作成し、前後の性能差/データ整合性の確認を実施

Confidential
1. 本番の2倍の負荷状況を作り、性能試験&チューニング
当時負荷テストのときの「CloudWatchのダッシュボード」
• 負荷ツールLocustで実負荷の数倍の負荷をかけて
各コンポーネントの動作と可用性を検証
• AWSは、大量の有意義なメトリクスを提供してくれるため
計測結果を元に、チューニングすることが一番インフラの品質向上につながる

Confidential
2. 自作ツールを作成し、前後の性能差/データ整合性の確認を実施
リプレイス前後での環境を2つ用意して、リプレイス前後の性能比較を実施
- 作業は自作ツールにて実施
結果
• 元々レスポンスが早い場合においては、若干の悪化が見られたが
多くの場合において、性能改善が見られた。

Confidential
検索DBリプレイスの品質を維持するために気をつけたこと
どれだけ実装前に異常系も想定して設計できることと、
その想定をしっかりツール(数値)で評価できること
• しっかり比較設計をする
• AWS, GCP問わず、すべての可能性を比較検討
• 落とし穴を事前に読んで対応しておく
• AWSなら、どのページにもトラブルシューティングガイドがある
• 負荷テストは必ず商用同等かそれ以上のテストをする
• テストはツールにやらせる、ツールがなければ作る工数を惜しまないこと、
修正のたびに実行することで元が取れる
↑おすすめ

Confidential
サービスを
止めないこと
顧客アプリに

Confidential
世の中の変化が早い中で、、顧客アプリに影響がないこと
パフォーマンス影響がないこと

Confidential
SDKはパフォーマンスの影響ないこと
SDK組み込み時のアプリのサイズの変
化量を教えてください。
SDK組み込み時のアプリパフォーマンス
への影響はどれくらいですか？
お客さんのアプリや端末の状況が変わっても
パフォーマンス影響のないSDKが必須

Confidential
でも、たまに、、影響が発生してしまった場合。。
特定条件において、画面キャプチャ機
能のせいで、アプリがカクつくという
事象が発生
原因は、1秒ごとにキャプチャするパ
フォーマンスの劣化
• 端末の解像度の向上とiOS12から
キャプチャ用のAPIのパフォーマン
ス悪化が影響していた
[余談]親会社のYahoo!を通じてAppleに
問い合わせ行ったが、解決に至らず。。

Confidential
自社でなんとかするするしかない。
キャプチャのパフォーマンスを計測す
るためのアプリを自作し、パフォーマ
ンス試験を実施
対象
- すべての端末×全キャプチャ方式
実施方式
- 手動計測し、Spreadsheetに記載
端末の入手方法
- Yahoo!の貸与端末
- 端末貸出サービス

Confidential
ちなみに、その結果わかったことは3つ
1. アプリのコンテンツ(描画サイズではなく、特に描画面積)に依
存して、パフォーマンスが劣化する
2. キャプチャ方式は、iOS7以降に導入された新方式よりも、
iOS11,12においては、以前の方式の方がハイパフォーマンスで
あった
(DrawViewInHierarchy よりもRenderInContextが
ハイパフォーマンス)
3. 解像度の高い、CPUパフォーマンスの低いような古いiPadなど
への影響は大きかった

Confidential
SDKパフォーマンス試験の課題点
SDKパフォーマンス試験の課題
• 世の中に知見があまりなく、自社で仕組み作りから
進める必要がある
• 端末毎に特性が異なるため、たくさんの実機を手動
で確認する必要がある
効率化できる方法があれば教えてくださいm(_ _)m

Confidential
世の中の変化が早い中で、、顧客アプリに影響がないこと
顧客より早く
プラットフォーム動きに対応できること

Confidential
顧客より早く各プラットフォーム動きに対応することできること
SDKとして対応している各プラッ
トフォームの動きを
常にSlackで自動共有し、
顧客よりも早い対応を検討
• 各プラットフォームの動きが
早く、急な対応が増えてきて
いたため事前に知れる仕組み
を構築
• AR/VR向けアプリなど多様な対
応が必要に

Confidential
まとめ

Confidential
まとめ
バックエンド+アプリ向けSDKの運用品質において
SmartBeatが気をつけていること
1. サービスを止めないこと
• サービスの状態を把握すること
• 品質改善を行い続けること
2. 顧客のアプリに影響がないこと
• パフォーマンス影響がないこと
• 顧客より早くプラットフォーム動きに対応できること

Confidential
アプリ品質は、クラッシュ率を~1%が当たり前な時代がきている
アプリをリリースして終わりではなく
品質管理を継続することが「当たり前な時代」において
SmartBeatも運用品質も向上させていきたい。

Confidential
ご清聴ありがとうございました！

アプリ向けエラー・クラッシュ検知ツールの運用品質について@Ques13th

Recomendados

Recomendados

Más contenido relacionado

Similar a アプリ向けエラー・クラッシュ検知ツールの運用品質について@Ques13th

Similar a アプリ向けエラー・クラッシュ検知ツールの運用品質について@Ques13th (20)

Último

Último (9)