テストアプローチにデータ分析を使おう

テストアプローチにデータ分析を使おう

WACATE実行委員会なかのさやか
スーパーアドバイザー小池利和様（ヤマハ（株））
2012/12/15

Copyright (C) 2012 WACATE All rights reserved

このセッションの目的

• テストアプローチを考える
• データ分析（結果）に触れる
• テストチームが主体となってできることを
考える


このセッションの対象者

• テストアプローチ（計画）にまだあまり携
わっていない人
• テストアプローチに悩んでる人
• データを取ってるだけの人
• データと聞くと数字を連想して毛嫌いする
人
• データ分析と聞くと統計学とか数式とかを
連想して毛嫌いする人


このセッションの流れ

• テストアプローチのお話
• データ分析のお話
• ワークをやってみよう
– 個人ワーク
– グループワーク
• 発表（２グループくらい）


テストアプローチ


テストアプローチ？

• JSTQB FLシラバスより
5.2.6 テスト戦略、テストアプローチ(K2)
テストアプローチは、特定のプロジェクトにおいてテス
ト戦略を実装することである。

代表的なアプローチとして、以下のものがある。
– 緊急度や重要度などを考慮したリスクベースドテスト
のような分析的アプローチ
– 故障率や使用性などの統計情報を基にするモデルベー
スアプローチ
– エラー推測や品質特性を基にする方法論的アプローチ
など、JSTQB FLシラバスには7種類があげられている



• みなさんに質問
• テストアプローチといったこと、やってま
す？
– 私がやってる
– 誰かがやってるらしい
– やってない
– やってるかどうかわからない
– なにそれ、おいしいの？



• いつやるの？
• だれがやるの？
• なぜやるの？


「テスト」といえば・・・？
アドホックテスト、探索的テスト、ブラックボックステスト、境界値テスト、状態遷移テスト、ランダムテスト、
モデルベースドテスト、ホワイトボックステスト、制御フローテスト、データフローテスト、トランザクションテ
スト、コールフローテスト、エラー推測テスト、ミューテーションテスト、ローカライゼーションテスト、ユーザ
環境シミュレーションテスト、整合性確認テスト、オブジェクト指向テスト、GUIテスト、データベーステスト、
プロトコル適格性テスト、コンテンツテスト、ユーザインターフェーステスト、コンポーネントレベルテスト、ナ
ビゲーションテスト、後世テスト、セキュリティテスト、パフォーマンステスト、実時間のテスト、タスクテスト、
動作テスト、タスク間テスト、システムテスト、リスクベースドテスト、アイソレーションテスト、アークテスト、
アクションワード駆動テスト、アクセシビリティテスト、アジャイルテスト、アドホックテスト、アルゴリズムテ
スト、アルファテスト、安全性テスト、移植性テスト、インクリメンタルテスト、インテークテスト、受け入れテ
スト、運用受け入れテスト、運用テスト、運用プロファイルテスト、N スイッチテスト、LCSAJ テスト、回帰テ
スト、開発テスト、回復性テスト、回復テスト、改良条件判定テスト、改良複合条件テスト、拡張性テスト、確認
テスト、完全テスト、規程テスト、機能性テスト、機能テスト、基本比較テスト、キーワード駆動テスト、グラス
ボックステスト、クリアボックステスト、構成テスト、構造テスト、構造ベースドテスト、合目的性テスト、効率
性テスト、互換性テスト、コードベースドテスト、コンフィデンステスト、コンポーネントテスト、コンポーネン
ト統合テスト、サイト受け入れテスト、サニティテスト、資源効率性テスト、システム統合テスト、小規模統合テ
スト、条件組合せテスト、条件テスト、条件判定テスト、使用性テスト、仕様ベースドテスト、シンタックステス
ト、構文テスト、信頼性テスト、スクリプトテスト、ステートメントテスト、ストレージテスト、ストレステスト、
スモークテスト、スレッドテスト、正確性テスト、静的テスト、性能テスト、製品受け入れテスト、設置性テスト、
全数テスト、相互運用性テスト、大規模統合テスト、ダーティテスト、チェックリストベースドテスト、直交表テ
スト、適合テスト、デザインベースドテスト、デシジョンテスト、デシジョンテーブルテスト、統計的テスト、統
合テスト、動的テスト、ドキュメンテーションテスト、トップダウンテスト、パステスト、パーティションテスト、
判定条件テスト、ビジネスプロセスベースドテスト、否定テスト、標準適合性テスト、標準テスト、フィールドテ
スト、複合条件テスト、ブランチコンデション組合せテスト、ブランチテスト、プログラムテスト、プロセスサイ
クルテスト、ベータテスト、ベンチマークテスト、保守性テスト、ボトムアップテスト、ボリュームテスト、モ
ジュールテスト、モンキーテスト、有限状態テスト、ユーザシナリオテスト、ユーザテスト、ユースケーステスト、
ユニットテスト、要件ベースドテスト、予備テスト、リンクテスト、ロードテスト、ロバストネステスト、論理カ
バレッジテスト、論理駆動テスト、ソフトウェアテスト、、、



• 「☆▼テスト」というだけでもこんなにあ
る

• テストをするとき、これ、全部やります？
• やらないですよね？



• なんのテストをやろうか
• どんな風にテストをやろうか
• どのくらいの工数が必要か
• どんなリスクが潜んでいるだろうか
• どうやって欠陥を見つけようか
• 効果的に欠陥を検出するにはどうするか
• 必ずやっておかなければならないのは何か
などなど。。。

• JSTQBのシラバスでは（参考）
テストアプローチは、テスト計画とテスト設計の中で定
義され、改良される。これには、一般的に(テスト)プロ
ジェクトのゴールとリスクアセスメントに基づく決定を
盛り込む。それは、テストプロセスの計画、テスト設計
技法の選択とテストタイプの適用、開始・終了基準の定
義などを行うための出発点である。

• ISTQBシラバス準拠ソフトウェアテストの基礎
では（参考）
テストアプローチあるいはテスト戦略の選択は、テスト
作業の成功と、テスト計画と見積もりの正確性の要素の1
つです。
ケースバイケースで、最も意味があるテストアプローチ
を採用して、そのアプローチを各自で利用したり変更し
たりするしかありません。

• 現場の仕事がバリバリ進む
ソフトウェアテスト手法では（参考）
– 2-4-7 アプローチ
アプローチは非常に重要です。ここに書くことは、
2.4.3項「はじめに」で書いたテストの方向性、つまりテ
スト戦略を具現化するためのテストの方法を記載す
るからです。
• テストの概要（どんな種類のテストを誰がいつ実施
するのか）
• テストツール導入に関して
• テストリリース方法（構成管理）
・・・など



スケジュールテストしない

テストベース
弱点テスト範囲テスト対象

テストタイプ
リスクテスト観点
テストレベル

テストツールテストする

テスト環境



• 一次開発、二次開発、と開発をするとき、
同じ開発者の場合は同様の傾向を示すので、
一次開発の傾向を二次開発のインプットと
することが有効
– 欠陥の偏在
– 同様のミス
– 思いこみ
・・・など


データ分析


データ分析？

• 数字読むの？
• 数式がよくわからない、難しい
• パラメータとか基準値とか・・・ねぇ？

• 数学、苦手なのよねぇ


データ分析？

• 見積り・予測ができる
• 裏付けが取れる
• 裏付けを基に適切な対策を打てる
• 同じ開発者/チームで行う場合、一次開発と二次開発は
同様の傾向を示すことが知られています
• 客観的事実を示せる
• データ/メトリクスによって明らかになるこ
とがある


データ分析？
プロジェクトの
背景
データ収集データ分析
データ結果データ結果
の収集分析
成果物

データ分
テスト戦略で定析結果か
現場へ
められたメトリクら傾向を
ス次のメトのヒア
読みとる
リクスのリング
設定
データから読み解
事実く傾向想定リスト
内容改善点
の設定

想定と
次のテス事実とのつき合事実の
トのアプわせ結果
つき合
ローチ検わせ
討

データ分析からのテストアプローチ

• 数字を読んだり、数式を理解したり、とい
う難しいことは得意な人orツールにとりあ
えずお任せ！
• グラフとか表とかに既に加工されたものを
見てみよう
• 何か傾向とか特徴とかでてない？


ワークをやろう


個人ワークとグループワーク
個人ワークとグループワークをやります。
個人ワークでは、これから説明するプロジェクトの新
規開発のテスト結果を表したグラフについて、みなさ
んだったら何を読みとるかを考えていただきます。
その後、個人ワークで読んでいただいたテスト結果に
対して、別のチームが分析/ヒアリングした資料を配
布します。
グループワークでは後から配布する資料を基に、総合
評価と第2次開発のテストではどんなアプローチをす
るかを考えてください。

最後にどこかのグループに発表していただきます。


ワークの範囲
プロジェクトの個人ワーク
背景
データ収集データ分析
データ結果データ結果
の収集分析
成果物

データ分
テスト戦略で定析結果か
現場へ
められたメトリクら傾向を
ス次のメトのヒア
読みとる
リクスのリング
設定
データから読み解
グループワークく傾向想定リスト
事実
テストアプローチ改善点
内容の設定

想定と
次のテス事実とのつき合事実の
トのアプわせ結果
つき合
ロ―チ検わせ
討

プロジェクト背景配布資料

この夏、WACATE Corporationのなんでも開発部で新規
開発がありました。前例プロジェクトのない、初の開発で
した。

この冬、第2次開発をすることになりました。
でも、新規開発に対してリリース後の問合せが多発し、欠
陥と判断されたものも多数ありました。そこで、第2次開
発をするにあたり、Y本部長から「テストを強化しろ」と
いうお達しがありました。

お達しを受けたなんでも開発部のO部長は、同じ事業部内
のなんでもテスト部のS部長に第2次開発におけるシステ
ムテストを依頼しました。依頼を受けたS部長は、O部長
から新規開発時のテストの状況を知るために、テスト結果
報告書の提供をしてもらい、第2次開発の参考にすること
にしました。

なんとか開発部（デスマ中） WACATE Corp. なんでも開発事業本部
K部長
Y 本部長
G課長 B課長配布資料

なんだって開発部なんだってテスト部

O 部長新規開発をした S 部長
チーム

U 課長 I 課長 A 課長

若手太郎・・・他三浦鮪・・・他三崎伽哩


個人ワークをやろう


個人ワークのお題配布資料

O部長はS部長からお願いされたとおり、新規開発時のテスト結果
報告を開発を担当したI課長から受取り、S部長に提出しました。

S部長「三崎さん、例の開発のテスト結果報告もらったから、
ちょっとこれ、見てくれる？」
三崎伽哩「はぁーい」
S部長「これ見た結果を、あとで報告よろしく。あ、そうそうこの
後やまさき本部長と出かけなきゃならないから、まとめておいて。
明日の朝の部長会で報告聞くよ。あ、そのときにはやまさき本部
長もいらっしゃるから、そのつもりで(｡･人･｡)ｵ･ﾈ･ｶﾞ･ｲ」
と、伽哩ちゃんはいつもにこにこ優しいS部長のお願いを受け取り
ました。

みなさんはこの伽哩ちゃんの立場となってください。


個人ワーク配布資料

• 配布物
– 開発部のテスト実施報告書
• やること
– 報告書にある各グラフで、気になるところに印
をつけてみましょう。
– 時間は10分です。
– 全部を見切るのは難しい人は、2つか3つに絞り
ましょう。
– 余裕がある人はどう気になったかメモもつけま
しょう

準備はいいですか？


ワーク中


グループワークをやろう


グループワークのお題配布資料

三崎伽哩「5辛・・・かなぁ。もうちょっと言ってもいいかなぁ。
本部長がいらっしゃるところで報告することになるんだし、次の
テストはこっち（テスト部）がやることになるんだし、テスト動
きやすくしたいなぁ。若手先輩だったらどうするかなぁ。。。」

数時間後、テスト部のみなさんのところに伽哩ちゃんからミー
ティングリクエストが届きました。

三崎伽哩「例の開発のテスト結果報告を分析して、ダサいところ
は直接聞いてきました。次の開発ではシステムテストはこちら
（テスト部）でやることになりますので、開発部のテスト実施結
果に対する評価と、我々のシステムテストをどうするかを、相談
させてください。なお、会議室の予約の関係上40分しか時間がと
れませんでした。」

というワケで、各グループが伽哩ちゃんからミーティングリクエ
ストを受け取ったテスト部メンバーとなって、ワークをしてくだ
さい。

グループワーク配布資料

• 配布物
– テスト部によるテスト実施報告の調査書
• やること
– テスト実施報告の調査書に評価の☆をつける
– ☆をつけた理由を、調査内容を基に作成
– 第2次開発のテストに向けてのアプローチの検
討
• つかうもの
– 各テーブルにある模造紙

模造紙に書くこと配布資料

• 評価チーム名またはチームメンバーの名前
• ☆の数（最高3つ）
• ☆の数の理由
• 評価内容
• 次期テストにおける改善点
– テストアプローチにつながることがベスト！！

注：スケジュールやメンバーのレベルなどで変わる優先度は、
考慮しなくて良いです。テストアプローチとして考え得る
ことを出しましょう

他のグループはどうなった？

• ２～３班に発表していただきます
• 発表したい班は挙手！！！
• 後ろに待機されてるゲストの方から講評が
いただけるかも！？


注意！
• 今回紹介したものがすべてじゃない
• 今回紹介したものがどんな現場にも通用す
るわけではない
• データ分析ですべてがわかるわけではない
• データ分析からわかったことが絶対ではな
い


データ分析、もっと知りたい？
（ソフトウェア品質技術者のための）データ分析勉強会
日時：2012/12/22
主催：小池様（ヤマハ（株））

JUSE-SQiP特別講演会
データ指向のソフトウェアマネジメント
日時：2013/2/25
講演：野中先生（東洋大学）
事例発表：小池様（ヤマハ（株））

SQiP研究会
メトリクス演習コース（来期に新設予定？）
主査：小池様（ヤマハ（株））


参考書籍
• データ指向のソフトウェア品質マネジメント
メトリクス分析による「事実にもとづく管理」の実践
• 定量的品質予測のススメ
ITシステム開発における品質予測の実践的アプローチ
• 続定量的品質予測のススメ
ITシステム開発における定量的品質管理の導入ノウハウと上流工程へのアプローチ
• 演習で学ぶソフトウェアメトリクスの基礎
【ソフトウェアの測定と見積もりの正しい作法】
• 初めて学ぶソフトウェアメトリクス
【プロジェクト見積もりのためのデータの導き方】
• ソフトウェア品質保証の考え方と実際
オープン化時代に向けての体系的アプローチ
• JSTQB FLシラバス ver.2011.J01
• JSTQB ALシラバス ver.2007.J03
• ISTQBシラバス準拠ソフトウェアテストの基礎
• ソフトウェア・テスト PRESS Vol.9
• ソフトウェア品質知識体系ガイド－SQuBOK Guide－
• 2012-2013 データ白書
• 現場の仕事がバリバリ進むソフトウェアテスト手法
• ステップアップのためのソフトウェアテスト実践ガイド


テストアプローチにデータ分析を使おう

テストアプローチにデータ分析を使おう

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Destacado

Destacado (20)

Similar a テストアプローチにデータ分析を使おう

Similar a テストアプローチにデータ分析を使おう (20)

テストアプローチにデータ分析を使おう