みんなに役立つ「テスト」を学んでみよう！（20140105版）
Denunciar
Compartir
•38 recomendaciones•11,748 vistas
みんなに役立つ「テスト」を学んでみよう！（20140105版）
•38 recomendaciones•11,748 vistas
Denunciar
Compartir
Descargar para leer sin conexión
Más contenido relacionado
La actualidad más candente
La actualidad más candente(20)
Destacado
Destacado(18)
Similar a みんなに役立つ「テスト」を学んでみよう！（20140105版）
Similar a みんなに役立つ「テスト」を学んでみよう！（20140105版）(17)
Más de Noriyuki Mizuno
Más de Noriyuki Mizuno(20)
Último
Último(6)
みんなに役立つ「テスト」を学んでみよう！（20140105版）
- 1. みんなに役立つ 「テスト」(と、品質の考え方) を学んでみよう！ みずのり（水野のりゆき） ＠WARAI（関西SWテスト勉強会） 2014/01公開用 みんなに役立つ「テスト」を学んでみよう！ 1
- 7. 良く言われるテストの必要性 JSTQB Foundation Level シラバスより… 1.1.1. ソフトウェアシステムの状況(K1) ソフトウェアシステムは、ビジネス分野(銀行など)から、一般消費財(自動車など)に至るまで、 社会を構成する要素として必須となっている。ソフトウェアが期待通りに動かなかった経験は 誰もが持っている。ソフトウェアが正しく動作しないと、経済的な損失、時間の浪費、 信用の失墜など、いろいろな問題が発生し、時には傷害や死亡事故になることもある。 … 1.1.3. ソフトウェアの開発、保守、運用におけるテストの役割(K2) システムやドキュメントを厳しく テストし、システムが稼動する前に欠陥を 摘出して修正するならば、実行環境で問題が 発生するリスクを低減でき、 ソフトウェアシステムの品質向上に効果がある。 また、契約や法律上の適格要件や各業界の 標準に合致していることを証明するため、 ソフトウェアのテストが必要になるケースもある。 http://www.jstqb.jp/syllabus.html 2014/01公開用 みんなに役立つ「テスト」を学んでみよう！ 7
- 8. 良く言われるテストの必要性 JSTQB Foundation Level シラバスより… 1.1.1. ソフトウェアシステムの状況(K1) ソフトウェアシステムは、ビジネス分野(銀行など)から、一般消費財(自動車など)に至るまで、 社会を構成する要素として必須となっている。ソフトウェアが期待通りに動かなかった経験は 誰もが持っている。ソフトウェアが正しく動作しないと、経済的な損失、時間の浪費、 信用の失墜など、いろいろな問題が発生し、時には傷害や死亡事故になることもある。 … 1.1.3. ソフトウェアの開発、保守、運用におけるテストの役割(K2) システムやドキュメントを厳しく テストし、システムが稼動する前に欠陥を 摘出して修正するならば、実行環境で問題が 発生するリスクを低減でき、 ソフトウェアシステムの品質向上に効果がある。 JSTQBに興味を持った人は ゆっくり読んでみて下さい。 ひとまず、 「開発に関わる人」を http://www.jstqb.jp/syllabus.html 中心に考えてみましょう また、契約や法律上の適格要件や各業界の 標準に合致していることを証明するため、 ソフトウェアのテストが必要になるケースもある。 2014/01公開用 みんなに役立つ「テスト」を学んでみよう！ 8
- 16. テスト、品質の考え方が役立つ例① 例えば①：状態遷移テスト ※「状態遷移テスト」はテスト技法のひとつの項目とされております。 状態系のバグを検出するには、状態遷移を表現するモデル記法が役に立ちます。 テスト時において状態遷移モデルを検討することで不具合を検出できます。 また、記法を知っていると開発段階から役立てて、最初から混入を防ぐことも。 【3章：条件 1】蓋センサ ↓ ON＆水位セ BeforeState- ンサにONが Transition→ 存在 アイドル 沸騰行為 沸騰行為 ignore 保温行為 ignore エラー状態 ignore 2014/01公開用 【3章：条件 2】蓋センサ OFF＆全ての 水位 セン サがOFF ignore アイドル アイドル ignore エラーを検知 ※条件は【5 章：エラー検 沸騰ボタン押 知.】に別途 下 記載 ignore ignore ignore エラー状態 沸騰行為 ignore ignore ignore エラーを検 知 ※条件は【5 章：エラー 検知.】に別 途記載 ignore ignore エラー状態 ignore みんなに役立つ「テスト」を学んでみよう！ カルキ抜 き完了 ignore 保温行為 ignore ignore 16
- 29. テスト、品質の考え方が役立つ例 じゃあ、品質の考え方とテストをつなぐには？ ものを 適切な 要求 利用時 品質特性 システム ソフトウェア 品質特性 利用時の 品質要求 ニーズ Validation 妥当性 確認 外部 品質要求 作っているか？ 製品 実現された 利用時品質 実現された 外部品質 ものを 適切に 作っているか？ 内部 品質要求 検証 Verification 実現された 内部品質 ※東 基衞氏の資料より 2014/01公開用 利用者 視点 開発・実現 みんなに役立つ「テスト」を学んでみよう！ 開発者 視点 29
- 30. V&V：検証と妥当性（検証と誤解） 検証と妥当性の考え方を見てみましょう。 ・検証（Verification）と誤解 皆さんご存知のV字モデルの実際は？ SW適格性 確認ﾃｽﾄ 要求分析 方式設計 詳細設計 ※SLCP： Software Life Cycle Process （共通フレーム参考）ベース 2014/01公開用 結合ﾃｽﾄ 単体ﾃｽﾄ 考えずに 使っている 奴等がunk… 【メモ】 V字モデル自体は よく出来たモデルです！ ｺｰﾄﾞ作成 みんなに役立つ「テスト」を学んでみよう！ 30
- 31. V&V：検証と妥当性（検証と誤解） 検証と妥当性の考え方を見てみましょう。 ・検証（Verification）と誤解 皆さんご存知のV字モデルの実際は？ （なんでもそうですが） SW適格性 確認ﾃｽﾄ 要求分析 方式設計 詳細設計 ※SLCP： Software Life Cycle Process （共通フレーム参考）ベース 2014/01公開用 何も考えないで 使ってしまうことで イマイチな感じに… 結合ﾃｽﾄ 単体ﾃｽﾄ ｺｰﾄﾞ作成 【メモ】 V字モデル自体は よく出来たモデルです！ ⇒V字の道は思考停止禁止！ みんなに役立つ「テスト」を学んでみよう！ 31
- 46. テストレベル テストレベルの紹介 テストタイプ テスト技法 実際の開発プロセスとか、あわせて並べてみたりすると…？ Beizerさんの定義 SLCP2007：Software Life Cycle Process （共通フレーム参考）ベース システムテスト 統合テスト SW適格性 確認ﾃｽﾄ 要求分析 ｺﾝﾎﾟｰﾈﾝﾄﾃｽﾄ ユニットテスト 方式設計 結合ﾃｽﾄ JSTQB 受け入れテスト 詳細設計 単体ﾃｽﾄ ｺｰﾄﾞ作成 言葉が… どうなん？ システムテスト 統合テスト ｺﾝﾎﾟｰﾈﾝﾄﾃｽﾄ ※個人的な理解、分類、考え方が含まれますので取扱い注意 2014/01公開用 みんなに役立つ「テスト」を学んでみよう！ 46
- 48. テストレベル：何が大事か考えてみよう！ テストレベル テストタイプ テスト技法 実際の開発をV字ベースで考えてみると…？ 例）開発時に予定したアプリを実現時に複数のプロセスで実現 予定 アプリ SW適格性 確認ﾃｽﾄ 要求分析 方式設計 複数の プロセス で実現 予定 アプリ プロ プロ セス セス プロ プロ セス セス 2014/01公開用 詳細設計 結合ﾃｽﾄ 単体ﾃｽﾄ 本当に V字だけで いける？ ｺｰﾄﾞ作成 みんなに役立つ「テスト」を学んでみよう！ 48
- 49. テストレベル：何が大事か考えてみよう！ テストレベル テストタイプ テスト技法 実際の開発をV字ベースで考えてみると…？ 例）開発時に予定したアプリを実現時に複数のプロセスで実現 …テストってどうします？ 予定 アプリ SW適格性 確認ﾃｽﾄ 要求分析 方式設計 複数の プロセス で実現 予定 アプリ プロ プロ セス セス プロ プロ セス セス 2014/01公開用 詳細設計 結合ﾃｽﾄ 単体ﾃｽﾄ ｺｰﾄﾞ作成 結合テストを イキナリこの 範囲で実施！ 予定 アプリ プロ プロ セス セス プロ プロ セス セス 運用環境 計算機 結合テストで 一気に まとめ結合？ みんなに役立つ「テスト」を学んでみよう！ 49
- 50. テストレベル：何が大事か考えてみよう！ テストレベル テストタイプ テスト技法 実際の開発をV字ベースで考えてみると…？ 例）開発時に予定したアプリを実現時に複数のプロセスで実現 イキナリ全て組合わせたりしたら、ねぇ… 予定 アプリ SW適格性 確認ﾃｽﾄ 要求分析 方式設計 複数の プロセス で実現 予定 アプリ プロ プロ セス セス プロ プロ セス セス 2014/01公開用 詳細設計 結合ﾃｽﾄ 単体ﾃｽﾄ ｺｰﾄﾞ作成 結合テストを イキナリこの 範囲で実施！ 予定 アプリ プロ プロ セス セス プロ プロ セス セス 本番環境 計算機 ビッグ バーン みんなに役立つ「テスト」を学んでみよう！ 50
- 51. テストレベル：何が大事か考えてみよう！ テストレベル テストタイプ テスト技法 実際の開発をV字ベースで考えてみると…？ 例）方式設計で複数に分割されるのであれば、結合テストも 分割した各個別の確認⇒全体の確認、という方が良いのでは 予定 アプリ SW適格性 確認ﾃｽﾄ 要求分析 結合ﾃｽﾄ② 複数の プロセス で実現 予定 アプリ プロ プロ セス セス プロ プロ セス セス 2014/01公開用 方式設計 方式設計 方式設計 方式設計 結合ﾃｽﾄ 結合ﾃｽﾄ 結合ﾃｽﾄ 結合ﾃｽﾄ① 詳細設計 詳細設計 詳細設計 詳細設計 単体ﾃｽﾄ 単体ﾃｽﾄ 単体ﾃｽﾄ 単体ﾃｽﾄ ｺｰﾄﾞ作成 結合テストを 青⇒赤の範囲で 段階的に実施 予定 アプリ プロ プロ セス セス プロ プロ セス セス V字に 縛られず 考えて みよう！ 運用環境 計算機 みんなに役立つ「テスト」を学んでみよう！ 51
- 68. テストレベル テストタイプ：例を見てみましょう テストタイプ テスト技法 とりあえず、例を見てみましょう。 ・Myersのシステムテストカテゴリ ※注：説明は個人的解釈です。 Security Testing 機能テストを意味する（テストレベルのFunction Testと分けている） ボリュームテスト 非常に大きなデータを扱うためのテスト。 非常に大きな負荷、ストレス（瞬間的なデータ量）をかけるテスト。 ボリュームテストと ストレステスト は混同すべきではない。 人間的な要素を取り扱う。 学習や人間的要素は計算機の システム上はまだ確立され ユーザビリティテスト ていない。 セキュリティテスト プライバシーの課題に対しての対処を実施する。 Performance Testing 性能/パフォーマンステスト 答時間、スループット、とある条件における 一定の負荷率などを確認する。 Storage Testing ストレージテスト 時折、記録媒体における課題が発生することがある。 Configuration Testing 設定 コンフィグレーションテスト 様々な設定による問題の発生が存在する。 それぞれのHWデバイスに対して、 最小、 最大設定は確認すべきである。 Compatibility conversion Testing 互換性 コンパチビリティテスト 殆どのプログラムは新規ではなく派生で開発される。 既存のシステムから移行するた めに特別な確認が必要となる。 Installability Testing インストーラビリティテスト いくつかのシステムでは、煩雑なインストール手順が存在する… Reliability Testing 信頼性テスト プログラムは信頼性について 特別な課題をもつ場合もあるので、 特殊な確認が必要 となる。 Recovery Testing リカバリーテスト OSやDB管理システム、遠隔で扱うシステムは、復帰の機能を持つ。 プログラム異常 やHW故障、データのエラーなどに対処する確認が必要となる。 Serviceability Testing サービスアビリティテスト 保守もしくは有用性の特徴を持つ。これらの側面もテストされるべきである。 Documentation Testing ドキュメンテーションテスト システムテストはユーザ向けドキュメントの正しさを確認する。 Procedure Testing 手続きテスト システムは、人々によって実施される手順を含めるものである。 関係者による手続き、 手順を合わせてテストする必要がある。 Facility Testing Volume Testing Stress Testing Usability Testing 本内容、結構 役立ちますよ♪ ※ただ、勝手な解釈 で訳してます… 原典も見てね 原典はこちら： http://www.testdesigners.com/systemtesting.html 2014/01公開用 みんなに役立つ「テスト」を学んでみよう！ 68
- 69. テストレベル テストタイプ：例を見てみましょう テストタイプ テスト技法 個人的なライブラリ： 実施したテストや不具合項目を階層的に整理しておくと便利！ 機能テストを意味する（テストレベルのFunction Testと分けている） わざと、意地悪 Facility Testing 人による要因 安全性テスト 無意識 検討方法（メモ） HW故障 機能テスト HWの異常、故障による要因 ノイズ、環境 構造テスト/ユーザ提供の状態確認 ボリュームテスト Volume Testing 安全性テスト（機器及びユーザ） 温度が上がらないエラー ユーザビリティテスト ストレステスト 温度上がりすぎのケース 機器性能評価/スペック評価 水が無い、少ない場合の沸騰ボタン押下 取説・シナリオテスト 適切さ Stress Testing 参考：テストタイプ一覧 沸騰中に蓋を開けた場合の加熱停止 連続テスト 状態×ボタンを押しっぱなしにした場合の振る舞い確認（All Pair） 蓋状態が獲得できない時の起動時処理確認 機能、状態、環境組合せ（無側の確認） 正確性 ユーザビリティテスト 仕様->タイマ×機能テスト タイミング、状態信頼性テスト 仕様->給湯×機能テスト 機能性 Usability Testing 給湯する 相互運用性 仕様->温度制御×機能テスト 詳細分割（メモ） 98℃ 仕様->ロック/解除×機能テスト 90℃ 仕様->保温モード×機能テスト 保温する セキュリティテスト 60℃ Security Testing セキュリティ メイン機能、サブ/サポート機能、デバイス機能の3層で検討 モード切替 ボタン押下時の有則組合せ 沸騰させる アイドル カルキ抜きを行う 性能/パフォーマンステスト 成熟度 Performance Testing 沸騰 給湯ロックを行う カルキ抜き 給湯ロックを解除する ふるまいが目的に適合していること 温度制御 操作 高温 時間を計る ストレージテスト 信頼性 フォールトレランス 設定/コンフィグレーションテスト Configuration Testing Myersの システムテストカテゴリ 温度を見る ボタン押下時の有則組合せ 水が空になったことを知る 給湯する ユーザビリティテスト ふるまいが目的に適合していること 給湯 給湯停止 水位センサ異常を知る 理解のしやすさ Installability Testing ボタン入力の論理判定条件網羅 ロック/解除 操作のしやすさ 状態遷移×構造テストで確認 状態網羅 ボタン入力の論理判定条件網羅 企業イメージへの配慮 保温モード 評価基準 状態遷移×構造テストで確認 状態網羅 操作認識 機能テスト サブ機能 エラー発生条件の条件網羅 エラー判定 操作学習 主観評価、アンケート 魅力 品質特性（ISO9126） 水位判定 満足度 エキスパートレビュー 水位判定の論理組合せ条件網羅 温度判定 分かりやすさ Reliability Testing 温度判定のロジック確認、パターンによる妥当性検証 ヒータへの制御出力の妥当性確認 ヒータ制御 方法 想定ユーザテスト 時間挙動 リカバリーテスト 状態遷移×構造テストで確認 状態網羅 タイマ 理解のしやすさ ユーザと環境に合せる 操作のしやすさ 状態遷移×構造テストで確認 状態網羅 温度異常を知る 見つけやすさ、見易さ 学習のしやすさ 使用性 信頼性テスト 状態遷移×構造テストで確認 状態網羅 水が満水を知る Compatibility/conversion Testing インストーラビリティテスト テスコン'13 テストタイプベース 保温機能 効率性 Recovery Testing 解除ボタン 条件網羅 沸騰ボタン 操作パネル：入力 基本機能 資源の活用度 条件網羅 タイマボタン 各テストフレーム （ソフトウェア/機器） 沸騰機能 条件網羅 容量 条件網羅 保温設定ボタン 吐水量 安全機能 エラー検知 分析のしやすさ Serviceability Testing 機器性能評価/スペック評価 タイマ機能 節電タイマ機能 変更のしやすさ ドキュメンテーションテスト Documentation Testing 沸騰ランプ 保温ランプ そ、れ、あ、た、る 狙いどころ インストールのしやすさ 夜沸騰して朝まで保温 ポンプ 給湯 保温時間 保温性能 温度推移 機器性能評価/スペック評価 範囲 温度制御 置換製 精度 メモ モード遷移時間 ワンプレートスタイルで分析 状態網羅（遷移表ベース、2スイッチ） 使用環境 外部環境 タイミング変化 静的分析（外部構成） 状態網羅（遷移表ベース、2スイッチ） 保温ボタン チャタリング想定 状態網羅（遷移表ベース、2スイッチ） 解除ボタン 安全性 割込み操作、タイミング 沸騰行為 エラーの割込みパターン想定 状態網羅（遷移表ベース、2スイッチ） タイマボタン 競合表 競合表に従った状態、ボタン組合せパターン 状態遷移 ロジック ロバストネステスト レスポンス 状態遷移 回復性テスト H/W性能 競合 信頼性テスト 抜けやすい観点 チャタリング想定 シナリオ（シーン） ノイズのタイミングへの影響 詳細 状態網羅（遷移表ベース、2スイッチ） 状態網羅（遷移表ベース、2スイッチ） ロジック 動的分析 仕様適合 セキュリティテスト 状態網羅（遷移表ベース、2スイッチ） 水位メータ 温度制御 タイミング、状態信頼性テスト アクティブノイズ 状態遷移 構造テスト 環境（電圧、温度、振動・衝撃） メモ 時系列での検討 シナリオテスト 信頼性 おまえは 今まで設計した テストの種類を 覚えているのか？ チャタリング想定 ワンプレートスタイルで分析 機能組合せテスト 想定外、数値、起動、終了、割り込み、タイミング チャタリング想定 意地悪 静的分析（内部構成） 割込み シナリオベース 参考：HAZOP 沸騰ボタン 機能、状態、環境組合せ（無側の確認） アクティブノイズ 機能テスト 機能性 仕様/機能 起動、アップデート 使用性 仕様書出図後の仕様変更、ユーザ固有の環境、MWとのIF テストタイプ一覧 ユーザビリティテスト 水温変化の規定 ロードテスト 効率性 ストレステスト シナリオ（シーン） 仕様適合（当たり前品質） ユーザにとっての使用性 仕様/機能 物理特性 完全なテストは不可能 初期テスト H/W 分かりやすさ 負荷時性能 シナリオ（シーン） 保守性 水質 負荷時使用 テストの原則 要求 テスコン'12@東京 要求 拡張性テスト データ互換性テスト 振る舞い H/W 移植性 構成テスト 連続 タイミング変化 テストは条件次第 両立性テスト 量産における品質安定性 負荷時仕様 特性/精度 「バグゼロ」の落とし穴 カバレッジ 構造 状態 パステスト 構造テスト 要求 外観検査 ユースケース 長期使用可能な耐久性 環境 競合 要件を満たすことを保証する（保障） 一般的なテストの必要性 2014/01公開用 保温制御精度 競合 システム、構成ベース 操作 開発プロセス改善の指標となる（改善、予防） サーミスタ水温検出 CPU ノイズ リリース後の品質リスクを見積もる（リスク） 吐水量の確認 連続テスト 連続操作 確認項目 信頼性、異常系 ガイドワード 欠陥やバグを検出する(検出) 条件網羅 給湯口 連続稼動 タイマも使用する メモリ 汎用観点 （追加予定） 殺虫剤のパラドックス 条件網羅 ブザー 給湯量 沸騰、保温の繰り返し ※ゆもつよメソッドより 欠陥の偏在 条件網羅 サーミスタ デバイス：出力 想定シーン 水を補充しながら連続操作 移植性 テストは欠陥があることしか示せない 条件網羅 第n水位センサ コンビニ環境 共存力 メモリがあふれた時、ハード的なエラー 条件網羅 満水センサ デバイス：入力 構造テスト/ユーザ提供の状態確認 タイマ テストシナリオ 繰り返しで使用される環境を活用 家庭環境 外側、例外、間、対象、類推 無し、増加、減少、他に、一部、 逆、異なる、早い、遅い、前、後 条件網羅 蓋センサ ロックON時 順応性 条件網羅 条件網羅 水位メータ ロックOFF時 リカバリ 条件網羅 温度/モード表示窓 音声、ブザー通知 状態網羅 ﾘﾄﾗｲ（成功）、再接続（成功）、 規制、 再送、未接続でHHH、 未契約でGGG、 契約外、無応答 条件網羅 操作パネル：出力 デバイス機能 表示 LED表示 テストのしやすさ 異常系 条件網羅 ロックランプ 液晶表示 Procedure Testing エラー、異常、NG、例外、XX失敗、 ﾘﾄﾗｲｵｰﾊﾞｰ、 ﾀｲﾑｱｳﾄ、不正、Reject、 状態不一致、障害、 同期はずれ、 想定外／未知 条件網羅 タイマ残り時間表示枠 各テストフレーム （システム/ユーザ） 便利機能 カルキ抜き 保守性 安定性 手続きテスト 条件網羅 給湯ボタン ロック機能 サービスアビリティテスト 節約 ミルク メイン機能 水位を確認する Storage Testing 復元力 互換性/コンパチビリティテスト 各モード保温 タイマ使用を止める シナリオ（シーン） 高温層を用いた加速確認 みんなに役立つ「テスト」を学んでみよう！ ロジック ポットのシステム 69
- 89. テスト技法紹介 テスト技法は設計技術の向上にもつながる面白い技術です。 テスト設計を通じて学ぶことが出来ますのでやってみましょう。 テスト技法で紹介するものはこんなものですかね。「テスト技法ドリル」 ※人によってどれをテスト技法とするか？は違うので注意です。 ・三色ボールペン法 個々 全体 全体 個々 ・同値分割 ・境界値分析 個々 ・デシジョンテーブル（＋それを活用した組合せテスト検討） 個々 ・有則の組合せ検討技法 個々 ⇒CEG（原因結果グラフ）とCFD（Cause Flow Diagram） ・無則の組合せ検討技法 全体個々 ⇒All Pair法、直交表を用いた検討 ・状態遷移図/表 個々 2014/01公開用 参照（秋山さん著） みんなに役立つ「テスト」を学んでみよう！ 89
- 95. ・三色ボールペン法 ・同値分割 ・境界値分析 ・デシジョンテーブル ・CFD/CEG ・直交表、All Pair法 ・状態遷移図/表 テスト技法：同値分割 同値分割とは？ よくある不具合としては、有効範囲外のパターンを決めていない、 値の範囲、分割範囲の具体的な値が決まっていない… というようなコトがあると思います。 ※「大人」「子供」だけ仕様に記載されて、範囲記載がない場合とか。 この範囲を明確にして、ロジックを明らかにするとともに テスト実施時の具体的な値を含めて明確にする必要があります。 ０歳未満 （無効範囲） 幼児 （有効範囲） -１ ０ 5 子供 （有効範囲） 6 15 大人 （有効範囲） 16 高齢者 （有効範囲） 64 65 年齢異常 （無効範囲） 150 151 実際は、設計側の状態遷移を見直して隙間を発見する、 といった「ふるまいの異なるグループを見つける」検討も 「同値分割」と呼んでいる場合もあります。 同値分割は「考え方」を提供しているのですね！ 2014/01公開用 みんなに役立つ「テスト」を学んでみよう！ 95
- 98. テスト技法：同値分割＆デシジョンテーブル 同値分割/デシジョンテーブルはセットで覚えると便利！ 年齢 ０歳未満 （無効範囲） 幼児 （有効範囲） -１ ０ 入場 時間 5 子供 （有効範囲） 6 9:59 10:00 年齢異常 （無効範囲） 16 追加料金なし 9:59前エラー １．同値分割 を考える 15 大人 （有効範囲） ・三色ボールペン法 ・同値分割 ・境界値分析 ・デシジョンテーブル ・CFD/CEG ・直交表、All Pair法 ・状態遷移図/表 150 151 夜間料金 17:59 18:00 21:01以降エラー 入力の同値 を整理 21:00 21:01 ２．同値分割 結果を表に 展開する。 一連の流れとして 身につけておくと 2014/01公開用 良いっすよ！ ３．組合せの パターンを 設定する みんなに役立つ「テスト」を学んでみよう！ 98
- 99. テスト技法：有則の組合せ検討技法（CEG及びCFD） 有則の組合せ及びCEG、CFDとは？ ・三色ボールペン法 ・同値分割 ・境界値分析 ・デシジョンテーブル ・CFD/CEG ・直交表、All Pair法 ・状態遷移図/表 パラメータの組合せは論理的に表現されます。 これらの論理性を考えるためには図を用いた検討方法が有効です。 CEG（原因結果グラフ）とCFD（Cause Flow Diagram）が有名 CEGでの論理検討例： ＠CEGTest CEGTestが便利。 drawCFDという ツールもあるよ CEGTest ： http://softest.jp/tools/CEGTest/ drawCFD ： http://softest.cocolog-nifty.com/labo/drawCFD/ 2014/01公開用 みんなに役立つ「テスト」を学んでみよう！ 99
- 100. テスト技法：有則の組合せ検討技法（CEG及びCFD） 有則の組合せ及びCEG、CFDとは？ ・三色ボールペン法 ・同値分割 ・境界値分析 ・デシジョンテーブル ・CFD/CEG ・直交表、All Pair法 ・状態遷移図/表 パラメータの組合せは論理的に表現されます。 これらの論理性を考えるためには図を用いた検討方法が有効です。 CEG（原因結果グラフ）とCFD（Cause Flow Diagram）が有名 CFDでの論理検討例： ＠drawCFD 安易にデシジョンテーブルを作ると、 巨大化＆見づらくなるのですね… こういった技法を併用しましょう！ CEGTest ： http://softest.jp/tools/CEGTest/ drawCFD ： http://softest.cocolog-nifty.com/labo/drawCFD/ 2014/01公開用 みんなに役立つ「テスト」を学んでみよう！ 100
- 101. テスト技法：同値分割＆DT＆CFD 同値分割/デシジョンテーブルとCFDを活用してみるッ！ 年齢 ０歳未満 （無効範囲） 幼児 （有効範囲） -１ ０ 入場 時間 5 ２．同値分割 結果を表に 展開する。 2014/01公開用 6 15 大人 （有効範囲） 9:59 10:00 年齢異常 （無効範囲） 16 追加料金なし 9:59前エラー １．同値分割 を考える 子供 （有効範囲） ・三色ボールペン法 ・同値分割 ・境界値分析 ・デシジョンテーブル ・CFD/CEG ・直交表、All Pair法 ・状態遷移図/表 150 151 夜間料金 17:59 18:00 21:01以降エラー 入力の同値 を整理 21:00 21:01 ３．組合せのパターン を設定する ※CFDを活用！ みんなに役立つ「テスト」を学んでみよう！ 101
- 102. テスト技法：無則の組合せ検討技法（直交表、All Pair） 無則の組合せ及び直交表、All Pairとは？ ・三色ボールペン法 ・同値分割 ・境界値分析 ・デシジョンテーブル ・CFD/CEG ・直交表、All Pair法 ・状態遷移図/表 「関係ない」と思っていても、複数の機能間で組合せの問題が （1Mラインで16件ほど）発生する可能性があるとのことです。 組合せパターンを「意味ある削減をしつつ、網羅する」技法です。 ※注意：安易にパターンを減らすことが出来る技術ではありません！ ラーメンを例とすると… 最初は直交表とAll Pairは 「ほぼ同じ」と考えても OKっす。 こちらのお勧めツールは 「PICTMaster」 PICTMaster： 2014/01公開用 麺太さ ：太麺、細麺 麺かたさ ：ハリガネ、バリカタ、カタ、普通、やわ スープ味 ：塩、しょうゆ、みそ、豚骨、 こってり、さっぱり、こっさり スープ濃さ ：カラメ、ふつう チャーシュー：チャーシューなし、 チャーシュー普通、チャーシュー多め ネギ ：ネギ無し、ネギふつう、ネギ多め アブラ ：アブラ有り、無し ニンニク ：ニンニク有り、無し 野菜 ：野菜なし、野菜少なめ、野菜ふつう、 野菜マシ、野菜マシマシ 情熱 ：抜けません！ http://sourceforge.jp/projects/pictmaster/ みんなに役立つ「テスト」を学んでみよう！ 102
- 103. テスト技法：無則の組合せ検討技法（直交表、All Pair） 無則の組合せ及び直交表、All Pairとは？ ・三色ボールペン法 ・同値分割 ・境界値分析 ・デシジョンテーブル ・CFD/CEG ・直交表、All Pair法 ・状態遷移図/表 「関係ない」と思っていても、複数の機能間で組合せの問題が （1Mラインで16件ほど）発生する可能性があるとのことです。 組合せパターンを「意味ある削減をしつつ、網羅する」技法です。 ※注意：安易にパターンを減らすことが出来る技術ではありません！ ラーメンを例とすると… ※適用する対象には注意！ ちなみに、単体のパラメータの 確認も合わせてやっちゃえ！ …と思うかもしれませんが、 個別に単体、論理性（法則性）の ある組合せを分けて試験した方が 効果、効率ともに良いですよ。 PICTMaster： 2014/01公開用 25,200食 ALL組合せ 2因子でおk 38食 2因子網羅 http://sourceforge.jp/projects/pictmaster/ みんなに役立つ「テスト」を学んでみよう！ 103
- 104. テスト技法：無則の組合せとの比較を考えてみよう！ ・三色ボールペン法 ・同値分割 ・境界値分析 ・デシジョンテーブル ・CFD/CEG ・直交表、All Pair法 ・状態遷移図/表 【★注意！！！ ★ 】 無則の組合せで何でもできる！と思ってしまう 「まとめてやっちまえ症候群」があるようですが、 無則の組合せで実施すると…？ 以下の傾向、ありますか？ 1．単体テストを無則で まとめてやっちまえ！ 2．有則のテストも まとめてやっちまえ！ 2014/01公開用 10個のパラメータ（2因子5つ、3因子5つ）の 単体と無則の組合せのテスト項目数 ※PICTMasterを用いて作成 ■単体項目数 2×5＋3×5=25項目 ■PICTでの無則 14項目 A A-2 A-1 A-2 B B-2 B-1 B-1 C C-1 C-2 C-1 D E D-1 … D-2 D-1 項目数は減るけど、 「テストでの狙い」が 分かりづらいので、 不具合発生時の 切り分けが難しい… 〇回帰テストでの実施 ×新規、追加仕様での実施 みんなに役立つ「テスト」を学んでみよう！ 104
- 105. テスト技法：無則の組合せとの比較を考えてみよう！ ・三色ボールペン法 ・同値分割 ・境界値分析 ・デシジョンテーブル ・CFD/CEG ・直交表、All Pair法 ・状態遷移図/表 【★注意！！！ ★ 】 無則の組合せで何でもできる！と思ってしまう 「まとめてやっちまえ症候群」があるようですが、 無則の組合せで実施すると…？ 以下の傾向、ありますか？ 1．単体テストを無則で まとめてやっちまえ！ 2．有則のテストも まとめてやっちまえ！ Powered 2014/01公開用 パラメータA、B、Cの関連性がある場合… by drawCFD A B C D E A-2 B-2 C-1 D-1 … A-1 B-1 C-2 D-2 A-2 B-1 C-1 D-1 A-1 B-2 C-2 D-2 A-2 B-1 C-2 D-2 A-1 B-2 C-1 D-1 A-1 B-2 C-2 D-2 A-2 B-1 C-2 D-1 A-2 B-2 C-1 D-1 A-1 B-2 C-1 D-2 A-2 B-1 C-1 D-2 A-2 B-2 C-1 D-1 A-1 B-1 C-1 D-1 A-1 B-2 C-1 みんなに役立つ「テスト」を学んでみよう！D-2 105
- 106. テスト技法：無則の組合せとの比較を考えてみよう！ ・三色ボールペン法 ・同値分割 ・境界値分析 ・デシジョンテーブル ・CFD/CEG ・直交表、All Pair法 ・状態遷移図/表 【★注意！！！ ★ 】 無則の組合せで何でもできる！と思ってしまう 「まとめてやっちまえ症候群」があるようですが、 無則の組合せで実施すると…？ 以下の傾向、ありますか？ 1．単体テストを無則で まとめてやっちまえ！ 2．有則のテストも まとめてやっちまえ！ Powered 2014/01公開用 by CFDから作成したDTと比較してみると？ ※縦横逆なので注意 A B C D E A-2 B-2 C-1 D-1 … A-1 B-1 C-2 D-2 A-2 B-1 C-1 D-1 A-1 B-2 C-2 D-2 A-2 B-1 C-2 D-2 A-1 B-2 C-1 D-1 A-1 B-2 C-2 D-2 A-2 B-1 C-2 D-1 A-2 B-2 C-1 D-1 A-1 B-2 C-1 D-2 A-2 B-1 C-1 D-2 A-2 B-2 C-1 D-1 A-1 B-1 C-1 D-1 drawCFD A-1 B-2 C-1 組合せ(A-2/B-2/C-2)の抜け！ みんなに役立つ「テスト」を学んでみよう！D-2 106
- 107. テスト技法：状態遷移図、表 状態遷移図、表とは？ ・三色ボールペン法 ・同値分割 ・境界値分析 ・デシジョンテーブル ・CFD/CEG ・直交表、All Pair法 ・状態遷移図/表 状態遷移のパターンは、個別に考えるよりも状態遷移図で 表した方がパターンを確認しやすいです。 表形式にすることで「網羅基準」を考えることも出来ます。 「Nスイッチ」という作成した 状態遷移表ベースで複数回の操作を テストするパターンを導出する 手法もあります。 有料ですが、astah*の 品質スイートプラグイン そして、stateMatrix というツールがあります。 ↓ BeforeState- 2014/01公開用 Transition→ アイドル 沸騰行為 保温行為 エラー状態 エラーを検 【3章：条件 【3章：条件 エラーを検知 知 1】蓋センサ 2】蓋センサ ※条件は【5 ※条件は【5 ON＆水位セ OFF＆全ての 章：エラー検 章：エラー ンサにONが 水位 セン 沸騰ボタン押 知.】に別途 検知.】に別 存在 サがOFF 下 記載 途記載 沸騰行為 ignore ignore ignore ignore ignore アイドル ignore エラー状態 ignore ignore アイドル 沸騰行為 ignore エラー状態 ignore みんなに役立つ「テスト」を学んでみよう！ ignore ignore ignore ignore カルキ抜 き完了 ignore 保温行為 ignore ignore 107
- 111. おわりに：Beizerのテスト道 フェーズ0 : テストとデバッグには何の差もない。 デバッグ以外にはテストには特別な目的はない。 フェーズ1 : テストの目的は、ソフトウェアが動くことを示すことである。 フェーズ2 : テストの目的は、ソフトウェアが動かないということを示すことにある。 フェーズ3 : テストの目的は、何かを証明することではなく、 プログラムが動かないことによって発生する危険性を ある許容範囲にまで減らすことである。 フェーズ4 : テストは行動ではない。テストをしないで品質の高い ソフトウェアを作るための精神的な訓練である。 2014/01公開用 みんなに役立つ「テスト」を学んでみよう！ 111
- 112. おわりに：Beizerのテスト道 フェーズ0 : テストとデバッグには何の差もない。 デバッグ以外にはテストには特別な目的はない。 フェーズ1 : テストの目的は、ソフトウェアが動くことを示すことである。 フェーズ2 : テストの目的は、ソフトウェアが動かないということを示すことにある。 フェーズ3 : テストの目的は、何かを証明することではなく、 プログラムが動かないことによって発生する危険性を ある許容範囲にまで減らすことである。 フェーズ4 : テストは行動ではない。テストをしないで品質の高い ソフトウェアを作るための精神的な訓練である。 2014/01公開用 みんなに役立つ「テスト」を学んでみよう！ 112
- 114. コミュニティとか TEF（Testing Engineer‘s Forum） JaSST SQiP（Software Quality Profession） STAR（テスト自動化研究会） WARAI（関西SWテスト勉強会） 関西検証コレクション（検これ） DevLove関西 2014/01公開用 みんなに役立つ「テスト」を学んでみよう！ 114
- 115. 参考文献シリーズ JSTQB 書籍：ソフトウェアテストの基礎：ISTQBシラバス準拠（ドロシー・グラハム他 BNN新社） Web：JSTQBシラバス、用語集 http://jstqb.jp/syllabus.html テスト技法関連（全般） 書籍：ソフトウェアテスト技法ドリル―テスト設計の考え方と実際（秋山 浩一氏 日科技連出版社） 書籍：はじめて学ぶソフトウェアのテスト技法（リー・コープランド 日経BP社） テスト技法関連（原因結果グラフ、CEGTest） Web：CEGTest - 原因結果グラフからテスト条件を作成するツール http://softest.cocolog-nifty.com/labo/CEGTest/ Web：ソフトウェアテストの勉強室 - http://softest.cocolog-nifty.com/blog/cegtest.html 三色ボールペン法 書籍：ソフトウェアテストPRESS Vol.2（技術評論社） Web：たまゆら雑記 三色ボールペンで読む仕様書（１） http://d.hatena.ne.jp/mkoszk/20110218/p1 テスト戦略/テストプロセス/テスト全体 書籍：マインドマップから始めるソフトウェアテスト（池田 暁氏、鈴木 三紀夫氏 技術評論社） 書籍：体系的ソフトウェアテスト入門（Rick Craig、Stefan P Jaskiel 日経BP出版センター） ゆもつよメソッド（テストコンサルタントで有名な湯本 剛さんのテスト手法） 書籍：ソフトウェアテストPRESS Vol.10（技術評論社） ※ソフトウェアテストPRESS は「総集編」にてVol1～10の資料が全て含まれており非常にお得です。 2014/01公開用 みんなに役立つ「テスト」を学んでみよう！ 115
- 116. 参考文献シリーズ NGT / VSTeP Web：JaSST’06東京 テスト設計におけるモデリングのための記法の提案 http://jasst.jp/archives/jasst06e/pdf/E2-3.pdf Web：JaSST’09東京 テスト観点に着目したテスト開発プロセス(VSTeP)の概要 http://www.jasst.jp/archives/jasst09e/pdf/A7-6.pdf テストアーキテクチャ Web：JaSST’11東京 魁!!智美塾 テストアーキテクチャという考え方の提案 http://jasst.jp/archives/jasst11e.html#project2 ※JaSSTのサイトには、過去の多数の事例や情報がありますのでお勧めです！ テスト設計コンテスト Web：テスト設計コンテスト＠aster http://aster.or.jp/business/contest.html ISO9126 ソフトウェアの品質特性モデル Web：オブジェクトの広場 機能外要求とISO9126 http://www.ogis-ri.co.jp/otc/hiroba/technical/JavaPress_ISO9126/index.html IEEE829 IEEE Standard for Software and System Test Documantation 書籍：知識ゼロから学ぶ ソフトウェアテスト（高橋 寿一氏 翔泳社） 書籍：現場の仕事がバリバリ進む ソフトウェアテスト手法（高橋 寿一氏、湯本 剛氏 技術評論社） いろいろ参考 Web：電気通信大学 にしさんの研究室 http://qualab.jp Web：kyon_mm（きょんくん）のサイト http://kyon-mm.bitbucket.org/blog/html/index.html 2014/01公開用 みんなに役立つ「テスト」を学んでみよう！ 116