WACATE2017冬直交表に触れてみよう

Copyright (C) 2017 WACATE All rights reserved
並木正典 (WACATE実行委員会）
2017年12月17日
於マホロバ・マインズ
WACATE2017 冬
直交表に触れてみよう

AgendaAgenda
1. 自己紹介
2. サマリー
3. 組み合わせテストとは
4. 直交表の説明ワークあり
5. 直交表を簡単に使うワークあり
6. 直交表下敷き紹介のみ
7. 直交表をもっと学ぶ
8. まとめ
2

1. 自己紹介
簡単に自己紹介
3

自己紹介 4
 並木正典
• SIer
• 私とWACATE
➢ 昔はWACATEの参加者
➢ 今はWACATE実行委員
• 犬派
• 特にダックスフント
• 2匹飼っています

2. サマリー
本セッションをまとめると
5

Agenda本セッションのサマリー
目的：直交表を知り、実際に使ってみる
1. 直交表を知る
2. ワークにより、直交表に触れる
3. 直交表をもっと学ぶ
6

Agenda本セッションの進め方
• まずは「組み合わせテスト」「直交表」を説明します。
• 次に「直交表」に触れます。
• さらに深く使えるような情報を補足します。
7
組み合わせ
テストの初歩
直交表の初歩
直交表に触れ
る
もっと直交表
を理解する

3. 組み合わせテストとは
まずは組み合わせテストをおさらい
8

組み合わせの例 9
 検索条件を5つ組み合わせる
• 飲料の過去の販売本数データを見る
➢ 5つの検索条件を指定する
➢ データベースから指定された条件のデータを表示する
A:季節
1 春
2 夏
3 秋
4 冬
B:場所
1 北日本
2 東日本
3 西日本
4 南日本
C:時間帯
1 朝
2 昼
3 夜
4 深夜
D:飲み物
1 珈琲
2 お茶
3 水
4 炭酸
E:コンビニ
1 A社
2 B社
3 C社
4 D社
販売本数(千本)
1 微糖 350
2 ブラック 300
3 赤い缶 200
4 白い缶 150
5 青い缶 100

組み合わせは1,024通り 10
 組み合わせは1,024通りある
• 冬・東日本・朝・珈琲・C社をチェックし表示ボタンを押す
• 1,024回繰り返すことになる
C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4
E1
E2
E3
E4
E1
E2
E3
E4
E1
E2
E3
E4
E1
E2
E3
E4
D1
D2
D3
D4
B4 B1 B2 B3 B4
A1 A2 A3 A4
B1 B2 B3 B4 B1 B2 B3 B4 B1 B2 B3

Agenda結構たいへん
• 条件5つでも結構な組み合わせの数
• 選択肢は4に固定
11
条件2つ 4 × 4 16通り
条件3つ 4 × 4 × 4 64通り
条件4つ 4 × 4 × 4 × 4 256通り
条件5つ 4 × 4 × 4 × 4 × 4 1,024通り
条件6つ 4 × 4 × 4 × 4 × 4 × 4 4,096通り
条件7つ 4 × 4 × 4 × 4 × 4 × 4 × 4 16,384通り

組み合わせテスト 12
 JSTQBの用語集より
 組み合わせテスト
• combinatorial testing
• 事前に定義されたレベルのカバレッジを達成するために、
適切に組み合わせたテストのサブセットを識別する手段。
• 複数のパラメータを持つオブジェクトをテストする場合、
それぞれのパラメータにも複数の値があり、予定された
時間内で実行できるテスト数よりも多くの組み合わせが
発生するため、組み合わせテストを使用する。
説明省略します

組み合わせテスト 13
 「組み合わせ」が発生するときに実行するテス
トのこと
• 条件（パラメータ）
• 環境
• 対象
• ・・・

膨大な組み合わせ 14
• 組み合わせの数が、どんどん多くなる
• 「全部やって！」は可能ですか？

なぜ組み合わせを考えるか？ 15
• 確認すべきポイントを抑え、テストケース数を削減
しましょう
• 何を網羅しますか？
• 安易にテストケース数を減らすのは危険じゃないかな？
• 減らし方を工夫することで大きな効果を得れませんか？
• 組み合わせテスト技法を使おう

よく使われるテスト技法 16
• デシジョンテーブル
• 原因結果グラフ
• CFD法
• ドメイン分析
• ペアワイズ（オールペア法）
• 直交表
• クラシフィケーションツリー法
• etc...
有則の関係の組み合わせを
効率的・網羅的に探したい
無則の組み合わせが
存在するとき
今回はこちら

直交表を使うと 17
• 前述の例なら、1024通り → 16通りに激減
• メリット、デメリットがあります
• テストの目的を考え、特徴を知り使おう
C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4 C1 C2 C3 C4
E1 x
E2 x
E3 x
E4 x
E1 x
E2 x
E3 x
E4 x
E1 x
E2 x
E3 x
E4 x
E1 x
E2 x
E3 x
E4 x
D1
D2
D3
D4
A2 A3 A4
B1 B2 B3 B4 B1 B2 B3
A1
B2 B3 B4B4 B1 B2 B3 B4 B1
注意：
これは直交表ではあ
りません。「1,024
通り→16通り」を視
覚的にわかるようし
ているだけです。

D:飲み物
1 珈琲
2 お茶
3 水
4 炭酸
用語の説明①：因子、水準 18
• 因子
• 入力条件、組み合わせの要素のこと
• 水準
• 因子の取りえるパターンや値
販売本数(千本)
1 微糖 350
2 ブラック 300
3 赤い缶 200
4 白い缶 150
5 青い缶 100
この例なら
「飲み物」が因子、
「珈琲、お茶、水、炭酸」
が水準です。
A:季節
1 春
2 夏
3 秋
4 冬
B:場所
1 北日本
2 東日本
3 西日本
4 南日本
C:時間帯
1 朝
2 昼
3 夜
4 深夜
E:コンビニ
1 A社
2 B社
3 C社
4 D社

用語の説明②：有則、無則、禁則 19
• 有則（造語）
• 因果関係がある
• 組み合わせがふるまい・出力に直接影響する
• 無則（造語）
• 因果関係がない
• 直交している
• 禁則
• 仕様上ありえない
• 実現できない組み合わせ

参考：有則、無則、禁則 20
• もう少し詳しく知りたい人へ
• ソフトウェアシンポジウム2007
東京(JaSST‘07)
• 招待講演：
• ソフトウェアの展望：SW機能
から、システム挙動の評価へ
• 松尾谷徹様
• (デバッグ工学研究所)
http://www.jasst.jp/archives/jasst07e/pdf/A7.pdf

ここまで 21
ここまでの復習
• 組み合わせのテスト数は膨大になりえる
• 確認すべきポイントを抑える
• テストケースを絞り込む
• いろいろなテスト技法がある
• 今回は直交表を取り上げる
• 因子・水準、有則・無則・禁則の意味説明省略しました

4. 直交表の説明
初めて見る人・まだ慣れてない人に向けて
22

直交表 23
• 直交表とは
• こんな感じの表
• テストケースを作る
ときに利用する
テストケース
番号
因子列
A B C D E F G
1 1 1 1 1 1 1 1
2 1 1 1 2 2 2 2
3 1 2 2 1 1 2 2
4 1 2 2 2 2 1 1
5 2 1 2 1 2 1 2
6 2 1 2 2 1 2 1
7 2 2 1 1 2 2 1
8 2 2 1 2 1 1 2
L8(2^7)の直交表

なぜ直交表？ 24
• 直交表だと何が良いのか？
• 「直交している」機能を組み合わせるとき
• 「機能と機能で関連がない」ときに効率よく確認できる
• 取捨選択によりケースを減らす
• 全項目の組み合わせはしない
• 2機能間(2因子間)の組み合わせは網羅する
個人の感想：数回の練習で直交表を使えるようになれそう

直交表の見方 25
• 例 L16(4^5)
テストNo. 因子A 因子B 因子C 因子D 因子E
1 1 1 1 1 1
2 1 2 2 2 2
3 1 3 3 3 3
4 1 4 4 4 4
5 2 1 2 3 4
6 2 2 1 4 3
7 2 3 4 1 2
8 2 4 3 2 1
1行で1つのテス
トケースです
因子Eの水準4つ
目を使うことを
表しています

直交表の見方（具体例） 26
• 題材と直交表を見てみよう
テストNo. 因子A 因子B 因子C 因子D 因子E
1 1 1 1 1 1
2 1 2 2 2 2
3 1 3 3 3 3
4 1 4 4 4 4
5 2 1 2 3 4
No. 季節場所時間帯飲み物コンビニ
テスト1 春北日本朝珈琲 A社
テスト2 春東日本昼お茶 B社
テスト3 春西日本夜水 C社
テスト4 春南日本深夜炭酸 D社
テスト5 夏北日本昼珈琲 A社
直交表
L16(4^5)
※No.6～No.16は省略
※No.6～No.16は省略
D:飲み物
1 珈琲
2 お茶
3 水
4 炭酸
A:季節
1 春
2 夏
3 秋
4 冬
B:場所
1 北日本
2 東日本
3 西日本
4 南日本
C:時間帯
1 朝
2 昼
3 夜
4 深夜
E:コンビニ
1 A社
2 B社
3 C社
4 D社

ワーク1：直交表に触れる
不思議な表をあえてじっくり見る
27

水準の出現を体験しよう 28
1. 割り付け済みの表で確認
a. 因子：「時間帯」で各水準が何回出るか確認してください
b. 因子：「飲み物」で各水準が何回出るか確認してください
2. 直交表で確認
a. 因子：「因子B」で各水準が何回出現するか確認してください
b. 因子：「因子C」で各水準が何回出現するか確認してください
← 余裕がある人
← 余裕がある人
ワーク1

ワーク中
29

組み合わせの出現を体験しよう 30
• 割り付け済みの表で確認
• 因子：「時間帯」「飲み物」の列2つに着目してみましょう
• 組み合わせ（4×2）が出現していることを確認してください
時間帯
朝
昼
夜
深夜
飲み物
珈琲
お茶
水
炭酸
時間帯
朝
昼
夜
深夜
飲み物
珈琲
お茶
水
炭酸
時間帯
朝
昼
夜
深夜
飲み物
珈琲
お茶
水
炭酸
時間帯
朝
昼
夜
深夜
飲み物
珈琲
お茶
水
炭酸
ワーク2

ワーク中
31

いかがでしたか？ 32
• 直交表の特徴が少し実感できましたか？
➢ 1つの因子で同じ回数出現していました
➢ 2つの因子で見ると全組み合わせが出現していました

直交表と2因子 33
• 直交表は2因子間の組み合わ
せを100%網羅している
• 2因子間の組み合わせを100%
網羅すると不具合を多く検出
できる
機能
数
ブラウザ
Mozilla
HTTPサーバ
Apache
データ
ベース
1 29% 42% 68%
2 76% 70% 93%
3 95% 89% 98%
4 97% 96% 100%
5 99% 96%
6 100% 100%
参考）D. Richard Kuhn, Software Fault Interactions and Implications for
Software Testing,IEEE Transactions on software engineering, Vol.30, 2004.
https://pdfs.semanticscholar.org/8343/3dab3c83f2345cf7a4175fae171d3d03dfe3.pdf

しつこく、かみ砕く 34
• 100%網羅していること vs していないこと
A:季節
B:場所
C:時間帯D:飲み物
E:コンビニ
A:季節
B:場所
C:時間帯D:飲み物
E:コンビニ
100%網羅
している
100%網羅
してない

5. 直交表を簡単に使う
直交表を使ったテストの進め方を説明します
35

直交表を使う（簡易版） 36
• 直交表を使ってテストケースにするまでのプロセス
例です
因子・水準を
整理する
使う直交表を
決める
直交表に
割り付ける
テストケース
に落とす

①因子・水準を整理する 37
• 因子
• 入力条件、組み合わせの要素のこと
• 水準
• 因子の取りえるパターンや値
因子・水準を整理
する
使用する直交表を
決める
直交表に割り付け
る
テストケースに落
とす
A:季節
1 春
2 夏
3 秋
4 冬
B:場所
1 北日本
2 東日本
3 西日本
4 南日本
C:時間帯
1 朝
2 昼
3 夜
4 深夜
D:飲み物
1 珈琲
2 お茶
3 水
4 炭酸
E:コンビニ
1 A社
2 B社
3 C社
4 D社

• 直交表には種類がある
• 因子・水準の数で大きさが変わる
• 適切な大きさで選びましょう
②使用する直交表を決めるその1 38
する
決める
る
とす
https://www.monodukuri.com/gihou/article/74

②使用する直交表を決めるその2 39
• いろいろとある
• まずは先人に助けてもらおう
https://www.monodukuri.com/gihou/article/74
L8で、因子が5個あるう
ち、4つの因子が2水準
のものと1つの因子が4
水準ができる直交表が
ある(複合もある）
主要な直交表と評価できる水準数
どういう直交表があるか
表にまとめてある
因子５、全て水準４
今回はコレ

③直交表に割り付けるその1 40
• 各セルに値を入れます
• ある意味地味な作業ですね
する
決める
る
とす
A) 季節
1 春
2 夏
3 秋
4 冬
B) 場所
1 北日本
2 東日本
3 西日本
4 南日本
C) 時間帯
1 朝
2 昼
3 夜
4 深夜
D) 飲み物
1 珈琲
2 お茶
3 水
4 炭酸
E) コンビニ
1 A社
2 B社
3 C社
4 D社
テストNo. A B C D E
1 1 1 1 1 1
2 1 2 2 2 2
3 1 3 3 3 3
4 1 4 4 4 4
5 2 1 2 3 4
6 2 2 1 4 3
7 2 3 4 1 2
8 2 4 3 2 1
9 3 1 3 4 2
10 3 2 4 3 1
11 3 3 1 2 4
12 3 4 2 1 3
13 4 1 4 2 3
14 4 2 3 1 4
15 4 3 2 4 1
16 4 4 1 3 2

• 因子「D) 飲み物」を例に
する
決める
る
とす
A) 季節
1 春
2 夏
3 秋
4 冬
B) 場所
1 北日本
2 東日本
3 西日本
4 南日本
C) 時間帯
1 朝
2 昼
3 夜
4 深夜
D) 飲み物
1 珈琲
2 お茶
3 水
4 炭酸
E) コンビニ
1 A社
2 B社
3 C社
4 D社
テストNo. A B C D)飲み物 E
1 1 1 1 珈琲 1
2 1 2 2 お茶 2
3 1 3 3 水 3
4 1 4 4 炭酸 4
5 2 1 2 水 4
6 2 2 1 炭酸 3
7 2 3 4 珈琲 2
8 2 4 3 お茶 1
9 3 1 3 炭酸 2
10 3 2 4 水 1
11 3 3 1 お茶 4
12 3 4 2 珈琲 3
13 4 1 4 お茶 3
14 4 2 3 珈琲 4
15 4 3 2 炭酸 1
16 4 4 1 水 2

• 完成
する
決める
る
とす
テスト
No.
A)季節 B)場所
C)時間
帯
D)飲み
物
E)コン
ビニ
1 春北日本朝珈琲 A社
2 春東日本昼お茶 B社
3 春西日本夜水 C社
4 春南日本深夜炭酸 D社
5 夏北日本昼水 D社
6 夏東日本朝炭酸 C社
7 夏西日本深夜珈琲 B社
8 夏南日本夜お茶 A社
9 秋北日本夜炭酸 B社
10 秋東日本深夜水 A社
11 秋西日本朝お茶 D社
12 秋南日本昼珈琲 C社
13 冬北日本深夜お茶 C社
14 冬東日本夜珈琲 D社
15 冬西日本昼炭酸 A社
16 冬南日本朝水 B社

④テストケースに落とす 43
• 割り付けたままでは使えない場合はテストケースに落とす。
する
決める
る
とす
テスト
No.
A)季節 B)場所
C)時間
帯
D)飲み
物
E)コン
ビニ
1 春北日本朝珈琲 A社
2 春東日本昼お茶 B社
3 春西日本夜水 C社
4 春南日本深夜炭酸 D社
5 夏北日本昼水 D社
6 夏東日本朝炭酸 C社
7 夏西日本深夜珈琲 B社
8 夏南日本夜お茶 A社
1. 以下a～eを実施する
a. 季節は「夏」にチェックをつける
b. 場所は「北日本」にチェックをつける
c. 時間帯は「昼」にチェックをつける
d. 飲み物は「水」にチェックをつける
e. コンビニは「D社」にチェックをつける
2. 「表示」を押す
…

• 実際に割り付けしてみよう
「③直交表に割り付けるその2」
➢ できるだけ埋めてみてください
組み合わせの出現を体験しよう 44
ワーク3
A) 季節
1 春
2 夏
3 秋
4 冬
B) 場所
1 北日本
2 東日本
3 西日本
4 南日本
C) 時間帯
1 朝
2 昼
3 夜
4 深夜
D) 飲み物
1 珈琲
2 お茶
3 水
4 炭酸
E) コンビニ
1 A社
2 B社
3 C社
4 D社
テストNo. A B C D E
1 1 1 1 1 1
2 1 2 2 2 2
3 1 3 3 3 3
4 1 4 4 4 4
5 2 1 2 3 4
6 2 2 1 4 3
7 2 3 4 1 2
8 2 4 3 2 1
9 3 1 3 4 2
10 3 2 4 3 1
11 3 3 1 2 4
12 3 4 2 1 3
13 4 1 4 2 3
14 4 2 3 1 4
15 4 3 2 4 1
16 4 4 1 3 2

ワーク中
45

6. 直交表下敷き
セッションでは紹介のみ
46

直交表下敷きとは 47
• JaSST’06でもらった直交表下敷きです
• 私は当初使い方わかってなかったです (^^;

下敷きの使い方 48
• 直交表下敷きの使い方は、4Stepになります
• 下敷きに「ちゃんと書いてある」
Step 0.
下敷きを両
面コピーす
る
Step 1.
因子／水準
対応表を埋
める
Step 2.
直交表へ割
り付ける
Step 3.
テストを実
施する

下敷きの紹介 49
• 時間が足らないので「直交表下敷き」の紹介だけ
• 特徴
• サイズ：L32
• 8水準が1つ、4水準が6つ、2水準が6つ
8 × 4＾6 × 2＾6 ＝ 2,097,152 通りの組み合わせ
→ でも直交表の技術を使うと、32回のテストになる

7. 直交表をもっと学ぶには
まだまだ直交表
50

進め方（参考） 51
直交表を作る方法もあります。探してみてね。
因子・水
準を整理
する
使用する
直交表を
決める
直交表に
割り付け
る
テストケ
ースに落
とす
因子・水
準を整理
する
使用する
直交表を
決める
直交表に
割り付け
る
テストケ
ースに落
とす
因子・水
準を整理
する
直交表下
敷きに割
り付ける
テストケ
ースに落
とす
直交表
下敷き
直交表
を使う
直交表
を作る
直交表を
作る

もっと直交表を学ぼう 52
• 本セッションの内容は基礎レベル
いろいろな直交表を知る直交表下敷きを使う
ツールを使う
直交表を作る
HAYST法(ヘイスト法)を学ぶ
実験計画法を学ぶ
直交表に触れる

参考）ツール 53
• PictMaster
• https://ameblo.jp/pictmaster/
• 直交表を用いた組み合わせ生成
• フリーでオープンソースなツール

参考）ツール・デモ 54
• 直交表下敷きのお題で

参考）ツール・デモ・結果 55
• 頑張らなくて済む

8. まとめ
56

まとめ 57
 直交表に少し触れた
• 因子・水準を理解しよう
• 2因子間の網羅を理解しよう
• メリット・デメリットを理解して使おう
 直交表の使い方を簡単に整理した
 もっと直交表を学ぼう・使おう

X. 参考サイト
58

参考サイト 59
• 本資料を作るときに特に参考させていただいたサイト
• JaSST’14 Tokyo
• 直交表とオールペア法の平行運用によるソフトウェアテスト
• http://jasst.jp/symposium/jasst14tokyo/pdf/C4-1-1.pdf
• @ITのページ
• 組み合わせテストを科学的に効率化する――手法とツール、品質保証の
ための道具
• http://www.atmarkit.co.jp/ait/articles/1503/16/news149.html
• ものづくり.com
• 主な直交表の種類と特徴
• https://www.monodukuri.com/gihou/article/74

WACATE2017冬直交表に触れてみよう

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Último

Último (10)