鷲崎弘宜, "IPA RISE委託研究2015-16年度 測定評価と分析によるソフトウェア製品品 質の実態定量化および総合的品質評価 枠組みの確立", JEITAソフトウェアエンジニアリング分科会, 東京, 2017年6月12日

1. IPA RISE委託研究 2015-16年度
測定評価と分析によるソフトウェア製品品
質の実態定量化および総合的品質評価
枠組みの確立
早稲田大学グローバルソフトウェアエンジニアリング研究所 所長
鷲崎 弘宜
研究チーム: 津田直彦助手、本田澄助教 他
協力: コンピュータソフトウェア協会、各ベンダ、
ISO/IEC/JTC1/SC7/WG6コンビーナ・プロジェクトエディタ他

2. 目次
• 調査研究のサマリ
• 背景と考え方
• 調査研究の成果: 枠組み
• 調査研究の成果: 品質実態
• まとめと提言
2

3. • 早稲田大学グローバルソフトウェア
エンジニアリング研究所所長・教授
• 国立情報学研究所客員教授
• 株式会社 システム情報 社外取締
役
• ISO/IEC/JTC1/SC7/WG20
Convenor
• SEMAT Japan Chapter Chair
• IEEE CS Japan Chapter Secretary
• IEEE ICST 2017 PC Chair
• IEEE CSEE&T 2017 PC Chair
• 日本ソフトウェア科学会 理事
• 法務省 戸籍システムWG 委員
3

4. 早稲田大学グローバルソフト
ウェアエンジニアリング研究所
• グローバル開発時代のソ
フトウェアエンジニアリング
研究、教育、社会実装
• 鷲崎（所長）
• 東基衞（顧問）、筧、深澤
、岸、本田（所員）
• 招聘研究員17 名
• 学生35名 (うち留学生10
名、中国、韓国、インドネ
シア、ミャンマー、アフガニ
スタン、ドイツ)
4

5. 如何に高信頼ソフトウェアを効率よく開発できるか?
如何に経験則を理論で裏打ちできるか?
5
要求定義
コード解析
単体テスト
受入テスト
マネジメント 教育
実装
基本設計 統合テスト
保守
品質管理
詳細設計
品質測定と管理
戦略・要求
と設計支援
テスト環境
と検証
アジャイル・教育
ビジネス・システ
ムと要求工学

6. 6
日本経済新聞2016年11月2日Yahoo! ニュース2015年6月23日
世界的な基準から客
観的に製品を評価し
国際競争力を高める
ソフトウェアの総
合的な品質評価の
枠組みを確立
目的

7. エグゼクティブサマリ
7
• 21製品個別評価と業界実態分析
• 国際標準ベンチマークへ Waseda
Software Quality Benchmark (WSQB2017)
http://www.washi.cs.waseda.ac.jp/?page_id=3479
• 国際規格 ISO/IEC 25000
SQuaRE シリーズを具体化
• 製品品質、利用時品質の網羅
と関係分析
0
20
40
60
80
100
機能適合性
性能効率性
互換性
使用性
信頼性
セキュリティ
保守性
移植性
0
5
10
1 2 3 4 5 6
12ベンダ
21製品
4評価機関
一部委託
一部結果
ISO/IEC JTC1/SC7/WG6
SQuaREエディタ
協力
評価結果

8. 目次
• 調査研究のサマリ
• 背景と考え方
• 調査研究の成果: 枠組み
• 調査研究の成果: 品質実態
• まとめと提言
8

9. 一般的な定義
• 品質: あるものの特性または属性 [American
Heritage Dictionary]
• ソフトウェア品質: ソフトウェアの使用時に必要
性を満たす能力を決定する属性全体
[ISO9126-1][JIS0129-1]
– 属性: ソフトウェアの定性的/定量的に測定可能な
特徴
9

10. ソフトウェア品質の種類
• 利用時の品質
• 製品品質
• プロセス品質（生産性含む）
• リソース品質
10
……
……
……
……
……
……
影響

11. ソフトウェア品質とメトリクス
• 測定の方法と尺度
• ソフトウェア品質: 使用時に必要性を満たす能力を決
定する属性（測定可能な特徴）全体 [ISO25000]
• 成功率 31% → 定量的評価導入 46% [矢口08]
11
[矢口08] 矢口竜太郎, 吉田洋平: 成功率は31.1%, 日経コンピュータ12月1日号, 2008.
要求
定義
設計 実装 テスト
機能
仕様書
ファンクション
ポイント
モジュール
設計
凝集度
結合度
ソース
コード
複雑度
コード行数
欠陥票
欠陥密度
テストケ
ース
消化数
工数、期間

12. 日本と世界のソフトウェア品質
しかし日本における成功率の認識は
• 受注者 91.8% [SEC05]
• 発注者 26.7% [中村03], 31.1% [矢口08]
12
209
469
270
436
0
100
200
300
400
500
インド 日本 US 欧州
0.263
0.02
0.4
0.225
0
0.1
0.2
0.3
0.4
0.5
インド 日本 US 欧州
生産性: LOC／人月 欠陥率: 実装後１年欠陥数／KSLOC
[Cusumano03] [Cusumano03]
[中村03] 中村建助 他: プロジェクト成功率は26.7%, 日経コンピュータ2003年11月17日号
[SEC05] IPA/SEC: ソフトウェア開発データ白書2005, 日経BP, 2005.
[Cusumano03] M. Cusumano, et al.: IEEE Software, 20(6), 2003.
[矢口08] 矢口竜太郎, 吉田洋平: 成功率は31.1%, 日経コンピュータ12月1日号, 2008.

13. 落とし穴「ホーソン効果」
13nicolasdsampson.com, Observe And Learn: The Magic Of Paying Attention
http://nicolasdsampson.com/wp-content/uploads/2012/10/2010_12_06_observe-learn-magic-paying-attention.jpg

14. I. 解釈
（評価基準）
ゴール指向のメトリクス定義
• Goal-Question-Metric（GQM）パラダイム
M. メトリクス
G. 目標
Q. 質問
測定対象（データ）
達成評価
答え
測定値
14
楠本真二, 肥後芳樹, “GQMパラダイムを用いたソフトウェアメトリクスの活用”, コンピュータソフトウェア, 2012.
リンダ・M・ライルド, M・キャロル・ブレナン著, 野中誠, 鷲崎弘宜 訳 , "演習で学ぶソフトウエアメトリクスの", 日経BP社 , 2009.
V. Basili, et al.: Goal, Question, Metric Paradigm, Encycloperia of Software Engineering, Vol. 1(1994)

15. 横に広げて多面的に見る
15
鷲崎弘宜,田邉浩之,小池利和,ソースコード解析による品質評価の仕組み,日経エレクトロニクス 2010/1/25
[Adqua] http://www.ogis-ri.co.jp/product/b-08-000001A6.html
保守性
モジュール性 再利用性 修正性 ・・・
コールグラフ
階層の深さ
サイクロマテ
ィック複雑度
関数内の
戻り点の数
処理が複雑
すぎないか？
処理が構造化
されているか？
…… …
…… …
…… …
…… …
・・・
・・・ ・・・
G. 目標
対象
M. メトリクス
Q. 質問

16. ISO/IEC 9126-1:2001
16
利用時の品質
有効性 生産性 安全性 満足性
内部品質・外部品質
機能性 信頼性 使用性 効率性 保守性 移植性
合目的性 成熟性 理解性 時間効率性 解析性 環境適応
性
正確性 障害許容性 習得性 資源効率性 変更性 設置性
相互運用性 回復性 運用性 効率性標準適
合性
安定性 共存性
セキュリティ 信頼性標準適
合性
魅力性 試験性 置換性
機能性標準
適合性
使用性標準適
合性
保守性標
準適合性
移植性標
準適合性
ISO/IEC 9126-1:2001，Software engineering−Product quality−Part 1: Quality model

17. ISO/IEC 25010:2011
17
利用時の品質
有効性 効率性 リスク回避性 満足性 利用状況網羅性
内部品質・外部品質
機能
適合性
互換性 セキュ
リティ
信頼性 使用性 性能効
率性
保守性 移植性
機能完
全性
共存性 機密性 成熟性 適切度認
識性
時間効
率性
解析性 適応性
機能正
確性
相互運
用性
インテグ
リティ
障害許
容性
習得性 資源効
率性
修正性 設置性
機能適
切性
否認防
止性
回復性 運用操作
性
容量満
足性
再利用性 置換性
責任追
跡性
可用性 ユーザエ
ラー防止
性
試験性
真正性 ユーザイ
ンフェース
快美性
モジュー
ル性
アクセシビ
リティ
ISO/IEC 25010：2011 Systems and software engineering-Systems and software Quality Requirements and Evaluation (SQuaRE) -
System and software quality models

18. 未来を予測し、未来を変える
18
コードの規模・
複雑さメトリクス
開発主体
変更回数
変更規模
欠陥
M. ファイル規模
M. 他ファイルとの呼び出し関係
・・・
S. Sato, et al., Effects of Organizational Changes on Product Metrics and Defects, APSEC'13

19. 落とし穴「オレオレ品質」
19
画像: @VS_oresagi https://twitter.com/vs_oresagi

20. 品質国際規格SQuaREシリーズに基づく
日本と諸外国のソフトウェア品質認証
• 日本: PSQ認証
– コンピュータソフトウェア協会（CSAJ）
– カタログ、マニュアル、仕様書、試験文書
– 全品質特性
• 韓国: GS (Good Software) Certification
– Telecommunications Technology Association
(TTA)
– プログラムのテスト結果
– 全品質特性
• スペイン: Software Product Quality
Certification
– AENOR
– 試験文書、ソースコード
– 機能適合性、保守性 20

21. 目次
• 調査研究のサマリ
• 背景と考え方
• 調査研究の成果: 枠組み
• 調査研究の成果: 品質実態
• まとめと提言
21

22. 国際規格に基づく評価の大枠と課題
22
ISO/IEC 25023
内部・外部品質測定
利用時の
品質
外部品質内部品質
ソフトウェア システム 業務
……
……
……
……
……
……
現実にどのように
影響しているのか？
ISO/IEC 25022
利用時の品質測定
ISO/IEC 25051 既製ソフト品質要求
ISO/IEC 25010 品質モデル
25051
25022, 25023
現実の入力からどのように
測定評価すればよいか？
Measure から Metric へ

23. 設定した研究課題
• 課題1: 内部品質の測定評
価方法の確立
• 課題2: 外部品質の測定評
価方法の確立
• 課題3: 利用時の品質の測
定評価方法の確立
• 課題4: 個々の品質実態把
握
• 課題5: 品質間の関係分析
• 課題6: 全体パッケージ化 23
国際規格に基づく客観的評価
未来を予測し、未
来を変える
ゴール指向のメトリ
クス定義
横に広げて多面的
に見る

24. 枠組みの全体
24

25. 課題1-3: 品質測定評価の枠組み
25
Q1. 社内サーバのみ使用する経路は？
Q2. 社外サーバも使用する経路は？
Q3. クライアント間直接通信(P2P等)は？
Q4. 申請者管理サーバ使用の経路は？
G.情報アクセスや情報伝達などの
行為とその内容が偽って否認され
ないようにシステムができている
M. 署名経路率 = 署名経路数
/ 各種別の経路数
例: 否認防止性
研究チーム 製品提供元
1 GQM法でSQuaREメ
トリクス具体化
2 測定ツール化（様
式、コード解析、アン
ケート・テスト）
3 コード解析実施、
ユーザテスト実施
様式記入、ア
ンケート回収
4 測定値・スコア計算、
診断、集計
パーセンタイルによるスコア化
例: 全体のうち70%の製品群よりも上 = 0.7
対応言語
認証方式
配備形態
不具合情報
試験情報
機能情報※
DB情報※
NW情報※
コード※
運用情報※
（※任意）
高低
件
数
測定値

26. スコア化と集計
26

27. 課題1-2: 製品品質（内部・外部品質）
• 入力: 様式記入 21製品、コード解析 4、アンケート 3
• 定義: 66メトリクス（うち測定値が得られたもの57）
• 測定率: 66メトリクス×21製品のうちで34%
- 未測定の多くは根拠となるデータの未記録のため
27
定義メトリクス数
4
10
2
9
13
6 8
5
0
1
0
0
3
0
4
1
0
5
10
15
20
機能適合性 性能効率性 互換性 使用性 信頼性 セキュリティ 保守性 移植性
測定値あり 測定値なし

28. 課題3: 利用時の品質
ユーザアンケート
• 標準アンケート実現
– 例: 他人に薦めたいですか？
• 3製品でアンケート回収成功
ユーザテスト
• 10製品でテスト実施許可
28
研究チーム 製品提供元
1 機能定義
2 当たり前機能抽
出（評価機関）
3 当たり前機能網
羅の正常系テス
ト項目定義
4 異常系テスト項
目定義
5 テスト実施
6 テスト結果から
品質測定
定義メトリクス数（測定率 24.4%）

29. 課題1-3: 製品別の品質診断レポート
• 品質特性単位の傾向、ポジション、助言
• 詳細な傾向と助言: 信頼性、コード解析、ユーザテスト
0
20
40
60
80
100
機能適合性
性能効率性
互換性
使用性
信頼性
セキュリティ
保守性
移植性

30. 30
アクショナブルメトリクスとしての信頼性予測
0
Time
Thenumberofdetectedfaults
A
B
C
D
E
F
H
G
予測の安定
[ISSRE’15] K. Honda, H. Washizaki, Y. Fukazawa, et al., “Detection of Unexpected Situations
by Applying Software Reliability Growth Models to Test Phases,” 26th IEEE International
Symposium on Software Reliability Engineering (ISSRE 2015), Industry Track
「何か」が
起きている
予測モデル

31. 目次
• 調査研究のサマリ
• 背景と考え方
• 調査研究の成果: 枠組み
• 調査研究の成果: 品質実態
• まとめと提言
31

32. 課題4: 品質特性別の傾向
32
機能適合性 性能効率性 互換性 使用性
信頼性 セキュリティ 保守性 移植性
有効性 効率性 満足性 リスク回避性
利用状況網羅性 • 信頼性: 全体的に同程度
• 使用性、保守性: 低いほうにやや集中
• 互換性: 2極化、データ交換を一部考慮せず
• セキュリティ: 2極化、暗号化や破損防止に差あり
• 有効性、効率性: 2極化、タスク実行に一部難あり

33. 課題5: 品質特性間の関係分析
33
製品品質 利用時の品質
p値<0.1
性能効率性 互換性 使用性 信頼性 セキュリティ 保守性 移植性 有効性 効率性 満足性 リスク回避性 利用状況網羅性
機能適合性 0. 31 0. 19 -0. 72 0. 37 -0. 05 0. 50 0. 31 -0. 14 0. 52 1. 00 1. 00 1. 00
性能効率性 0. 44 0. 24 0. 36 -0. 17 0. 37 0. 32 0. 32 -0. 10 -0. 50 -0. 50 -0. 50
互換性 0. 04 0. 17 -0. 06 0. 36 -0. 04 -0. 14 0. 05 -0. 50 -0. 50 -0. 50
使用性 0. 17 -0. 21 0. 11 0. 44 -0. 09 -0. 20 -1. 00 -1. 00 -1. 00
信頼性 0. 30 0. 41 0. 45 -0. 08 0. 11 1. 00 1. 00 1. 00
セキュリティ -0. 06 0. 19 0. 64 -0. 34 0. 50 0. 50 0. 50
保守性 0. 26 -0. 29 0. 01 1. 00 1. 00 1. 00
移植性 -0. 21 0. 67 0. 50 0. 50 0. 50
有効性 0. 03 -1. 00 -1. 00 -1. 00
効率性 1. 00 1. 00 1. 00
満足性 1. 00 1. 00
リスク回避性 1. 00
• 信頼性が高いほど、保守性や移植
性も高い
– 高信頼製品ほど長期にわたる保守や
様々な環境への移植や適合が求めら
れる可能性
• 移植性が高いほど、使用性や効率
性が高い
• セキュリティが高いほど、有効性も高
い
• 機能適合性が高いほど、使用性が
低い
– 副作用、使用性軽視の可能性

34. 信頼性モデルによる信頼性傾向と予測
• 発見時間と数の関係を分析し欠陥
数を予測、リスク検知
• 3種の信頼性タイプ
– イテレーションの期間情報は提供なし
爆発（3）
累積欠陥数の実測と予測
漸増（3）安定（3製品）

35. 使用性
移植性
互換性
保守性
性能効率性
セキュリティ
効率性
課題5: 信頼性タイプと品質特性の関係
35
機能適合性
信頼性
有効性
安定 漸増 爆発
• 機能適合性、有効性: 安定で高品質
• 性能効率性、互換性: 爆発において
低品質
• 他の特性: 信頼性タイプで相違無し

36. 対象21製品のコンテキスト
36
N=11

37. 課題5: コンテキスト別の分析
37
• ドメイン別: 互換性、セキュリ
ティに顕著な差
• パッケージ製品: セキュリティ
強化が課題
• クラウド製品: 移植性、保守
性、信頼性の測定方法が不
適当な可能性
• 規模、期間、開発形態: 顕著
な相違無し
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
機能
適…
性能
効…
互換
性
使用
性
信頼
性
セ
キ…
保守
性
移植
性
有効
性
効率
性
満足
性
リスク
回…
利用
状…
グループ支援
(n=5)
データ集計(n=5)
会計(n=4)
セキュリティ(n=3)
数値計算シミュ
レーション(n=3)
エンドユーザ向け
サービス(n=1)
区別なし(n=21)
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
機能
適…
性能
効…
互換
性
使用
性
信頼
性
セキュ
リティ
保守
性
移植
性
有効
性
効率
性
満足
性
リスク
回…
利用
状…
パッケージ
(n=17)
クラウド(n=4)
区別なし
(n=21)
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
機能適合性
性能効率性
互換性
使用性
信頼性
セキュリティ
保守性移植性
有効性
効率性
満足性
リスク回避
性
利用状況網
羅性
0-10K(n=2)
10K-50K(n=6)
50K-100K(n=2)
100K-(n=6)
区別なし(n=16)

38. 課題4-5: 品質実態のまとめ
38
信頼性
保守性
性能
効率性
移植性
機能
適合性
有効性
互換性
セキュ
リティ
使用性
効率性
満足性
リスク回避性
利用状況網羅性
製品品質 利用時の品質
正の相関
負の相関
信頼性タイプ関係
データ不足、測定不適合可能性
高いほうに集中、同程度
一部に低い傾向

39. 目次
• 調査研究のサマリ
• 背景と考え方
• 調査研究の成果: 枠組み
• 調査研究の成果: 品質実態
• まとめと提言
39

40. 課題6: 公開パッケージと提言
40
Waseda Software Quality Benchmark
http://www.washi.cs.waseda.ac.jp/?page_id=3479
評価枠組み(信頼性予測含む)＋実態データセット
今後: 継続的な品質実態調査、枠組み改善
業界
ISO/IEC
JTC1/SC7/WG6
連携継続、PSQ認証
へ取り込み検討
SQuaRE改善
取り込み
提言4. 実現した枠組みを組み入れて実効性強化
提言5. アジャイル開発, クラウド対応強化の可能性
提言1. IoT時代重要セキュリティ, 互換性の低さ。要 意識改革
提言2. 使用性への悪影響注意。要 ユーザ中心の取組
提言3. データや目標希薄。要 記録＋ベンチマーキング
品質マネジメント
国際競争力強化

41. 実績: メディアほか• 報道
– 2015年6月22-23日 プレスリリース掲載 （朝日
新聞デジタルほか）
– 2016年11月2日 日本経済新聞 全国・朝刊,早
大グローバルソフトウェアエンジニアリング研 未来
の開発者育成探る, 《ビジョン》鷲崎弘宜所長 デ
ータ＋経験則 社会を変えたい
– 2017年4月25日 プレスリリース掲載 （時事ドット
コムほか）
• イベント、講演
– 2015年9月4日 第2回早稲田大学・Fraunhofer
IESE共催セミナー
– 2016年2月29日早稲田大学グリーン・コンピュー
ティング・システム研究機構シンポジウム
– 2016年3月29日 ～JISX25051:2016リリース記
念セミナー～ 世界最高基準を目指す日本のソフ
トウェア品質、早稲田大学
– 2016年6月22日 ISO/IEC 25022/25023リリー
ス記念セミナー、CSAJ
– 2017年6月2日 成果報告セミナー、早稲田大学 41

42. 実績: 論文等発表
• 論文誌、学会誌
– 鷲崎弘宜, “実践的ソフトウェア品質測定評価のための4つの「落とし穴」と 7つの「コツ」: ゴ
ール指向、不確実性、機械学習、実態調査ほか”, 品質, Vol.46, No.3, pp.137-140, 品
質管理学会, 2016.
– K. Honda, H. Washizaki and Y. Fukazawa, “Generalized Software Reliability Model
Considering Uncertainty and Dynamics: Model and Applications,” International Journal
of Software Engineering and Knowledge Engineering (IJSEKE), pp.1-29, 2017.
• 国際会議
– K. Honda, H. Washizaki, Y. Fukazawa, et al., “Detection of Unexpected Situations by
Applying Software Reliability Growth Models to Test Phases,” 26th IEEE International
Symposium on Software Reliability Engineering (ISSRE 2015), Industry Track
– H. Nakai, N. Tsuda, K. Honda, H. Washizaki, and Y. Fukazawa, “Initial Framework for a
Software Quality Evaluation based on ISO/IEC 25022 and ISO/IEC 25023,” Poster,
The 2016 IEEE International Conference on Software Quality, Reliability & Security
(QRS 2016)
– K. Honda, N. Nakamura, H. Washizaki and Y. Fukazawa, “An Industrial Case Study of
Project Management Using Cross Project Software Reliability Growth Model,” Poster,
The 2016 IEEE International Conference on Software Quality, Reliability & Security
(QRS 2016)
– K. Honda, N. Nakamura, H. Washizaki and Y. Fukazawa, “Case Study: Project
Management Using Cross Project Software Reliability Growth Model,” IEEE
International Workshop on Trustworthy Computing, 2016
– K. Honda, N. Nakamura, H. Washizaki and Y. Fukazawa, “Case Study: Project
Management Using Cross Project Software Reliability Growth Model Considering
System Scale,” 27th IEEE International Symposium on Software Reliability Engineering
(ISSRE 2016), Industry Track,
– H. Nakai, N. Tsuda, K. Honda, H. Washizaki, Y. Fukazawa, “Evaluating Software Product
Quality based on SQuaRE Series,” IEEE TENCON 2016
42