Se ha denunciado esta presentación.
Utilizamos tu perfil de LinkedIn y tus datos de actividad para personalizar los anuncios y mostrarte publicidad más relevante. Puedes cambiar tus preferencias de publicidad en cualquier momento.

ICST 2015 まるわかりDay! -Model

1.303 visualizaciones

Publicado el

  • Sé el primero en comentar

ICST 2015 まるわかりDay! -Model

  1. 1. + Model-based Testing Kinji AKEMINE@kjstylepp
  2. 2. + 目次 1. Test Generation from Business Rules 2. On the Industrial Applicability of TextTest: An Empirical Case Study 3. Generating Tests for Detecting Faults in Feature Models 15/07/04ICST2015 まるわかりDay! 2
  3. 3. + Test Generation from Business Rules Simon Holm Jesnsen@Snowflake Computing Suresh Thummalapenta@Microsoft Corporation Saurabh Sinha@IBM Rsearch Satish Chandra@Samsung Research America
  4. 4. + 1 背景と目的  業務システムのテストは大変  膨大なビジネスルールが十分に明文化されていないため、テスト設 計が困難  ビジネスルールに関連したテストケースの事前条件が複雑であり、 それを実現するテスト実装が困難  業務システムの複雑なビジネスルールを定義可能なDSLの提案  DSLで記述されたビジネスルールから自動でテスト設計/実装 を行うアルゴリズムの提案 15/07/04ICST2015 まるわかりDay! 4
  5. 5. + 2 主な貢献  ツールサポートを伴ったビジネスルール定義用のDSLを開発し たこと  ビジネスルールの成立を確認するためのテストケースの自動生 成アルゴリズムを提案したこと  上記で生成されるテストケースには事前条件を成立させるため の手順も含まれていること  上記手法において計算量を現実的な範囲におさえるための工夫 をしたこと 15/07/04ICST2015 まるわかりDay! 5
  6. 6. + 3 手法概要(1)  ビジネスルールの定義方法 15/07/04 出典:Test Generation from Business Rules ICST2015 まるわかりDay! 6
  7. 7. + 3 手法概要(2)  登場する変数の制約の着目  各行の事前条件の制約に着目 15/07/04 出典:Test Generation from Business Rules 出典:Test Generation from Business Rules ICST2015 まるわかりDay! 7
  8. 8. + 4 評価(1)  評価方法  自動生成手法を実現したツール「BUSTER」を開発  生成アルゴリズムにといて効率化が施されていないツールとして 「EXHAUST」を比較対象ツールに  2つのOSSパッケージ製品と1つの実開発システムに対して、ビジ ネスルールを定義しツールを適用 15/07/04 出典:Test Generation from Business Rules ICST2015 まるわかりDay! 8
  9. 9. + 4 評価(2)  評価結果  カバレッジ  ほぼ全てのビジネスルールに対応したテストケースを生成可能  効率性  実行時間および生成されるテストケースの長さにおいて有用 15/07/04出典:Test Generation from Business Rules 出典:Test Generation from Business Rules ICST2015 まるわかりDay! 9
  10. 10. + 5 所感  狙い所は決して目新しくはない  アプローチ自体も比較的オーソドックス  地道なアルゴリズム最適化が大きい  しっかりツール化をして評価までやりきっている 15/07/04ICST2015 まるわかりDay! 10
  11. 11. + On the Industrial Applicability of TextTest: An Empirical Case Study Emil Alegroth@Chalmers University of Technology Geoffrey Bache@Evry AB Emily Bache@Bache Consulting
  12. 12. + 1 背景と目的  GUIアプリのテストは大変  自動化は有効な手段であるが、導入コスト/資産メンテナンス コストについて見極めをしなければならない  ところで、TextTestという一風かわった仕組みのOSSのGUIア プリテストツールがある  GUIの状態をASCII-artで抽象化!  TextTestが実用にたえうるのかを検証 15/07/04ICST2015 まるわかりDay! 12
  13. 13. + 2 主な貢献  TextTestを検討している人に有用な評価結果を提示した  ツールの有用性評価のための評価スキームの一例を示した 15/07/04ICST2015 まるわかりDay! 13
  14. 14. + 3 評価手順  以下の2つのRQを設定 1. TextTestは機能的に有用なGUIテストツールか? 2. TextTestはコスパ的に有用なGUIテストツールか?  評価方法 1. インタビュアーのバックグランド収集 2. 既存のツール実績にもとづいたインタビュー実施 3. ツールを利用したバグ発見実績の収集 4. マニュアルテストとの比較 15/07/04ICST2015 まるわかりDay! 14
  15. 15. + 3 評価結果(1)  初回インタビュー  大半のメンバーがツール導入を歓迎  ツールの使い勝手については有償製品に劣る 15/07/04 出典:On the Industrial Applicability of TextTest: An Empirical Case Study ICST2015 まるわかりDay! 15
  16. 16. + 4 評価結果(2)  ツールの実績収集  実際のバグに対して、failするテスト数が多い  false positiveの観点ではよい  メンテナンス時間もさほどかかっていない 15/07/04 出典:On the Industrial Applicability of TextTest: An Empirical Case Study ICST2015 まるわかりDay! 16
  17. 17. + 4 評価結果(3)  マニュアルテストとの比較  メンテナンスコスト以外の軸においてTextTestが有利  メンテナンスコストも大きな差異にはなっていない 15/07/04 出典:On the Industrial Applicability of TextTest: An Empirical Case Study ICST2015 まるわかりDay! 17
  18. 18. + 5 所感  著者らがツールのコミッター。単一ツール評価でもfull-paper になるのか…  ツール間比較をしたほうがいいのでは? 15/07/04ICST2015 まるわかりDay! 18
  19. 19. + Generating Tests for Detecting Faults in Feature Models Paolo Arcaini@University of Bergamo Angelo Gargantini@University of Bergamo Paolo Vavassori@University of Bergamo
  20. 20. + 1 背景と目的  SPLに対するテスト生成技術の研究が盛ん  既存研究は古典的なテスト設計技術(T-wise testingなど)を適用 したものである  既存研究とは異なるアプローチとして、Fault-basedな手法を 提案する 15/07/04ICST2015 まるわかりDay! 20
  21. 21. + 2 主な貢献  SPLのFeatureModelに対して、Mutation testingの適用方法 を提案したこと  上記に加え、MutationからFeatureModelに対するテストケー ス生成の仕組みを提案したこと 15/07/04ICST2015 まるわかりDay! 21
  22. 22. + 3 手法概要(1)  手法の使い所  FeatureModelをより詳細化したモデル(実装)を作成する際、元 のFeatureModelを満たしているかどうかを検証する 15/07/04 出典:Generating Tests for Detecting Faults in Feature Models ICST2015 まるわかりDay! 22
  23. 23. + 3 手法概要(2)  正しいモデルからMutationを生成  FMに対する独自のMutationルールを12パターン定義 15/07/04 ManToOpt 出典:Generating Tests for Detecting Faults in Feature Models ICST2015 まるわかりDay! 23
  24. 24. + 3 手法概要(3)  当該Mutationの発生を検知する論理式を構築  Mutate前後のFMの論理式表現の排他的論理和を構築  {a = true, b = false, c = true}と{a = true, b = false, c = false}が該当 15/07/04 出典:Generating Tests for Detecting Faults in Feature Models 出典:Generating Tests for Detecting Faults in Feature ModelsICST2015 まるわかりDay! 24
  25. 25. + 4 評価(1)  評価方法  6つのSPLモデルに対して、6人の被験者に詳細化実装をしてもらう  実装に対して各種のテストを実施  本手法で生成したテストケースを用いる  既存研究(Pairwise)で生成したテストケースを用いる 15/07/04ICST2015 まるわかりDay! 25
  26. 26. + 4 評価(2)  評価結果  既存手法に対して有用性を確認  全17件のバグのうち、最多で10件発見  バグの発見効率も最もよい 15/07/04 出典:Generating Tests for Detecting Faults in Feature Models ICST2015 まるわかりDay! 26
  27. 27. + 5 所感  SPL/FMに対するMutation testing適用は興味深い  SPL/FMのデグレテストにも有効か?  しかしモデルの変更箇所に対して、手動でテストケースをメンテナ ンスを行うのは現実的ではないような気もする  被験者実験はもっと大きなモデルにたいして適用したほうがよ いのではないか  「All configurations」の生成は現実的ではない規模のもの 15/07/04ICST2015 まるわかりDay! 27
  28. 28. + 以上 15/07/04 ICST2015 まるわかりDay! 28

×