talk about my story when we start automation testing in our team. we met many struggle to build automation testing environment

1. Automation struggle
Oct 29, 2019
Sadaaki Emura
Leisure Product. Dept.
Rakuten, Inc.

2. 2
Who am I
Name : Sadaaki Emura (nickname M)
Join in Rakuten : 2007
Career : Embedded engineer (2000-2002)
Web engineer (2002-2015)
Product manager (2015-2016)
QA (2016~)
Role: Test Automation Engineer Lead
Birthplace : Kanazawa-city
Hobby: jog , climbing , horse racing

3. 3
Organization
Developer group QA group
Manual test team automation test team
@Illust AC
ココ
の人
:

4. 4
Organization

5. 5
Premise for today talk
前提
• E2E test自動化
• 開発とは独立したQA組織
• マニュアルテストとテスト自動化部隊
話さないこと
• 技術的なこと
• Best practice

6. 6
Story
1. 自動化を立ち上げするときの闇
2. 自動化が立ち上がった時の闇
3. 自動化が安定してきたときの闇
4. 現在の闇
5. 光はあるのか？

7. 7
1. 自動化を立ち上げするときの闇
課題 周りの理解者がいない
• POCを実施
• 自動化導入のQCD効果説明
• マニュアルテストで十分
• コストイメージ
対策
@FREEIMAGES

8. 8
1. 自動化を立ち上げするときの闇
@photoAC
課題 周りに技術者がいない
• 今の組織でできる仕組み検討
• QAプロセスの再定義
• アプリケーションエンジニア不足
• マニュアルとの使い分け不明
対策

9. 9
2. 自動化が立ち上がった時の闇
• テスト目的を明確化
• テスト自動化の基準設定
• 作業改善の自動化も検討
@photoAC
課題 自動化の目的がバラバラ
• テストになっていない
• カバレッジが目標
対策

10. 10
2. 自動化が立ち上がった時の闇
@FREEIMAGES
• 自動化の仕組みの説明
• QCD含めた得手不得手を説明
課題 自動化は銀の弾丸と思われる
• 自動化が全てをやってくれる
• マニュアルテスト不要論
対策

11. 11
3. 自動化が安定してきたときの闇
@FREEIMAGES
テスト環境
• 不安定性を可視化する
• アプリエンジニアに協力求ム
• 失敗しない工夫をする
課題 環境不安定でテストが失敗する
• 様々な人がテスト環境を使用
• テストデータ不安定
対策

12. 12
3. 自動化が安定してきたときの闇
@photoAC
• 既存機能の修正キャッチアップの仕組化
• テスト自動化の優先度を明確化
課題 プロダクトが常に更新、テスト失敗する
• 短いサイクルで更新
• 重要な機能の更新頻度が高い
対策

13. 13
4. 現在の闇
@FREEIMAGES
課題 エンジニアが不足

14. 14
5. 光はあるのか？
@FREEIMAGES

15. 15
5. 光はあるのか？
https://www.practitest.com/resource/state-of-testing-report-2019/

16. 16
5. 光はあるのか？
https://commerce-engineer.rakuten.careers/
詳細はWebで