Доклад на встрече соощества QA Club Minsk 27 ноября 2013.

1. Инструменты автоматизации
тестирования мобильных
приложений.
Сравнительный анализ.

2. Рассматриваемые
инструменты
1) M-Eux
2) Ranorex
3) SeeTest
4) Appium
5) Silk Mobile
6) Test Droid
7) Robotium

3. Приложения, которые были
автоматизированы
1) Complicated – гибридное мобильное
приложение, написаное с помощью:
PhoneGap, Sencha ExtJS, HTML5.
2) Simple- native application для нескольких
версий Android.

4. Список критериев оценки инструментов
тестирования
1)
Лицензионность
2)
Поддерживаемые платформы (iOS, Android, both)
3)
Возможность разработки тестов для Native, Hybrid, Web
приложений
4)
Наличие и возможность проигрывания Record Play
тестов
5)
Языки разработки тестов
6)
Наличие встроенной IDE для разработки тестов
7)
Возможность экспорта в другие IDE (Visual Studio,
Eclipse, etc)
8)
OOP подход в реализации маппинга объектов
9)
Возможность работы с эумлятором/реальным
устройством

5. Лицензионность
M-Eux
Proprietary
Bad
Proprietary
Bad
Bad
Free
Good
Free
SeeTest
Proprietary
Proprietary
Ranorex
Bad
Good
Proprietary
Bad
Testdroid
Robotium
Appium
Silk Mobile

6. Поддерживаемые платформы
(iOS, Android, both)
Инструмент
Поддержка iOS Поддержка
Android
Оценка
M-Eux
+
+
Good
Ranorex
+
+
Good
SeeTest
+
+
Good
Testdroid
-
+
Medium
Robotium
-
+
Medium
Appium
+
+
Good
Silk Mobile
+
+
Good

7. Возможность разработки тестов для
Native, Hybrid, Web приложений
Инструме
нт
Native
Hybrid
Web
Оценка
M-Eux
+
+
+
Good
Ranorex
+
-
+ (iOS only)
Medium
SeeTest
+
+
+
Good
Testdroid
+(Android only)
+-
+-
Bad
Robotium
+ (Android only)
+ (Android only) + (Android
only)
Medium
Appium
+
+
+
Good
Silk
Mobile
+
+
+
Good

8. Наличие Record Play инструментария
Инструмент
Наличие Record Play
Оценка
M-Eux
+
Good
Ranorex
+
Good
SeeTest
+
Good
Testdroid
+
Good
Robotium
- (будет выпущен
Bad
коммерческий Record Play)
Appium
+
Good
Silk Mobile
+
Good

9. Языки разработки тестов
Инструмент
Язык разработки тестов
Оценка
M-Eux
C#, Java
Medium
Ranorex
C#, VB.NET
Medium
SeeTest
C#, Java, Python, Perl
Good
Testdroid
Java, JavaScript
Medium
Robotium
Java
Bad
Appium
C#, Java, Python, Ruby,
PHP, JavaScript
Good
Silk Mobile
C#, Java, Python, Perl
Good

10. Наличие встроенной IDE
для разработки тестов
Инструмент
Встроенная IDE для
разработки тестов
Оценка
M-Eux
-
Bad
Ranorex
Ranorex Studio
Good
SeeTest
SeeTest Automation
Good
Testdroid
-
Bad
Robotium
-
Bad
Appium
-
Bad
Silk Mobile
Silk Mobile
Good

11. Возможность экспорта тестов в другие
IDE (Visual Studio, Eclipse, etc)
Инструмент
Экспорт в другие IDE
(Visual Studio, Eclipse, etc.)
Оценка
M-Eux
Работа ведётся непосредственно из VS, Eclipse,
etc
Medium
Ranorex
+
Good
SeeTest
+
Good
Testdroid
Работа ведётся непосредственно из Eclipse
Medium
Robotium
Работа ведётся непосредственно из любой JAVA Medium
IDE (Eclipse, IDEA, Net Beans etc.)
Appium
Работа ведётся непосредственно из VisualStudio, Medium
Eclipse, etc
Silk Mobile
+
Good

12. OOP подход в реализации маппинга
объектов
Инструмент
OOP-based
mapping
Оценка
M-Eux
+
Good
Ranorex
+
Good
SeeTest
-
Bad
Testdroid
-
Bad
Robotium
-
Bad
Appium
-
Bad
Silk Mobile
-
Bad

13. Возможность работы с
эмулятором/реальным устройством
Инструме
нт
Emulator
Real Device
Оценка
M-Eux
+
+
Good
Ranorex
+
+
Good
SeeTest
+
+
Good
Testdroid
+
+
Good
Robotium
+
+
Good
Appium
+
+
Good
Silk Mobile +
+
Good

14. Сводный рейтинг
Инструме
нт
Главные недостатки
Оценка
M-Eux
Стоимость лицензии
Medium
Ranorex
Хорошо работает только с native приложениями
Medium
SeeTest
Стоимость лицензии,
Отсутсвтие OOP подхода при формировании мапы
Medium
Testdroid
Отсутсвтие OOP подхода при формировании мапы,
Поддержка только Android
Bad
Robotium
Поддержка только Android, Поддержка только Java,
Отсутсвтие OOP подхода при формировании мапы
Bad
Appium
Отсутсвтие OOP подхода при формировании мапы
Good
Silk
Mobile
Стоимость лицензии
Отсутсвтие OOP подхода при формировании мапы
Medium

15. Авторы:
1.
Никита Беликов
опыт в IT более 5 лет, работает в компании ISSoft,
специализируется в разработке (.NET C# ASPMVC) и
автоматизированном тестировании програмного
обеспечения (Web, Desktop, Mobile).
2.
Антон Семенченко
опыт в IT более 10 лет, работает в компании ISSoft,
специализируется в разработке и автоматизированном
тестировании програмного обеспечения плюс
менеджмент.