Enviar búsqueda
Cargar
PyAutoGUI等Pythonライブラリによる自動化支援
•
14 recomendaciones
•
18,377 vistas
H Iseri
Seguir
7/24 STAR定例会
Leer menos
Leer más
Software
Denunciar
Compartir
Denunciar
Compartir
1 de 26
Descargar ahora
Descargar para leer sin conexión
Recomendados
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのか
Atsushi Nakada
【JaSST'18 Tokai】アジャイルとテスト自動化導入の勘所
【JaSST'18 Tokai】アジャイルとテスト自動化導入の勘所
Kotaro Ogino
究極のゲーム用通信プロトコル “WebRTC”
究極のゲーム用通信プロトコル “WebRTC”
Ryosuke Otsuya
テスト自動化とアーキテクチャ
テスト自動化とアーキテクチャ
Toru Koido
アプリの鍵が消える時_Droid kaigi2018
アプリの鍵が消える時_Droid kaigi2018
ak_shio_555
食べログのフロントエンドエンジニアってめっちゃ大変やねん・・・
食べログのフロントエンドエンジニアってめっちゃ大変やねん・・・
Yoshie Kaneno
アプリ開発へのOdc分析導入の取り組み
アプリ開発へのOdc分析導入の取り組み
NaokiKashiwagura
テスト分析・設計を体感しよう ~マインドマップを活用してテスト観点を発想しよう
テスト分析・設計を体感しよう ~マインドマップを活用してテスト観点を発想しよう
Akira Ikeda
Recomendados
シリコンバレーの「何が」凄いのか
シリコンバレーの「何が」凄いのか
Atsushi Nakada
【JaSST'18 Tokai】アジャイルとテスト自動化導入の勘所
【JaSST'18 Tokai】アジャイルとテスト自動化導入の勘所
Kotaro Ogino
究極のゲーム用通信プロトコル “WebRTC”
究極のゲーム用通信プロトコル “WebRTC”
Ryosuke Otsuya
テスト自動化とアーキテクチャ
テスト自動化とアーキテクチャ
Toru Koido
アプリの鍵が消える時_Droid kaigi2018
アプリの鍵が消える時_Droid kaigi2018
ak_shio_555
食べログのフロントエンドエンジニアってめっちゃ大変やねん・・・
食べログのフロントエンドエンジニアってめっちゃ大変やねん・・・
Yoshie Kaneno
アプリ開発へのOdc分析導入の取り組み
アプリ開発へのOdc分析導入の取り組み
NaokiKashiwagura
テスト分析・設計を体感しよう ~マインドマップを活用してテスト観点を発想しよう
テスト分析・設計を体感しよう ~マインドマップを活用してテスト観点を発想しよう
Akira Ikeda
MQTTとAMQPと.NET
MQTTとAMQPと.NET
terurou
5分で出来る!イケてるconfluenceページ
5分で出来る!イケてるconfluenceページ
CLARA ONLINE, Inc.
はじめてのソフトウェアテスト2019
はじめてのソフトウェアテスト2019
Rina Fukuda
ストリーム処理勉強会 大規模mqttを支える技術
ストリーム処理勉強会 大規模mqttを支える技術
Keigo Suda
テストプロセス改善モデルの最新動向
テストプロセス改善モデルの最新動向
崇 山﨑
スクレイピングとPython
スクレイピングとPython
Hironori Sekine
IT系エンジニアのためのプレゼンテーション入門
IT系エンジニアのためのプレゼンテーション入門
Masahito Zembutsu
アップルの特許に見るUI特許のポイント
アップルの特許に見るUI特許のポイント
kurikiyo
【Unite Tokyo 2019】Unity Test Runnerを活用して内部品質を向上しよう
【Unite Tokyo 2019】Unity Test Runnerを活用して内部品質を向上しよう
UnityTechnologiesJapan002
Lightweight Keycloak
Lightweight Keycloak
Hiroyuki Wada
ユーザビリティテストをやってみよう
ユーザビリティテストをやってみよう
scarletplover
基礎からのOAuth 2.0とSpring Security 5.1による実装
基礎からのOAuth 2.0とSpring Security 5.1による実装
Masatoshi Tada
EtherCATやPROFINETを OPC UAで接続してみた
EtherCATやPROFINETを OPC UAで接続してみた
ミソジ
ChatGPTをシステムに組み込むためのプロンプト技法 #chatgptjp
ChatGPTをシステムに組み込むためのプロンプト技法 #chatgptjp
K Kinzal
はじめてのソフトウェアテスト
はじめてのソフトウェアテスト
Rina Fukuda
「開発がスクラム導入するんだって!試験どーしよ!?」 -サイボウズQAスクラム奮闘記-
「開発がスクラム導入するんだって!試験どーしよ!?」 -サイボウズQAスクラム奮闘記-
yabbysan
空間を認識する - 取り込みから表示まで -
空間を認識する - 取り込みから表示まで -
聡 大久保
メトリクスによるソフトウェア品質把握と改善- 演習を交えた品質測定評価の落とし穴とコツの習得 -
メトリクスによるソフトウェア品質把握と改善- 演習を交えた品質測定評価の落とし穴とコツの習得 -
Hironori Washizaki
【Unity】 Behavior TreeでAIを作る
【Unity】 Behavior TreeでAIを作る
torisoup
目grep入門 +解説
目grep入門 +解説
murachue
フィーチャモデルの描き方
フィーチャモデルの描き方
H Iseri
クラシフィケーション・ツリー法入門
クラシフィケーション・ツリー法入門
H Iseri
Más contenido relacionado
La actualidad más candente
MQTTとAMQPと.NET
MQTTとAMQPと.NET
terurou
5分で出来る!イケてるconfluenceページ
5分で出来る!イケてるconfluenceページ
CLARA ONLINE, Inc.
はじめてのソフトウェアテスト2019
はじめてのソフトウェアテスト2019
Rina Fukuda
ストリーム処理勉強会 大規模mqttを支える技術
ストリーム処理勉強会 大規模mqttを支える技術
Keigo Suda
テストプロセス改善モデルの最新動向
テストプロセス改善モデルの最新動向
崇 山﨑
スクレイピングとPython
スクレイピングとPython
Hironori Sekine
IT系エンジニアのためのプレゼンテーション入門
IT系エンジニアのためのプレゼンテーション入門
Masahito Zembutsu
アップルの特許に見るUI特許のポイント
アップルの特許に見るUI特許のポイント
kurikiyo
【Unite Tokyo 2019】Unity Test Runnerを活用して内部品質を向上しよう
【Unite Tokyo 2019】Unity Test Runnerを活用して内部品質を向上しよう
UnityTechnologiesJapan002
Lightweight Keycloak
Lightweight Keycloak
Hiroyuki Wada
ユーザビリティテストをやってみよう
ユーザビリティテストをやってみよう
scarletplover
基礎からのOAuth 2.0とSpring Security 5.1による実装
基礎からのOAuth 2.0とSpring Security 5.1による実装
Masatoshi Tada
EtherCATやPROFINETを OPC UAで接続してみた
EtherCATやPROFINETを OPC UAで接続してみた
ミソジ
ChatGPTをシステムに組み込むためのプロンプト技法 #chatgptjp
ChatGPTをシステムに組み込むためのプロンプト技法 #chatgptjp
K Kinzal
はじめてのソフトウェアテスト
はじめてのソフトウェアテスト
Rina Fukuda
「開発がスクラム導入するんだって!試験どーしよ!?」 -サイボウズQAスクラム奮闘記-
「開発がスクラム導入するんだって!試験どーしよ!?」 -サイボウズQAスクラム奮闘記-
yabbysan
空間を認識する - 取り込みから表示まで -
空間を認識する - 取り込みから表示まで -
聡 大久保
メトリクスによるソフトウェア品質把握と改善- 演習を交えた品質測定評価の落とし穴とコツの習得 -
メトリクスによるソフトウェア品質把握と改善- 演習を交えた品質測定評価の落とし穴とコツの習得 -
Hironori Washizaki
【Unity】 Behavior TreeでAIを作る
【Unity】 Behavior TreeでAIを作る
torisoup
目grep入門 +解説
目grep入門 +解説
murachue
La actualidad más candente
(20)
MQTTとAMQPと.NET
MQTTとAMQPと.NET
5分で出来る!イケてるconfluenceページ
5分で出来る!イケてるconfluenceページ
はじめてのソフトウェアテスト2019
はじめてのソフトウェアテスト2019
ストリーム処理勉強会 大規模mqttを支える技術
ストリーム処理勉強会 大規模mqttを支える技術
テストプロセス改善モデルの最新動向
テストプロセス改善モデルの最新動向
スクレイピングとPython
スクレイピングとPython
IT系エンジニアのためのプレゼンテーション入門
IT系エンジニアのためのプレゼンテーション入門
アップルの特許に見るUI特許のポイント
アップルの特許に見るUI特許のポイント
【Unite Tokyo 2019】Unity Test Runnerを活用して内部品質を向上しよう
【Unite Tokyo 2019】Unity Test Runnerを活用して内部品質を向上しよう
Lightweight Keycloak
Lightweight Keycloak
ユーザビリティテストをやってみよう
ユーザビリティテストをやってみよう
基礎からのOAuth 2.0とSpring Security 5.1による実装
基礎からのOAuth 2.0とSpring Security 5.1による実装
EtherCATやPROFINETを OPC UAで接続してみた
EtherCATやPROFINETを OPC UAで接続してみた
ChatGPTをシステムに組み込むためのプロンプト技法 #chatgptjp
ChatGPTをシステムに組み込むためのプロンプト技法 #chatgptjp
はじめてのソフトウェアテスト
はじめてのソフトウェアテスト
「開発がスクラム導入するんだって!試験どーしよ!?」 -サイボウズQAスクラム奮闘記-
「開発がスクラム導入するんだって!試験どーしよ!?」 -サイボウズQAスクラム奮闘記-
空間を認識する - 取り込みから表示まで -
空間を認識する - 取り込みから表示まで -
メトリクスによるソフトウェア品質把握と改善- 演習を交えた品質測定評価の落とし穴とコツの習得 -
メトリクスによるソフトウェア品質把握と改善- 演習を交えた品質測定評価の落とし穴とコツの習得 -
【Unity】 Behavior TreeでAIを作る
【Unity】 Behavior TreeでAIを作る
目grep入門 +解説
目grep入門 +解説
Más de H Iseri
フィーチャモデルの描き方
フィーチャモデルの描き方
H Iseri
クラシフィケーション・ツリー法入門
クラシフィケーション・ツリー法入門
H Iseri
レガシーコードとの付き合い方とテストでの話
レガシーコードとの付き合い方とテストでの話
H Iseri
探索的テスト入門
探索的テスト入門
H Iseri
組み込み開発でのシステムテスト自動化の一つの考え方(STAC)
組み込み開発でのシステムテスト自動化の一つの考え方(STAC)
H Iseri
ユニットテストの保守性を作りこむ, xpjugkansai2011
ユニットテストの保守性を作りこむ, xpjugkansai2011
H Iseri
Más de H Iseri
(6)
フィーチャモデルの描き方
フィーチャモデルの描き方
クラシフィケーション・ツリー法入門
クラシフィケーション・ツリー法入門
レガシーコードとの付き合い方とテストでの話
レガシーコードとの付き合い方とテストでの話
探索的テスト入門
探索的テスト入門
組み込み開発でのシステムテスト自動化の一つの考え方(STAC)
組み込み開発でのシステムテスト自動化の一つの考え方(STAC)
ユニットテストの保守性を作りこむ, xpjugkansai2011
ユニットテストの保守性を作りこむ, xpjugkansai2011
PyAutoGUI等Pythonライブラリによる自動化支援
1.
PyAutoGUI等Pythonライブラリによる自動化支援 2016/7/24 テスト自動化研究会 事例報告 井芹 洋輝 【アウトライン】 Part.1 PyAutoGUI
& PyUnitによるGUIベースのテスト自動化 (おまけ)Part.2 PyAutoGUI & PyUnit +色々なPythonライブラリ活用 (おまけ)Part.3 OpenCVによる現実空間のテスト自動化
2.
宣伝 • U30テスト設計コンテスト(30歳以下のテスコン) 開催します! •
チュートリアル開催中。募集は来月予定 • 審査委員長を担当しています • http://aster.or.jp/business/contest/rulebooku30.html
3.
Part.1 PyAutoGUI & PyUnitによる GUIベースのテスト自動化
4.
PyAutoGUIとは • マウス操作、キーボード操作、スクリーンショット操作を自動化するPython 向けライブラリ • https://pyautogui.readthedocs.io/ •
コンセプト • 可能な限りシンプルかつ直感的に使える • どんな環境(e.g. win or mac or linux)でも同じように動く • テスト自動化ツールというわけではないですが、お手軽に自動化ツールを 組めるため今回紹介
5.
PyAutoGuiの例:APIの例 import pyautogui pyautogui.moveTo(100, 200) #座標100、200にマウスを移動させる pyautogui.click() #マウスをクリックする pyautogui.typewrite('Hello world!') #文字を打つ pyautogui.keyDown('shift') #シフトキーを押しっぱなしにする position = pyautogui.locateCenterOnScreen('target.png') #target.pngと一致 する場所の中心の座標を取得する 平易な1ステートメントでGUI操作を記述
6.
PyAutoGuiの例:詳細なパラメータ指定の例 #画面上でhoge.pngとマッチする座標を取得 pyautogui.locateOnScreen(‘hoge.png’) #グレースケールでマッチングして座標を取得 pyautogui.locateOnScreen(‘hoge.png’, grayscale=True) #指定の領域から座標を取得 pyautogui.locateOnScreen(‘hoge.png’, region=(0,0, 300, 400)) #処理実行のインターバルを変更 pyautogui.PAUSE = 0.2 デフォルトはシンプルに、必要に応じて詳細に
7.
PyUnit • ライブラリ名unittest。Python向け標準xUnitフレームワーク • シンプルで汎用性が高い •
ツールチェーンも自由に構築できる • Jenkis向けXML生成、テスト結果集計などテスト用機能を手軽に利用できる
8.
PyAutoGUI & PyUnit • PyUnitでテストフレームワーク構築 実行、結果評価をPyAutoGuiで実装 •
PyUnitの機能を使いながら、GUIベースのテスト自動化を実現 • 用途を絞ればSikuli程度のツールは簡単に組める
9.
PyAutoGUIデモ:タッチパッド操作テスト自動化 • 指定のタッチバッド操作でMac OS情報画面を表示できることを自動テスト
10.
PyAutoGUIデモ:タッチパッド操作テスト自動化 #macアイコンをクリック position = pyautogui.locateCenterOnScreen('mac_icon.png') pyautogui.click(position) #情報表示メニューをクリック position = pyautogui.locateCenterOnScreen('about.png') pyautogui.click(position) #表示を待つ time.sleep(1) #表示確認 position = pyautogui.locateOnScreen('os_info.png') self.assertNotEqual(position, None)
11.
PyAutoGuiの問題点 • GUI&キャプチャ画像操作しばり • 画像のマッチングで誤差の許容範囲を指定できない •
透過効果や強調処理(影、フェード処理など)に弱い • 処理が遅い
12.
Part.2 PyAutoGUI & PyUnit +色々なPythonライブラリ活用
13.
色々なPythonライブラリの活用 • Pythonはテスト自動化で活用できるライブラリが多数公開されてる • GUI操作(pyautogui等)、ブラウザ操作(selenium.webdriver等)、Excel操作(openpyxl)、 画像処理(opencv等)、文字識別(tesseract等)、機械学習(TensorFlow、scikit-learn等)、 その他諸々・・ •
Pythonベースでテスト自動化フレームワークを組むと、それらライブラリの 活用が可能になる
14.
matplotlib • MATLABを参考にしたライブラリ。 MATLABのような高機能グラフを簡単に出力できる。 • ※テスト自動化用途ではないが、MATLABでシミューレションや検証を行っ ている人なら、自動化環境の補助チェックとしてスムーズに導入できる
15.
matplotlibデモ • プログレスバーのテスト自動化(PyAutoGUIで操作を自動化) • 自動操作で得られたデータを目視確認できるようにグラフ化 プログレスバー画面 テスト対象ソフトウェア PyUnit PyAutoGUI 1.自動タッチパッド操作 2. 連続画面キャプチャ
3. プログレスバーの時間 経過に対する推移 4. 時間×進捗のグラフ matplotlib
16.
statsmodels(+pandas, numpy) • 連続系のモデルやデータの分析ライブラリ • statsmodels.formula •
Rを参考にしたAPIを使える • モデルの式を文字列で記述できる
17.
statsmodels.formula • モデル式 • 「log(OutputData) = 係数a×log(InputData)+係数b」 •
Pythonでの記述(線形回帰分析) • 「sm.ols(formula=“np.log(OutputData) ~ np.log(InputData)”, data=datalist)」 (1) OutputDataとInputDataを指定する
18.
statsmodels.formula (2)線形回帰分析でモデルの各係数や、モデルとデータの差異を分析 (略) R-squared: 0.779 (略) coef std
err t P>|t| [95.0% Conf. Int.] --------------------------------------------------------------------------- Intercept 2.4606 0.325 7.578 0.000 1.794 3.127 np.log(Ouput Data) 0.9564 0.098 9.766 0.000 0.755 1.157 log(Output Data) = 係数a×log(Input Data)+係数b モデルとの合致性パラメータを複数出力
19.
statsmodels.formulaデモ:プログレスバーの自動テスト • PyAutoGUIで自動操作。プログレスバー進捗を連続キャプチャで取得 • プログレスバーの進捗推移を、線形回帰分析でモデル化。モデルの係数 で、プログレスバーの進捗が意図通りか自動テストする プログレスバー機能 テスト対象ソフトウェア PyUnitPyAutoGUI 1.自動タッチパッド操作 2. 連続画面キャプチャ 3. プログレスバーの時間 経過に対する推移 statsmodels 4. プログレスバー進捗の 近似モデルのパラメータ 5. 合否結果
20.
statsmodels.formulaデモ:プログレスバーの自動テスト #プログレスバーの進捗の回帰分析結果を取得 def analysis_trend(time, data): trend_data = pd.DataFrame([time, data]).T trend_data.columns
= ["time", "progress"] result = sm.ols(formula = "progress ~ np.log(time)", data=trend_data).fit() return result.params class TestProgressBar(unittest.TestCase): def test_progress_bar(self): #処理高速化のため、GUI操作対象の領域を特定してそこだけ操作するようにする target_area = pyautogui.locateOnScreen('target_area.png') target_region = location_to_region(target_area) #プログレスバーの開始と終了の座標および長さを取得(進捗の取得のため) start_position = pyautogui.locateOnScreen('progress_start.png', grayscale=True, region=target_region) end_position = pyautogui.locateOnScreen('progress_end.png', region=target_region) length = end_position[0] - start_position[0] #プログレスバー 開始操作 position = pyautogui.locateCenterOnScreen('start_button.png', region=target_region) pyautogui.click(transform_coord(position)) (続く)
21.
statsmodels.formulaデモ:プログレスバーの自動テスト (続き) #プログレスバー進捗取得 progress_pos = [] progress_time = [] start_time
= time.time() time.sleep(1) while True: position = pyautogui.locateCenterOnScreen('progress_current.png', region=target_region) if position == None: break progress_pos.append((position[0] - start_position[0]) * 100 / length) progress_time.append(time.time() - start_time) #モデルとの合致性確認 result = analysis_trend(progress_time, progress_pos) self.assertTrue(result[0] < 20) self.assertTrue(result[1] > 50 and result[1] < 100) 今回のモデル:progress_pos= result[1]×log(progress_time)+result[0]
22.
Part.3 OpenCVによる 現実空間のテスト自動化
23.
OpenCV • オープンソースのコンピュータビジョンのライブラリ • 基本的な画像処理全般に対応。その他、録画・キャプチャ・カメラ制御、 キーボード操作などを扱える •
ロボットの移動制御やLED表示等、現実空間のテストの自動化を単独でサ ポートできる
24.
OpenCVデモ:クレーンロボットのテスト自動化 • Macbook Proのカメラで動画撮影。OpenCVでクレーン位置を解析 •
テスト自動化環境の配置チェックと、クレーン制御機能テスト(クレーン位 置が指示通りである事をテスト)を自動化 クレーンロボット 1.動作指示通信 2.動画撮影 PC PyUnit OpenCV 3.ロボット位置情報 (クレーンの遠さと 座標位置) 4.テスト結果 通信制御 ※準備が間に合わなかった ので今回は人間で代用
25.
OpenCV余談 • 近年のPythonでは、コンピュータビジョンやデータ分析のライブラリが充実 • 誰でも手軽にコンピュータビジョンベースの自動テストを構築できるようになった •
テストオラクルやシミュレーションのモデル作成も敷居が下がった 高精度を求めなければ機械学習のアプローチでモデルを構築できるようになった • Pythonは組み込みエンジニアにとって重要な基礎教養
26.
おわり
Descargar ahora