Measure the three coordinate by image process.

2. Electrical Engineering Major
Technical Management Sub Major
President of Student Association
Han Yang Chang
張翰揚
The Automation Design Competition
Project Leader
Young Entrepreneurs of the Future
2015 YEFer (member)
Lakala E-billing Technology &
Service Co.
Technical Assistant , Intern

3. Outline
1 • Concept
2 • System
3 • Question & Algorithm
4 • Demo
5 • Conclusion & Application
6 • Q&A

4. Concept System Algorithm Demo Conclusion Q&A
固定外部參考圖形

5. Concept System Algorithm Demo Conclusion Q&A

6. 機構
獨立
量測
設計
外部圖形
Concept System Algorithm Demo Conclusion Q&A

7. 多個
鏡頭
三點
定位
移動
測量
Concept System Algorithm Demo Conclusion Q&A

8. Concept System Algorithm Demo Conclusion Q&A
深度
演算
單一
鏡頭

9. Concept System Algorithm Demo Conclusion Q&A

10. 影像
校正
影像
銳化
提取
訊息
計算
分析
三維
座標
回傳
位置
Concept System Algorithm Demo Conclusion Q&A

11. 1th 2th 3th 4th
Concept System Algorithm Demo Conclusion Q&A

12. PCI-DMC-B01*1 三軸伺服馬達-ECMA-C105/6
馬達驅動器-ASD-A20421-F
Concept System Algorithm Demo Conclusion Q&A

13. Concept System Algorithm Demo Conclusion Q&A

14. • ｘ*1280000
（pulse）
• ｙ*1280000
（pulse）
• ｚ*1280000*2
（pulse）
單位
換算
_DMC_01_star
t_ta_move
送入
指令
一、指定座標
Concept System Algorithm Demo Conclusion Q&A

15. 二、圓弧移動
X’=r*cos(𝜃 + 0.01)
X=r*cos(𝜃)
ΔX=X-X’（變動量）
θ
Concept System Algorithm Demo Conclusion Q&A

16. 三、立方運動
於介面設定八個定點，依序移動至以下：
(0,0,0),(0,0,r),(0,r,0),(0,r,r),(r,0,0),(r,0,r),(r,r,0),(r,r,r)
Concept System Algorithm Demo Conclusion Q&A

17. Concept System Algorithm Demo Conclusion Q&A

18. 3D scatter chart-motor 3D scatter chart-image
Concept System Algorithm Demo Conclusion Q&A

19. Concept System Algorithm Demo Conclusion Q&A
一、如何的得到三維立體座標？
二、照光的角度不同，造成顏色難以區分？
三、三角形的邊長會有方格狀，造成取頂點時的誤差？
四、在移動過程中，如何解決看不到三角形的問題？
五、遮罩的傾斜度會造成誤差？

20. 一、如何的得到三維立體座標？ 1. 計算xy平面的移動距離
• 重心座標（ｘ,ｙ）＝
（(x1+x2+x3)/3, (y1+y2+y3)/3）
• 計算三角形重心與鏡像中心點的距離（Ｄ）
Ｄｘ﹐ｙ＝
座標像素點差距（pixel）*
(三角形實際邊長（cm）)/(三角形影像邊長（pixel）)
• 三角形實際邊長（cm）：
大三角形為１５公分，小三角形則為8公分
• 座標像素點差距（pixel）：
ｘ－Ｗ/２；ｙ－Ｌ/２
Concept System Algorithm Demo Conclusion Q&A

21. 感光元件
Webcam
校正後量測距離
Concept System Algorithm Demo Conclusion Q&A

22. Webcam
Z軸移動
移動距離
=在感光元件上的影像三角形的邊長變化
Concept System Algorithm Demo Conclusion Q&A

23. Concept System Algorithm Demo Conclusion Q&A
一、如何的得到三維立體座標？ 2. 計算深度距離
（利用攝影機拍攝速率及馬達實際運動速率）
原理：
假設馬達的速率恆定在區域二內動作，不考慮響應
上的延遲時（區域一、三）。
利用照相機在某個頻率取樣時，依照此頻率的倒數，
我們可以得知此馬達運動的時間，在藉由此段時間
及相對應的運動速率，我們可以知道實際上照相機
移動的距離，再藉由影像所取得的xy平面移動距離，
我們及可以推論出深度的移動距離。

24. Concept System Algorithm Demo Conclusion Q&A
一、如何的得到三維立體座標？ 2. 計算深度距離
（利用攝影機拍攝速率及馬達實際運動速率）
影像擷取速率：Ｐ（張／秒）
馬達轉速：Ｖ（公分／秒）
整體移動距離：Ｓ（公分）
ｘｙ平面移動距離：Ｋ（公分）
影像深度：Ｄ（公分）
前一次ｘ,ｙ,ｚ的數值：（ｘbefore,ｙbefore,ｚbefore）
目前的ｘ,ｙ,ｚ的數值：（ｘnow,ｙnow,ｚnow）
Ｄ２=Ｓ２-Ｋ２
Ｋ＝ （𝐱 𝐧𝐨𝐰－𝐱 𝐛𝐞𝐟𝐨𝐫𝐞）
𝟐
＋（𝐲 𝐧𝐨𝐰－𝐲 𝐛𝐞𝐟𝐨𝐫𝐞）
𝟐
ｚnow＝ｚbefore±Ｄ（±代表馬達的正逆轉）
立體運動示意圖
Ｋ
Ｓ
Ｄ

25. 二、照光的角度不同，造成顏色難以區分？ Ans : 利用ＲＧＢ轉ＨＳＶ做調整
利用cvtColor作色彩空間轉換RGB to HSV
如果Ｈ<0 然後Ｈ<= H + 360 。
在輸出時0≦V≦1，0≦S≦1，0≦H≦360。
Concept System Algorithm Demo Conclusion Q&A

26. 二、照光的角度不同，造成顏色難以區分？
Concept System Algorithm Demo Conclusion Q&A

27. 三、三角形的邊長會有方格狀，造成取頂點時的誤差？
對於求一個銳化後的像素點（sharpened_pixel），這個基於拉普拉斯算子的簡單算法主要是遍歷
圖像中的像素點，根據領域像素確定其銳化後的值
計算公式：
Sharpened pixel = 5 * current - left - right - up - down ;
Ans：圖像銳化
Up
Left Current
(Sharpened pixel)
Right
Down
-1
-1 5 -1
-1
Concept System Algorithm Demo Conclusion Q&A

28. 三、三角形的邊長會有方格狀，造成取頂點時的誤差？
銳化前： 銳化後：
Concept System Algorithm Demo Conclusion Q&A

29. 四、在移動過程中，如何解決看不到三角形的問題？
1. 大三角形且完整的，原始圖像是移動至（5,5,0）
輸出結果：
ｘ＝4.94009cm
ｙ＝4.95842cm
ｚ＝-0.418609cm
Concept System Algorithm Demo Conclusion Q&A

30. 四、在移動過程中，如何解決看不到三角形的問題？
2. 大三角形且不完整的，原始圖像是移動至（15,5,0）
輸出結果：
ｘ＝14.9538cm
ｙ＝5.47584cm
ｚ＝2.16041cm
Concept System Algorithm Demo Conclusion Q&A

31. 四、在移動過程中，如何解決看不到三角形的問題？
3. 小三角形且完整的，原始圖像是移動至（10,5,0）
輸出結果：
ｘ＝9.90236cm
ｙ＝5.05249cm
ｚ＝1.2815cm
Concept System Algorithm Demo Conclusion Q&A

32. 四、在移動過程中，如何解決看不到三角形的問題？
4. 小三角形且不完整的，原始圖像是移動至（5,5,0）
輸出結果：
ｘ＝4.46787cm
ｙ＝5.17408cm
ｚ＝-0.8535cm
Concept System Algorithm Demo Conclusion Q&A

33. 四、在移動過程中，如何解決看不到三角形的問題？ 1. 遮罩設計
• 大三角形為15cm，小三角形為8cm
• 大三角形：以顏色較為分明的為主
• 小三角形：其黑色與綠/黃分開
• 兩種三角形以大三角形最多
Concept System Algorithm Demo Conclusion Q&A

34. 四、在移動過程中，如何解決看不到三角形的問題？
範例：移動至（５,５,０）座標
1. 遮罩設計－大三角形精度高
利用較小的三角形進行計算，結果（4.46,5.17,4.28）
Concept System Algorithm Demo Conclusion Q&A

35. 四、在移動過程中，如何解決看不到三角形的問題？
範例：移動至（５,５,０）座標
1. 遮罩設計－大三角形精度高
利用較大的三角形進行計算，結果（4.94,4.95,-0.41）
Concept System Algorithm Demo Conclusion Q&A

36. 四、在移動過程中，如何解決看不到三角形的問題？
求解兩條直線方程式，分別是：
ａｘ＋ｂｙ＋ｃ＝０
ｄｘ＋ｅｙ＋ｆ＝０
ｘ＝（ｂ*ｆ－ｅ*ｃ）／（ａ*ｅ－ｂ*ｄ）
ｙ＝（ａ*ｆ－ｄ*ｃ）／（ｂ*ｄ－ａ*ｅ）
2. 利用直線方程式求解三頂點
因此可以求得三角形的三頂點解
（ｘ１,ｙ１）（ｘ２,ｙ２）（ｘ３,ｙ３）
Concept System Algorithm Demo Conclusion Q&A

37. 四、在移動過程中，如何解決看不到三角形的問題？
Concept System Algorithm Demo Conclusion Q&A

38. 五、遮罩的傾斜度會造成誤差？ 1.計算傾斜角度（固定深度）
Ｈ＝Ｌ*/2（三角形的高度）
ｈ＝點到直線的距離
θ＝（＋：向前傾斜；－：向後傾斜）
H
h
Ｌ
修正後三角形
傾斜後三角形
θ
Ｈ＝Ｌ*/2（三角形的高度）
ｈ＝點到直線的距離
θ＝（＋：向前傾斜；－：向後傾斜）
Concept System Algorithm Demo Conclusion Q&A

39. 五、遮罩的傾斜度會造成誤差？ 2. 初始化鏡頭校準
（ｘ,ｙ）為此鏡頭之鏡像中心點位置＝此校準三角形之重心位置
當上述條件成立後
ｘ,ｙ補償量＝（鏡像中心點－三角形重心位置）*轉換比
• （ｘ,ｙ）為鏡像中心點位置
＝校準三角形之重心
• ｘ,ｙ補償量＝
（鏡像中心點－三角形重心位置）*轉換比
Concept System Algorithm Demo Conclusion Q&A

40. 五、遮罩的傾斜度會造成誤差？ 3. 馬達運動過程，三頂點校準
（ｘ,ｙ）為此鏡頭之鏡像中心點位置＝此校準三角形之重心位置
當上述條件成立後
ｘ,ｙ補償量＝（鏡像中心點－三角形重心位置）*轉換比
Concept System Algorithm Demo Conclusion Q&A

41. 五、遮罩的傾斜度會造成誤差？
（ｘ,ｙ）為此鏡頭之鏡像中心點位置＝此校準三角形之重心位置
ｘ,ｙ補償量＝（鏡像中心點－三角形重心位置）*轉換比
輸入：
（15,0,0）
輸出結果：
ｘ＝
15.2149cm
ｙ＝
0.166982cm
ｚ＝
3.03181cm
Concept System Algorithm Demo Conclusion Q&A

42. 五、遮罩的傾斜度會造成誤差？
（ｘ,ｙ）為此鏡頭之鏡像中心點位置＝此校準三角形之重心位置
ｘ,ｙ補償量＝（鏡像中心點－三角形重心位置）*轉換比
輸入：
（15,0,0）
輸出結果：
ｘ＝
15.2149cm
ｙ＝
0.166982cm
ｚ＝
0.259964cm
Concept System Algorithm Demo Conclusion Q&A

43. Concept System Algorithm Demo Conclusion Q&A
（ｘ,ｙ）為此鏡頭之鏡像中三十秒影片介紹位置＝此校準三角形之重
心位置
當上述條件成立後
ｘ,ｙ補償量＝（鏡像中心點－三角形重心位置）*轉換比

44. Concept System Algorithm Demo Conclusion Q&A
影像 馬達
信息
結合
編碼、工件誤差直接量測
獨立量測
累積誤差
降低成本

45. We Need You !!

46. Concept System Algorithm Demo Conclusion Q&A

47. Thanks for your attention !!
LinkedinFacebook
Han Yang Chang