Recomendados
Más contenido relacionado
Más de IttrainingIttraining
Más de IttrainingIttraining (20)
物件辨識攝影機
- 1. 物件識別攝影機 組長: 陳O芳 組員: 羅O全、鄭O嚀、鄭O峯、李O 指導老師: Joseph chen & Alan chen
- 2. 目錄 contents 1 專題動機 2 專題目標 3 系統架構 4 實現方式 & Demo 5 後續發展
- 4. 專題動機 某一天….差不多八月中，我們小組在課堂休息時間聊天哈啦，突然聊到 9月底的專題彼此AI題目想做什麼? A : 能幫助社會的機器人，B : 聊天機器人，C : 眼睛解鎖器，這時組長說~ 我倒是想做一個，可以幫我記錄時間、標記事物的攝影機，為什麼?因為我 家有一個魚池，但每天起床都會發現魚死在魚池周圍，我想查詢魚兒們死 因，偏偏我家錄影機比較老舊，老舊就算了還會自動關機日期會跳回1970 年1月1日，變得我要查詢都要一個一個檔案抓出來，一個一個重頭看到 尾….如果有一個紀錄時間、標記事物，我看一眼就能知道原因的攝影機多 好?
- 6. 專題目標 一. 紀錄時間 三. 警報功能 二. 能分辨人與動物 四. 亮燈號 五. 能截圖 六. 寄E-mail
- 7. 物件識別結構 影像抓取 Gstreamer Object detection TFLite模型推理 亮燈 蜂鳴器 發出警報 傳送E-mail 人類 Human 動物 Animal 框住物件 截圖
- 9. 硬體配置 蜂鳴器 燈 WIFI Coral AI TPU 攝影鏡頭 Raspberry Pi 3 B+ Raspberry Pi 3 B+ 擴充版
- 11. MobileNet SSD v2 MobileNet V2的SSDLite 在COCO 數據 集上超過了YOLO v2，並且大小 小10倍 速度快20倍 可以說是又小又快又好。另外，應用在 目標檢測任務上，也能得到很好的效果。
- 13. 物件識別功能 1. 發現目標：紀錄時間、截取關鍵影像、註記目標物 2. Detect目標：使用MobileNet SSD v2 3. 目標物為人：發出燈號(亮燈)、蜂鳴器製造噪音(長) 4. 目標物為動物：發出燈號(亮燈)、蜂鳴器製造噪音(指定的動物聲) 5. 有網路時，即時發送E-mail
- 14. 物件辨識流程 Video source 640 x 480 Gstreamer pipeline Object Detection模型 (MobileNet SSD v2) 類別 座標 信心值 1. 2. 3. Rescale 300 x 300
- 15. 物件辨識流程 1.警報 2.截圖 3.亮燈 4.發送E-mail 類別 座標 信心值 Object Detection模型 (MobileNet SSD v2) Gstreamer pipeline 信心值>50 信心值>80 1. 2. 3.
- 17. 有偵測到 沒偵測到 物件辨識畫面
- 19. 傳送E-mail
- 20. Sink 物件辨識流程 Video source 640 x 480 Gstreamer pipeline Object Detection 模型 Rescale 300 x 300 Rescale 640 x 480 信心值>50% Ximage 1.警報 2.截圖 3.亮燈 4.發送E-mail 信心值>80% 97% person
- 21. 現場Demo
- 23. 錄影存檔 Flask
- 24. Thank Everyone Have A Nice Day
Notas del editor
- 某一天….差不多八月中，我們小組在課堂休息時間聊天哈啦，突然聊到9月底的專題彼此AI題目想做什麼? A : 能幫助社會的機器人，B : 聊天機器人，C : 眼睛解鎖器，這時組長說~ 我倒是想做一個，可以幫我記錄時間、標記事物的攝影機，為什麼?因為我家有一個魚池，但每天起床都會發現魚死在魚池周圍，我想查詢魚兒們死因，偏偏我家錄影機比較老舊，老舊就算了還會自動關機日期會跳回1970年1月1日，變得我要查詢都要一個一個檔案抓出來，一個一個重頭看到尾….如果有一個紀錄時間、標記事物，我看一眼就能知道原因的攝影機多好? 在後續AI專題討論時，我們便決定，挑選組長的題目來製作，原因，1.手邊教材較多2.可行性較高3.激發組員們興趣
- 我們的流程是 先用Gstreamer 抓取畫面，使用Object detection TFLite模型進行物件推理，當Object detection判定有抓到物件時，會亮燈號，蜂鳴器也會發出警報，最後傳送E-mail給使用者。至於中間使用了那些參數，圖進行什麼樣的壓縮，怎麼連動機器，下一頁會解釋。
- SSD結合了YOLO中的回歸思想和Faster-RCNN中的Anchor機制，使用全圖各個位置的多尺度區域進行回歸，既保持了YOLO速度快的特性，也保證了窗口預測的跟Faster-RCNN一樣比較精準。 SSD的核心是在不同尺度的特徵特徵圖上採用卷積核來預測一系列Default Bounding Boxes的類別、坐標偏移。
- https://blog.csdn.net/zt1091574181/article/details/90442228
- https://chtseng.wordpress.com/2019/02/16/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8google-object-detection-api%E8%A8%93%E7%B7%B4%E8%87%AA%E5%B7%B1%E7%9A%84%E6%A8%A1%E5%9E%8B/ 加個模型講解 最後會轉回640 * 480 的像素
- https://chtseng.wordpress.com/2019/02/16/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8google-object-detection-api%E8%A8%93%E7%B7%B4%E8%87%AA%E5%B7%B1%E7%9A%84%E6%A8%A1%E5%9E%8B/ 加個模型講解 最後會轉回640 * 480 的像素
- https://chtseng.wordpress.com/2019/02/16/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8google-object-detection-api%E8%A8%93%E7%B7%B4%E8%87%AA%E5%B7%B1%E7%9A%84%E6%A8%A1%E5%9E%8B/ 加個模型講解 最後會轉回640 * 480 的像素
- 小GtkDrawingArea部件用於創建自定義用戶界面元素。它本質上是一個空白小部件；你可以藉鑑它。創建繪圖區域後，應用程序可能要連接到： 鼠標和按鈕按下信號以響應用戶的輸入。（gtk_widget_add_events()用於啟用您希望接收的事件。） GtkWidget::realize當小部件在特定顯示器上實例化時採取任何必要操作的信號。（響應此信號創建GDK資源。） GtkWidget::size-allocate小部件更改大小時採取任何必要操作的信號。 GtkWidget::draw處理重繪小部件內容的信號。 畫框一步我們建了GTK 全重繪畫區，並在指令上特別設定判定差過80%才會顯示框框 PS.框框 畫法 便是在指令
- 最後發送E-mail 也包含在我們另外寫的class 內容 來自誰，收信者誰(管理員) ，寄信格式包含label，所以在信件收到那一刻，我們就能知道畫面拍攝到的是人還是動物。
- https://chtseng.wordpress.com/2019/02/16/%E5%A6%82%E4%BD%95%E4%BD%BF%E7%94%A8google-object-detection-api%E8%A8%93%E7%B7%B4%E8%87%AA%E5%B7%B1%E7%9A%84%E6%A8%A1%E5%9E%8B/ 加個模型講解 最後會轉回640 * 480 的像素