Conceitos de edge computing sendo mostrado em um experimento envolvendo ESP32 com cameras, um Raspberry pi rodando inferências localmente com Tensorflow e agindo como um gateway no Cloud Iot Core e uma camada serverless na nuvem que armazena os dados processados das imagens.

1. EDGE COMPUTING NA PRÁTICA
COM IOT, MACHINE LEARNING E COM GOOGLE CLOUD
Alvaro Viebrantz
aviebrantz.com
@alvaroviebrantz

2. Alvaro Viebrantz
@alvaroviebrantz
aviebrantz.com
Google Developer Expert for IoT
Product Engineer @ Leverege
Organizador do GDG Cuiabá e DevMT

3. ON PREMISE

5. 5

6. Pilares
Disponibilidade Manutenção Escalável
Economia
6

7. O QUE É
EDGE COMPUTING ?

8. QUANDO FAZ SENTIDO ?

9. TEMPO DE RESPOSTA

10. USO DE BANDA

11. FUNCIONAR OFFLINE

12. PRIVACIDADE

13. CUSTO

14. MÃO NA MASSA

15. VAMOS VER ISSO NA PRÁTICA
USANDO CAMERAS COMO SENSORES

16. 16
Cameras como sensores
Projeto de Edge Computing
• Cameras com Wifi o mais barato possível
• Servidor local processando as imagens
• Detecção de objetos usando Machine Learning
• Enviar dados processados para a nuvem
• Fornecer interface web para ver localmente e remotamente
os dados

17. 17
Arquitetura do Projeto

18. HARDWARE

19. 19
ESP32 Cam Raspberry Pi 3
10$
FTDI

20. PROGRAMANDO AS CAMERAS

21. OBJETIVO
FORNECER AS IMAGENS
NA REDE LOCAL

22. 22

24. 24
ESP-IDF
SDK Oficial para programar micro-controladores da Espressif
• Várias coisas estão sendo lançadas usando essa SDK.
• esp32-camera — Drivers para cameras
• esp-who — Framework de visão computacional
• esp-adf — Trabalhar com audio
• esp-mdf — Redes mesh

25. 25

26. 26
Firmware das cameras
github.com/alvarowolfx/gcloud-iot-edge-tensorflow/tree/master/esp32-camera-firmware
• Conexão com a camera OV2640
• Endpoint HTTP para acesso a foto
• Serviço mDNS
• Para que as cameras possam ser encontradas na rede
local — {INSTANCE_NAME}.local/jpg
• Serviço _camera e protocolo _tcp

27. 27
mDNS
Protocolo de descoberta na rede local
• http://indoor-camera-ec5d.local/jpg
• http://indoor-camera-60d8.local/jpg

28. DEMO TIME
MAY THE DEMO GODS BE WITH US

29. SETUP EM NUVEM

30. RECEBIMENTO DOS DADOS

33. GERENCIAMENTO DOS DISPOSITIVOS

35. https:!//cloud.google.com/iot/docs/how-tos/gateways/

37. COMUNICAÇÃO
AUTENTICAÇÃO E
AUTORIZAÇÃOPROTOCOLOS

38. MENSAGERIA - FILA DE
PROCESSAMENTO

40. GATEWAY LOCAL

41. OBJETIVO
BUSCAR IMAGENS, CLASSIFICAR E
ENVIAR PRA NUVEM

42. 42
PODEMOS PROGRAMAR EM
QUALQUER LINGUAGEM

43. 43

44. 44
@tensorflow/models — npm package
Modelo prontos para serem usados
• Classificação e detecção de objetos
• Estimativa de posição
• Comandos de voz

45. 45
Server local
github.com/alvarowolfx/gcloud-iot-edge-tensorflow/tree/master/edge-server

46. 46
• Busca cameras usando mDNS — DeviceListener
• Detecta objeto nas imagens (Image Classifier)
• Tensorflow e o modelo cocossd
• Envia dados via mqtt para a nuvem (CloudIoTCoreGateway)
• Utiliza o modo Gateway do Cloud IoT Core
• Disponibiliza interface web que sincroniza usando socket.io
Server local
github.com/alvarowolfx/gcloud-iot-edge-tensorflow/tree/master/edge-server

47. 47

48. 48

49. 49

50. 50

51. 51

52. 52

53. 53

54. PROCESSAMENTO DOS DADOS

55. PROGRAMAÇÃO
ORIENTADA A EVENTOS

56. NODEJS
PYTHON (BETA)
GOLANG (BETA)

57. ARMAZENAMENTO DOS DADOS

59. DADOS EM FORMA DE ÁRVORE - JSON
SDK PARA VÁRIAS LINGUAGENS

60. 60

61. 61

62. 62
FIREBASE DEPLOY 🔥 🔥 🔥

63. VISUALIZAR OS DADOS

64. !64

65. !65

66. !66

67. !67

68. DEMO TIME
MAY THE DEMO GODS BE WITH US

69. TRABALHOS FUTURO

70. Estimar posição
Modelo Posenet

71. Treinar modelo customizado
Detectar pessoas especificas ou diferenciar meus gatos

72. Treinar modelo customizado
Detectar pessoas especificas ou diferenciar meus gatos

73. Enviar alertas
Definir regras para mandar mensagens — se uma classe for vista em um cômodo

74. OBRIGADO
Alvaro Viebrantz
aviebrantz.com
@alvaroviebrantz