O documento discute a coleta de dados de dispositivos móveis e como esses dados podem ser usados para reconhecimento de atividades humanas através de classificadores de machine learning. Ele fornece exemplos de como dados de celulares, relógios e outros dispositivos podem ser usados para inferir localização, atividades físicas e comportamentos. O documento também descreve experimentos para classificar atividades como andar, subir escadas e sentar usando dados de acelerômetros.

1. Coisas estranhas que podemos fazer
com dados coletados em dispositivos
moveis: bye-bye privacidade!
Human Activity Recognition
Fabrcio J. Barth
fabricio.barth@gmail.com
Faculdade BandTec e Watson Group IBM
Novembro de 2014

2. Exemplos de dispositivos
e dados que podem ser
coletados
2

3. Celulares
Exemplos de dispositivos e dados que podem ser coletados | Celulares 3

4. Coleta informac~oes sobre:
Localizac~ao (latitude e longitude);
Movimentac~ao (aceler^ometro, giroscopio);
Ambiente (audio, proximidade, luminosidade);
Social (historico de ligac~oes, contatos).
Exemplos de dispositivos e dados que podem ser coletados | Celulares 4

5. Relogios
Exemplos de dispositivos e dados que podem ser coletados | Relogios 5

6. Coleta informac~oes sobre:
Frequ^encia cardaca;
Press~ao arterial.
Exemplos de dispositivos e dados que podem ser coletados | Relogios 6

7. Outras aplicac~oes (talvez menos uteis)
Exemplos de dispositivos e dados que podem ser coletados | Outras aplicac~oes (talvez menos uteis) 7

8. Monitora atividades fsicas
Exemplos de dispositivos e dados que podem ser coletados | Monitora atividades fsicas 8

9. Monitora:
Que atividade esta sendo realizada;
Qual a durac~ao;
Qual a frequ^encia.
Exemplos de dispositivos e dados que podem ser coletados | Monitora atividades fsicas 9

10. Disney
Exemplos de dispositivos e dados que podem ser coletados | Disney 10

11. Monitora:
Quando entrou e saiu do parque;
Por onde andou;
O que e quando comprou;
Em quais parques foi e quando foi.
Exemplos de dispositivos e dados que podem ser coletados | Disney 11

12. O que podemos fazer
com os dados coletados?
12

13. Primeiro exemplo de aplicac~ao [2]
O que podemos fazer com os dados coletados? | Primeiro exemplo de aplicac~ao [2] 13

14. O objetivo deste exemplo e construir um classi

15. cador
capaz de dizer que atividade (sitting, sitting down,
standing, standing up, walking) uma pessoa esta
realizando a partir de dados coletados de aceler^ometros
presentes no corpo desta pessoa.
O que podemos fazer com os dados coletados? | Primeiro exemplo de aplicac~ao [2] 14

16. Pipeline do processo para reconhecimento
de atividades [1]
O que podemos fazer com os dados coletados? | Pipeline do processo para reconhecimento de atividades [1] 15

17. Dados coletados e

18. ltrados
Dados coletados a partir de 4 tri-axial aceler^ometros.
Foram consideradas janelas de tempo de 1 segundo,
com overlapping de 150ms.
Medidas de roll, pitch e modulo de acelerac~ao foram
adquiridas.
A amostra dentro da janela de tempo foi agrupada e
atributos foram gerados (i.e., vari^ancia, media).
Foram

19. ltrados 12 atributos

20. nais - tr^es para cada
aceler^ometro.
O que podemos fazer com os dados coletados? | Dados coletados e

21. ltrados 16

22. Construc~ao do classi

23. cador
O dataset possui 165.633 exemplos e 19 atributos:
? user, gender, age, how tall in meters, weight,
body mass index, x1, y1, z1, , x4, y4, z4, class
O dataset foi dividido em conjunto de treinamento e
teste, respeitando a proporc~ao dos valores do atributo
class.
Refer^encia: http://rpubs.com/fbarth/har01
O que podemos fazer com os dados coletados? | Construc~ao do classi

24. cador 17

25. Alguns resultados da analise descritiva
O que podemos fazer com os dados coletados? | Alguns resultados da analise descritiva 18

26. O que podemos fazer com os dados coletados? | Alguns resultados da analise descritiva 19

27. Algoritmo utilizado para criac~ao do
modelo: Random Forest
O que podemos fazer com os dados coletados? | Algoritmo utilizado para criac~ao do modelo: Random Forest 20

28. Criando o modelo...
O que podemos fazer com os dados coletados? | Criando o modelo... 21

29. O que podemos fazer com os dados coletados? | Criando o modelo... 22

30. O que podemos fazer com os dados coletados? | Criando o modelo... 23

31. O que podemos fazer com os dados coletados? | Criando o modelo... 24

32. Outro modelo
Modelo que utiliza apenas dados do aceler^ometro localizado na
cintura (Erro estimado: 17.12%)
O que podemos fazer com os dados coletados? | Outro modelo 25

33. Validando o modelo completo com o
conjunto de testes
O que podemos fazer com os dados coletados? | Validando o modelo completo com o conjunto de testes 26

34. Resultados do trabalho original [2]
O que podemos fazer com os dados coletados? | Resultados do trabalho original [2] 27

35. Dado o mesmo dataset, sera que e
possvel determinar quem esta realizando
a atividade?
http://fbarth.net.br/humanActivityRecognition/scripts/har case01 user.html
O que podemos fazer com os dados coletados? | Dado o mesmo dataset, sera que e possvel determinar quem esta
realizando a atividade?
28

36. Segundo exemplo de aplicac~ao [1]
Os experimentos foram realizados com um grupo de 30
voluntarios entre 19-48 anos. Cada pessoa executou seis
atividades:
Walking: andando
Walking Upstairs: andando escada acima
Walking Downstairs: andando escada abaixo
Sitting: sentado
Standing: em pe
Laying: deitado
usando um smartphone (Samsung Galaxy II) na cintura.
O que podemos fazer com os dados coletados? | Segundo exemplo de aplicac~ao [1] 29

37. Com base nos sensores do smartphone, acelerom^etro e
giroscopio, foram capturados a acelerac~ao linear nos tr^es eixos e
a velocidade angular nos tr^es eixos.
O que podemos fazer com os dados coletados? | Segundo exemplo de aplicac~ao [1] 30

38. Adquirindo os dados
http://rpubs.com/fbarth/har02
O que podemos fazer com os dados coletados? | Adquirindo os dados 31

39. Separando os dados
O que podemos fazer com os dados coletados? | Separando os dados 32

40. Construindo o modelo
O que podemos fazer com os dados coletados? | Construindo o modelo 33

41. Construindo o modelo
O que podemos fazer com os dados coletados? | Construindo o modelo 34

42. Validando o modelo
O que podemos fazer com os dados coletados? | Validando o modelo 35

43. Comparando com o artigo original [1]
O que podemos fazer com os dados coletados? | Comparando com o artigo original [1] 36

44. Kaggle: Accelerometer
Biometric Competition
37

45. Kaggle: Accelerometer Biometric Competition | 38

46. Kaggle: Accelerometer Biometric Competition | 39

47. Google Fit, Google Fit
SDK, funf
40

48. Google Fit: lancado em 28/10/2014
Google Fit, Google Fit SDK, funf | Google Fit: lancado em 28/10/2014 41

49. Google Fit SDK
Google Fit, Google Fit SDK, funf | Google Fit SDK 42

50. funf: Open Sensing Framework
Google Fit, Google Fit SDK, funf | funf: Open Sensing Framework 43

51. Perguntas?
44

52. Obrigado!
Todo o material (slides e codigo) aqui apresentado e
Copyleft
O codigo fonte e encontrado em
http://github.com/fbarth
Demais materias s~ao encontrado em
http://fbarth.net.br
fabricio dot barth at gmail dot com
Perguntas? | Obrigado! 45

53. References
[1] Davide Anguita, Alessandro Ghio, Luca Oneto, Xavier Parra, and JorgeL. Reyes-Ortiz. Human activity recognition
on smartphones using a multiclass hardware-friendly support vector machine. In Jose Bravo, Ramon Hervas, and
Marcela Rodrguez, editors, Ambient Assisted Living and Home Care, volume 7657 of Lecture Notes in Computer
Science, pages 216{223. Springer Berlin Heidelberg, 2012.
[2] Wallace Ugulino, Debora Cardador, Katia Vega, Eduardo Velloso, Ruy Milidiu, and Hugo Fuks. Wearable comput-ing:
Accelerometers' data classi

54. cation of body postures and movements. In LelianeN. Barros, Marcelo Finger,
AuroraT. Pozo, GustavoA. Gimenenez-Lugo, and Marcos Castilho, editors, Advances in Arti

55. cial Intelligence -
SBIA 2012, Lecture Notes in Computer Science, pages 52{61. Springer Berlin Heidelberg, 2012.
45-1