2. • La globalización tecnológica y la innovación han
transformado la manera en que se imparten los
servicios de salud
• Las intervenciones médicas han sufrido un cambio
radical, pasando del “contacto personal directo y
puntual” en tiempo y espacio, hacia una interacción
“continua e independiente del espacio físico”
• Las enfermedades han
evolucionado, de agudas a
crónicas, al tiempo que la
población envejece
rápidamente en todo el mundo
2

3. • Estudio de técnicas aplicadas
al reconocimiento de
actividades físicas cotidianas
• Monitorización supervisada y
no supervisada
• Diferentes campos de
aplicación (teleasistencia,
e-salud, deportes, etc.)
3

4. • Definir una metodología propia para el
reconocimiento de actividades
• Mejorar los resultados en el marco
supervisado y seminaturalístico
 Analizar la información extraída de la
monitorización de ejercicios habituales
 Definir modelos de caracterización a partir
de las señales asociadas a cada actividad
 Establecer metodologías para la selección
de las variables más adecuadas
 Comparar diversas metodologías de
extracción de conocimiento
Para ello
4

5. FASE I:
Análisis de las
señales y
valoración de
qué pre-
procesado es
necesario
FASE II:
Identificación,
definición y
aplicación de
las técnicas
para extracción
de
características
FASE III:
Selección de
características
FASE IV:
Clasificación
FASE V:
Test, análisis de
los resultados y
selección del
modelo de
clasificador
5

6. • Cinco acelerómetros • Cuatro actividades
• Dos metodologías de
• Veinte individuos monitorización
Andar
Sentarse y relajarse
Permanecer de pie
Correr
6

7. 7
SENTARSE Y RELAJARSE
PERMANECER
DE PIE
CORRER
ANDAR

9. 0 200 400
5
5.5
6
6.5
Tiempo (seg)
Aceleración(G)
Cadera
0 200 400
3
4
5
6
7
8
Tiempo (seg)
Aceleración(G)
Muñeca
0 200 400
4
5
6
7
Tiempo (seg)
Aceleración(G)
Brazo
0 200 400
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 200 400
4
4.5
5
5.5
6
6.5
Tiempo (seg)
Aceleración(G)
Muslo0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Cadera
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Muñeca
0 100 200 300
2
4
6
8
10
12
Tiempo (seg)
Aceleración(G)
Brazo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Muslo
0 200 400 600
2
4
6
8
10
Tiempo (seg)
Aceleración(G)
Cadera
0 200 400 600
0
2
4
6
8
10
Tiempo (seg)
Aceleración(G)
Muñeca
0 200 400 600
0
5
10
15
Tiempo (seg)
Aceleración(G)
Brazo
0 200 400 600
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 200 400 600
2
4
6
8
10
Tiempo (seg)
Aceleración(G)
Muslo
0 100 200 300
4
6
8
10
Tiempo (seg)
Aceleración(G)
Cadera
0 100 200 300
3
4
5
6
7
8
Tiempo (seg)
Aceleración(G)
Muñeca
0 100 200 300
4
5
6
7
Tiempo (seg)
Aceleración(G)
Brazo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 100 200 300
2
4
6
8
10
12
Tiempo (seg)
Aceleración(G)
Muslo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Cadera
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Muñeca
0 100 200 300
2
4
6
8
10
12
Tiempo (seg)
Aceleración(G)
Brazo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Muslo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Cadera
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Muñeca
0 100 200 300
2
4
6
8
10
12
Tiempo (seg)
Aceleración(G)
Brazo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Muslo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Cadera
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Muñeca
0 100 200 300
2
4
6
8
10
12
Tiempo (seg)
Aceleración(G)
Brazo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Muslo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Cadera
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Muñeca
0 100 200 300
2
4
6
8
10
12
Tiempo (seg)
Aceleración(G)
Brazo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Muslo
0 200 400
5
5.5
6
6.5
Tiempo (seg)
Aceleración(G)
Cadera
0 200 400
3
4
5
6
7
8
Tiempo (seg)
Aceleración(G)
Muñeca
0 200 400
4
5
6
7
Tiempo (seg)
Aceleración(G)
Brazo
0 200 400
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 200 400
4
4.5
5
5.5
6
6.5
Tiempo (seg)
Aceleración(G)
Muslo
0 200 400
5
5.5
6
6.5
Tiempo (seg)
Aceleración(G)
Cadera
0 200 400
3
4
5
6
7
8
Tiempo (seg)
Aceleración(G)
Muñeca
0 200 400
4
5
6
7
Tiempo (seg)
Aceleración(G)
Brazo
0 200 400
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 200 400
4
4.5
5
5.5
6
6.5
Tiempo (seg)
Aceleración(G)
Muslo
0 200 400
5
5.5
6
6.5
Tiempo (seg)
Aceleración(G)
Cadera
0 200 400
3
4
5
6
7
8
Tiempo (seg)
Aceleración(G)
Muñeca
0 200 400
4
5
6
7
Tiempo (seg)
Aceleración(G)
Brazo
0 200 400
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 200 400
4
4.5
5
5.5
6
6.5
Tiempo (seg)
Aceleración(G)
Muslo
0 200 400
5
5.5
6
6.5
Tiempo (seg)
Aceleración(G)
Cadera
0 200 400
3
4
5
6
7
8
Tiempo (seg)
Aceleración(G)
Muñeca
0 200 400
4
5
6
7
Tiempo (seg)
Aceleración(G)
Brazo
0 200 400
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 200 400
4
4.5
5
5.5
6
6.5
Tiempo (seg)
Aceleración(G)
Muslo
0 200 400 600
2
4
6
8
10
Tiempo (seg)
Aceleración(G)
Cadera
0 200 400 600
0
2
4
6
8
10
Tiempo (seg)
Aceleración(G)
Muñeca
0 200 400 600
0
5
10
15
Tiempo (seg)
Aceleración(G)
Brazo
0 200 400 600
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 200 400 600
2
4
6
8
10
Tiempo (seg)
Aceleración(G)
Muslo
0 200 400 600
2
4
6
8
10
Tiempo (seg)
Aceleración(G)
Cadera
0 200 400 600
0
2
4
6
8
10
Tiempo (seg)
Aceleración(G)
Muñeca
0 200 400 600
0
5
10
15
Tiempo (seg)
Aceleración(G)
Brazo
0 200 400 600
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 200 400 600
2
4
6
8
10
Tiempo (seg)
Aceleración(G)
Muslo
0 200 400 600
2
4
6
8
10
Tiempo (seg)
Aceleración(G)
Cadera
0 200 400 600
0
2
4
6
8
10
Tiempo (seg)
Aceleración(G)
Muñeca
0 200 400 600
0
5
10
15
Tiempo (seg)
Aceleración(G)
Brazo
0 200 400 600
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 200 400 600
2
4
6
8
10
Tiempo (seg)
Aceleración(G)
Muslo
0 200 400 600
2
4
6
8
10
Tiempo (seg)
Aceleración(G)
Cadera
0 200 400 600
0
2
4
6
8
10
Tiempo (seg)
Aceleración(G)
Muñeca
0 200 400 600
0
5
10
15
Tiempo (seg)
Aceleración(G)
Brazo
0 200 400 600
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 200 400 600
2
4
6
8
10
Tiempo (seg)
Aceleración(G)
Muslo
0 100 200 300
4
6
8
10
Tiempo (seg)
Aceleración(G)
Cadera
0 100 200 300
3
4
5
6
7
8
Tiempo (seg)
Aceleración(G)
Muñeca
0 100 200 300
4
5
6
7
Tiempo (seg)
Aceleración(G)
Brazo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 100 200 300
2
4
6
8
10
12
Tiempo (seg)
Aceleración(G)
Muslo
0 100 200 300
4
6
8
10
Tiempo (seg)
Aceleración(G)
Cadera
0 100 200 300
3
4
5
6
7
8
Tiempo (seg)
Aceleración(G)
Muñeca
0 100 200 300
4
5
6
7
Tiempo (seg)
Aceleración(G)
Brazo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 100 200 300
2
4
6
8
10
12
Tiempo (seg)
Aceleración(G)
Muslo
0 100 200 300
4
6
8
10
Tiempo (seg)
Aceleración(G)
Cadera
0 100 200 300
3
4
5
6
7
8
Tiempo (seg)
Aceleración(G)
Muñeca
0 100 200 300
4
5
6
7
Tiempo (seg)
Aceleración(G)
Brazo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 100 200 300
2
4
6
8
10
12
Tiempo (seg)
Aceleración(G)
Muslo
0 100 200 300
4
6
8
10
Tiempo (seg)
Aceleración(G)
Cadera
0 100 200 300
3
4
5
6
7
8
Tiempo (seg)
Aceleración(G)
Muñeca
0 100 200 300
4
5
6
7
Tiempo (seg)
Aceleración(G)
Brazo
0 100 200 300
0
5
10
15
Tiempo (seg)
Aceleración(G)
Tobillo
0 100 200 300
2
4
6
8
10
12
Tiempo (seg)
Aceleración(G)
Muslo
Andar
Sentarse
y
relajarse
Permanecer
depie
Correr
9

10. • Acelerómetro del tobillo
28 30 32 34 36
3
4
5
6
7
Tiempo (seg)
Aceleración(G)
Andar
82 84 86 88 90 92
5
5.5
6
Tiempo (seg)
Aceleración(G)
Sentarse y relajarse
420 430 440 450
5
5.2
5.4
5.6
5.8
6
6.2
6.4
Tiempo (seg)
Aceleración(G)
Permanecer de pie
76 77 78 79 80
1
2
3
4
5
6
7
8
Tiempo (seg)
Aceleración(G)
Correr
10

11. • Offset
• Saltos de discontinuidad (descalibración)
• Anomalías (movimientos irregulares, cambios
de orientación, caídas, etc.)
• Ruido de alta frecuencia
NECESIDAD DE
PREPROCESAMIENTO
11

12. • Filtrado de media modificado
– Permite eliminar el offset
– Elimina las descalibraciones
• Filtrado paso bajo + paso alto
– Elimina ruido de alta frecuencia
– Elimina offset
– Elimina picos de baja frecuencia
• Otras opciones valoradas
– Filtro de mediana
– Wavelets
Original Filtrado media
LPF + HPF
12

14. Magnitudes
Amplitud
Autocorrelación
Cepstrum
Densidad espectral de energía
Espectro en amplitud
Espectro en fase
Histograma
Reconstrucción de mínima fase
Valor de los históricos
Wavelet
Correlación cruzada
Coherencia espectral
Índice de desfase
Operaciones matemático-estadísticas
Coeficiente de asimetría
Cruces por cero
Curtosis
Desviación estándar
Distorsión armónica total
Energía total
Entropía
Máximo
Media aritmética, armónica, geométrica, truncada
Mediana
Mínimo
Moda
Momento de orden 4 y 5
Posición del máximo/mínimo
Rango
Varianza
14

15. • Método de la señal completa
• Método de la subseñal más característica
– Basado en correlación
– Basado en coherencia
• Método de la ventana
– Fija
– Solapada
15

16. LABORATORIO
SEMINATURALÍSTICOS
Filtrados
Originales
Sin Offset
Señal completa
Subseñal (correlación)
Subseñal (coherencia)
Ventana (fija)
Ventana (solapamiento)
Filosofía de
monitorización
Preprocesado Técnica de
extracción
16

18. • Influye en el proceso
de clasificación
POSICIÓN ÓPTIMA
Pocas Características
Buena Clasificación
0 200 400 600 800
-1
-0.5
0
0.5
1
x 10
4 Acel. TOBILLO, Act. CORRER
Características
Valordelacaracterística
0 0.2 0.4 0.6 0.8 1
0
0.2
0.4
0.6
0.8
1
1.2
1.4
1.6
1.8
2
x 10
4
Nivel de solapamiento
Númerodecaracterísticasdiscriminantes
ACELERÓMETRO DEL TOBILLO
Andar
Sentarse y relajarse
Permanecer de pie
Correr
Act. conjuntas
Act. y acel. conjuntas
0 200 400 600 800
-1
-0.5
0
0.5
1
x 10
4 Acel. TOBILLO, Act. CORRER
Características
Valordelacaracterística
• Conjunto de características muy amplio
(861 variables  2861  1.5 x 10259 posibles
combinaciones)
18

19. Criterio de
solapamiento
19
ACELERÓMETRO DEL MUSLO

20. Criterio de
solapamiento
Criterio de calidad
discriminante
Actividades
discriminadas
Acelerómetros
donde lo
permite
Grupo de Calidad
4 5 #1
4 4 #2
4 3 #3
4 2 #4
4 1 #5
3 5 #6
3 4 #7
3 3 #8
3 2 #9
3 1 #10
2 5 #11
2 4 #12
2 3 #13
2 2 #14
2 1 #15
1 5 #16
1 4 #17
1 3 #18
1 2 #19
1 1 #20
0 5 #21
20
ACELERÓMETRO DEL MUSLO

21. Criterio de
solapamiento
21
Publicaciones:
Baños, O., Pomares, H., Rojas, I.: Ambient Living Activity
Recognition based on Feature-set Ranking Using Intelligent
Systems. In: Proceedings of the 2010 International Joint
Conference on Neural Networks (IJCNN 2010), IEEE,
Barcelona July 18-23, (2010)
Baños, O., Pomares, H., Rojas, I.: Novel Method for Feature-
set Ranking Applied to Physical Activity Recognition. In:
Proceedings of The Twenty Third International Conference
on Industrial, Engineering & Other Applications of Applied
Intelligent Systems (IEA-AIE 2010), Córdoba June 1-4,(2010)
Baños, O., Pomares, H., Rojas, I.: Hibridación de Paradigmas
de Clasificación en el Contexto del Reconocimiento
Automático de Actividades Físicas Cotidianas. En: XV
Congreso Español sobre Tecnologías y Lógica Fuzzy (ESTYLF
2010), Huelva Febrero 3-5, (2010)
Baños, O., Pomares, H., Rojas, I.: Redes de Sensores
Inalámbricos en Entornos de Inteligencia Ambiental,
Teleasistencia y E-Salud. En: III Simposio de Inteligencia
Computacional (SICO 2010), Valencia Septiembre 8-9, (2010)
ACELERÓMETRO DEL MUSLO

22. • Nº de características
discriminantes en
función del umbral
de solapamiento
0 0.2 0.4 0.6 0.8 1
0
200
400
600
800
1000
Nivel de solapamiento
Númerodecaracterísticasdiscriminantes
ACELERÓMETRO DEL BRAZO
• Modelo utilizado: criterio de restricción máximo
(usolap, ÓPTIMO = 0)
– Categorías basadas en el método de extracción de la
subseñal más característica no superan la condición
0 0.2 0.4 0.6 0.8 1
0
100
200
300
400
500
600
700
800
900
Nivel de solapamiento
Númerodecaracterísticasdiscriminantes
ACELERÓMETRO DE LA MUÑECA
Andar
Sentarse y relajarse
Permanecer de pie
Correr
Act. conjuntas
Act. y acel. conjuntas
0 0.2 0.4 0.6 0.8 1
0
100
200
300
400
500
600
700
800
900
Nivel de solapamiento
Númerodecaracterísticasdiscriminantes
ACELERÓMETRO DE LA MUÑECA
Andar
Sentarse y relajarse
Permanecer de pie
Correr
Act. conjuntas
Act. y acel. conjuntas
22

23. • Selectores basados en distancias o criterios
estadísticos, usados ampliamente en diversos
contextos
23
• Nuestra
herramienta
destaca como
la más rápida
de las
empleadas

25. • Pueden ser
 Supervisados / No supervisados
 Binarios / Multientrada
 Binarios / Multiobjetivo
 Paramétricos / No paramétricos
 Etc.
• Principales
opciones
 Lógica Difusa
 Redes Neuronales
 Máquinas de Soporte Vectorial (SVM)
 Árboles de Decisión
 Redes Bayesianas
 Modelos Ocultos de Markov
25

26. • Muy rápido
• Fácil interpretación
• Relación con el selector basado en
solapamiento
• Modelo multiclase
directo
• Modo binario y
modo multivariable
26

27. • Rápido
• Opera bien a partir de datos parciales
• Asume independencia estadística entre las
variables de entrenamiento
27

28. • Rápido
• Solución simple
• Buenos precedentes
• Multiclase basado en
modelos binarios
• Diferentes tipos de
kernels (lineal,
cuadrático, RBF, MPL,
etc.).
0 50 100 150 200
0
20
40
60
80
100
120
Media geométrica de los coeficientes wavelets a3, señal del eje X
Mediageométricadeloscoeficienteswaveletsa3,señaldelejeY
Hiperplano separador para kernel RBF
Resto de actividades (entrenamiento)
Resto de actividades (clasificado)
Andar (entrenamiento)
Andar (clasificado)
Vectores de soporte
28

29. 29
• Clasificadores binarios son más robustos y
ofrecen por lo general mejor performance
• Los modelos para definir sistemas de
decisión multiclase no aprovechan por lo
general las capacidades que ofrecen las
unidades binarias o resultan muy costosos
• No existe un modelo unificado que
proporcione resultados destacables bajo
cualquier contexto o ámbito de aplicación

30. 30

32. • Principal (P)
• Grupos de calidad (GC)
• Roles cambiados (RC)
32

33. • Principal (P)
• Grupos de calidad (GC)
• Roles cambiados (RC)
33
1 Carac. 2 Carac. 3 Carac. 4 Carac. 5 Carac. 10 Carac.
2-fold
5-fold
10-fold

34. • Principal (P)
• Grupos de calidad (GC)
• Roles cambiados (RC)
34
1er GC 1º+2o GC 1º+2o+3o GC
1º+2o+3o+4o
GC
1º+2o+3o+4o
+5o GC
1º+2o+3o+4o
+5o+6o GC
2-fold
5-fold
10-fold

35. • La metodología basada en el CHJP ofrece los mejores
resultados (para ambos ámbitos de monitorización)
• Usando sólo una característica se alcanzan ratios de
acierto prácticamente absolutos
35
Laboratorio (DT, empleando 1 característica)
Seminaturalístico (DT, empleando 1 característica)

36. • La metodología basada en el CHJP ofrece los mejores resultados
• Resultados muy buenos, sobretodo al emplear características
seminaturalísticas en contextos de laboratorio
36
Laboratorio (DT, empleando 1 característica)
Seminaturalístico (DT, empleando 1 característica)

37. • La metodología basada en el CHJP ofrece los mejores resultados
• Resultados muy buenos, sobretodo al emplear características
seminaturalísticas en contextos de laboratorio
• Al aumentar la longitud del vector de características se mejoran los
resultados (salvo en los NB), logrando un altísimo performance
37
Laboratorio (DT, empleando 3 características)
Seminaturalístico (DT, empleando 3 características)

38. 38
• Se obtienen sistemas de clasificación con ratios
de acierto próximos o iguales al 100%
• La metodología más interesante es la basada en
el CHJP, empleando DT y SVM. Los NB operan
bien pero su eficiencia se ve reducida al
aumentar el número de características
• La metodología Propia de selección ofrece
características con un alto nivel de discriminación
• Cualquier fuente es utilizable, pero destaca el uso
de la información monitorizada a través de la
muñeca

39. TRABAJO Ratios de acierto
L. Bao and S.S. Intille.,“Physical Activity Recognition from
Acceleration Data under Semi-Naturalistic Conditions”
(2004)
DT (89%), kNN (83%), NB (52%)
M. Ermes et al, “Detection of Daily Activities and Sports
With Wearable Sensors in Controlled and Uncontrolled
Conditions” (2008)
ANN (93%), Jerárquico (83%),
DT (60%)
U. Maurer et al, “Activity Recognition and Monitoring
Using Multiple Sensors on Different Body Positions”
(2006)
DT (87%), NB y kNN (<87%)
S. Pirttikangas et al, “Feature Selection and Activity
Recognition from Wearable Sensors” (2006)
ANN (93%), kNN (90%)
ESTE ESTUDIO
CHJP + DT (>98.00% (SEM),
99.99% (LAB))
Fuente: S. J. Preece et al, “Activity identification using body-mounted sensors—a review of classification techniques” (2009)
39

41. • El preprocesado, modelo de extracción y
selección de características, y clasificador
determinan de forma directa la eficiencia del
sistema
• Se obtienen diferentes realizaciones algunas de
las cuales ofrecen ratios de eficiencia
prácticamente absolutos
• Cada acelerómetro ofrece por sí mismo un ratio
de acierto alto, luego a priori no sería necesario
utilizar combinaciones (si bien se pueden
emplear en modo redundante). Especialmente
interesante es el acelerómetro de la muñeca
41

42. • Estudiar otras alternativas a la metodología
propuesta, trabajando también en la mejora de
las técnicas ideadas y aplicando un estudio
cruzado
• Analizar otras actividades, acelerómetros y
proponer un sistema propio de monitorización
• Integrar el diseño junto
a otros sistemas de
reconocimiento para
aplicaciones específicas
42