Presentación de artículo en el Jitel 2015

1. An´alisis de Datos Funcionales para Gesti´on de Red
T´ecnicas, Retos y Oportunidades
David Muelas, Jorge E. L´opez de Vergara,
Jos´e R. Berrendero, Javier Aracil
{dav.muelas, jorge.lopez vergara,
joser.berrendero, javier.aracil}@uam.es
Universidad Aut´onoma de Madrid
JITEL 2015 – Octubre de 2015

2. Introducci´on
Antecedentes
T´ecnicas funcionales exploradas y resultados experimentales
Conclusiones
Contenidos
1 Introducci´on
Motivaci´on
¿Qu´e proponemos?
2 Antecedentes
Principios
Emplazamiento de nuestro trabajo
3 T´ecnicas funcionales exploradas y resultados experimentales
Preprocesado de datos de red
An´alisis de datos de red
4 Conclusiones
D. Muelas, J. E. L´opez de Vergara, J. R. Berrendero, J. Aracil An´alisis de Datos Funcionales para Gesti´on de Red 2

3. Introducci´on
Antecedentes
T´ecnicas funcionales exploradas y resultados experimentales
Conclusiones
Motivaci´on
¿Qu´e proponemos?
Contexto
Las infraestructuras de red est´an inmersas en un continuo cambio:
Redes Definidas por Software – Software Defined Networking
(SDN)
Infraestructuras Multitenant / Cloud
Redes virtualizadas
. . .
y tambi´en estamos viviendo la transformaci´on de los procesos de
an´alisis de datos:
Era del Big Data: aumento del volumen de datos y de la
capacidad de c´omputo
Flujos de datos y procesos orientados a extraer conocimiento
de datos en crudo
. . .
D. Muelas, J. E. L´opez de Vergara, J. R. Berrendero, J. Aracil An´alisis de Datos Funcionales para Gesti´on de Red 3

4. Introducci´on
Antecedentes
T´ecnicas funcionales exploradas y resultados experimentales
Conclusiones
Motivaci´on
¿Qu´e proponemos?
Una ventana de oportunidad
Explotar nuevas estrategias, recursos de computaci´on y sinergias
entre distintos campos de la ciencia y la tecnolog´ıa puede ayudar a
mejorar las acciones de gesti´on.
D. Muelas, J. E. L´opez de Vergara, J. R. Berrendero, J. Aracil An´alisis de Datos Funcionales para Gesti´on de Red 4

5. Introducci´on
Antecedentes
T´ecnicas funcionales exploradas y resultados experimentales
Conclusiones
Motivaci´on
¿Qu´e proponemos?
Nuestra propuesta
Aprovechar los avances en el An´alisis de Datos Funcionales
(Functional Data Analysis, FDA), para estudiar y explotar diversos
datos procedentes de medidas de red.
D. Muelas, J. E. L´opez de Vergara, J. R. Berrendero, J. Aracil An´alisis de Datos Funcionales para Gesti´on de Red 5

6. Introducci´on
Antecedentes
T´ecnicas funcionales exploradas y resultados experimentales
Conclusiones
Motivaci´on
¿Qu´e proponemos?
Nuestras aportaciones
Proporcionamos una revisi´on de los antecedentes que motivan
nuestra propuesta.
Revisamos distintas t´ecnicas de FDA, con el fin de ofrecer un
cat´alogo de t´ecnicas para investigadores y profesionales del
´area de Ingenier´ıa Telem´atica.
Evaluamos las ganancias que se pueden obtener en la gesti´on
de red mediante la aplicaci´on de FDA.
D. Muelas, J. E. L´opez de Vergara, J. R. Berrendero, J. Aracil An´alisis de Datos Funcionales para Gesti´on de Red 6

7. Introducci´on
Antecedentes
T´ecnicas funcionales exploradas y resultados experimentales
Conclusiones
Principios
Emplazamiento de nuestro trabajo
Direcciones en la gesti´on de red
FDA permite extender y explotar muchos de los principios que
presentan las ´ultimas herramientas y soluciones de monitorizaci´on
y an´alisis de redes:
Flexibilidad y adaptabilidad: sistemas modulares, m´etodos
que se ajusten a las caracter´ısticas concretas de cada entorno.
Conocimiento y datos: extracci´on de conocimiento a partir
de datos y medidas.
Explotaci´on de la capacidad de c´omputo disponible:
estudios complejos, sin miedo a la alta dimensionalidad.
D. Muelas, J. E. L´opez de Vergara, J. R. Berrendero, J. Aracil An´alisis de Datos Funcionales para Gesti´on de Red 7

8. Introducci´on
Antecedentes
T´ecnicas funcionales exploradas y resultados experimentales
Conclusiones
Principios
Emplazamiento de nuestro trabajo
Integraci´on en el estado de la t´ecnica
Despliegue e implementaci´on: implementaciones libres de
FDA en R o MATLAB, posible incluir estas t´ecnicas en sistemas
como Scap, Blockmon, M3Omon,. . .
Antecedentes en la literatura: eigenflows, para estudio de
anomal´ıas y caracterizaci´on del comportamiento de la red;
an´alisis multi-resoluci´on,. . .
Mayor riqueza en los modelos de red: FDA permite
incrementar la dimensionalidad de los modelos de red,
proporcionando mayor riqueza que an´alisis multivariantes, y
relajando algunas hip´otesis de las t´ecnicas cl´asicas.
D. Muelas, J. E. L´opez de Vergara, J. R. Berrendero, J. Aracil An´alisis de Datos Funcionales para Gesti´on de Red 8

9. Introducci´on
Antecedentes
T´ecnicas funcionales exploradas y resultados experimentales
Conclusiones
Preprocesado de datos de red
An´alisis de datos de red
Representaci´on funcional: formulaci´on anal´ıtica
Base funcional: {Bk(t)}t∈T,k∈Z
Proyecciones: {βk}k∈Z
Observaciones:
{Xt} =
j∈Z
βj Bj (t), t ∈ T
Representaci´on truncada:
{Xt} = [
j∈J
βj Bj (t)] + (J, {Bj }), t ∈ T
D. Muelas, J. E. L´opez de Vergara, J. R. Berrendero, J. Aracil An´alisis de Datos Funcionales para Gesti´on de Red 9

10. Introducci´on
Antecedentes
T´ecnicas funcionales exploradas y resultados experimentales
Conclusiones
Preprocesado de datos de red
An´alisis de datos de red
PCA funcional (I)
Permite seleccionar una base funcional para representar de forma
´optima el conjunto de observaciones considerado.
0 50 100 150 200 250
−0.3
−0.2
−0.1
0
0.1
0.2
0.3
0.4
Tiempo desde el comienzo [Ventanas de 300 s]
Figura: Comportamiento de las 30 primeras componentes principales
D. Muelas, J. E. L´opez de Vergara, J. R. Berrendero, J. Aracil An´alisis de Datos Funcionales para Gesti´on de Red 10

11. Introducci´on
Antecedentes
T´ecnicas funcionales exploradas y resultados experimentales
Conclusiones
Preprocesado de datos de red
An´alisis de datos de red
PCA funcional (II)
El estudio de los coeficientes de las observaciones con respecto a
esta base permite detectar clusters y clasificar curvas:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
−4
−2
0
2
4
6
8
10
12
x 10
6
Componente principal correspondiente
Densidaddecoeficientes
Cluster 2
Cluster 1
Figura: Densidad de los coeficientes por componente principal
D. Muelas, J. E. L´opez de Vergara, J. R. Berrendero, J. Aracil An´alisis de Datos Funcionales para Gesti´on de Red 11

12. Introducci´on
Antecedentes
T´ecnicas funcionales exploradas y resultados experimentales
Conclusiones
Preprocesado de datos de red
An´alisis de datos de red
PCA funcional (III)
Este preprocesado se puede utilizar como mecanismo de
compresi´on:
0 50 100 150 200 250
0
2
4
6
8
10
x 10
5
Tiempo desde el comienzo [Ventanas de 300 s]
Throughput[Bps]
0 50 100 150 200 250
0
2
4
6
8
10
x 10
5
Figura: Comparativa entre las observaciones originales (superior) y las
series reconstruidas (inferior) tras el preprocesado de los datos.
D. Muelas, J. E. L´opez de Vergara, J. R. Berrendero, J. Aracil An´alisis de Datos Funcionales para Gesti´on de Red 12

13. Introducci´on
Antecedentes
T´ecnicas funcionales exploradas y resultados experimentales
Conclusiones
Preprocesado de datos de red
An´alisis de datos de red
Profundidad funcional (I)
No existe una noci´on ´unica de profundidad, sino que se trata
de un concepto que se define en base a ciertas propiedades de
centralidad de las observaciones.
En nuestro caso, vamos a seguir la definici´on dada por la
expresi´on
MSn,H(x) = m´ın{SLn(x), ILn(x)}
donde
SLn(x) = 1
nλ(I)
n
i=1
λ{t ∈ T : x(t) ≤ xi (t)}
ILn(x) = 1
nλ(I)
n
i=1
λ{t ∈ T : x(t) ≥ xi (t)}
siendo λ la medida de Lebesgue.
D. Muelas, J. E. L´opez de Vergara, J. R. Berrendero, J. Aracil An´alisis de Datos Funcionales para Gesti´on de Red 13

14. Introducci´on
Antecedentes
T´ecnicas funcionales exploradas y resultados experimentales
Conclusiones
Preprocesado de datos de red
An´alisis de datos de red
Profundidad funcional (II)
Con esta definici´on, estamos ordenando las observaciones usando el
m´ınimo valor entre la proporci´on de “tiempo” en que se encuentran
en el hipografo y epigrafo de otras funciones. As´ı, podemos
detectar ciertos outliers y marcar las observaciones centrales:
0 50 100 150 200 250
0
1
2
3
4
5
6
7
8
9
10
x 10
5
Tiempo desde el comienzo [Ventanas de 300 s]
Throughput[Bps]
Media
Curva Max. Prof. (original)
Curva Max. Prof. (est.)
Curva Min. Prof. (hipografo)
Curva Min. Prof. (epigrafo)
Curva Est. Min. Prof. (hipografo)
Curva Est. Min. Prof. (epigrafo)
D. Muelas, J. E. L´opez de Vergara, J. R. Berrendero, J. Aracil An´alisis de Datos Funcionales para Gesti´on de Red 14

15. Introducci´on
Antecedentes
T´ecnicas funcionales exploradas y resultados experimentales
Conclusiones
Preprocesado de datos de red
An´alisis de datos de red
Homogeneidad, clustering y clasificaci´on funcional (I)
Homogeneidad
Cuando se tienen dos o m´as muestras, una cuesti´on que se
plantea de forma natural es si ambas proceden de trayectorias
del mismo proceso estoc´astico. En el caso de las estad´ısticas
cl´asicas, existen distintos m´etodos que pueden ser usados para
evaluar la homogeneidad de dos muestras (e.g. el test χ2).
En el ´area de FDA, existen algunas propuestas recientes con
resultados prometedores para dar respuesta a esta pregunta.
El uso de la homogeneidad funcional en el ´area de la gesti´on
de red proporciona un nuevo enfoque de la evaluaci´on de la
representatividad de un cierto conjunto de par´ametros de red.
D. Muelas, J. E. L´opez de Vergara, J. R. Berrendero, J. Aracil An´alisis de Datos Funcionales para Gesti´on de Red 15

16. Introducci´on
Antecedentes
T´ecnicas funcionales exploradas y resultados experimentales
Conclusiones
Preprocesado de datos de red
An´alisis de datos de red
Homogeneidad, clustering y clasificaci´on funcional (II)
Clustering, clasificaci´on y predicci´on
FDA ofrece un ecosistema completo de t´ecnicas, que permiten
realizar clustering, clasificaci´on y predicci´on de funciones.
El estudio de variables aleatorias funcionales abre un nuevo
campo para la clasificaci´on de tr´afico cifrado, utilizando una
aproximaci´on basada en la determinaci´on de los perfiles
temporales de distintas clases de tr´afico.
Las t´ecnicas de predicci´on con respuesta funcional permiten
obtener curvas o superficies completas que modelan el
comportamiento del sistema durante un per´ıodo completo –
e.g. un d´ıa.
Estas aproximaciones podr´ıan tener grandes ventajas en el
´ambito de la planificaci´on din´amica (e.g. SDNs) y otros
entornos flexibles tales como las infraestructuras tipo Cloud.
D. Muelas, J. E. L´opez de Vergara, J. R. Berrendero, J. Aracil An´alisis de Datos Funcionales para Gesti´on de Red 16

17. Introducci´on
Antecedentes
T´ecnicas funcionales exploradas y resultados experimentales
Conclusiones
Conclusiones
Las t´ecnicas de FDA tienen aplicaci´on en el ´ambito del
an´alisis y gesti´on de redes.
Preprocesado de datos de monitorizaci´on: Representaci´on
funcional y PCA funcional.
An´alisis de datos de monitorizaci´on: Profundidad funcional,
homogeneidad, clustering, clasificaci´on y predicci´on.
FDA facilita la realizaci´on de tareas relativas a la gesti´on de la
seguridad y prestaciones de servicios de red.
D. Muelas, J. E. L´opez de Vergara, J. R. Berrendero, J. Aracil An´alisis de Datos Funcionales para Gesti´on de Red 17

18. Introducci´on
Antecedentes
T´ecnicas funcionales exploradas y resultados experimentales
Conclusiones
¡Gracias por su atenci´on!
¿Preguntas?
D. Muelas, J. E. L´opez de Vergara, J. R. Berrendero, J. Aracil An´alisis de Datos Funcionales para Gesti´on de Red 18