3ª Sesión Técnica del Ciclo de Conferencias sobre BI, celebrada el 12 de junio. Fue conducida por Julio Iglesias, Director del Departamento de Business Intelligence en IFR Group, experto especializado en proyectos de este tipo, y profesor asociado de nuestra Escuela Universitaria
¿Qué significa realmente la minería de datos? ,¿Cómo se engloba en un proyecto de BI?, ¿Puede mi empresa con los datos que genera hacer proyectos de este tipo? Y ¿Dónde está el límite para abordar proyectos de este tipo?
Bancos, hospitales, empresas de retail y páginas web son algunos de los sectores que utilizan esta tecnología. A lo largo de la sesión se analizó qué significa y qué implica la minería de datos: concepto y definición, casos, algoritmos de utilización… y de forma práctica se vieron un par de proyectos de ejemplo de las posibilidades que ofrece esta tecnología tan aplicada en la actualidad. Los asistentes tuvieron la oportunidad de ver de primera mano cómo las empresas utilizan los datos y la estadística para crear ofertas personalizadas.
9. Extracción y análisis de información oculta y predecible de grandes bases
de datos mediante identificación de modelos, patrones y relaciones.
Definición
También conocida por (KDD- Knowledge Discovery in Databases)
11. 11
Mediante el Data Mining seremos capaces de realizar acciones
específicas y personalizadas:
• Descubrir patrones de comportamiento
• Fidelizar a los “mejores” clientes
• Motivos de éxito o fracaso de un nuevo producto/medicamento
• Distinguir los clientes/pacientes potencialmente más compradores o usuarios
de un servicio/producto
• Predecir automáticamente los comportamientos y futuras compras de un
cliente comparando con clientes del mismo perfil
• Detección de fraude
• Conocer las características de los clientes desvinculados y sus motivos de
abandono
• Qué productos tienden a venderse con otros
• ¿A qué grupos de clientes debo lanzar una campaña específica?
• …
Posibles utilidades
19. Algoritmos
Algoritmos
(estadística)
Conjunto de herramientas y
técnicas para buscar
patrones.
Componente estadística
Algunos pueden producir
más de un resultado
Utilizar diferentes
algoritmos para diferentes
tareas
Combinar algoritmos para
solucionar un problema
particular
20. Decision Trees
Naïve Bayesian
Clustering
Sequence Clustering
Association Rules
Neural Network
Time Series
….
Algoritmos de minería
21. Qué clientes comprarán un determinado producto con una
probabilidad X?
Clasificación (Predicción)
Probabilidad de que un cliente tenga un determinado perfil?
Segmentación
Recomendar un producto a un cliente que realiza una determianda
compra
Asociación
Probabilidad de que un cliente compre un producto en el futuro
Predicción de secuencias
Predecir la venta de los próximos 5 meses y su error
Forecasting
Escenarios
23. Algorithm Description
Decision Trees Finds the odds of an outcome based on values in a training set
Association
Rules
Identifies relationships between cases
Clustering Classifies cases into distinctive groups based on any attribute sets
Naïve Bayes Clearly shows the differences in a particular variable for various data elements
Sequence
Clustering
Groups or clusters data based on a sequence of previous events
Time Series Analyzes and forecasts time-based data combining the powerof ARTXP (developed
by Microsoft Research) for short-term predictionswith ARIMA (in SQL 2008) for
long-term accuracy.
Neural Nets Seeks to uncover non-intuitive relationships in data
Linear
Regression
Determines the relationship between columns in order to predict an outcome
Logistic
Regression
Determines the relationship between columns in order to evaluate the probability
that a column will contain a specific state
Algoritmos/Técnicas
26. Arboles de decisión
262626
Arboles de Decisión (modelos predictivos)
Son útiles para predecir el valor de ciertos valores
a partir de otros datos
Se realiza una clasificación, empezando por los atributos más
significativos hasta terminar por los menos significativos.
De esta manera es posible establecer una serie de reglas
sobre qué factores (atributos) afectan a cada caso del modelo
y tener una base a partir de la cual estimar como responderán
otros casos en el futuro (predicción)
Riesgo
Crediticio
Casados
Bajo:55%
Alto:45%
Solteros
Bajo:45%
Alto:55%
Asalariados
Bajo:65%
Alto:35%
Casados
Bajo:45%
Alto:55%
Solteros
Bajo:40%
Alto:60%
Autónomos
Bajo:50%
Alto:50%
DeudasBajas
Bajo:80%
Alto:20%
DeudasAltas
100%
Todos
100%
33. 33
Análisis de Series Temporales
Se utilizan para hallar predecir el comprotamiento de variables que
dependen del tiempo.
Se necesita una base de datos histórica.
Se utiliza para la pevisión de demanda o stocks en un almacén o
para la previsión del número de periódicos a enviar a un quiosco, etc.
tiempo
Ene Feb Mar Abr May Jun Jul Aug Sep Oct Nov Dic Ene
PresentePasado Futuro
?
Series temporales
36. 36
Clustering
Utilizado para realizar agrupaciones de registros de acuerdo a
características comunes, obteniendo grupos de registros con
comportamiento o características parecidas entre entre ellos y
diferenciadas con los otros grupos..
El clustering es útil especialmente para realizar tareas de Marketing
tales como segmentación de clientes.
Clase1
Clase2
Clase3
Ingresos anuales
Edad
Clase1
Clase2
Clase3
Ingresos anuales
Edad
Clase1
Clase2
Clase3
Ingresos anuales
Edad
Clustering
Casos
Clústering
41. 41
¿ Como se realiza el proceso de DM ?
Modelo
Motor
DM
Datos
a tratar
Motor
DM
Datos tratados
Datos de
entrenamiento
Modelo
Modelo
Creación de un modelo
42. 42
Uno de los pasos más importantes en un estudio es obtener la
base de datos para el estudio.
Las bases de datos o muestras de estudio no sólo se elaboran con
información interna de la empresa, sino que muchas veces se
necesita de información externa.
Si no se dispone de la información correcta o de la información
necesaria, el estudio o análisis puede resultar un fracaso o inducir a
conclusiones equivocadas. Importante dedicar un extenso tiempo en
obtener la información y también en validarla.
A tener en cuenta
43. 43
El siguiente paso a realizar para obtener la base preparada para el
estudio es realizar unos procesos de calidad de los datos y de la
muestra.
• Comprobar que la muestra sea representativa (que represente a la población
que queremos analizar)
• Conocer cómo se han obtenido los datos, si han sido tratados o
manipulados con anterioridad, etc.
• Que no haya valores o registros erróneos
• Que no haya valores perdidos o missing
• …
Todos aquellos registros erróneos no se deben tener en cuenta en el
estudio.
Calidad de los datos
44. Estandarización Puntos de Tiempo
• Examinar los últimos meses antes de abandono
• Abandono de diferentes clientes ocurren en diferentes momentos
44
47. 47
Interpretar los resultados
“…no disponer de la información correcta / necesaria,
puede ser peor…”
Cuando Nemo encontró a (su) patrón
“…no disponer de la información es malo…”
48. Correlación vs Causalidad
La causalidad es una relación entre un evento (causa) y un segundo
evento (efecto), en la cual el segundo evento se entiende como
consecuencia del primero
Causalidad
Se considera que dos variables cuantitativas están correlacionadas cuando
los valores de una de ellas varían sistemáticamente con respecto a los
valores homónimos de las otras.
Correlación
51. 51
Conclusiones
• No es ciencia ficción, pero hay que trabajarlo
• VOLUMEN: Grandes volúmenes de datos.
• Minería no es necesariamente Big Data
• ALGORITMO:
• Cada algoritmo pudiera necesitar la información de entrada de una forma
determinada.
• Respuesta = ¿+? De un algoritmo
• INTERPRETACION: Se deben hacer preguntas concretas y saber interpretar las
respuestas.
• MODELO: Importante contar con alguien experto en el tema para validarlo
• MADUREZ en la empresa en proyectos de BI