Data Mining
* La minería de datos (DM, Data Mining) consiste en la extracción no trivial de
información que reside de manera implícita en los datos.
En otras palabras, la minería de datos prepara, sondea y explora los datos para sacar
la información oculta en ellos.
Data
Mining
• Es un proceso automático que permite
extraer esquemas interesantes, no
triviales y previamente desconocidos,
de los datos y descubrir relaciones
entre variables
MINERIA DE DATOS
Data Mining
Proceso
1. Selección del conjunto de datos, tanto en lo que se refiere a las variables dependientes,
como a las variables objetivo, como posiblemente al muestreo de los registros disponibles.
2. Análisis de las propiedades de los datos, en especial los histogramas, diagramas de
dispersión, presencia de valoresatípicos yausenciadedatos.
3. Transformación del conjunto de datos de entrada, se realizará de diversas formas en
función del análisis previo, con el objetivo de prepararlo para aplicar la técnica de minería
dedatosque mejor seadaptealos datos yalproblema.
Data Mining
4. Seleccionar y aplicar la técnica de minería de datos, se construye el modelo predictivo,
de clasificación o segmentación.
5. Extracción de conocimiento, mediante una técnica de minería de datos, se obtiene un
modelo de conocimiento, que representa patrones de comportamiento observados en los
valores de las variables del problema o relaciones de asociación entre dichas variables.
También pueden usarse varias técnicas a la vez para generar distintos modelos, aunque
generalmente cada técnica obliga a un preprocesado diferente de los datos.
Data Mining
6.Interpretación y evaluación de datos,una vez obtenido elmodelo,se debe
proceder a su validación comprobando que las conclusiones que arroja
son válidas y suficientemente satisfactorias.En elcaso de haber obtenido
varios modelos mediante eluso de distintas técnicas,se deben comparar los
modelos en busca de aquelque se ajuste mejor alproblema.Sininguno de
los modelos alcanza los resultados esperados,debe alterarse alguno de los
pasos anteriores para generar nuevos modelos.
Data Mining
Protocolodeun proyectodemineríadedatos
*Comprensióndelnegocioydelproblemaquesequiereresolver.
*Determinación,obtenciónylimpiezadelosdatosnecesarios.
*Creacióndemodelosmatemáticos.
*Validación,comunicación,etc.delosresultadosobtenidos.
* Integración,siprocede,de los resultados en un sistema transaccionalo similar.
Data
Mining
• Utilizacion de la
• Mineria de Datos
Data
Mining
Dónde se puede utilizar
• Marketing: Segmentación, campañas,
rentabilidad, lealtad,...
• Ventas: Esquemas de comportamiento,
hábitos de compra
• Finanzas: Inversiones, administración
de cartera
• Bancos y Seguros: Aprobación de
créditos y pólizas
• Seguridad: Detección de fraudes
• Medicina: Análisis de tratamientos
• Fabricación: control de calidad,
adjudicación de recursos
• Internet: Análisis de clicks (Web
mining)
Data Mining
- Negocios
La minería de datos puede contribuir significativamente en las aplicaciones de
administración empresarial basada en la relación con el cliente.
- Hábitos de compra en supermercados
El ejemplo clásico de aplicación de la minería de datos tiene que ver con la
detección de hábitos de compra en supermercados.
http://www.forbes.com/sites/kashmirhill/2012/02/16/how-target-figured-out-a-teen-girl-was-pregnant-before-her-father-did/
Data Mining
- Patrones de fuga
Un ejemplo más habitual es el de la detección de patrones de fuga. En muchas industrias
—como la banca, las telecomunicaciones, etc.— existe un comprensible interés en detectar
cuanto antes aquellos clientes que puedan estar pensando en rescindir sus contratos para,
posiblemente, pasarse a la competencia.
- Fraudes
Un caso análogo es el de la detección de transacciones de blanqueo de dinero o de fraude
en el uso de tarjetas de crédito o de servicios de telefonía móvil e, incluso, en la relación de
los contribuyentes con el fisco.
Data Mining
Data Mining
- Recursos humanos
La minería de datos también puede ser útil para los departamentos de recursos
humanos en la identificación de las características de sus empleados de mayor éxito.
- Comportamiento en Internet
También es un área en boga el del análisis del comportamiento de los visitantes —
sobre todo, cuando son clientes potenciales— en una página de Internet.
- Terrorismo
Se ha sugerido que la unidad Able Danger del Ejército de los EE.UU, la Agencia
Central de Inteligencia y sus homóloga canadiense, Servicio de Inteligencia y Seguridad
Canadiense, han empleado este método.
- Juegos
Con la disponibilidad de oráculos para determinados juegos combinacionales, también
llamados finales de juego de tablero con cualquier configuración de inicio, se ha abierto
una nueva área en la minería de datos que consiste en la extracción de estrategias
utilizadas por personas para estos oráculos.
Data Mining
- Ciencia e Ingeniería
En los últimos años la minería de datos se está utilizando ampliamente en diversas
áreas relacionadas con la ciencia y la ingeniería. Algunos ejemplos de aplicación en estos
campos son:
 Genética
 Ingeniería eléctrica
 Análisis de gases
Data Mining
Herramientas de software
Existen muchas herramientas de software para el desarrollo de modelos de
minería de datos tanto libres como comerciales como, por ejemplo:
Comerciales
* SPSS Clementine
* SAS Enterprise Miner
Libres
* R
* KNIME
* RapidMiner
* Weka
* Orange
KDD
MINERIA
DE DATOS
Data
Mining
Trabajo conjunto
Negocios
Especialista
Problema puntual
Datos al nivel más detallado
No un solo enfoque
No una sola solución
Data
Mining
Dos tipos de modelos
Predictivos
• Clasificación
• Regresión
Descriptivos
• Asociación
• Segmentación
Data
Mining
Modelos Predictivos
Clasificación
• Predice un valor discreto
• Sí / No
• Alto / Mediano / Bajo
Regresión
• Predice un valor continuo
• Importes
• Cantidades
Data Mining
Modelos
Descriptivos
Asociación
• Análisis de
Canasta
• Soporte
• Confianza
Segmentación
Modelos
de Data
Mining
Entrenamiento
Supervisado
No
supervisado
Prueba
Evaluación
Modelos
de Data
Mining
PRUEBA
De los casos históricos disponibles
se destina una cierta cantidad
para entrenar el modelo y se
reserva una porción de ellos
para probar el modelo
Se presentan los casos como si
fueran nuevos y se coteja la
respuesta del modelo con los
valores reales
Modelos de Data Mining
Matriz de confusión
Sí No
Sí
No
Predicción
455 29
32 384
Cantidad de casos
Matriz de
confusión
Sobre un total de 900 casos el modelo
predijo
455 como sí y en realidad era sí
384 como no y en realidad era no
839 predicciones correctas (93,2%)
El resto (6,8%) los predijo en forma
incorrecta
PRECISION
Modelos
predictivos
Los atributos (variables) son columnas de
la tabla
Variables de entrada (atributos
descriptivos)
Variable objetivo (atributo objetivo)
El entrenamiento tiene por objeto
descubrir las relaciones entre las variables
de entrada y la variable objetivo
En producción usa ese conocimiento para
predecir el valor de la variable objetivo
Modelos
predictivos
Pautas para la evaluación
Precisión
• No hay un algoritmo que sea
siempre más preciso que otro u
otros
Interpretabilidad
• Facilidad para interpretar los
resultados
Velocidad
• Entrenamiento
• Producción
Modelos de
clasificación
Predicen el valor de un atributo con
una cantidad finita de valores posibles
Bayes
Redes Neuronales
K-vecinos (CBR)
Árboles de decisión

Data Mining Parte 1.pptx

  • 2.
    Data Mining * Laminería de datos (DM, Data Mining) consiste en la extracción no trivial de información que reside de manera implícita en los datos. En otras palabras, la minería de datos prepara, sondea y explora los datos para sacar la información oculta en ellos.
  • 3.
    Data Mining • Es unproceso automático que permite extraer esquemas interesantes, no triviales y previamente desconocidos, de los datos y descubrir relaciones entre variables
  • 4.
  • 5.
    Data Mining Proceso 1. Seleccióndel conjunto de datos, tanto en lo que se refiere a las variables dependientes, como a las variables objetivo, como posiblemente al muestreo de los registros disponibles. 2. Análisis de las propiedades de los datos, en especial los histogramas, diagramas de dispersión, presencia de valoresatípicos yausenciadedatos. 3. Transformación del conjunto de datos de entrada, se realizará de diversas formas en función del análisis previo, con el objetivo de prepararlo para aplicar la técnica de minería dedatosque mejor seadaptealos datos yalproblema.
  • 6.
    Data Mining 4. Seleccionary aplicar la técnica de minería de datos, se construye el modelo predictivo, de clasificación o segmentación. 5. Extracción de conocimiento, mediante una técnica de minería de datos, se obtiene un modelo de conocimiento, que representa patrones de comportamiento observados en los valores de las variables del problema o relaciones de asociación entre dichas variables. También pueden usarse varias técnicas a la vez para generar distintos modelos, aunque generalmente cada técnica obliga a un preprocesado diferente de los datos.
  • 7.
    Data Mining 6.Interpretación yevaluación de datos,una vez obtenido elmodelo,se debe proceder a su validación comprobando que las conclusiones que arroja son válidas y suficientemente satisfactorias.En elcaso de haber obtenido varios modelos mediante eluso de distintas técnicas,se deben comparar los modelos en busca de aquelque se ajuste mejor alproblema.Sininguno de los modelos alcanza los resultados esperados,debe alterarse alguno de los pasos anteriores para generar nuevos modelos.
  • 8.
  • 9.
    Data Mining • Utilizacion dela • Mineria de Datos
  • 10.
    Data Mining Dónde se puedeutilizar • Marketing: Segmentación, campañas, rentabilidad, lealtad,... • Ventas: Esquemas de comportamiento, hábitos de compra • Finanzas: Inversiones, administración de cartera • Bancos y Seguros: Aprobación de créditos y pólizas • Seguridad: Detección de fraudes • Medicina: Análisis de tratamientos • Fabricación: control de calidad, adjudicación de recursos • Internet: Análisis de clicks (Web mining)
  • 11.
    Data Mining - Negocios Laminería de datos puede contribuir significativamente en las aplicaciones de administración empresarial basada en la relación con el cliente. - Hábitos de compra en supermercados El ejemplo clásico de aplicación de la minería de datos tiene que ver con la detección de hábitos de compra en supermercados. http://www.forbes.com/sites/kashmirhill/2012/02/16/how-target-figured-out-a-teen-girl-was-pregnant-before-her-father-did/ Data Mining - Patrones de fuga Un ejemplo más habitual es el de la detección de patrones de fuga. En muchas industrias —como la banca, las telecomunicaciones, etc.— existe un comprensible interés en detectar cuanto antes aquellos clientes que puedan estar pensando en rescindir sus contratos para, posiblemente, pasarse a la competencia. - Fraudes Un caso análogo es el de la detección de transacciones de blanqueo de dinero o de fraude en el uso de tarjetas de crédito o de servicios de telefonía móvil e, incluso, en la relación de los contribuyentes con el fisco.
  • 12.
    Data Mining Data Mining -Recursos humanos La minería de datos también puede ser útil para los departamentos de recursos humanos en la identificación de las características de sus empleados de mayor éxito. - Comportamiento en Internet También es un área en boga el del análisis del comportamiento de los visitantes — sobre todo, cuando son clientes potenciales— en una página de Internet. - Terrorismo Se ha sugerido que la unidad Able Danger del Ejército de los EE.UU, la Agencia Central de Inteligencia y sus homóloga canadiense, Servicio de Inteligencia y Seguridad Canadiense, han empleado este método. - Juegos Con la disponibilidad de oráculos para determinados juegos combinacionales, también llamados finales de juego de tablero con cualquier configuración de inicio, se ha abierto una nueva área en la minería de datos que consiste en la extracción de estrategias utilizadas por personas para estos oráculos.
  • 13.
    Data Mining - Cienciae Ingeniería En los últimos años la minería de datos se está utilizando ampliamente en diversas áreas relacionadas con la ciencia y la ingeniería. Algunos ejemplos de aplicación en estos campos son:  Genética  Ingeniería eléctrica  Análisis de gases
  • 14.
    Data Mining Herramientas desoftware Existen muchas herramientas de software para el desarrollo de modelos de minería de datos tanto libres como comerciales como, por ejemplo: Comerciales * SPSS Clementine * SAS Enterprise Miner Libres * R * KNIME * RapidMiner * Weka * Orange
  • 15.
  • 16.
  • 17.
    Data Mining Trabajo conjunto Negocios Especialista Problema puntual Datosal nivel más detallado No un solo enfoque No una sola solución
  • 18.
    Data Mining Dos tipos demodelos Predictivos • Clasificación • Regresión Descriptivos • Asociación • Segmentación
  • 19.
    Data Mining Modelos Predictivos Clasificación • Prediceun valor discreto • Sí / No • Alto / Mediano / Bajo Regresión • Predice un valor continuo • Importes • Cantidades
  • 20.
    Data Mining Modelos Descriptivos Asociación • Análisisde Canasta • Soporte • Confianza Segmentación
  • 21.
  • 22.
    Modelos de Data Mining PRUEBA De loscasos históricos disponibles se destina una cierta cantidad para entrenar el modelo y se reserva una porción de ellos para probar el modelo Se presentan los casos como si fueran nuevos y se coteja la respuesta del modelo con los valores reales
  • 23.
    Modelos de DataMining Matriz de confusión Sí No Sí No Predicción 455 29 32 384 Cantidad de casos
  • 24.
    Matriz de confusión Sobre untotal de 900 casos el modelo predijo 455 como sí y en realidad era sí 384 como no y en realidad era no 839 predicciones correctas (93,2%) El resto (6,8%) los predijo en forma incorrecta PRECISION
  • 25.
    Modelos predictivos Los atributos (variables)son columnas de la tabla Variables de entrada (atributos descriptivos) Variable objetivo (atributo objetivo) El entrenamiento tiene por objeto descubrir las relaciones entre las variables de entrada y la variable objetivo En producción usa ese conocimiento para predecir el valor de la variable objetivo
  • 26.
    Modelos predictivos Pautas para laevaluación Precisión • No hay un algoritmo que sea siempre más preciso que otro u otros Interpretabilidad • Facilidad para interpretar los resultados Velocidad • Entrenamiento • Producción
  • 27.
    Modelos de clasificación Predicen elvalor de un atributo con una cantidad finita de valores posibles Bayes Redes Neuronales K-vecinos (CBR) Árboles de decisión