POWER POINT YUCRAElabore una PRESENTACIÓN CORTA sobre el video película: La C...
Metodología de Data Mining CRISP
1. Metodología CRISP-DM
Abstract
Durante 1996 el interés en data mining (a partir de ahora DM) iba creciendo pero se trataba
de una industria joven e inmadura lo que provocaba que los acercamientos a este tipo de
proyectos fueran dubitativos.
A finales de este año tres líderes de la industria: DaimlerBenz, SPSS (entonces ISL) y NCR
formaron un consorcio, inventaron un acrónimo CRISP-DM (CRoss-Industry Standard
Process for Data Mining) y comenzaron a proponer ideas.
Actualmente existen alrededor de 200 miembros del CRISP-DM Special Interest Group (SIG),
incluidos proveedores de DM, consultores y usuarios finales. La metodología CRISP tiene la
ventaja de que no ha sido construida de manera teórica y académica sino que se basa en
experiencias reales de cómo la gente hace proyectos de DM.
El modelo CRISP-DM
La metodología se describe en términos de un proceso jerárquico, consistente en un grupo
de tareas descritas en cuatro niveles de abstracción (de general a específico): fase, tarea
genérica, tarea especializada e instancia de proceso (ver figura 1).
FIGURA 1 – NIVELES DE LA METODOLOGÍA
En el nivel superior encontramos las fases, que se dividen en varios niveles de tareas
genéricas. Este segundo nivel es llamado genérico porque pretende ser lo bastante general
como para cubrir todas las situaciones posibles.
En el tercer nivel, el de las tareas especializadas, describe cómo las tareas genéricas del
segundo nivel han de ser tratadas en determinadas situaciones. P.e. en el segundo nivel
puede haber una tarea llamada limpieza de datos y en el tercer nivel describir cómo esta
tarea cambia en situaciones diferentes, tales como la limpieza de valores numéricos frente a
la limpieza de valores categóricos.
El cuarto nivel es un registro de las acciones, decisiones y resultados del proyecto
representando lo que ha sucedido en un caso particular en lugar de lo que sucede a nivel
general.
El modelo provee una representación completa del ciclo de vida de un proyecto de DM, que
se divide en seis fases, sus tareas y relaciones entre ellas.
2. La secuencia de estas fases no es estricta y son frecuentes los movimientos hacia delante y
hacia atrás. Éstos dependen del resultado de cada fase o cuál es la tarea siguiente que se ha
de ejecutar.
Estas fases ayudan a las organizaciones a entender el proceso y proveen de un “mapa del
camino” a seguir: conocimiento del negocio, conocimiento de los datos, preparación de los
datos, modelado, evaluación, despliegue.
FIGURA 2 - FASES DEL MODELO CRISP-DM
La figura 2 muestra las fases de un proceso de DM. Las flechas indican las más importantes
y frecuentes dependencias entre las fases, mientras que el círculo exterior simboliza la
naturaleza cíclica de un proyecto de estas características e ilustra que las lecciones
aprendidas durante el proceso y a partir de la fase de evaluación pueden hacernos tener
nuevas cuestiones relativas al negocio. Los siguientes procesos se beneficiarán de las
experiencias obtenidas en los anteriores.
El plan del proyecto describe los timing para alcanzar los objetivos, un estándar de facto es
que el reparto sea:
• 50-70 % fase de preparación de los datos,
• 20-30 % fase de conocimiento de los datos,
• 10-20 % en el modelado, evaluación y conocimiento del negocio, y
• 5-10 % fase de despliegue.
Fase 1: Conocimiento del negocio
La fase más importante de cualquier proyecto de data mining consiste en entender
los objetivos del proyecto desde una perspectiva de negocio para a continuación
desarrollar un plan preliminar para alcanzar los objetivos.
3. Con el objetivo de entender qué datos deben ser analizados y cómo, es vital que los
diseñadores del proyecto tengan un completo entendimiento del negocio para el
que están encontrando una solución.
La fase de conocimiento del negocio involucra pasos clave como determinar los
objetivos del negocio, comprender la situación, determinar los objetivos del
proyecto de data mining y producir el plan del proyecto.
Fase 2: Conocimiento de los datos
Esta fase arranca con una colección inicial de datos. El analista procede a
familiarizarse con los datos, identificar la calidad de los mismos, descubrir ideas
iniciales en los datos o detectar subconjuntos para formar hipótesis sobre
información escondida.
Esta fase incluye cuatro pasos:
• recolección inicial de los datos,
• descripción de los mismos,
• exploración y
• verificación de su calidad.
Fase 3: Preparación de los datos
Cubre todas las actividades para construir el conjunto final de los datos que serán
utilizados en la(s) herramienta(s) de modelado. Las tareas incluyen la selección de
tablas, registros y atributos, así como la transformación y limpieza de los datos
para las herramientas de modelado.
Las cinco tareas incluidas en la fase de preparación de los datos son:
• selección,
• limpieza,
• construcción e
• integración y
• formateo de los datos.
Las técnicas utilizadas para asegurar la calidad de los datos y que estén en la forma
adecuada son:
• limpieza,
• transformación y
• reducción de la dimensionalidad.
Fase 4: Modelado
En esta fase, varias técnicas de modelado son seleccionadas y aplicadas y sus
parámetros son calibrados a valores óptimos. Usualmente existen varias técnicas
para los mismos problemas de data mining. Algunas de ellas tienen requerimientos
específicos en el formato de los datos, por lo que el paso atrás a la fase de
preparación de los datos puede ser necesario.
Las tareas de modelado incluyen:
• selección de la técnica de modelado,
• generación de las pruebas,
• creación de los modelos e
• interpretación.
4. Fase 5: Evaluación
Antes de proceder a la fase de despliegue final es importante evaluar el modelo y
revisar la construcción a fin de comprobar que se cumplen los objetivos del
negocio.
Aquí es crítico determinar si partes importantes del negocio han sido lo
suficientemente consideradas. Al final de esta fase, el líder del proyecto debe
decidir exactamente cómo utilizar los resultados del proceso de data mining.
Las fases son:
• evaluación de los resultados,
• revisión de los procesos y
• determinar los siguientes pasos a seguir.
Es en esta fase y con la ayuda del analista de los datos que gracias a la naturaleza
iterativa de un proyecto de data mining pueden surgir nuevas preguntas a
responder que hagan que el proyecto retorne a la fase de conocimiento del negocio
a fin de poder responderlas.
Fase 6: Despliegue
La creación del modelo no es el final del proyecto. El conocimiento obtenido debe
ser organizado y presentado de manera que el usuario lo pueda utilizar.
Dependiendo de los requerimientos, esta fase puede ser tan simple como la
generación de un informe o tan compleja como implementar un proceso de data
mining repetible a través de la organización.
Es importante que el usuario entienda qué acciones deben ser llevadas a cabo para
utilizar los modelos creados.
Las tareas son:
• planificar el despliegue, la monitorización y el mantenimiento,
• generar un informe final y
• revisar el proyecto a fin de identificar fracasos y éxitos y potenciales áreas de
mejora para el uso en futuros proyectos.
5. FIGURA 3 – TAREAS GENÉRICAS Y RESULTADOS DEL MODELO
La figura 3 presenta las fases del modelo acompañadas de las tareas genéricas (en negrita)
y los resultados (en cursiva).
¿Por qué utilizar un proceso estándar?
CRISP se diseñó para dar una guía a inexpertos en DM y para proveer un modelo genérico
que se puede especializar de acuerdo con las necesidades de cualquier compañía o sector
particular, lo que permitirá a los analistas tener una razonable seguridad de que sus
esfuerzos serán útiles y válidos.
Se provee una manera de reaprovechar la experiencia y ayuda a la planificación y gestión del
proyecto.
DaimlerChrysler ha adaptado CRISP-DM para desarrollar su herramienta de CRM
especializado, SPSS y NCR han adoptado el modelo y lo han utilizado en numerosos
proyectos en diferentes industrias y con requerimientos de negocio.
No obstante el modelo no pretende ser un libro mágico de instrucciones que
instantáneamente haga al más inexperto triunfar en proyectos de DM. Sin embargo,
combinado con formación, así como con la ayuda de consultores expertos, puede ser una
valiosa herramienta para ayudar a los analistas más inexpertos a comprender las tareas
involucradas en un ciclo de vida de un proyecto de DM.
BIBLIOGRAFÍA
Peter Chapman, Julian Clinton, Randy Kerber, Thomas Khabaza, Thomas Reinatz, Colin
Shearer, Rudiger Wirth. CRISP-DM 1.0, Step by step data mining guide, www.spss.com,
2000.
Colin Shearer. The CRISP-DM Model: The New Blueprint for Data Mining. Journal of Data
Warehousing, volume 5, number 4, fall 2000.
CRISP-DM, www.crisp-dm.org
Autor: Oscar Alonso Llombart (oalonsol@uoc.edu)