Este documento presenta una introducción a la minería de datos secuenciales. Explica conceptos como patrones secuenciales y cómo se usan técnicas como clasificación, agrupamiento y reglas de asociación con datos secuenciales para resolver problemas en diferentes áreas como comercio, medicina y análisis web. También describe ventajas y desventajas de este enfoque de minería de datos.
1. Inteligencia de negocios MINERÍA DE DATOS SECUENCIALES PROYECTO Guevara Diego - Jaramillo Marilyn – Landacay Katty
2. Objetivos: Buscar información teórica de lo que abarca, describe y caracteriza a una Minería de datos secuenciales Ampliar nuestros conocimientos, mediante el entendimiento de toda esta información encontrada acerca de nuestro tema A partir de la presente investigación poder entender los pro y contra que nos ofrece este tipo de minería de datos Tener claro todos los conceptos teóricos básicos para poder entender las aplicaciones de los patrones secuenciales.
3. Resumen: En este trabajo se presenta una breve introducción de lo que es la minería de datos en forma general, y luego enfocándonos a la minería de datos secuenciales. La finalidad es tener un conocimiento claro de los conceptos que abarca este tipo de técnica de minería de datos como es la de patrones secuenciales, mismos que utilizaremos en las siguientes fases de nuestro proyecto. Iniciamos la presente fase, con una descripción de lo que es minería de datos, tipos y técnicas, luego nos enfocamos en minería de datos secuenciales, concepto, características, problemas que nos permite resolver, así como las ventajas y desventajas que nos ofrece.
4. Introducción: La minería de datos puede definirse como la extracción no trivial de información implícita, previamente desconocida y potencialmente útil a partir de los datos, es decir es el “descubrimiento eficiente de información valiosa, no-obvia de una gran colección de datos”. Se la considera como una técnica de descubrimiento de conocimiento que, a su vez, hace uso dediferentes tecnologías para conseguirlo como: agrupamiento automático, predicción,clasificación, asociación de atributos, detección de patrones secuenciales, etc.
5. Introducción: En el siguiente gráfico podemos observar la clasificación de Minería de Datos (DM) en dos grupos: tareas descriptivas y predictivas, nosotros nos enfocamos en las descriptivas específicamente en el grupo de Asociación (color verde en el grafico), y dentro de este en Patrones secuenciales
6. Introducción: Las tareas o métodos descriptivos o también llamados no supervisados son utilizados cuando una aplicación no es lo suficientemente madura y no tiene el potencial necesario para una solución predictiva, descubriendo patrones y tendencias en los datos actuales (no utilizan datos históricos), que permitan explorar las propiedades de los datos examinados, no para predecir nuevos datos, sino para llevar acciones y obtener beneficio (científico o de negocio) de ellas El descubrimiento de patrones secuenciales es muy utilizado en la industria ventas al por menor, y también en el dominio de la medicina. El resultado de esta técnica se presenta como una lista de transacciones. Los algoritmos de patrones secuenciales son muy útiles a la hora de descubrir la tendencia de los datos como: El número de revistas deportivas vendidas a clientes con N° de crédito
7. Desarrollo: Definición de Minería de Datos secuenciales.- Es la extracción de patrones frecuentes relacionados con el tiempo u otro tipo de secuencia Es una clase especial de dependencia en las que el orden de acontecimientos es considerado. En un análisis de cesta de compras, las asociaciones describen dependencias entre artículos en un tiempo dado. El patrón secuencial describe el modelo que hace compras de un cliente particular o un grupo de clientes relacionando las distintas transacciones efectuadas por el o ellos a lo largo del tiempo. Son eventos que se enlazan con el paso del tiempo, por ejemplo si se compra una casa, 65% de las veces se comprará un refrigerador dentro de las siguientes dos semanas.
8. Patrones Secuenciales: Se trata de buscar asociaciones de la forma: "si sucede el evento X en el instante de tiempo t entonces sucederá el evento Y en el instante t+n“. El objetivo de la tarea es poder describir de forma concisa relaciones temporales que existen entre los valores de los atributos del conjunto de ejemplos. Utiliza reglas de asociación secuenciales.- reglas que expresan patrones de comportamiento secuencial, es decir, que se dan en instantes distintos en el tiempo.
9. Características: El orden importa Objetivo: encontrar patrones en secuencia Una secuencia es una lista ordenada de itemsets, donde cada itemset es un elemento de la secuencia El tamaño de una secuencia es su cantidad de elementos (itemsets) La longitud de una secuencia es su cantidad de items El soporte de una secuencia es el porcentaje de secuencias que la contienen en un conjunto de secuencias S Las secuencias frecuentes (o patrones secuenciales) son las subsecuencias de una secuencia que tienen un soporte mínimo
10. Tipos de valores que usa: El número de revistas deportivas vendidas a clientes en un supermercado Transacciones comerciales Recorrido de un cliente por las secciones de un supermercado Marketing focalizado Ventas de artículos propensión de uso de productos segmentación por comportamiento de compra propensión a la compra Registros sobre accesos a páginas web Orden de compra de productos Rutas de ubicación de archivos Adn, proteínas Registros transaccionales: transacciones comerciales, operaciones realizadas con una tarjeta de crédito Relacionales: ej: detectar patrones de un tipo, estructura de servicios que ofrece un banco, o en un supermercado
11. Entornos: Entorno en los que se desarrolla: Áreas: Medicina Biología, bioingeniería Web Análisis de mercado, distribución y en el comercio Aplicaciones financieras y banca Aplicaciones de seguro y salud privada Deportes Tipo de base de datos: Base de datos temporales Base de datos documentales Base de datos relacionales
12. Entornos: Entorno en los que no se desarrolla: Áreas: En entornos predictivos En entornos de naturaleza variable. La variabilidad viene determinada por la inexistencia de un orden predeterminado de aparición de los hechos o eventos. La recuperación de la información.- una tarea típica en encontrar documentos a partir de palabras claves Política: diseño de campañas políticas, estudio de tendencias políticas Policiales: identificación de posibles terroristas en un aeropuerto Procesos industriales: detección de piezas con trabas. Modelos de calidad Tipo de base de datos: Base de datos espaciales Base de datos multimedia
13. Tipos de problemas que ayuda a solucionar: Algunas de las técnicas de minería de datos existentes para datos secuenciales son: clasificación con datos secuenciales, agrupamiento de patrones secuenciales y reglas de asociación con datos secuenciales Algunos problemas que se resuelven con estas técnicas de la minería de datos secuenciales son: Clasificación con datos secuenciales Agrupamiento de patrones secuenciales Reglas de asociación con datos secuenciales
14. Clasificación con datos secuenciales: Donde datos contiguos presentan algún tipo de relación Aplicaciones: Reconocimiento de caracteres escritos.- El reconocimiento de caracteres tiene como objeto la asociación de un caracter a la identidad correspondiente de entre un conjunto de símbolos que componen el alfabeto considerado. Dicho mecanismo se puede dar en varias situaciones, desde reconocimiento de letras o números aislados hasta análisis o comprensión de documentos, donde el procedimiento estudiado no es más que una pequeña pieza de un rompezabezas. Ayuda a: automatizar la lectura de direcciones postales, cheques bancarios, formularios de impuestos, formularios de censo y lectores de texto para discapacitados, entre otros. Reconocimiento de correo spam de un correo electrónico
15. Agrupamiento de patrones secuenciales: Se define como la tarea de separar en grupos a los datos, de manera que los miembros de un mismo grupo sean muy similares entre sí, y al mismo tiempo sean diferentes a los objetivos de otros grupos. Aplicaciones: En este caso se busca los grupos de secuencias con alta conexión Agrupar secuencias transaccionales comerciales puede ayudar a identificar diferentes grupos de clientes de acuerdo a sus compras Biología, bioingeniería: Encontrar grupos con secuencias de proteínas similares puede ayudar a identificar secuencias de idéntica funcionalidad Análisis de secuencias de genes Predecir si un compuesto químico causa cáncer Clasificación de cuerpos celestes
23. Utilización: Los valores adecuados para los parámetros son difíciles de establecer a priori, por lo que se suele emplear un proceso de prueba y error.
24.
25. Partiendo de un único agrupamiento, se van creando nuevos agrupamientos conforme se procesan nuevos patrones secuencialmente (algoritmo incremental).
28. Se calcula la distancia del patrón actual al agrupamiento más cercano (a su centroide).
29. Si ésta es menor o igual a R se asigna el patrón a su agrupamiento más cercano.
30.
31. Parámetros K: Número deseado de agrupamientos. R: Umbral de distancia para crear agrupamientos. C: Umbral de distancia para mezclar agrupamientos. M: Longitud del “lote”(patrones procesados entre procesos de mezcla) T : Umbral para la eliminación de agrupamientos (% sobre M)
32. Reglas de asociación con datos secuenciales: Expresan patrones de comportamiento secuenciales, es decir que se dan en instantes distintos (pero cercanos) en el tiempo. Aplicaciones: Si se compra una casa, 65% de las veces se comprará un refrigerador dentro de las siguientes dos semanas. (distribución y marketing) Si un cliente compra un reproductor de DVD, es probable que el mes siguiente compre varias películas en formato DVD.(distribución y marketing) Dentro de la minería Web: El 40% de las personas que consultan la página web de información sobre la cartelera, visitan en menos de dos días la página web de compras de entradas de cine.(análisis de navegación sobre páginas web)
38. AprioriAll Tiene como objetivo hallar las secuencias de conjuntos de items que cumplan una mínima cobertura. Se divide en 5 fases: Fase de ordenamiento Fase de fijación de límites para conjuntos: Se determinan grandes conjuntos de productos y se fijan sus límites. Fase de transformación: Se determina cuales de los conjuntos de secuencias, están contenidos en una secuencia de cliente. Fase de secuencias: Se encuentran las secuencias deseadas; se repite proceso. En cada pasada se analizan los conjuntos determinados. Fase de determinación de Máximos.
39. Ventajas: Para llegar a estos niveles de análisis la minería de datos utiliza a gran escala la ciencia estadística para describir los patrones de compra, agrupar clientes, formar segmentos, clasificar nuevos clientes, etc; lo que nos permite tener un mayor grado de certeza de que nuestro estudio y además a poder tomar mejores decisiones. Como uno de los primeros pasos a la hora de diseñar un algoritmo de agrupamiento de secuencias es establecer una media de similitud entre secuencias, esto permite que haya una mayor aproximación en el alineamiento óptimo entre dos secuencias para poder compararlas La utilización de patrones de secuencia, permite ahorrar grandes cantidades de tiempo en la construcción del conocimiento.
40. Desventajas: El problema de descubrir patrones secuenciales se centra en localizar la presencia de un conjunto de elementos seguida por otro elemento en un conjunto de transacciones o visitas ordenadas en el tiempo, esto causa un poco de lentitud en la aplicación de esta técnica. Problema de eficiencia, ya que la estimación de la similitud entre secuencias es más costosa que medir la similitud entre datos. Este problema restringe en la práctica la utilización de estos métodos de agrupamiento sólo a problemas de tamaño limitado
41. Aplicación de un método para obtener patrones secuenciales: Explicación teórica del ejemplo Explicación de la herramienta (WEKA, Algoritmo AprioriAll) Explicación de los resultados
42. archivo con las clases, atributos, valores, datos y las relaciones Preparación de Datos
45. Conclusiones basándonos en el ejemplo Las relaciones-patrones que se encontró en nuestro ejemplo son las siguientes: La tripulación era de edad adulta y en la mayoría de sexo masculino. Lo que nos indica que no había mucho espacio para las mujeres en cuanto a preparación para este tipo de actividades. De las personas que no sobrevivieron la mayoría era de dad adulta y del sexo masculino, lo que nos dice que eran más los hombres los que tenían acceso a este tipo de transporte. Algo relevante que podemos decir es que el numero de niños que habían en el barco era muy bajo al igual que el de mujeres. El número de sobrevivientes es menor al de los que murieron, por lo que vemos las medidas de contingencia no pudieron hacer nada frente al accidente.
46. A qué nos ayudan estas conclusiones? En el campo del marketing, enfocar al sector masculino las propagandas relacionadas a viajes en barco. De educación, ofrecer carreras que tengan que ver con la navegación. Realizar planes para poder actuar en caso de accidentes. Dar una mayor preparación a la tripulación en cuanto a accidentes se refiere.
47. El análisis sobre la toma de decisiones apoyados en la descripción de hechos debe ser en mayor magnitud, es decir tratar casos general y no tan solo uno en particular. La panorámica sería muy pobre en términos reales a nivel de una población y demasiado exagerada en términos de que es particular. A qué nos ayudan estas conclusiones?
48. Conclusiones Finales del Tema Minería de datos secuenciales, es un tema que actualmente se esta dando, es usado más dentro de la Minera Web (Web Mining) Técnicas como el agrupamiento automático de clientes, la clasificación de los usuarios y la personalización de servicios, permiten tomar una posición en este mercado que nos diferencie de nuestros competidores. Dependiendo de los objetivos buscados se puede emplear el método dentro de la minería de datos secuenciales.