SlideShare una empresa de Scribd logo
Limpieza de datos
la etapa previa al interrogatorio
Según wikipedia
Limpieza de datos: es el acto de descubrimiento, corrección o eliminación de
datos erróneos de una base de datos.
Transformación de datos: En estadística, la transformación de datos se efectúa
para asegurarse así de que tienen una distribución normal (un remedio para los
valores atípicos, fallas de la normalidad, la linealidad, y homocedasticidad).
Un excel sucio no causa
desastres...
¿o sí?
http://www.cnnexpansion.com/finanzas-personales/2012/01/04/londres-2012-sobrevende-10000-entradas
Historias de horror
Los errores en los datos y en el
manejo de herramientas son tan
comunes que incluso existe una
organización llamada Grupo europeo
de evaluación de riesgos para hojas
de cálculo (ESRIG, por sus siglas en
inglés) y que hace recomendaciones
al usuario para evitar errores cuando
se usa una hoja de cálculo.
La ESRIG se encarga de rastrear
historias trágicas en el manejo de
datos. Si quieres saber más, visita
data errors in spreadsheets have led
to real consequences.
http://www.eusprig.org
“Dirty Data”
Generalmente es necesario realizar alguna limpieza a los
datos para obtener materia prima adecuada.
Reconocimiento
Consiste en realizar un resumen de las características y observar el
modelo para verificar errores.
● Algunos aspectos pueden salir a simple vista
○ Cinco valores para el sexo
● Otros aspectos son más difíciles de encontrar, para ellos se usan
otras herramientas:
○ Histogramas, gráficas de dispersión
Valores faltantes
Causas:
Faltan valores relevantes porque no se
pudieron obtener
No existen los valores
Datos incompletos (varios orígenes)
Tratamiento
Ignorarlos
Eliminar toda la columna
Reemplazar el valor
Segmentar
Limpieza, integración y transformación
Evitar problemas ocasionados por datos faltantes, valores duplicados y datos incorrectos
Valores erróneos
Algunas veces no es un proceso trivial,
clasificar y agrupar pueden ayudar
Tratamiento:
Ignorar
Eliminar
Filtrar
Reemplazar
Discretizar
Integración
Se puede dar de dos maneras:
Unificar dos o más objetos
Separar un objeto en dos o más
Ejemplos
Separar (nombres, apellidos)
Unificar formatos de fechas, sexo, estado
civil
Limpieza, integración y transformación
Transformación
Es cualquier proceso que modifique la forma
de los datos
Crear nuevos atributos
Cambiar tipo de dato
Cambiar total o parcialmente una tabla
Ejemplos
convertir columna en tipo número o fecha
agregar columna edad basado en fecha de
nacimiento
nivel de estudio de una persona (sin estudio,
Tipos de datos
Carácter
por ejemplo para definir sexo (F,M)
Texto
el más común de todos
Boolean
(si, no), (verdadero, falso), (0,1)
Control de flujo
según la opción se toman unos u otros
datos
Número
se puede hacer operaciones con ellos
no siempre es lo que parece
Siempre lleva una
bitácora con todos los
cambios
mantén una copia del archivo original
Pero Phi…
mi base tiene miles de
registros...
¿y ahora qué hago?
Hora de ensuciarse las manos
Veamos algunos ejemplos
OpenRefine
la lavadora de los datos
OpenRefine
http://openrefine.org
Ahora sí a torturar esos datos
hasta que nos digan la verdad
Conclusiones
¿qué opinas? ¿alguna duda?
Esta obra está bajo una Licencia Creative Commons Atribución-CompartirIgual 4.0 Internacional.
https://goo.gl/4TEMMH

Más contenido relacionado

La actualidad más candente

Manual de excel
Manual de excelManual de excel
Manual de excel
Gabriellacv13
 
Filtros en Excel
Filtros en ExcelFiltros en Excel
Filtros en Excel
Ramirez1999
 
Manual de excel
Manual de excelManual de excel
Manual de excel
Jefferson Cando
 
La importancia de los paquetes estadísticos en la administración
La importancia de los paquetes estadísticos en la administraciónLa importancia de los paquetes estadísticos en la administración
La importancia de los paquetes estadísticos en la administración
juan neptali arrieche heredia
 
Bases de datos
Bases de datosBases de datos
Bases de datos
Rodrigo Gonzalez
 
Hojas de calculo
Hojas de calculo Hojas de calculo
Hojas de calculo
Mireya Yazmin
 
Consultas de selección y parametros
Consultas de selección y parametrosConsultas de selección y parametros
Consultas de selección y parametros
LAURITAPEREZSALAMANCA
 

La actualidad más candente (7)

Manual de excel
Manual de excelManual de excel
Manual de excel
 
Filtros en Excel
Filtros en ExcelFiltros en Excel
Filtros en Excel
 
Manual de excel
Manual de excelManual de excel
Manual de excel
 
La importancia de los paquetes estadísticos en la administración
La importancia de los paquetes estadísticos en la administraciónLa importancia de los paquetes estadísticos en la administración
La importancia de los paquetes estadísticos en la administración
 
Bases de datos
Bases de datosBases de datos
Bases de datos
 
Hojas de calculo
Hojas de calculo Hojas de calculo
Hojas de calculo
 
Consultas de selección y parametros
Consultas de selección y parametrosConsultas de selección y parametros
Consultas de selección y parametros
 

Destacado

Vacuna hpv y embarazo, nejm marzo 2017
Vacuna hpv y embarazo, nejm marzo 2017Vacuna hpv y embarazo, nejm marzo 2017
Vacuna hpv y embarazo, nejm marzo 2017
marcela maria morinigo kober
 
Propiedades adhesivos
Propiedades adhesivosPropiedades adhesivos
Propiedades adhesivos
InfomercialesHF
 
Tendencias de la educación superior en américa latina capitulo 3
Tendencias de la educación superior en américa latina  capitulo 3Tendencias de la educación superior en américa latina  capitulo 3
Tendencias de la educación superior en américa latina capitulo 3
Dina Claudeth Muñoz Maldonado
 
Cambridge english-first-2015-sample-paper-1-answer-keys v2
Cambridge english-first-2015-sample-paper-1-answer-keys v2Cambridge english-first-2015-sample-paper-1-answer-keys v2
Cambridge english-first-2015-sample-paper-1-answer-keys v2
Dani V
 
RESUMEN PELÍCULA |El niño con el pijama de rayas|
RESUMEN PELÍCULA |El niño con el pijama de rayas|RESUMEN PELÍCULA |El niño con el pijama de rayas|
RESUMEN PELÍCULA |El niño con el pijama de rayas|
Etica Portafolio
 
Manierismo
ManierismoManierismo
Manierismo
Maria Pascale
 
Guía Centro de Alumnos CEM
Guía Centro de Alumnos CEMGuía Centro de Alumnos CEM
Guía Centro de Alumnos CEM
Veronica Pardo
 
Your Mark on the World Sponsorship Opportunity
Your Mark on the World Sponsorship OpportunityYour Mark on the World Sponsorship Opportunity
Your Mark on the World Sponsorship Opportunity
Devin Thorpe
 
Proyecto de vida
Proyecto de vidaProyecto de vida
Proyecto de vida
kevin sanchez
 
Horas efectivas cristo rey 2017 -sugerido
Horas efectivas  cristo rey 2017 -sugeridoHoras efectivas  cristo rey 2017 -sugerido
Horas efectivas cristo rey 2017 -sugerido
Karyn Merlyn Corzo Valdiviezo
 
Presentación fuerzas armadas
Presentación fuerzas armadasPresentación fuerzas armadas
Presentación fuerzas armadas
Mónica Diz Besada
 
Plgia social
Plgia socialPlgia social
Plgia social
26844369
 
Terminos de referencia trabajo final
Terminos de referencia trabajo finalTerminos de referencia trabajo final
Terminos de referencia trabajo final
Lenin Monsalve
 
Plano quebra cabeça humano
Plano quebra  cabeça humanoPlano quebra  cabeça humano
Plano quebra cabeça humano
PIBIDSolondeLucena
 
Análisis de datos con R - Techcivica
Análisis de datos con R - TechcivicaAnálisis de datos con R - Techcivica
Análisis de datos con R - Techcivica
SocialTIC
 
Design thinking - Tech Cívica
Design thinking - Tech CívicaDesign thinking - Tech Cívica
Design thinking - Tech Cívica
SocialTIC
 
Narrativas basadas en datos - Tech Cívica
Narrativas basadas en datos  - Tech CívicaNarrativas basadas en datos  - Tech Cívica
Narrativas basadas en datos - Tech Cívica
SocialTIC
 
Tech Civica México - NDI
Tech Civica México - NDI Tech Civica México - NDI
Tech Civica México - NDI
SocialTIC
 
Métricas: cómo medir el impacto de tu comunicación y campañas - Techcívica
Métricas: cómo medir el impacto de tu comunicación y campañas - TechcívicaMétricas: cómo medir el impacto de tu comunicación y campañas - Techcívica
Métricas: cómo medir el impacto de tu comunicación y campañas - Techcívica
SocialTIC
 
Acelerador para planteamiento del problema (Design Thiniking) Tech Cívica
Acelerador para planteamiento del problema (Design Thiniking) Tech CívicaAcelerador para planteamiento del problema (Design Thiniking) Tech Cívica
Acelerador para planteamiento del problema (Design Thiniking) Tech Cívica
SocialTIC
 

Destacado (20)

Vacuna hpv y embarazo, nejm marzo 2017
Vacuna hpv y embarazo, nejm marzo 2017Vacuna hpv y embarazo, nejm marzo 2017
Vacuna hpv y embarazo, nejm marzo 2017
 
Propiedades adhesivos
Propiedades adhesivosPropiedades adhesivos
Propiedades adhesivos
 
Tendencias de la educación superior en américa latina capitulo 3
Tendencias de la educación superior en américa latina  capitulo 3Tendencias de la educación superior en américa latina  capitulo 3
Tendencias de la educación superior en américa latina capitulo 3
 
Cambridge english-first-2015-sample-paper-1-answer-keys v2
Cambridge english-first-2015-sample-paper-1-answer-keys v2Cambridge english-first-2015-sample-paper-1-answer-keys v2
Cambridge english-first-2015-sample-paper-1-answer-keys v2
 
RESUMEN PELÍCULA |El niño con el pijama de rayas|
RESUMEN PELÍCULA |El niño con el pijama de rayas|RESUMEN PELÍCULA |El niño con el pijama de rayas|
RESUMEN PELÍCULA |El niño con el pijama de rayas|
 
Manierismo
ManierismoManierismo
Manierismo
 
Guía Centro de Alumnos CEM
Guía Centro de Alumnos CEMGuía Centro de Alumnos CEM
Guía Centro de Alumnos CEM
 
Your Mark on the World Sponsorship Opportunity
Your Mark on the World Sponsorship OpportunityYour Mark on the World Sponsorship Opportunity
Your Mark on the World Sponsorship Opportunity
 
Proyecto de vida
Proyecto de vidaProyecto de vida
Proyecto de vida
 
Horas efectivas cristo rey 2017 -sugerido
Horas efectivas  cristo rey 2017 -sugeridoHoras efectivas  cristo rey 2017 -sugerido
Horas efectivas cristo rey 2017 -sugerido
 
Presentación fuerzas armadas
Presentación fuerzas armadasPresentación fuerzas armadas
Presentación fuerzas armadas
 
Plgia social
Plgia socialPlgia social
Plgia social
 
Terminos de referencia trabajo final
Terminos de referencia trabajo finalTerminos de referencia trabajo final
Terminos de referencia trabajo final
 
Plano quebra cabeça humano
Plano quebra  cabeça humanoPlano quebra  cabeça humano
Plano quebra cabeça humano
 
Análisis de datos con R - Techcivica
Análisis de datos con R - TechcivicaAnálisis de datos con R - Techcivica
Análisis de datos con R - Techcivica
 
Design thinking - Tech Cívica
Design thinking - Tech CívicaDesign thinking - Tech Cívica
Design thinking - Tech Cívica
 
Narrativas basadas en datos - Tech Cívica
Narrativas basadas en datos  - Tech CívicaNarrativas basadas en datos  - Tech Cívica
Narrativas basadas en datos - Tech Cívica
 
Tech Civica México - NDI
Tech Civica México - NDI Tech Civica México - NDI
Tech Civica México - NDI
 
Métricas: cómo medir el impacto de tu comunicación y campañas - Techcívica
Métricas: cómo medir el impacto de tu comunicación y campañas - TechcívicaMétricas: cómo medir el impacto de tu comunicación y campañas - Techcívica
Métricas: cómo medir el impacto de tu comunicación y campañas - Techcívica
 
Acelerador para planteamiento del problema (Design Thiniking) Tech Cívica
Acelerador para planteamiento del problema (Design Thiniking) Tech CívicaAcelerador para planteamiento del problema (Design Thiniking) Tech Cívica
Acelerador para planteamiento del problema (Design Thiniking) Tech Cívica
 

Similar a Limpieza de datos - Tech Cívica

1. limpieza y transformación de datos
1. limpieza y transformación de datos1. limpieza y transformación de datos
1. limpieza y transformación de datos
Miguel Murillo
 
Presentación Slideshare Organización de Datos
Presentación Slideshare Organización de DatosPresentación Slideshare Organización de Datos
Presentación Slideshare Organización de Datos
dianacanache
 
Presentación Slideshare Organización de Datos
Presentación Slideshare Organización de Datos Presentación Slideshare Organización de Datos
Presentación Slideshare Organización de Datos
dianacanache
 
Organización de datos
Organización de datos Organización de datos
Organización de datos
RosangelGarca
 
Workshop Manipulacion de Datos con R
Workshop Manipulacion de Datos con RWorkshop Manipulacion de Datos con R
Workshop Manipulacion de Datos con R
Ricardo Schifini Gladchtein
 
Estrategias fuentes y herramientas para recopilar organizar interpretar y usa...
Estrategias fuentes y herramientas para recopilar organizar interpretar y usa...Estrategias fuentes y herramientas para recopilar organizar interpretar y usa...
Estrategias fuentes y herramientas para recopilar organizar interpretar y usa...
Eva Lopez
 
Organización de los Datos(Estadística)
Organización de los Datos(Estadística)Organización de los Datos(Estadística)
Organización de los Datos(Estadística)
DuglibethRodriguez
 
Organizacion de datos saia
Organizacion de datos saiaOrganizacion de datos saia
Organizacion de datos saia
anyelaabate
 
Md unidad 2 2.1 limpieza de datos
Md unidad 2   2.1 limpieza de datosMd unidad 2   2.1 limpieza de datos
Md unidad 2 2.1 limpieza de datos
JoicelynSevillaSalaz
 
Organización de la estadistica
Organización de la estadisticaOrganización de la estadistica
Organización de la estadistica
estef2
 
Organizacion de datos
Organizacion de datosOrganizacion de datos
Organizacion de datos
adrianalopez349
 
B Datos _MICELI
B Datos _MICELIB Datos _MICELI
B Datos _MICELI
miceli
 
Organizacion de datos
Organizacion de datosOrganizacion de datos
Organizacion de datos
CarlosTorresRuiz2
 
Presentación Organización De Datos
Presentación  Organización De DatosPresentación  Organización De Datos
Presentación Organización De Datos
Anyelinaortiz3
 
Asignación#1-Análisis-de-Datos-y-Toma-de-Decisiones-para-Computación.pptx
Asignación#1-Análisis-de-Datos-y-Toma-de-Decisiones-para-Computación.pptxAsignación#1-Análisis-de-Datos-y-Toma-de-Decisiones-para-Computación.pptx
Asignación#1-Análisis-de-Datos-y-Toma-de-Decisiones-para-Computación.pptx
ssuser2cf2593
 
Dato - Qué es, concepto, ejemplos y tipos de datos.pdf
Dato - Qué es, concepto, ejemplos y tipos de datos.pdfDato - Qué es, concepto, ejemplos y tipos de datos.pdf
Dato - Qué es, concepto, ejemplos y tipos de datos.pdf
Richard Daniel Coro Arcayne
 
organización de datos
organización de datosorganización de datos
organización de datos
josegrecova
 
Procesamiento de datos
Procesamiento de datosProcesamiento de datos
Procesamiento de datos
Saulen Taicho
 
Calidad de datos (data quality)
Calidad de datos (data quality)Calidad de datos (data quality)
Calidad de datos (data quality)
Sergio Sanchez
 
Organización de datos
Organización de datosOrganización de datos
Organización de datos
YunalyGarcacumana
 

Similar a Limpieza de datos - Tech Cívica (20)

1. limpieza y transformación de datos
1. limpieza y transformación de datos1. limpieza y transformación de datos
1. limpieza y transformación de datos
 
Presentación Slideshare Organización de Datos
Presentación Slideshare Organización de DatosPresentación Slideshare Organización de Datos
Presentación Slideshare Organización de Datos
 
Presentación Slideshare Organización de Datos
Presentación Slideshare Organización de Datos Presentación Slideshare Organización de Datos
Presentación Slideshare Organización de Datos
 
Organización de datos
Organización de datos Organización de datos
Organización de datos
 
Workshop Manipulacion de Datos con R
Workshop Manipulacion de Datos con RWorkshop Manipulacion de Datos con R
Workshop Manipulacion de Datos con R
 
Estrategias fuentes y herramientas para recopilar organizar interpretar y usa...
Estrategias fuentes y herramientas para recopilar organizar interpretar y usa...Estrategias fuentes y herramientas para recopilar organizar interpretar y usa...
Estrategias fuentes y herramientas para recopilar organizar interpretar y usa...
 
Organización de los Datos(Estadística)
Organización de los Datos(Estadística)Organización de los Datos(Estadística)
Organización de los Datos(Estadística)
 
Organizacion de datos saia
Organizacion de datos saiaOrganizacion de datos saia
Organizacion de datos saia
 
Md unidad 2 2.1 limpieza de datos
Md unidad 2   2.1 limpieza de datosMd unidad 2   2.1 limpieza de datos
Md unidad 2 2.1 limpieza de datos
 
Organización de la estadistica
Organización de la estadisticaOrganización de la estadistica
Organización de la estadistica
 
Organizacion de datos
Organizacion de datosOrganizacion de datos
Organizacion de datos
 
B Datos _MICELI
B Datos _MICELIB Datos _MICELI
B Datos _MICELI
 
Organizacion de datos
Organizacion de datosOrganizacion de datos
Organizacion de datos
 
Presentación Organización De Datos
Presentación  Organización De DatosPresentación  Organización De Datos
Presentación Organización De Datos
 
Asignación#1-Análisis-de-Datos-y-Toma-de-Decisiones-para-Computación.pptx
Asignación#1-Análisis-de-Datos-y-Toma-de-Decisiones-para-Computación.pptxAsignación#1-Análisis-de-Datos-y-Toma-de-Decisiones-para-Computación.pptx
Asignación#1-Análisis-de-Datos-y-Toma-de-Decisiones-para-Computación.pptx
 
Dato - Qué es, concepto, ejemplos y tipos de datos.pdf
Dato - Qué es, concepto, ejemplos y tipos de datos.pdfDato - Qué es, concepto, ejemplos y tipos de datos.pdf
Dato - Qué es, concepto, ejemplos y tipos de datos.pdf
 
organización de datos
organización de datosorganización de datos
organización de datos
 
Procesamiento de datos
Procesamiento de datosProcesamiento de datos
Procesamiento de datos
 
Calidad de datos (data quality)
Calidad de datos (data quality)Calidad de datos (data quality)
Calidad de datos (data quality)
 
Organización de datos
Organización de datosOrganización de datos
Organización de datos
 

Más de SocialTIC

Tecnología Cívica Electoral durante periodo electoral (2009 - 2018) en Latino...
Tecnología Cívica Electoral durante periodo electoral (2009 - 2018) en Latino...Tecnología Cívica Electoral durante periodo electoral (2009 - 2018) en Latino...
Tecnología Cívica Electoral durante periodo electoral (2009 - 2018) en Latino...
SocialTIC
 
Repubikla en Datos y Mezcales
Repubikla en Datos y Mezcales Repubikla en Datos y Mezcales
Repubikla en Datos y Mezcales
SocialTIC
 
Sintonía en Datos y Mezcales
Sintonía en Datos y MezcalesSintonía en Datos y Mezcales
Sintonía en Datos y Mezcales
SocialTIC
 
Serendipia en Datos y Mezcales
Serendipia en Datos y MezcalesSerendipia en Datos y Mezcales
Serendipia en Datos y Mezcales
SocialTIC
 
Contrataciones abiertas en Datos y Mezcales
Contrataciones abiertas en Datos y MezcalesContrataciones abiertas en Datos y Mezcales
Contrataciones abiertas en Datos y Mezcales
SocialTIC
 
Guia estrategias ciberseguras
Guia estrategias cibersegurasGuia estrategias ciberseguras
Guia estrategias ciberseguras
SocialTIC
 
Informe Gobierno Espía
Informe Gobierno EspíaInforme Gobierno Espía
Informe Gobierno Espía
SocialTIC
 
Métricas para medir el impacto de tu comunicación - Día de Infoactivismo
Métricas para medir el impacto de tu comunicación - Día de InfoactivismoMétricas para medir el impacto de tu comunicación - Día de Infoactivismo
Métricas para medir el impacto de tu comunicación - Día de Infoactivismo
SocialTIC
 
Infoactivismo - Día de Infoactivismo
Infoactivismo - Día de InfoactivismoInfoactivismo - Día de Infoactivismo
Infoactivismo - Día de Infoactivismo
SocialTIC
 
Infoactivismo e ilustración con Criptomiau
Infoactivismo e ilustración con CriptomiauInfoactivismo e ilustración con Criptomiau
Infoactivismo e ilustración con Criptomiau
SocialTIC
 
Aprende a ilustra tu causa con Criptomiau II
Aprende a ilustra tu causa con Criptomiau IIAprende a ilustra tu causa con Criptomiau II
Aprende a ilustra tu causa con Criptomiau II
SocialTIC
 
Aprende a ilustrar tu causa con Criptomiau
Aprende a ilustrar tu causa con CriptomiauAprende a ilustrar tu causa con Criptomiau
Aprende a ilustrar tu causa con Criptomiau
SocialTIC
 
Storytelling - Tech Cívica
Storytelling - Tech CívicaStorytelling - Tech Cívica
Storytelling - Tech Cívica
SocialTIC
 
Visualización de datos - Tech Cívica
Visualización de datos - Tech CívicaVisualización de datos - Tech Cívica
Visualización de datos - Tech Cívica
SocialTIC
 
Taller méxico análisis
Taller méxico análisisTaller méxico análisis
Taller méxico análisis
SocialTIC
 
Tutorial uso correcto de los números y estadísticas en periodismo
Tutorial uso correcto de los números y estadísticas en periodismoTutorial uso correcto de los números y estadísticas en periodismo
Tutorial uso correcto de los números y estadísticas en periodismo
SocialTIC
 
Tutorial introducción al análisis de datos con hojas de cálculo
Tutorial  introducción al análisis de datos con hojas de cálculoTutorial  introducción al análisis de datos con hojas de cálculo
Tutorial introducción al análisis de datos con hojas de cálculo
SocialTIC
 
TIC e Interacción Ciudadana para un Parlamento Abierto
TIC e Interacción Ciudadana para un Parlamento AbiertoTIC e Interacción Ciudadana para un Parlamento Abierto
TIC e Interacción Ciudadana para un Parlamento Abierto
SocialTIC
 
Introducción a la Narrativa basada en Datos para OSCs
Introducción a la Narrativa basada en Datos para OSCsIntroducción a la Narrativa basada en Datos para OSCs
Introducción a la Narrativa basada en Datos para OSCs
SocialTIC
 
Introducción al Diseño de Plataformas Digitales
Introducción al Diseño de Plataformas DigitalesIntroducción al Diseño de Plataformas Digitales
Introducción al Diseño de Plataformas Digitales
SocialTIC
 

Más de SocialTIC (20)

Tecnología Cívica Electoral durante periodo electoral (2009 - 2018) en Latino...
Tecnología Cívica Electoral durante periodo electoral (2009 - 2018) en Latino...Tecnología Cívica Electoral durante periodo electoral (2009 - 2018) en Latino...
Tecnología Cívica Electoral durante periodo electoral (2009 - 2018) en Latino...
 
Repubikla en Datos y Mezcales
Repubikla en Datos y Mezcales Repubikla en Datos y Mezcales
Repubikla en Datos y Mezcales
 
Sintonía en Datos y Mezcales
Sintonía en Datos y MezcalesSintonía en Datos y Mezcales
Sintonía en Datos y Mezcales
 
Serendipia en Datos y Mezcales
Serendipia en Datos y MezcalesSerendipia en Datos y Mezcales
Serendipia en Datos y Mezcales
 
Contrataciones abiertas en Datos y Mezcales
Contrataciones abiertas en Datos y MezcalesContrataciones abiertas en Datos y Mezcales
Contrataciones abiertas en Datos y Mezcales
 
Guia estrategias ciberseguras
Guia estrategias cibersegurasGuia estrategias ciberseguras
Guia estrategias ciberseguras
 
Informe Gobierno Espía
Informe Gobierno EspíaInforme Gobierno Espía
Informe Gobierno Espía
 
Métricas para medir el impacto de tu comunicación - Día de Infoactivismo
Métricas para medir el impacto de tu comunicación - Día de InfoactivismoMétricas para medir el impacto de tu comunicación - Día de Infoactivismo
Métricas para medir el impacto de tu comunicación - Día de Infoactivismo
 
Infoactivismo - Día de Infoactivismo
Infoactivismo - Día de InfoactivismoInfoactivismo - Día de Infoactivismo
Infoactivismo - Día de Infoactivismo
 
Infoactivismo e ilustración con Criptomiau
Infoactivismo e ilustración con CriptomiauInfoactivismo e ilustración con Criptomiau
Infoactivismo e ilustración con Criptomiau
 
Aprende a ilustra tu causa con Criptomiau II
Aprende a ilustra tu causa con Criptomiau IIAprende a ilustra tu causa con Criptomiau II
Aprende a ilustra tu causa con Criptomiau II
 
Aprende a ilustrar tu causa con Criptomiau
Aprende a ilustrar tu causa con CriptomiauAprende a ilustrar tu causa con Criptomiau
Aprende a ilustrar tu causa con Criptomiau
 
Storytelling - Tech Cívica
Storytelling - Tech CívicaStorytelling - Tech Cívica
Storytelling - Tech Cívica
 
Visualización de datos - Tech Cívica
Visualización de datos - Tech CívicaVisualización de datos - Tech Cívica
Visualización de datos - Tech Cívica
 
Taller méxico análisis
Taller méxico análisisTaller méxico análisis
Taller méxico análisis
 
Tutorial uso correcto de los números y estadísticas en periodismo
Tutorial uso correcto de los números y estadísticas en periodismoTutorial uso correcto de los números y estadísticas en periodismo
Tutorial uso correcto de los números y estadísticas en periodismo
 
Tutorial introducción al análisis de datos con hojas de cálculo
Tutorial  introducción al análisis de datos con hojas de cálculoTutorial  introducción al análisis de datos con hojas de cálculo
Tutorial introducción al análisis de datos con hojas de cálculo
 
TIC e Interacción Ciudadana para un Parlamento Abierto
TIC e Interacción Ciudadana para un Parlamento AbiertoTIC e Interacción Ciudadana para un Parlamento Abierto
TIC e Interacción Ciudadana para un Parlamento Abierto
 
Introducción a la Narrativa basada en Datos para OSCs
Introducción a la Narrativa basada en Datos para OSCsIntroducción a la Narrativa basada en Datos para OSCs
Introducción a la Narrativa basada en Datos para OSCs
 
Introducción al Diseño de Plataformas Digitales
Introducción al Diseño de Plataformas DigitalesIntroducción al Diseño de Plataformas Digitales
Introducción al Diseño de Plataformas Digitales
 

Último

Presentación simple corporativa degradado en violeta blanco.pptx
Presentación simple corporativa degradado en violeta blanco.pptxPresentación simple corporativa degradado en violeta blanco.pptx
Presentación simple corporativa degradado en violeta blanco.pptx
eleandroth
 
UGEL SAN MIGUEL SACALE TARJETA ROJA A LA VIOLENCIA.pptx
UGEL SAN MIGUEL SACALE TARJETA ROJA A LA VIOLENCIA.pptxUGEL SAN MIGUEL SACALE TARJETA ROJA A LA VIOLENCIA.pptx
UGEL SAN MIGUEL SACALE TARJETA ROJA A LA VIOLENCIA.pptx
Mayra798665
 
MI CECTOR POSTE BLANCO - Paián .pdf
MI  CECTOR  POSTE  BLANCO - Paián   .pdfMI  CECTOR  POSTE  BLANCO - Paián   .pdf
MI CECTOR POSTE BLANCO - Paián .pdf
GustavoTello19
 
vivienda segura concreto, construcción y métodos
vivienda segura concreto, construcción y métodosvivienda segura concreto, construcción y métodos
vivienda segura concreto, construcción y métodos
DilmerCarranza
 
Informe fina mini bibliotecacomunitaria .docx
Informe fina mini bibliotecacomunitaria .docxInforme fina mini bibliotecacomunitaria .docx
Informe fina mini bibliotecacomunitaria .docx
mirimerlos5
 
LINEA DE TIEMPO Y PERIODO INTERTESTAMENTARIO
LINEA DE TIEMPO Y PERIODO INTERTESTAMENTARIOLINEA DE TIEMPO Y PERIODO INTERTESTAMENTARIO
LINEA DE TIEMPO Y PERIODO INTERTESTAMENTARIO
AaronPleitez
 
04 capital interes simple.pdf de la clase métodos cuantitativos
04 capital interes simple.pdf de la clase métodos cuantitativos04 capital interes simple.pdf de la clase métodos cuantitativos
04 capital interes simple.pdf de la clase métodos cuantitativos
MarcoPolo545324
 
Plan Emergencia solicitado en obras de construccion
Plan Emergencia  solicitado en obras de construccionPlan Emergencia  solicitado en obras de construccion
Plan Emergencia solicitado en obras de construccion
christianllacchasand
 
resumen de manual de organizacion y funciones de TI
resumen de manual de organizacion y funciones de TIresumen de manual de organizacion y funciones de TI
resumen de manual de organizacion y funciones de TI
riveroarlett5b
 
Plan de Compensación Dxn Internacional peru pdf
Plan de Compensación Dxn Internacional peru pdfPlan de Compensación Dxn Internacional peru pdf
Plan de Compensación Dxn Internacional peru pdf
agustincarranza11
 
REPORTE-HEMEROGRÁFICO-MAYO 2024-IRAPUATO.pdf
REPORTE-HEMEROGRÁFICO-MAYO 2024-IRAPUATO.pdfREPORTE-HEMEROGRÁFICO-MAYO 2024-IRAPUATO.pdf
REPORTE-HEMEROGRÁFICO-MAYO 2024-IRAPUATO.pdf
IrapuatoCmovamos
 
ANA0003227-lagunas.pdfñlñlñlñlñññlñlllll
ANA0003227-lagunas.pdfñlñlñlñlñññlñlllllANA0003227-lagunas.pdfñlñlñlñlñññlñlllll
ANA0003227-lagunas.pdfñlñlñlñlñññlñlllll
eliassalascolonia43
 
10 colonias - Análisis socio-demográfico 2024.pdf
10 colonias - Análisis socio-demográfico 2024.pdf10 colonias - Análisis socio-demográfico 2024.pdf
10 colonias - Análisis socio-demográfico 2024.pdf
IrapuatoCmovamos
 
INTELIGENCIA ARTIFICIAL monografia02.pdf
INTELIGENCIA ARTIFICIAL monografia02.pdfINTELIGENCIA ARTIFICIAL monografia02.pdf
INTELIGENCIA ARTIFICIAL monografia02.pdf
YulEz1
 

Último (14)

Presentación simple corporativa degradado en violeta blanco.pptx
Presentación simple corporativa degradado en violeta blanco.pptxPresentación simple corporativa degradado en violeta blanco.pptx
Presentación simple corporativa degradado en violeta blanco.pptx
 
UGEL SAN MIGUEL SACALE TARJETA ROJA A LA VIOLENCIA.pptx
UGEL SAN MIGUEL SACALE TARJETA ROJA A LA VIOLENCIA.pptxUGEL SAN MIGUEL SACALE TARJETA ROJA A LA VIOLENCIA.pptx
UGEL SAN MIGUEL SACALE TARJETA ROJA A LA VIOLENCIA.pptx
 
MI CECTOR POSTE BLANCO - Paián .pdf
MI  CECTOR  POSTE  BLANCO - Paián   .pdfMI  CECTOR  POSTE  BLANCO - Paián   .pdf
MI CECTOR POSTE BLANCO - Paián .pdf
 
vivienda segura concreto, construcción y métodos
vivienda segura concreto, construcción y métodosvivienda segura concreto, construcción y métodos
vivienda segura concreto, construcción y métodos
 
Informe fina mini bibliotecacomunitaria .docx
Informe fina mini bibliotecacomunitaria .docxInforme fina mini bibliotecacomunitaria .docx
Informe fina mini bibliotecacomunitaria .docx
 
LINEA DE TIEMPO Y PERIODO INTERTESTAMENTARIO
LINEA DE TIEMPO Y PERIODO INTERTESTAMENTARIOLINEA DE TIEMPO Y PERIODO INTERTESTAMENTARIO
LINEA DE TIEMPO Y PERIODO INTERTESTAMENTARIO
 
04 capital interes simple.pdf de la clase métodos cuantitativos
04 capital interes simple.pdf de la clase métodos cuantitativos04 capital interes simple.pdf de la clase métodos cuantitativos
04 capital interes simple.pdf de la clase métodos cuantitativos
 
Plan Emergencia solicitado en obras de construccion
Plan Emergencia  solicitado en obras de construccionPlan Emergencia  solicitado en obras de construccion
Plan Emergencia solicitado en obras de construccion
 
resumen de manual de organizacion y funciones de TI
resumen de manual de organizacion y funciones de TIresumen de manual de organizacion y funciones de TI
resumen de manual de organizacion y funciones de TI
 
Plan de Compensación Dxn Internacional peru pdf
Plan de Compensación Dxn Internacional peru pdfPlan de Compensación Dxn Internacional peru pdf
Plan de Compensación Dxn Internacional peru pdf
 
REPORTE-HEMEROGRÁFICO-MAYO 2024-IRAPUATO.pdf
REPORTE-HEMEROGRÁFICO-MAYO 2024-IRAPUATO.pdfREPORTE-HEMEROGRÁFICO-MAYO 2024-IRAPUATO.pdf
REPORTE-HEMEROGRÁFICO-MAYO 2024-IRAPUATO.pdf
 
ANA0003227-lagunas.pdfñlñlñlñlñññlñlllll
ANA0003227-lagunas.pdfñlñlñlñlñññlñlllllANA0003227-lagunas.pdfñlñlñlñlñññlñlllll
ANA0003227-lagunas.pdfñlñlñlñlñññlñlllll
 
10 colonias - Análisis socio-demográfico 2024.pdf
10 colonias - Análisis socio-demográfico 2024.pdf10 colonias - Análisis socio-demográfico 2024.pdf
10 colonias - Análisis socio-demográfico 2024.pdf
 
INTELIGENCIA ARTIFICIAL monografia02.pdf
INTELIGENCIA ARTIFICIAL monografia02.pdfINTELIGENCIA ARTIFICIAL monografia02.pdf
INTELIGENCIA ARTIFICIAL monografia02.pdf
 

Limpieza de datos - Tech Cívica

  • 1. Limpieza de datos la etapa previa al interrogatorio
  • 2. Según wikipedia Limpieza de datos: es el acto de descubrimiento, corrección o eliminación de datos erróneos de una base de datos. Transformación de datos: En estadística, la transformación de datos se efectúa para asegurarse así de que tienen una distribución normal (un remedio para los valores atípicos, fallas de la normalidad, la linealidad, y homocedasticidad).
  • 3. Un excel sucio no causa desastres... ¿o sí?
  • 5. Historias de horror Los errores en los datos y en el manejo de herramientas son tan comunes que incluso existe una organización llamada Grupo europeo de evaluación de riesgos para hojas de cálculo (ESRIG, por sus siglas en inglés) y que hace recomendaciones al usuario para evitar errores cuando se usa una hoja de cálculo. La ESRIG se encarga de rastrear historias trágicas en el manejo de datos. Si quieres saber más, visita data errors in spreadsheets have led to real consequences. http://www.eusprig.org
  • 6. “Dirty Data” Generalmente es necesario realizar alguna limpieza a los datos para obtener materia prima adecuada.
  • 7. Reconocimiento Consiste en realizar un resumen de las características y observar el modelo para verificar errores. ● Algunos aspectos pueden salir a simple vista ○ Cinco valores para el sexo ● Otros aspectos son más difíciles de encontrar, para ellos se usan otras herramientas: ○ Histogramas, gráficas de dispersión
  • 8.
  • 9. Valores faltantes Causas: Faltan valores relevantes porque no se pudieron obtener No existen los valores Datos incompletos (varios orígenes) Tratamiento Ignorarlos Eliminar toda la columna Reemplazar el valor Segmentar Limpieza, integración y transformación Evitar problemas ocasionados por datos faltantes, valores duplicados y datos incorrectos Valores erróneos Algunas veces no es un proceso trivial, clasificar y agrupar pueden ayudar Tratamiento: Ignorar Eliminar Filtrar Reemplazar Discretizar
  • 10. Integración Se puede dar de dos maneras: Unificar dos o más objetos Separar un objeto en dos o más Ejemplos Separar (nombres, apellidos) Unificar formatos de fechas, sexo, estado civil Limpieza, integración y transformación Transformación Es cualquier proceso que modifique la forma de los datos Crear nuevos atributos Cambiar tipo de dato Cambiar total o parcialmente una tabla Ejemplos convertir columna en tipo número o fecha agregar columna edad basado en fecha de nacimiento nivel de estudio de una persona (sin estudio,
  • 11. Tipos de datos Carácter por ejemplo para definir sexo (F,M) Texto el más común de todos Boolean (si, no), (verdadero, falso), (0,1) Control de flujo según la opción se toman unos u otros datos Número se puede hacer operaciones con ellos no siempre es lo que parece
  • 12. Siempre lleva una bitácora con todos los cambios mantén una copia del archivo original
  • 13. Pero Phi… mi base tiene miles de registros... ¿y ahora qué hago?
  • 14. Hora de ensuciarse las manos Veamos algunos ejemplos
  • 17. Ahora sí a torturar esos datos hasta que nos digan la verdad
  • 19. Esta obra está bajo una Licencia Creative Commons Atribución-CompartirIgual 4.0 Internacional. https://goo.gl/4TEMMH