Este documento describe cómo analizar registros de acceso (logs) de un sitio web para segmentarlo y generar métricas e informes dinámicos. Explica cómo extraer, transformar y cargar los logs en Excel, segmentarlos usando expresiones regulares, y crear tablas dinámicas y gráficos para monitorear métricas clave por segmento como URLs únicas rastreadas, frecuencia de rastreo y sesiones orgánicas. El objetivo final es generar paneles de control con métricas segmentadas para optimizar el posicionamiento

17. “SE DEBE MONITORIZAR EL RASTREO Y
LA INDEXACIÓN
Y CRUZAR LOS DATOS OBTENIDOS CON
LA CLASIFICACIÓN PARA OBTNER LA
RADIOGRAFÍA REAL DE UN SITE.

18. BLOQUE SUBTITULO IN DA JAUS

21. Segmentos Estratégicos
Segmentos Técnicos

26. EXTRAEMOS LOGS, LOS TRANSFORMAMOS Y LOS CARGAMOS EN EXCEL

27. CREAMOS UNA NUEVA COLUMNA PARA SEGMENTAR (NECESITAMOS SEOTOOLS)

28. APLICANDO “STRING” >> REGEXPISMATCH  PARA CREAR NUESTRAS “REGEX”

29. https://www.cheatography.com/davechild/cheat-sheets/regular-expressions/
https://regex101.com/
EMPEZAMOS A SEGMENTAR NUESTRO SITE EN PARTES DE FORMA INTELIGENTE

30. CREANDO TABLAS DINAMICAS CON “SLICERS COMBINADOS”

31. EXTRAEMOS LA INFORMACIÓN NECESARIA JUGANDO CON LOS “SLICERS”

32. EXTRACCIÓN DEL DATO QUE QUIERA AL MILIMETRO Y CON 2 CLICS

34. APLICANDO RATIOS Y PROMEDIOS PARA GENERAR “CALIDAD/SEGMENTO”

35. CARGANDO UN CRAWL CON SCREAMING FROG (YA NO HAY EXCUSA)

36. NO TE OLVIDES DE LAS APIS

37. GENERANDO DASHBOARDS CON GRÁFICOS DINAMICOS, SLICERS Y MACROS

38. En este primer dato del cuadro de mando, vemos la información total de
las URLS Únicas Rastreadas durante la frecuencia de tiempo en las que se
ha analizado los logs.
TIP: Es mucho más importante las URLs Únicas Rastreadas que el Total de
Hits recibidos.
OJO: También es muy relevante la frecuencia de Rastreo por Segmento y
por Urls
GENERANDO DASHBOARDS CON GRÁFICOS DINAMICOS, SLICERS Y MACROS

39. En el segundo dato del cuadro de mando, vemos la información del total
de HITs recibidos por en las URLs del Site en el periodo de tiempo que se
han analizado los logs.
TIP: Este dato siempre es mucho mayor al de las URLs Únicas rastreadas,
aunque este dato por si solo no nos da información tan útil como si lo
combinamos (en las siguientes diapositivas lo vemos).
GENERANDO DASHBOARDS CON GRÁFICOS DINAMICOS, SLICERS Y MACROS

40. En este tercer dato del cuadro de mando, vemos las URLs con
parámetros, este dato (en mi opinión) siempre combiene separarlo
de los demás puesto que las URLs parametrizadas siempre son
peligrosas y podemos ver el TOTAL de URLs Parametrizadas que
han sido rastreadas.
TIP: Con este dato ya tenemos información útil de porque el bot
está pasando por ese tipo de URLs y “seguramente” hayamos
detectado que el bot está pasando tiempo en URLs irrelevantes y
por lo tanto su rastreo es innecesario.
GENERANDO DASHBOARDS CON GRÁFICOS DINAMICOS, SLICERS Y MACROS

41. En este cuarto dato, podemos ver las URLs que NO han sido
rastreadas pero que con un “crawler” si que se pueden rastrear por
lo tanto son RASTREABLES.
TIP: Esta información es relevante puesto que ya sabríamos las
URLs RASTREABLES que no han sido rastreadas y podemos
preguntarnos el porque, y ver si son tan relevantes como para
tomar acción sobre ellas y mejorar esto.
GENERANDO DASHBOARDS CON GRÁFICOS DINAMICOS, SLICERS Y MACROS

42. En este quinto y último dato de esta primera fila de datos generales
vemos las URLs huérfanas. Estas URLs son las que son rastreadas
(han aparecido en los logs como rastreadas) pero no hemos sido
capaces de sacar con un “crawler”. Estas URLs muchas veces son
URLs antiguas y otras veces son URLs que se nos ha olvidado enlazar
y por lo tanto el traspaso de PR es mínimo y haciendo unas pocas
acciones podemos potenciarlas fácilmente.
GENERANDO DASHBOARDS CON GRÁFICOS DINAMICOS, SLICERS Y MACROS

43. Aquí nos encontramos con un gráfico general segmentado por
códigos respuesta y expuesto en base a porcentajes. Con esto se
puede corregir de forma rápida los rastreos irrelevantes que hace
googlebot.
TIP: Si tenemos demasiada información, lo mejor es combinar este
gráfico con los segmentos (lo veremos en siguientes diapos) para
saber por que segmento empezar a trabajar.
GENERANDO DASHBOARDS CON GRÁFICOS DINAMICOS, SLICERS Y MACROS

44. En este segundo gráfico vemos la frecuencia de Rastreo por cada uno
de los segmentos. Con esto podemos comprobar que segmento es el
que Google toma como más relevante durante el periodo de tiempo
que se están analizando los logs.
TIP: Esto también se puede hacer por URLs Únicas.
GENERANDO DASHBOARDS CON GRÁFICOS DINAMICOS, SLICERS Y MACROS

45. En este tercer gráfico he puesto un ejemplo de un tipo de dato
interesante que se puede siguiendo los pasos expuestos en
diapositivas anteriores (combinando Screaming Frog, con SF Log File
Analyser y segmentando con Seotools for Excel). En este caso se ve
como se cruzan las Sesiones Orgánicas con los niveles de
profundidad para ver exactamente en que nivel de profundidad
existe más tráfico.
OJO: Este dato tiene varias lecturas. Dale caña a tu imaginación.
GENERANDO DASHBOARDS CON GRÁFICOS DINAMICOS, SLICERS Y MACROS

46. En este último gráfico analizamos las URLs Únicas Rastreadas por
Segmento. Antes hemos analizado la frecuencia de rastreo por
segmento y ahora analizamos en que segmento googlebot es capaz
de rastrear más URLs.
TIP: Este dato es importante también para medir el % de rastreadas
totales.
OJO: Es importante tener en cuenta siempre el periodo de tiempo
analizado.
GENERANDO DASHBOARDS CON GRÁFICOS DINAMICOS, SLICERS Y MACROS

47. En este último apartado vemos el “slicer” que simplemente actua de
botonera para aplicar diferentes segmentos y tipologías de URLs
para que todo nuestro dashboard cambie y podamos combinar los
diferentes segmentos que queramos.
*Esto es solo un ejemplo de un simple dashboards, pero se pueden
hacer auténticas maravillas. Lo importante realmente es saber
hacer las preguntas correctas y luego PINTAR LAS RESPUESTAS
como en este ejemplo.
GENERANDO DASHBOARDS CON GRÁFICOS DINAMICOS, SLICERS Y MACROS

48. URLS Únicas Rastreadas / Segmento y Sesiones Orgánicas
Urls Rastreadas Canonicalizadas
Urls Rastreadas con NOINDEX
URLs Rastreadas que son paginaciones.
URLs Rastreadas por Fecha.
URLs Rastreadas por Fecha / Sesiones Orgánicas
URLs Rastreadas por Tamaño de Contenido
URLs Rastreadas por T. Contenido / Sesiones Orgánicas
Y mucho, mucho, mucho más…

51. ¿QUÉ PASA CON LA VERIFICACIÓN DE LOS BOTS?
VBA INSERTAR >> MÓDULO
COPIAR Y PEGAR ESTE CÓDIGO
FUENTE:
https://protocolsyntax.wordpress.com/2012/12/04/dns-reverse-lookup-in-excel/

56. http://httpd.apache.org/docs/current/mod/mod_log_config.html

57. FORMATOS MÁS COMUNES DE LOGFORMAT

59. https://support.google.com/webmasters/answer/80553?hl=es

69. RECORDATORIO (TIP):
PODEMOS DESCARGAR TODA ESTA INFORMACIÓN A CSV,
CARGARLA CON EXCEL Y GENERAR TABLAS DINÁMICAS,
FILTRANDO POR SEGMENTO Y SEGMENTANDO POR
CÓDIGO RESPUESTA

74. https://twitter.com/ikhuerta/status/969957079132917761