Presentación de Optimización de Crawleo en el congreso SEOPlus 2017 de Alicante.

1. Mejora tu Crawl
Budget
by Antonio Parra
@AntonioParra1

2. Hola, soy
Antonio Parra.
@AntonioParra1
Responsable de Desarrollo de Audiencias y SEO en el Diario ABC.es

4. ¿Qué es el Crawl Budget?

5. Es el “presupuesto” que
utiliza Google para
rastrear tu página.
¿Qué es el Crawl Budget?

6. Factores que influyen en el Crawl Budget
Velocidad de
Carga
Popularidad
+Popular => +Rastreo
Actualidad de
las URLs
URLs
Duplicadas

7. Factores que influyen en el Crawl Budget
Errores
404 Soft
URLs
Hackeadas
Infinitas
Combinaciones de
URLs (Facets)
Contenido de
baja calidad
(SPAM)

8. Factores que influyen en el Crawl Budget
Velocidad de
Carga

9. Factores que influyen en el Crawl Budget
Popularidad
+Popular => +Rastreo
Las URLs más Populares en
Internet tienden a ser
rastreadas con más frecuencia
para mantener la frescura en
el índice de Google.

10. Factores que influyen en el Crawl Budget
Google intenta prevenir que
las URLs se queden obsoletas
en su índice
Actualidad de
las URLs

11. Factores que influyen en el Crawl Budget
Infinitas
Combinaciones de
URLs (Facets)
by Kathryn Whitenton
https://www.nngroup.com/articles/filters-vs-facets/

12. Factores que influyen en el Crawl Budget
Infinitas
Combinaciones de
URLs (Facets)

13. Factores que influyen en el Crawl Budget
Infinitas
Combinaciones de
URLs (Facets)
Posibles Soluciones:
1. Permitir el rastreo interno de las urls facetadas y
marcar con meta robots con noindex, follow.
Ejemplo: https://www.motor.es/coches-
segunda-mano/
○ PRO: no mejoramos Crawl Budget pero
facilitamos rastreo hacia páginas finales del
siguiente nivel.
○ CONTRA: Las URLs facetadas generan
muchas combinaciones, gastaremos
mucha parte de nuestro Crawl Budget

14. Factores que influyen en el Crawl Budget

15. Factores que influyen en el Crawl Budget
Infinitas
Combinaciones de
URLs (Facets)
Posibles Soluciones:
2. Ofuscar enlaces facetados para no tenerlos a nivel
interno.
Marcarlos con meta robots noindex, follow.
Asignamos URL a la faceta (sin JS).
Ejemplo:
https://www.hispasonic.com/anuncios/guitarras-bajos
○ PRO: Facilitamos la compartición al usuario,
Google podrá acceder desde fuera y rastrear
páginas del siguiente nivel. Gastas menos
Crawl Budget.
○ CONTRA: Es más complicado de desarrollar.
Sigues gastando Crawl Budget.

16. Factores que influyen en el Crawl Budget

17. Factores que influyen en el Crawl Budget
Infinitas
Combinaciones de
URLs (Facets)
Posibles Soluciones:
3. No crear enlaces para las facetas y filtrar directamente
sobre la URL mediante JS (Angular, etc)
Ejemplo: https://www.logitravel.com/hoteles-playa/costa-de-azahar/peniscola-
486185.html
○ PRO: Mejoras Crawl Budget ya que tienes menos
enlaces.
○ CONTRA: Reduces los puntos de rastreo hacia
páginas finales del siguiente nivel.
El usuario no podrá compartir una faceta ya que
cambia mediante JS.

18. Factores que influyen en el Crawl Budget

19. Factores que influyen en el Crawl Budget
Infinitas
Combinaciones de
URLs (Facets)
Posibles Soluciones:
4. (Hilando fino fino) Crear (o nó) enlaces para las
facetas y filtrar directamente sobre la URL mediante
JS (Angular, etc) aunque le añadimos la faceta a la
url mediante #.
Ejemplo: dominio.com/categoria.html#faceta=rojo
○ PRO: Mejoras Crawl Budget ya que tienes
menos enlaces.
El usuario podrá compartir la URL de la faceta.
Google tomará en cuenta como enlace sólo la
parte izquierda a la #.
○ CONTRA: Reduces los puntos de rastreo hacia
páginas finales del siguiente nivel.

20. Factores que influyen en el Crawl Budget
Infinitas
Combinaciones de
URLs (Facets)
OJO!! Si alguna faceta nos sirve para
posicionar, por favor, indexarla y
aprovechad su flow.

21. Optimizar Enlazado Interno
El usuario lee de izquierda a derecha y de arriba a abajo

22. Optimizar Enlazado Interno
El usuario lee de izquierda a derecha y de arriba a abajo
Hagamos lo mismo con los links… pero con mucho cuidao eh!!

23. Sigamos...

24. Análisis de logs para detectar problemas y
oportunidades
¿Qué es un log de servidor?

25. Análisis de logs para detectar problemas y
oportunidades
Usamos herramientas para procesar logs
Herramienta para análisis
de logs muy potente pero
de elevado coste. Dispone
de versión de prueba

26. Análisis de logs para detectar problemas y
oportunidades
Usamos herramientas para procesar logs
ELK (Elastic Search + Logstash + Kibana):

27. Análisis de logs para detectar problemas y
oportunidades
Usamos herramientas para procesar logs
ELK centraliza el sistema de logs:

28. Análisis de logs para detectar problemas y
oportunidades
ELK

29. Análisis de logs para detectar problemas y oportunidades
ELK

30. Análisis de logs para detectar problemas y oportunidades
ELK

31. Análisis de logs para detectar problemas y oportunidades
ELK

32. Utilidades del análisis de logs
Aviso en Real
Time de errores
de rastreo
Información de
trazas del
usuario
Información
detallada de rastreo
real
Facilidad de
análisis para
pruebas

33. Algunos datos interesantes sacados de
analizar logs
Google normalmente rastrea con el
rango de IP 66.249.xxx.xxx

34. Algunos datos interesantes sacados de
analizar logs
Si das de alta un sitemap con URLs,
el bot te lo pedirá muuchas veces.
(en medios es así)

35. Algunos datos interesantes sacados de
analizar logs
Si analizais los logs que os deja
Whatsapp podréis saber cuándo y
qué contenidos han pasado por
Whatsapp.

36. ALGUNOS
CONSEJOS

37. No enlaces más de lo necesario,
piensa si aporta valor al usuario
antes de enlazar

38. Indexa en Google sólo las páginas de
valor para los usuarios

39. Monitoriza tu web y adelántate a
Google

40. Evita el contenido duplicado

41. GRACIAS