1. El documento habla sobre cómo optimizar el presupuesto de rastreo o "crawl budget" en sitios grandes. 2. Explica que el crawl budget representa el número de conexiones paralelas que utiliza el robot de Google para rastrear el sitio web y el tiempo de espera entre cada rastreo. 3. Ofrece consejos como priorizar la corrección de errores, analizar y corregir redirecciones, e identificar qué URLs son eficaces generando tráfico orgánico.
3. “Representa el número de
conexiones paralelas y simultáneas
que utiliza el robot de Google para
rastrear el sitio web, así como el
tiempo de espera entre cada
obtención.”
Según Google
¿Qué es el crawl budget?
4. “Aunque no se alcance el límite de la
frecuencia de rastreo, si no hay
demanda de indexación, el robot de
Google tendrá poco trabajo. ”
¿Qué es el crawl budget?
Demanda de rastreo
5. “Google incluirá un determinado
número de urls en su índice, y NO
necesariamente las mejores”
¿Qué es el crawl budget?
Definición personal
6. “Identificar las URLs a las que accede
Google y determinar si son eficaces
para cada URL / segmento”
Optimizar presupuesto de rastreo
¿Qué es el crawl budget?
8. Demanda de rastreo
● Popularidad → Enlaces, sobretodo
externos.
¿De qué depende el crawl budget?
9. Demanda de rastreo
● Popularidad →
● Inactividad →
Google intenta evitar
que las URL del índice
queden inactivas.
Enlaces, sobretodo
externos.
¿De qué depende el crawl budget?
17. Discrepancia de datos
Estadísticas de rastreo Todo tipo de urls / día
Estado de la indexación ● URLs de contenido
● Estado 200
● Acumulado
● URLs útiles
Logs Tú lo defines
24. 1. Decisiones de negocio (fichas sin stock).
2. ¿Tienen o han tenido visitas anteriormente?
3. Ordenar, en base a su tráfico orgánico.
4. Tipo de error (50x pueden tardar en responder)
Cómo decidir qué hacer con los errores
Aspectos comunes → Tipos de estado → Errores (40x, 50x)
27. Aspectos comunes → Tipos de estado → Redirecciones
Dobles, triples, etc Cambiar
A páginas con error Cambiar
N → 1 Analizar
A urls no eficaces Analizar y eliminar
Redirecciones 302 ¿Modificar por 301?
30. “El ratio entre el número total de
URLs rastreadas Vs el número de
urls con visitas orgánicas.”
Eficacia de las urls
¿Qué es la eficacia de las URLs?
31. “Queremos que Google solo rastree e
indexe las urls que aportan visitas
orgánicas, o que sean una puerta
para indexar urls que aportan visitas”
Eficacia ideal de las urls
¿Qué es la eficacia de las URLs?
32. Aspectos comunes → Tipos de estado → URLs correctas (200)
Eficaces Tienen tráfico orgánico
Enlazan a eficaces El cómo llegar a las eficaces
Ineficaces Sin tráfico, imprescindibles en AI
Con errores No aportan pero podrían aportar
Históricas Alguna vez aportaron
33. ● Visitas orgánicas totales.
● Número de URLs con tráfico orgánico.
● Número de URLs rastreadas por Google.
● Accesos totales de Google.
Aspectos comunes → Tipos de estado → URLs correctas (200)
¿Con qué datos identificamos las urls
eficaces?
46. ● Filtros no indexables.
● Filtros que crean contenido thin content.
● Parámetros sin valor (ordenación, img).
● Segmentos sin potencial.
Mejorar el crawl budget → URLs ineficaces
49. ● No ser destino de redirecciones ni
canonicals.
● No introducir en sitemaps.
● Arquitectura que no las contemple.
Mejorar el crawl budget → URLs ineficaces
50. ¿Y si no se pueden evitar
las urls ineficaces?
51. Mejorar el crawl budget → URLs ineficaces
Ofuscar enlaces No evita el rastreo
Meta canonical No evita el rastreo
Meta NoIndex No evita el rastreo
Links NoFollow Evita el rastreo a medias
Robots.txt EVITA el rastreo