En esta presentación, el consultor SEO Luis Villanueva detalla los pasos para la optimización del crawling (nivel PRO).

1. Luis M. Villanueva
OPTIMIZACIÓN DEL
CRAWLING – NIVEL PRO

2. UN POCO DE HISTORIA…
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

3. ¿COMO FUNCIONA GOOGLE?
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
• Nuestras Arañas siguen los enlaces para llegar a otras páginas.
• KW en el título, URL… SINÓNIMOS (Vídeo de 2010)
• Relevancia de la Página = Enlaces Externos
• Mostramos Resultados Imparciales
Matt Cutts.
Referencia: https://www.youtube.com/watch?v=BNHR6IQJGZs

4. FRECUENCIA DE RASTREO
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
“Los Algoritmos de Google determinan que Sitios rastrear y con
que frecuencia. Además dentro de cada Sitio también se decide
que URLS se van a explorar”.
Google
Referencia: https://www.google.com/intl/es/search/about/insidesearch/howsearchworks/crawling-indexing.html

5. HABLEMOS DE CRAWLING
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
CRAWL BUDGET
“Dependiendo de la Autoridad de cada página (Page Rank), cada
Site tendrá asignado un Crawl Budget (Presupuesto de Rastreo)
diferente y limitado”.
Matt Cutts.
Referencia: https://moz.com/blog/an-illustrated-guide-to-matt-cutts-comments-on-crawling-indexation

6. APLICANDO LA LÓGICA
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
CRAWL BUDGET
“Debemos Facilitarle a GoogleBot el Crawleo y mejorar la
experiencia de usuario en nuestra página”.
• Solo debemos indexar lo verdaderamente importante, dando respuesta a las
preguntas de nuestros posibles clientes.
• La web tiene que estar ordenada de forma que el usuario se encuentre cómodo
navegando por ella.

7. ¿CÓMO SABEMOS CUAL ES EL NUESTRO?
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
IMPORTANTE: Google NO nos da el tiempo exacto que dedican sus arañas. Para eso están los LOGS.

8. LA LÓGICA NOS DICE QUE LA VELOCIDAD ES IMPORTANTE
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
WPO
• Hacemos que las Páginas pesen menos, por lo que el tiempo de descarga medio
de páginas baja.
• Si tenemos el mismo Crawl Budget, pero nuestra web es más rápida, las arañas
rastrearán más información.

9. EL WPO FUNCIONA (SIEMPRE Y CUANDO LA PÁGINA SEA CORRECTA)
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
IMPORTANTE: Comercio Electrónico que pasa de 190 visitas de media a 430 en 2 meses
AUMENTO DE + DEL 50%

10. 3 CONSEJOS CLAVE ANTES DE LA PRÁCTICA
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
WPO
ELIMINAR URLS
BASURA
POPULARIDAD
Mejorar la velocidad de Carga supone servir más páginas en menos tiempo.
Eliminar URLs irrelevantes supone que se rastrearán otras más interesantes.
Colocar más enlaces Internos y Externos a una página aumentará el rastreo de la misma.

11. LA AUDITORÍA SEO TÉCNICA
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

12. LAS BASES DE LA AUDITORÍA SEO
En la auditoría se analizarán los aspectos
mas importantes de una página web a
nivel de posicionamiento:
- Indexación: Que porcentaje de la web
tiene Google en cuenta.
- Contenido: En que estado esta todo el
contenido que se encuentra dentro de
la web.
- Popularidad: Cual es la autoridad del
dominio y la de sus competidores.
- Análisis: Todos los datos de analítica
para identificar como interactúan las
visitas.
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

13. SEGUIMOS LOS PASOS…
INDEXACIÓN
KW Research
A. Información
CONTENIDO
POPULARIDAD
Urls Indexadas, Urls Bloqueadas, Urls Necesarias, URLs Basura, etc.
Keywords rentables, keywords Competidas, Popularidad, etc.
Niveles de Clics, Estructura Web, Sintaxis URLs, etc.
Jerarquía Headings, Alts, Titles, Description, semantica, long tails, etc.
Enlazado Interno, Link Building, Nofollow, etc.
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

14. DEBEMOS CENTRARNOS EN…
INDEXACIÓN
KW Research
A. Información
CONTENIDO
POPULARIDAD
Urls Indexadas, Urls Bloqueadas, Urls Necesarias, URLs Basura, etc.
Keywords rentables, keywords Competidas, Popularidad, etc.
Niveles de Clics, Estructura Web, Sintaxis URLs, etc.
Jerarquía Headings, Alts, Titles, Description, semantica, long tails, etc.
Enlazado Interno, Link Building, Nofollow, etc.
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

15. ¡EMPIEZA LA FIESTA!
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

16. ¿POR DONDE EMPIEZO?
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
PÁGINAS / URLS RASTREADAS
PÁGINAS / URLS CORRECTAS
PÁGINAS / URLS BLOQUEADAS
PÁGINAS / URLS INDEXADAS
PÁGINAS / URLS CON TRÁFICO

17. DESGLOSANDO LA SEGMENTACIÓN DE URLS
URLS RASTREADAS
URLS CORRECTAS
URLS BLOQUEADAS
URLS INDEXADAS
URLS CON TRÁFICO
El Bot de Google las ha rastreado alguna vez (1,2,3M). Diferencia con Rastreables.
Son las URLs que se pueden Indexar, puesto que no impedimos su indexación.
Las URLs a las que les bloqueamos el acceso por Robots.txt
Son las URLs que Google tiene indexadas.
Son las URLs a las que Google está enviando tráfico.
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

18. EL DASHBOARD TÉCNICO
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

19. NECESITAMOS UNA HERRAMIENTA DE CRAWLEO
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

20. URLS TOTALES VS URLS RASTREADAS
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
IMPORTANTE: Pueden haber más URLs de las que muestra Screaming Frog – Se trata de un Crawler.

21. URLS CORRECTAS (INDEXABLES)
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
IMPORTANTE: Son todas aquellas URLs que no tienen NOINDEX, BLOQUEOS EN ROBOTS.TXT, ETC…

22. URLS CORRECTAS (INDEXABLES)
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

23. URLS BLOQUEADAS POR ROBOTS.TXT
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

24. URLS INDEXADAS (TOTALES) - APROX
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

25. URLS CON TRÁFICO ORGÁNICO
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

26. EMPEZAMOS A COMPLETAR EL DASHBOARD
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

27. ¿QUÉ HAGO AHORA?
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
3 PREGUNTAS CLAVE
¿CUALES SON MIS PÁGINAS +
IMPORTANTES?
¿QUÉ FRECUENCIA DE
RASTREO TIENEN?
¿ESTÁN POSICIONADAS Y RECIBEN
TRÁFICO?
“NO SE TRATA DE SABER USAR SOLO, SINO DE SABER
INTERPRETAR”.

28. DEFINIENDO LA METODOLOGÍA…
1. Detección de Nº URLs Totales del Proyecto
2. Detección URLS que se pueden Indexar (Correctas)
3. URLs Indexadas
4. URLS con Tráfico Orgánico
5. URLs Canonicalizadas VS URLs con Canonical
6. URLs con Noindex
7. Noindex, Nofollow VS Robots.txt
8. Niveles de Clics – A.I.
9. Enlaces Internos diferentes a <200>
10. Enlaces internos con “NOFOLLOW”??
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

29. OLVIDAMOS LO + IMPORTANTE
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

30. URLS RASTREADAS & FRECUENCIA DE RASTREO
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
1. Páginas rastreadas que no deben rastrearse & errores (3xx, 4xx, 5xx)
2. ¿Páginas más rastreadas = Páginas más importantes?
3. Tiempo de rastreo invertido en URLs y Recursos Innecesarios
4. ¿URLs que no se están rastreando y son importantes?

31. CÓDIGOS RESPUESTA INCONSISTENTES
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

32. ANÁLISIS DE LOGS VS SIMULACIÓN DE CRAWLING
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
“Usar solo una herramienta de LOGS es un error,
puesto que nos dejaremos páginas existentes
que hace tiempo que no son visitadas por bots o
usuarios”.

33. ¿QUÉ HAY QUE OPTIMIZAR?
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

34. OPTIMIZACIÓN RÁPIDA
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
ETIQUETA CANONICAL
ENLACES INTERNOS
CÓDIGOS RESPUESTA
CÓDIGOS 301
GOOGLE PANDA
No canonicalizar. Todas las URLs deben tener un canonical hacía ellas mismas.
Todos los enlaces internos deben apuntar a Páginas con códigos <200>.
Los códigos respuesta diferentes a 200, 301, 404 o 410, no deben existir.
Los códigos 301 pueden existir, pero no por enlazado nuestro.
Evitar el Contenido “SIMILAR” y el Thin Content.

35. OPTIMIZACIÓN AVANZADA
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
ETIQUETA NOINDEX
ROBOTS.TXT
PAGINACIONES
ENLACES NOFOLLOW
NIVELES – A.I.
Las URLs que deben llevar NOINDEX, son las que nos interesa el RASTREO.
El Robots.txt lo debemos usar para bloquear accesos a páginas IRRELEVANTES.
Paginaciones con rel next – prev, con noindex, bloqueadas, etc…
Aplicar en páginas que no queremos que se rastreen con frecuencia.
¿Qué páginas voy a alejar de la Home? - ¿Cuáles voy a acercar?

36. OPTIMIZACIÓN NIVEL PRO
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
“La mejor optimización es la diferenciación. Cambia, Analiza,
Interpreta y vuelve a cambiar, analizar e Interpretar.”.

37. ERRORES COMUNES
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
NOINDEX, NOFOLLOW
CANONICALIZAR
CANONICAL -
NOINDEX
SESIONES DE
USUARIOS, ETC
Es prácticamente lo mismo que bloquear por Robots.txt - ¿Para qué?
¿Es realmente necesario? - ¿Hay otra forma mas eficiente de hacer lo mismo?
¡Cuidado con canonicalizar páginas con NOINDEX! – También NOINDEX, NOFOLOW
OJO CON LOS FILTROS, SESIONES, TRACKINGS, ETC… NO INDEXAR !!!

38. UN POCO DE LUZ EN ESTE INFIERNO
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

39. INDEXACIÓN + AI + POPULARIDAD
RESULTADOS - CASO Nº1
1
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

40. INDEXACIÓN + AI + POPULARIDAD
RESULTADOS - CASO Nº2
2
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

41. INDEXACIÓN + AI + POPULARIDAD
RESULTADOS - CASO Nº3
3
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

42. INDEXACIÓN + AI + POPULARIDAD
RESULTADOS - CASO Nº3
3
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma

43. PARA TERMINAR…
OPTIMIZACIÓN DEL CRAWLING – SEOPLUS 2016 | Twitter  @lu1sma
Un truco SEO
“En el SEO no existen los magos ni los trucos
rápidos, solo gente perseverante en busca de un
objetivo: Mejorar la visibilidad y rentabilidad de
un Proyecto”.

44. MUCHAS GRACIAS
OPTIMIZACIÓN DEL
CRAWLING – NIVEL PRO