El documento ofrece estrategias para optimizar el crawl budget, destacando la importancia de que todas las URLs devuelvan códigos de servidor correctos y la necesidad de evitar contenido duplicado. Presenta herramientas avanzadas como Deepcrawl, Botify y Oncrawl, que facilitan el análisis y rastreo de URLs, así como recomendaciones para mejorar el rastreo y la indexación. Asimismo, menciona la necesidad de una herramienta que simule cambios estructurales sin requerir un nuevo rastreo completo.

1. Optimiza tu crawl budget
desde la nube
#seonthebeach 2016
Javier Lorente Murillo

2. @javier_lorente

3. URLs totales
URLs rastreables
URLs rastreadas
URLs indexables
URLs
indexadas
URLs
posicionadas
Pirámide con los tipos de URLs

4. Optimización básica
• Todas las URLs de un servidor deben devolver un código de servidor
200, 301 o 404/410. Nada más, el resto = error.
• Todos los links presentes en una web, deben apuntar a un 200.
TODOS, no deberíamos tener un solo link apuntando a una 301.
• No debe haber 2 o más URLs con un alto % de contenido demasiado
parecido ni thin content.
• Todas las URLs deberían llevar un canonical absoluto hacia si mismas.
• Los trackins, etc. Mejor tras una # antes de la ? Pero, ojo! Mídelo.

5. Optimización Intermedia
• Probamos diferentes configuraciones de rastreo
• Todo abierto, paginaciones con rel prev/next…
• Nofollow para enlaces internos (crawl sculpting)
• ¿Incluir meta noindex en algunos contenidos?
• URLs o directorios capados mediante robots.txt
• Mover contenidos a otros niveles de profundidad…
• ¿Nofollow, noindex, robots.txt, etc dinámicos en función de parámetros?..
Probar > medir > fallar > “corregir” > probar > volver a medir…

6. Las herramientas para más usadas

7. Optimización Avanzada

8. Botify & Deepcrawl & OnCrawl
• Son los 3 crawlers en la nube más potentes del mercado.
• Todas se conectan con Google Analytics & Search Console.
• Todas Segmentan las URLs, incluso con regex.
• Todas tienen URL Explorers más o menos avanzados.

9. Deepcrawl
• De momento, la única capaz de rastrear una IP personalizada
• La versión 3.0 que acaban de lanzar recientemente es muy potente y
no tiene nada que envidiar a Botify. Salvo la extensión de Chrome.
• Rastrea Open Graphs, Twitter Cards, y ¿schema próximamente?
• Rastrea las paginaciones con un filtro por defecto “exceptuando la 1ª”

10. Deepcrawl: configuración rastreo

11. Deepcrawl: rastrear dominios adicionales

12. Deepcrawl: rastrear recursos adicionales

13. Botify
• Probablemente la herramienta más potente, con permiso de la v3 de
Deepcrawl. He visto rastreos a más de 150 URLs/s y de más de 50MM
• No tiene Open Graph, Twitter Cards ni Schema.org
• No existe posibilidad de NO rastrear el HTML de un error 404
• Tiene una extensión para Chrome maravillosa, una vez rastreado.

14. Botify: Informes muy visuales & URL Explorer

15. Botify: Chrome Extension

16. Oncrawl: Grupos automáticos & schema.org

17. Oncrawl: n-gramas

18. Safecont

19. Optimizer de Sistrix
• Al igual que OnPage.org o Site Audit de SEMRUSH, no son
herramientas de rastreo específicas como las otras tres.
• Sin embargo, tiene la funcionalidad más potente de todas las vistas:
El BUSCADOR de código fuente
Para que sea perfecto solo tienen que agregar lógica booleana & export

20. La clave de la optimización avanzada

21. Oncrawl Log Analytics

22. Botify Log Analyzer

23. ¿Qué echo en falta en las herramientas?
Una herramienta que no requiera rerastrear todo cada
vez que plantee un cambio de estructura.
Ejemplo: La posibilidad de simular niveles de
profundidad medios con un robots.txt virtual.

24. ¿Y algo que sea más fácil de programar?
Un script que te garantice que una migración va a ir bien:
- Se conecte a Google Analytics & Search Console & otras APIs
para extraer las URLs que deberían redirigirse de tu dominio.
- Compruebe que efectivamente todas las URLs redirigen en un
solo salto mediante una 301 a un 200, origen y destino son
iguales y si tenías contenido pandalizable, devuelva error en
origen ahorrándonos el casi siempre presente salto 301 > 404

25. ¿Y entre los SEOs?
Demasiada reticencia en mucha gente a la hora de eliminar (o capar con
robots) el contenido sin tráfico desde buscadores en los últimos tiempos
Para SEO es mejor no tener nada que
URLs rastreadas y no posicionadas