[IT] Comprendere la Crawl Budget Optimization

#wmf16
Federico Sasso @vseostudio
Comprendere la
Crawl Budget Optimization

#wmf16
Mi presento
Federico Sasso
● Sviluppatore Software
● SEO
● Moderatore Forum GT
● Neo Imprenditore
● ...
● Autore di
Visual SEO Studio

#wmf16
Alzate la mano
● chi ha idea di cosa sia il Crawl Budget?
● chi ha mai dovuto ottimizzarlo?

#wmf16
Oggi vi parlerò di
● Cos'è il Crawl Budget
● Quando serve preoccuparsene
● Come ottimizzarlo

#wmf16
Cos’è il Crawl Budget?

#wmf16
La quantità di risorse che il motore
di ricerca alloca in un periodo di
tempo per visitare il tuo sito

#wmf16
Gary Illyes fornisce qualche chiarimento

#wmf16
“It's more like what's the limit or what's a threshold where there
or after which the server becomes slower for example or stuff
like that.”
Gary Illyes, 5 Maggio 2016

#wmf16
● I SEO parlano di
Crawl Budget
● I Motori di Ricerca parlano di
Schedulazione

#wmf16
Il Crawling visto dal SEO

#wmf16
Il Crawling visto dal MdR

#wmf16
Come funziona il Crawling
Il Motore di Ricerca reperisce elenchi di URL da
visitare da diverse fonti:
● Domini registrati
● Record DNS
● Link estratti da pagine (interni)
● Link estratti da pagine (esterni)
● Sitemap XML
● Testi che sembrano URL
● Tag/attributi con URL
● ...

#wmf16
Scheduler Lista
URL
HTTP
Parser
(estrazione link)
Normalizzazione / CanonicalizzazionePrioritizzazione
Altre fonti

#wmf16
La prima volta che Googlebot visita un sito, di cui
non sa nulla, richiede solo la prima pagina.
Ovvio: è l’unico URL che conosce.
Non è compito del crawler estrarre i link e decidere
quali altre pagine esplorare!
==> Crawl Budget = 1 pagina

#wmf16
Scheduler Lista
URL
HTTP
Parser
(estrazione link)
Prioritizzazione
Altre fonti
Normalizzazione / Canonicalizzazione

#wmf16
Il Parser estrae i link e alimenta la lista URL
● HTTP X-Robots-Tag
● robots meta tag
● Canonical link header
● Canonical link tag
● Normalizzazione
● rel=“nofollow”
● robots.txt
● Numero di link
● Dimensione pagina
● Errori HTML
● ...

#wmf16
Non tutti gli URL sono prioritizzati allo stesso modo
● PageRank
● Importanza
● Profondità di link
● Storia/Frequenza aggiornamento
● Presenza in Sitemap
● Storico prestazioni
● Linking interno
● Tipo di contenuto
● Posizione link in HTML
● Lunghezza URL?
● ...

#wmf16
● Alcuni URL ritenuti “importanti” saranno visitati
prima / più frequentemente
● Altri saranno visitati dopo, e meno
frequentemente
● Altri ancora… rassegnatevi!

#wmf16
L’esplorazione Breadth-First (“in ampiezza”), in
assenza di segnali esterni, è dimostrato essere il
metodo più efficiente per il MdR per trovare prima
pagine importanti.
Eppure è solo una vaga approssimazione
dell’ordine di crawl.

#wmf16
L’ordine di Crawling non è prevedibile con certezza.
● Breadth-first tarato da PageRank
● Pipeline asincrona
(crawling, link extraction, …)
● Chiamate HTTP asincrone
● Code asincrone
● Il sistema gestisce URL da molti siti
● Posizione link in HTML
● Lunghezza URL?
● ...

#wmf16
Chi ha bisogno della CBO?

#wmf16
L’ 89.73% dei siti non si deve preoccupare
di Crawl Budget Optimization

#wmf16
L’ 89.73% dei siti non si deve preoccupare
di Crawl Budget Optimization
OK,
Questo me lo
sono inventato
per fare colpo
:)

#wmf16
La CBO è un
problema più
sentito per i
siti grandi.
Siti piccoli e
che cambiano
poco possono
ignorarla.

#wmf16
Quando serve ottimizzare il “crawl budget”:
Poniamo di avere un piccolo
e-commerce
● 50.000 pagine
● Googlebot:
max 1 richiesta ogni 30”
==>
occorrono almeno 17 giorni perché il motore di
ricerca possa rivisitarne tutte le pagine.

#wmf16
È sufficiente?
Un’idea del crawl budget la si può avere dalle
statistiche di scansione di Google Search Console
Va considerata tenendo conto conto del numero di
pagine e dei tassi di crescita e aggiornamento.

#wmf16
● Quante pagine ha il sito?
(più di quanto pensa il cliente)
● Che crawl-path seguono gli spider?
dov’è il crawl-waste?
● I contenuti importanti sono
(ri)visitati nei tempi
desiderati?
● Che velocità di scansione
massima imposta il MdR?

#wmf16
Il numero totale di pagine
Per sapere quante pagine ha il sito, il modo
migliore è contarle con uno “SEO spider”.
Occhio alle opzioni di esplorazione!

#wmf16
La velocità Crawling
Nel caso di Google, potete scoprire da soli qual è la velocità di
scansione massima del vostro sito:
In Search Console
Impostazioni >
Velocità di scansione
● Selezionate “Limita la velocità massima di scansione di
Google”
● Leggete il valore attuale
● E poi scegliete “Annulla!”

#wmf16
Individuare crawl-waste
Tramite uso di Log Analyzer
Pro: dati reali
Contro:
● File di log non sempre disponibili
● Elaborazione complessa, tempi molto lunghi prima di
poter analizzare dopo modifiche
● Impossibile lavorare su sistema di pre-produzione

#wmf16
Individuare crawl-waste
Tramite uso di un SEO Crawler
Pro:
●
Anche su sito pre-produzione
●
Visualizzazione crawl-path
(Visual SEO Studio, altri?)
● Lavoro iterativo
●
Tempi più ridotto per testare modifiche
Contro:
● Emulazione

#wmf16
Come ottimizzare il crawl-budget?

#wmf16
Si interviene tramite:
● robots.txt
● rel=”nofollow”
● Struttura di link
● Meta robots
● Fix errori 404, 30x, etc...
● Impostazione Parametri URL
● Eliminazione contenuti inutili
● Eliminazione contenuti inutili
● Migliorare prestazione web server

#wmf16
Intervenire sui robots.txt
Poco elegante, ma tampona un problema e costa
nulla. Occhio, i robots.txt tendono a “fumarsi”...
User-agent: *
Disallow: /spammy-forum/

#wmf16
Ci sono casi in cui
l’attributo
rel=“nofollow”
salva il crawl budget!

#wmf16
La “faceted navigation” degli e-commerce può creare
migliaia di crawl-path indesiderati.
Un bel
rel=“nofollow”
e non ci
pensiamo più.

#wmf16
A volte
possiamo
riuscire a
risolvere con
wild-cards nel
robots.txt

#wmf16
Altre volte
riusciamo invece
a risolvere
impostando (sul
singolo motore di
ricerca) i
Parametri URL
da ignorare

#wmf16
Occhio:
un crawl-path
canonico
dobbiamo
sempre
lasciarlo!

#wmf16
Controllare i percorsi di esplorazione è un po’
come cercare di controllare l’acqua
Portate pazienza!

#wmf16
Avvertimento!
Se devo intervenire pesantemente con
espressioni complesse nel robots.txt e con regole
nei Parametri URL...
è segno che
la struttura
degli URL
ha seri
problemi!

#wmf16
Intervenire sulla struttura di link
Evitare i
menu
esaustivi
(usabilità a
parte)
permette
miglior
controllo sui
crawl-path

#wmf16
Una struttura di link gerarchica rende più facile ai
MdR attribuire importanza e priorità alle pagine, e
definisce percorsi di esplorazione chiari
Home Page
Prodotti Servizi Blog
Prod. A Prod. A Serv. A Serv. B Post A Post 2

#wmf16
“L’URL che non c’è
non spreca
crawl-budget”
Henry Ford

#wmf16
Eliminate i contenuti
duplicati!
(e quelli inutili)

#wmf16
Eliminate gli errori
HTTP
(broken links,
redirects...)

#wmf16
Suggerimento
Lo strumento migliore per rilevare contenuti
duplicati ed errori HTTP non è la Search Console
Crawlate, crawlate, crawlate!

#wmf16
La velocità Crawling
Migliorare il tempo di
risposta del sito
aumenta il crawl
budget.
...spesso in modo
anche più marcato
che in questo
esempio!

#wmf16
Cosa abbiamo visto oggi
● Cos'è il Crawl Budget
● Quando serve preoccuparsene
● Come ottimizzarlo

#wmf16
fin

#wmf16
Riferimenti
● Scheduler for Search Engine Crawler
http://www.google.com/patents/US8707313
● Enrico Altavilla – SEO serendipità
http://www.lowlevel.it/seo-serendipita-cosa-si-scopre-su-googlebot-quando-me
no-te-laspetti/
● Google crawl order
https://www.onetomarket.nl/blog/seo/google-crawler-bewegingen/
● Google patent granted on polite web crawling
http://www.seobythesea.com/2010/08/google-patent-granted-on-polite-web-cr
awling/
● Crawling the web: Discovery and Maintenance of large-scale web data
http://oak.cs.ucla.edu/~cho/papers/cho-thesis.pdf
● Google.com is your friend :)

#wmf16
Grazie!
Federico Sasso
● @vseostudio
● https://plus.google.com/u/0/+FedericoSasso
● https://www.linkedin.com/in/federicosasso
● http://visual-seo.com/it/

[IT] Comprendere la Crawl Budget Optimization

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (18)

Similar a [IT] Comprendere la Crawl Budget Optimization

Similar a [IT] Comprendere la Crawl Budget Optimization (20)

[IT] Comprendere la Crawl Budget Optimization