Jak funguje Seznam.cz vyhledávání a jeho robot. Co je to Kanonizace teoreticky i prakticky.

1. SeznamBot a Kanonizace
Martin Kirschner
Product manager senior

2. • Jak funguje vyhledávání a SeznamBot
• Co je to kanonizace teoreticky i prakticky
• Jaké funkčnosti brzy nasadíme
• Tričko?
Ptejte se kdykoliv v průběhu, já to budu dělat taky tak
Co si dnes odnesete

3. • Průběžné otázky
• Každý si počítá sám
• Pls. no black hat ;)
Kvíz o drobnou cenu

4. Intro do vyhledávání

5. • Dokument
• Content
• Refresh
• Normalizace URL
• Crawl budget
Terminologie

6. • Dokument ~ záznam k URL v databázi
• Content ~ stažený obsah URL
• Refresh ~ aktualizace obsahu a stavu URL
• Normalizace URL
• Crawl budget
Terminologie

7. Co je to normalizace URL?

8. • Dokument ~ webová stránka
• Content ~ stažený obsah URL
• Refresh ~ aktualizace obsahu a stavu URL
• Normalizace URL ~ transformace URL do normálního tvaru
bez ztráty informace
• Crawl budget
Terminologie

9. Co je to crawl budget?

10. • Dokument ~ webová stránka
• Content ~ stažený obsah URL
• Refresh ~ aktualizace obsahu a stavu URL
• Normalizace URL ~ transformace URL do normálního tvaru
bez ztráty informace
• Crawl budget ~ průnik URL, které robot chce a
může stáhnout z webu
Terminologie

11. Crawl budget
Crawl
rate
Crawl
demand
Crawl budget

12. Služby hledání na internetu

13. Schéma vyhledávání přirozených výsledků
Zdroj: https://blog.seznam.cz/technologie-fulltextu/

14. Na kolika různých URL na internetu
lze dostat content?

15. Kolika URL robot pravidelně
aktualizuje obsah?

16. Na kolika fyzických serverech běží
databáze a výpočty robota?

17. Kolik dokumentů v českém jazyce je
v indexu vyhledávače Seznam.cz?

18. Kanonizace

19. Zdroj: https://www.youtube.com/user/DusanJanovsky (24. 6. 2011 !!!)
Kanonizace obecně

20. Co je úkolem kanonizace?

21. Kanonizace je transformace
technické struktury webu
do podoby, jak ji vidí člověk.
SeznamBot

22. Co je to kanonizace podle SeznamBota
Záměr
Realizace
na webu
V DB
robota
Kanonická
podoba

23. Kanonická množina je
webová stránka
z pohledu člověka.
SeznamBot

24. Normalizace URL
Kanonizace stejného obsahu
Kanonizace rozdílného obsahu
Jaké kanonizace SeznamBot rozlišuje

25. Normalizace URL

26. • Transformace URL bez ztráty informace
• Sloučení technicky stejných URL
Normalizace URL je

27. Normalizace URL
Kanonizace stejného obsahu
Kanonizace rozdílného obsahu
Jaké kanonizace SeznamBot rozlišuje

28. Kanonizace
stejného obsahu

29. Stejný obsah mají všechny URL,
přes které se dostanu
na stejnou stránku.
Běžný člověk

30. Jaký je rozdíl mezi kanonizací a
normalizací?
Kontrolní otázka

31. • Kanonizace i normalizace shlukují URL
• Normalizace: Technicky stejná URL
• Kanonizace: Lidsky stejná stránka
Rozdíl mezi kanonizací a normalizací

32. • Kanonizace i normalizace shlukují URL
• Normalizace: Technicky stejná stránka
• Kanonizace: Lidsky stejná stránka
 např. přesměrování a jeho cíl
Rozdíl mezi kanonizací a normalizací

33. Ve kterých bublinkách se odehrává
kanonizace stejného obsahu?

34. Schéma vyhledávání přirozených výsledků
Zdroj: https://blog.seznam.cz/technologie-fulltextu/

35. Kanonizaci stejného obsahu provádí robot
Zdroj: https://blog.seznam.cz/technologie-fulltextu/

36. Může mít kanonizace vliv
na crawl budget?

37. • Přesměrování 1:1, Hashbang, ignorovaný parametr
• Stačí ověřit malý sample URL
 Snížení crawl demand složky crawl budgetu
Pravidlová kanonizace stejného obsahu

38. • Všechny následující URL spadnou do stejné kanonické množiny
1. http://zbozi.cz/.../?razeni=nejlevnejsi&_escaped_fragment_=
2. https://www.zbozi.cz/.../
3. http://www.zbozi.cz/.../?razeni=nejlevnejsi
4. https://www.zbozi.cz/.../?_escaped_fragment_=
 Robot bude aktualizovat jen č. 4
 Ve výsledcích se zobrazí jen č. 2
Příklad kanonizace URL na Zboží.cz

39. • Na Zboží.cz v testu ušetřeno 80 % crawl demand
 Častější refresh a větší zastoupení dokumentů
• Na většině velkých webů lze pomocí pravidel snížit CD.
Pravidlová kanonizace má významný efekt

40. • Indexace podle kanonických množin
• Pravidlová kanonizace do Seznam Webmastera
• Automatická detekce kanonizačních pravidel
• Ad-hoc kanonizace stejného obsahu
Další plány s kanonizací stejného obsahu

41. • Přesměrování kvůli změně URL – např. titulek v URL
• Kanonický link – např. z m.novinky.cz na novinky.cz
 Kanonizující vs. nekanonizující přesměrování
Ad-hoc kanonizace stejného obsahu

42. Normalizace URL
Kanonizace stejného obsahu
Kanonizace rozdílného obsahu
Jaké kanonizace SeznamBot rozlišuje

43. Kanonizace
rozdílného obsahu

46. Poznámky na závěr

47. • Manuální pravidlová kanonizace stejného obsahu
• Interpretace stránky pro hledání zpravodajství
• Zlepšení funkce výběru stránek do databáze
Teaser: co v blízké době plánujeme nasadit

48. • Jak funguje hledání přirozených výsledků
• Co je to kanonizace obecně
• Jak dělá kanonizaci vyhledávání Seznam.cz
• Co v blízké době nasadíme
Co jsem se snažil sdělit

49. Kdo vyhrál v kvízu?

50. • Hledáme produkťáka
• Hledáme Java vývojáře
 Pokud o někom víte, napište mi!
 Slibované věci budou rycheji dodané!
Pojď s námi rozvíjet SeznamBota!

51. Martin Kirschner
Product manager senior
E-mail: martin.kirschner@firma.seznam.cz
Twitter: @svXaverius, @SeznamBot, @hledani_seznam
Kontakt