Aktuality

Spider a prohledávač webu. K čemu slouží a co z jeho výsledků vyčíst?

Váš web může na první pohled vypadat v pořádku – stránky se načítají, obsah je kvalitní, design funguje. Jenže Google vidí web jinak než člověk. Prochází ho systematicky po odkazech a naráží přitom na věci, které návštěvník nikdy nezaznamená. Spider a prohledávač webu dělá totéž – projde celý web automaticky a podá vám zprávu o tom, co tam skutečně je.

Co spider při procházení webu dělá?

Spider, někdy nazývaný crawler nebo prohledávač, začne na zadané URL a postupuje dál podle interních odkazů. Navštíví každou stránku, na kterou vede odkaz z jiné stránky webu, zaznamená stavový kód (přehled možných stavových kódů viz zde), dobu odezvy, typ obsahu a přejde na další. Výsledkem je kompletní mapa webu tak, jak ho vidí robot.

Celý proces probíhá automaticky a nezávisle na tom, co máte v sitemapě. Sitemapa je seznam stránek, které chcete, aby Google znal. Spider prochází web podle odkazů a odhalí i stránky, které v sitemapě chybí, nebo naopak stránky, na které nevede žádný odkaz a jsou tak pro vyhledávače prakticky neviditelné.

Co přesně crawl odhalí?

Výsledky crawlu se dělí do několika oblastí a každá z nich říká něco jiného o zdraví webu.

První a nejviditelnější jsou stavové kódy. Stránky s kódem 200 jsou v pořádku. Kód 404 znamená, že stránka neexistuje, přesto na ni někde na webu vede odkaz. Kód 500 signalizuje chybu na serveru. Přesměrování jsou označena kódy 301 a 302. Spider všechny tyto kódy zaznamená a zobrazí přehled, kde přesně se problémy nacházejí a odkud na ně vedou odkazy.
Druhá oblast je přesměrování. Jedno přesměrování je normální a v pořádku. Problém nastává, když se za sebou řetězí více přesměrování, nebo když se dostanou do smyčky. Každý článek v řetězci přesměrování zpomaluje načítání stránky a oslabuje hodnotu, kterou odkaz přenáší. Spider přesměrování zmapuje a ukáže, kde jsou řetězce zbytečně dlouhé.
Třetí věcí jsou osiřelé stránky. Jde o stránky, na které nevede žádný interní odkaz z jiného místa webu. Google je při běžném procházení nenajde, protože nemá jak se na ně dostat. Sitemap mu sice jejich existenci nahlásí, ale stránky bez interních odkazů dostávají ve výsledcích vyhledávání mnohem menší váhu. Spider tyto stránky odhalí a vy pak rozhodnete, jestli je prolinkovat nebo z webu odstranit.

Jak crawl spustit a co zadat?

Spuštění crawlu je technicky nenáročné. V nástroji zadáte URL webu, který chcete prohledat, a spider začne automaticky procházet stránky podle interních odkazů. Výsledky se zobrazují průběžně a po dokončení dostanete přehledný report.

U větších webů s tisíci stránkami crawl trvá déle. U běžného firemního webu nebo menšího e-shopu je výsledek hotový za minuty. Dobu odezvy jednotlivých stránek nástroj zaznamená také, takže z reportu ihned vidíte, které stránky se načítají pomalu a kde může být problém s výkonem serveru.

Jak s výsledky pracovat?

Report po crawlu vás může zpočátku zahltit, když uvidíte změť čísel a URL adres. Ve skutečnosti jde o konkrétní seznam úkolů seřazených podle závažnosti.

Začněte od chyb 404. Projděte seznam, zjistěte, odkud na nefunkční stránky vedou odkazy, a opravte je. Pokud stránka existovala dřív a teď je pryč, nastavte přesměrování na nejbližší relevantní stránku. Pokud odkaz vede na adresu, která nikdy neexistovala, jednoduše ho opravte nebo odstraňte.

Pak se podívejte na řetězce přesměrování. Pokud přesměrování prochází třemi nebo více kroky, zkraťte ho na přímý skok z původní URL na cílovou. Každý zbytečný skok zpomaluje stránku a oslabuje přenášenou hodnotu odkazu.

Osiřelé stránky vyžadují trochu více přemýšlení. Projděte jejich obsah a rozhodněte, zda jsou hodnotné. Pokud ano, doplňte interní odkaz z relevantní části webu. Pokud jde o zastaralý nebo duplicitní obsah, zvažte jeho odstranění nebo sloučení s jiným článkem.

Spider pro vývojáře a správce obsahu

Crawl webu není jen záležitost SEO specialistů. Pro vývojáře je prohledání webu po nasazení nové verze nebo redesignu rychlý způsob, jak ověřit, že vše funguje. Nefunkční stránky a rozbité odkazy se při vývoji nebo migraci objevují snadno a odhalit je ručním procházením webu by trvalo hodiny.

Správci obsahu ze spider reportu zjistí, které stránky jsou izolovány od zbytku webu a kam chybí prolinkování. Obsah, který nikdo nenajde, nepřináší výsledky. Mapování odkazové struktury webu odhalí díry v prolinkování a ukáže, kde obsah zbytečně stojí mimo dosah čtenářů i vyhledávačů.

Co spider webu nenahradí?

Spider odhalí strukturální a technické problémy. Neposoudí kvalitu obsahu, relevanci stránek pro dané téma ani sílu zpětných odkazů z externích webů. Jeho výsledky tvoří základ technického auditu a ukazují, kde začít. Co uděláte dál, závisí na prioritách a rozsahu webu.