Během minulého týdne přišel Google s rozšířením funkce Fetch as Googlebot v nástroji Google Webmaster Tools. Na svět tak přišla další možnost, jak požádat prohledávač Google (Googlebot nebo vyhledávací robot Google) o procházení nově spuštěného webu nebo právě aktualizovaného obsahu.
Ale od začátku...
Jak Google prochází a indexuje webové stránky?
Pojďme si nejdříve ve stručnosti podívat na to, jak Googlebot prochází a následně indexuje webové stránky.
Vyhledávací robot Google prochází miliardy webů a zařazuje je do svého seznamu stránek. Porovnává a hodnotí velké množství faktorů a na základě jejich kvality přiřadí stránce tzv. PageRank.
Důvod, proč je potřeba Googlebot upozornit na nové webové stránky nebo nový obsah, je důležitý. Cílem webové prezentace je, aby se dostala do výsledků vyhledávání a díky tomu získala co nejvíce relevantní návštěvnosti. Proto chceme, aby Googlebot webové stránky prošel, ohodnotil na základě kvality faktorů a zaindexoval je. Tím je cesta do výsledků vyhledávání otevřená a možnost plnit cíl SEO je nadosah.
Na stejném principu fungují všechny vyhledávače. Každý ale využívá jiná kritéria k ohodnocení webových stránek.
S čím novým přichází Fetch As Googlebot?
Fetch as Googlebot je funkce v Google Webmaster Tools, která umožňuje majitelům webových stránek zjistit, jak je vidí Googlebot. Nástroj pomáhá odhalit možné chyby, které nejsou na první pohled viditelné, ale mohou být důvodem neindexace.
Zásadní novinkou ve Fetch as Googlebot je rozšíření funkce o možnost požádat o indexaci konkrétní stránky po kliknutí na tlačítko Submit to index (Odeslat do indexu Google).
V praxi to znamená, že po zadání konkrétní URL a stisknutí tlačítka Fetch počkáte, než Googlebot stránku projde a zjistí, zda obsahuje chyby nebo ne. Pokud je webová stránka v pořádku, můžete nově pokračovat na Submit to index.
Obr. 1: Fetch as Googlebot: prohledávač Googlebot webovou stránku projde a zjistí, zda obsahuje chyby nebo ne, dále máte možnost využít „odeslání k indexaci“ (submit to index).
Poslat do indexu můžete zvolenou stránku dvěma způsoby. První způsob je poslání webové stránky jako samotné URL. Google doporučuje tuto možnost zvolit v případě, kdy máte úplně novou nebo právě aktualizovanou stránku.
Druhou možností je URL and all linked pages (URL a všechny odkazované stránky), která umožňuje využít zadanou URL jako výchozí bod a vezme v potaz i další stránky, na které zadaná URL odkazuje. Google tuto možnost doporučuje využít při výrazné změně webových stránek. Pod tím je možné představit si kompletní redesign webových stránek, který může změnit celou strukturu webu.
Obr. 2: Fetch as Googlebot: Na výběr máte 2 možnosti, jak konkrétní URL odešlete k indexaci Google.
U rozšíření funkce Fetch as Googlebot počítejte s omezením. U první varianty máte možnost poslat prohledávač Google až na 50 URL adres za týden, u druhé můžete nechat projít 10 URL za týden.
Obě možnosti vás upozorní, že Google negarantuje zařazení do indexu.
Fetch As Googlebot samozřejmě není první ani jediná možnost, jak prohledávač Google upozornit na nové webové stránky. Pojďme se podívat na další možnosti.
Získávejte zpětné odkazy
Získávání zpětných odkazů (linkbuilding) pro webové stránky, které chceme dostat do výsledků vyhledávání, je stále tou nejzákladnější metodou, jak říct vyhledávačům: Moje stránky existují a jsou důležité!
Zpětné odkazy z jiných zdrojů nám přivádějí relevantní návštěvnost, ale také vyhledávače upozorňují, kam při procházení zamířit a kde nalézt zajímavý obsah.
Počítejte s tím, že nejspíše nebudete schopni zajistit odkaz na každou stránku vašeho webu, proto je důležité i samotné interní prolinkování a soubor XML Sitemaps.
XML Sitemaps
Pohodlné procházení webových stránek můžeme zajistit také díky souboru XML Sitemaps. Některé rozsáhle webové stránky mohou obsahovat několik miliónů URL adres a bez sitemapy by možná nemohly být ani nalezeny.
XML Sitemaps se nahrává do kořenového adresáře webových stránek a umožňuje vyhledávačům předložit úplný seznam URL adres.
Jak vygenerovat XML Sitemaps? Můžete využít Sitemap Generator: http://www.xml-sitemaps.com/ s omezením do 500 URL adres. Pokud jsou webové stránky větší, je nutné si připlatit.
Sitemapu nezapomeňte vložit do Sitemaps v Google webmaster tools. Opět pomůžete tomu, že Googlebot soubor objeví rychleji.
V praxi může sitemap.xml vypadat například takto: http://www.dobryweb.cz/sitemap.xml.
Přidejte URL do Google
Google měl vždy k dispozici funkci Add URL pro každého, kdo si všiml, že nějaká stránka v indexu chybí.
Obr. 3: Add your URL to Google
Je pochopitelné, že žádosti poslané přes tento formulář nebylo možné vyřizovat včas a efektivně a tento způsob upozornění na nové stránky byl již nepoužitelný.
Místo toho je možné využít funkci Crawl URL. Funkci najdete na URL adrese https://www.google.com/webmasters/tools/submit-url, ale na rozdíl od Add URL je požadované přihlášení do Google Webmaster Tools. Crawl URL můžete využít až pro 50 URL adres za týden.
Od Fetch as Googlebot se kromě toho, že nevrací výsledky o možných chybách na stránce a není možné přímé poslání do indexu Google, liší v tom, že do formuláře můžete vyplnit jakoukoliv URL adresu.
Obr. 4: Crawl URL
Jaký způsob využít?
Co tedy v jaké situaci využít? Pokud jsou vaše webové stránky malé až střední a došlo právě k jejich spuštění nebo změně obsahu/struktury, zkuste, jak funguje Fetch as Googlebot. Zároveň průběžně získávejte zpětné odkazy na nově vytvořené podstránky.
Je to jeden z nejrychlejších způsobů, jak upozornit na nový obsah a budovat důležité odkazy do struktury webových stránek. Počítejte s tím, že Googlebot se nemusí hrnout do indexace takových stránek, které prochází denně velké množství a jsou si podobné jako vejce vejci, co se týče obsahu.
V případě rozsáhlého webu je velice důležité nezapomenout na XML Sitemaps v kombinaci s budováním zpětných odkazů a promyšleným interním prolinkováním. I v této situaci se může vyplatit využití nové funkce Fetch as Googlebot. Jasné ale je, že se s ručním upozorňováním na nový obsah a následné odeslání do indexu nedá projít a obsloužit například celý internetový obchod s milióny URL adresy.
