Jak zjistí a kdy zaindexuje Google nebo Seznam nové stránky?

Internetové stránky dnes dělá kde kdo, se SEO se roztrhl pytel a každý je najednou guru na optimalizaci, nebo copywriting. Ne každý ale chápe, jak fungují vyhledávací roboti a k mému překvapení i velice šikovní webmasteři se ptají, kdy zaindexuje Google nebo Seznam jejich nové stránky. Časté dotazy mne vedou k napsání tohoto článku, ve kterém se pokusím nastínit několik základních cest, jak (převážně Google) najde novou stránku a přidá jí do svého indexu.

Pokud nevíte, co je to vyhledávací robot, tak si to raději přečtěte na wikině, protože bez toho asi nepochopíte níže uvedený text. Pro vás, co již chápete základní principy indexování stránek roboty, ale nevíte, kdy na vaše nové stránky vyhledávací robot přijde, nebo jak mu pomoci, popíšu několik základních metod.

V textu se nebudu zabývat vytvářením sitemap, protože to je stejně pomalá varianta, jako když předáte URL robotům přes formulář pro přidání nové stránky. Jsou totiž z pohledu robota mnohem efektivnější metody, jak ji najít dříve.

Přidání stránky přes formulář pro indexování do Googlu či Seznamu

Nejsnazší možností, jak sdělit vyhledávačům existenci vaší nové stránky je využití formuláře, kde zadáte URL stránky, pak nějaký čas počkáte, než si to Googlebot, nebo Seznambot projdou a pokud je pro ně zajímavá, zaindexují ji a přidají do svých výsledků vyhledávání. To však může trvat i několik dnů, pokud má zrovna robot hodně práce, nebo vaše stránky nejsou často aktualizované a chodí na ně s delším intervalem.

Jak často na vaše stránky vyhledávací robot chodí je závislé na mnoha faktorech. Jedním z hlavních je ale frekvence aktualizací obsahu stránek, která zajistí to, že čím častěji něco přidáváte, tím častěji robot stránky kontroluje a indexuje. Pokud obsah vašeho webu necháte ladem několik týdnů či měsíců, robot je projde, poté přijde za pár dnů, nezjistí nic nového, zkusí to znovu za pár dnů, opět nezjistí nový obsah a při dalších jeho návštěvách již prodlouží interval, ve kterém se o to pokouší, protože nic neděláte, takže proč by k vám chodil. Když za nějaký čas přidáte nový obsah, jeho interval je dlouhý, protože jste prostě nic nedělali. Přesvědčit ho o tom, že má chodit častěji pak nějaký čas trvá.

Výše uvedený text předpokládá, že nevyužíváte žádnou ze služeb od Google, nebo Seznamu, protože i on využívá určitých metod ke zjištění nových stránek, jako Google.

Jak se dozví vyhledávací robot o nových stránkách bez formuláře?

Je to naprosto jednoduché. Pokud používáte například Google Analytics, umístíte na své stránky javascriptový kód této služby a každé zobrazením stránky započítá Google právě díky tomuto vloženému javascriptu. V případě, že jste přidali novou stránku na váš web a někdo ji zobrazí (většinou to jste vy, když jí kontrolujete, zda se zobrazuje správně), Google opět díky jeho kódu započítá návštěvu, nicméně při tom zjistí i novou URL adresu stránky, kterou jste přidali. No a je to hotové. Jakmile totiž má URL nové stránky, je již otázkou pouze to, za jak dlouho na ní pošle vyhledávacího robota, aby ji prošel a indexoval. To je závislé, jak jsem psal výše, na tom, jak se o váš web staráte a jaký je interval jeho aktualizace, nebo přidávání nového obsahu. To určuje čas, za který se na stránku robot podívá. Z mé zkušenosti jde u malých webů o několik desítek minu až hodin, u velkých webů (např. rozsáhlých diskusí) o desítky sekund, maximálně minut.

Reklamní kódy také roboty informují o nových stránkách pro indexování

Na stejném principu (javascriptu) fungují i kódy reklamních systémů od Google či Seznamu. Pokud zobrazíte nějakou stránku, na které se zobrazí reklama, Google či Seznam na ni v relativně krátkém čase pošle indexovacího robota, aby ji zkontroloval a indexoval. Čas návštěvy robota, který dostal informaci díky reklamnímu kódu je dokonce kratší, než u běžného vyhledávacího bota, protože jde o peníze a čím dříve bude na nové stránce zobrazovat relevantní reklamu, tím dříve může vyhovět inzerentům a vydělat. K tomu potřebuje vědět, co na stránce máte, protože dle této informace vybírá zobrazovaná reklamní sdělení.

Je v tom ale malý háček. Google veřejně tvrdí, že vyhledávací roboti pro indexování stránek k účelu zobrazování výsledků ve vyhledávání, nemají stejná data jako roboti, kteří indexují pro reklamní užití a opravdu to tak asi je. Index tedy bude oddělený, URL si ale možná předávají. Princip je totiž stejný a využívaný o obou.

Vyhledávací lišty a bonzovací lištičky

Dalším zdrojem informací pro Google i Seznam jsou vyhledávací listy, do kterých lidé (především pak starší generace) nacpe mnohdy i cílové URL, nebo jen výrazy, které je pak přes proklikávání přivedou na stránky, které ještě roboti neprohledávali a díky integraci do prohlížeče to samozřejmě nabonzují. Toto už je trochu spekulativní, ale mám zkušenosti, že se vyhledávače dostanou i na stránky, kam nevedou odkazy, není na nich kód reklamního, nebo statistického systému a i přes to se o nich roboti dovědí.

Nevýhoda nahlášení a indexování nových stránek

Všechno výše uvedené je super v případě, že jste již novou stránku dodělali a chcete jí naostro pustit do internetu, takže zaindexovat. Drobný problém přichází v okamžiku, kdy máte stránku rozpracovanou, nechcete ji ještě zveřejňovat, ale holt jste ji (třeba omylem) pustili ven (i když třeba není nikde dostupná z odkazů vašeho webu). V ten okamžik ji stejně robot díky javascriptovému kódu najde a bez zeptání indexuje. Přichází drobný problém, kdy stránku upravíte (třeba z ní vyhodíte něco, co jste do ní předtím umístili), spustíte ji veřejně, ale vyhledávač již má zaindexovaný předcházející obsah, takže si myslí, že na ní již není to, co předtím, přeindexuje ji (což může chvíli trvat), ale díky ztrátě původní informace nebude mít takovou hodnotu, jako když by jí zaindexoval v konečné verzi. Je to založené na tom, že hodnotná informace má dlouhodobou životnost a je vždy lepší obsah přidávat, než přepisovat. V důsledku totiž nezískáte tak dobré hodnocení.


Kam dál?