Správanie vyhľadávacích robotov (pavúkov)

Pre dosiahnutie toho, aby pavúky vyhľadávačov navštívili webovú stránku, je možné použiť dva spôsoby (Kubíček, 2008):
– upozorniť na webovú stránku roboty na špecializovaných stránkach (napr. http://www.google.com/addurl/, http://search.seznam.cz/pridej-stranku, http://jyxo.cz/d/submit, http://search.msn.com/docs/submit.aspx ), ktoré zriaďujú samotní správcovia vyhľadávačov
– zriadiť odkazy na webovú stránku na iných vysoko hodnotených webových stránkach

Podľa mnohých odborníkov je zriadenie odkazov efektívnejšou metódou, pretože robot prehľadávajúci takéto webové stránky nemá ako automat inú možnosť, len tieto odkazy prečítať a následovať ich. Prilákanie vyhľadávačov je pre dobré umiestnenie webovej stránky kľúčovou záležitosťou.

Pavúky po príchode na webovú stránku a jej načítanie sa zameriavajú na:
– obsah stránky (kľúčové slová, veľkosť stránky, validný kód HTML stránky, obsah metaznačiek)
– URL adresy (používanie "pekných" adries – jednoduché a statické URL adresy)
– navigáciu (funkčnosť interných a externých odkazov, mapa stránky)

Okrem prilákania pavúkov existuje možnosť im návštevu stránky aj obmedziť, respektíve zakázať, a to niekoľkými spôsobmi:
– použitím textového súboru robots.txt v koreňovom adresári domény druhej alebo tretej úrovne je možné zakázať indexovanie celej domény
– použitím metaznačiek v hlavičke webovej stránky je možné obmedziť indexovanie jednotlivých stránok
– použitím atribútu rel="nofollow" je možné obmedziť konkrétny odkaz

Pri použití posledných dvoch spôsobov (metaznačky v hlavičke stránky, atribút rel="nofollow") je vylúčenie robotov len čiastočné, pretože aby sa robot dostal k informáciám o tom, či má alebo nemá načítať jednotlivé stránky alebo odkaz, musí prejsť obsahom stránky, čím hlavnú časť stránky môže indexovať normálne. Naopak, použitie súboru robots.txt je rýchlejšie a dôslednejšie, pretože prvú vec, ktorú robot urobí pri príchode na webovú stránku, je nahliadnutie do tohto súboru s cieľom zistiť, či je alebo nie je obmedzený jeho pohyb na stránke. Avšak najjednoduchšou a najefektívnejšou ochranou pred indexovaním je obsah uložiť do adresára chráneného heslom.