Nastavení - Robots.txt
Robots.txt je textový soubor, který umožňuje správci webu zakázat nebo povolit přístup některých Botů (např. Googlebot, Jyxobot aj.). Tento soubor se musí nacházet v kořenovém adresáři daného webu (složka www).

Několik málo příkladů:
- * - všichni roboti
- Mezi položkami musí být prázdný řádek!
Zakázání indexování vyhledavačů:
User-agent: *
Disallow: /
Zakázaní googlbotu indexovat vše v adresáři /adr:
User-Agent: Googlebot
Disallow: /adr/
Zakázání indexování vyhledavačů pro jednitlivé složky v kořenovém adresáři:
User-agent: *
Disallow: /slozka/
Zakáže googlbotu procházení celého webu, ale povolí mu adresář /adr/:
User-Agent: Googlebot
Disallow: /
Allow: /adr/