Nastavení - Robots.txt

Robots.txt je textový soubor, který umožňuje správci webu zakázat nebo povolit přístup některých Botů (např. Googlebot, Jyxobot aj.). Tento soubor se musí nacházet v kořenovém adresáři daného webu (složka www).

Několik málo příkladů:

• * - všichni roboti
• Mezi položkami musí být prázdný řádek!

Zakázání indexování vyhledavačů:

User-agent: * 
Disallow: /

Zakázaní googlbotu indexovat vše v adresáři /adr:

User-Agent: Googlebot
Disallow: /adr/

Zakázání indexování vyhledavačů pro jednitlivé složky v kořenovém adresáři:

User-agent: *

Disallow: /slozka/

Zakáže googlbotu procházení celého webu, ale povolí mu adresář /adr/:

User-Agent: Googlebot

Disallow: /
Allow: /adr/

 Zpět