Zakázat indexování stránky

Meta tag robots

<meta name="robots" content="noindex, nofollow">

• noindex – oznámení vyhledávacím robotům neindexovat tuto stránku
• nofollow – oznámení vyhledávacím robotům nesledovat odkazy této stránky

Soubor robots.txt

Soubor robots.txt je uložen v root adresáři.  Příklad syntaxe robots.txt:

User-agent: *
Disallow: /img/
Disallow: /obr

• první řádek – pro všechny roboty
• nevstupovat do adresáře img
• zákaz sledovat soubory s bázvem začínajícím řetězcem obr