Robots.txt

Textový soubor umístěný v kořenovém adresáři webové prezentace obsahující zakódovanou informaci zda vyhledávací robot smí stránky indexovat. V tomto souboru lze vyhledávacímu robotovi zakázat indexaci určitých podstránek nebo celých adresářů.