добавете следните редове

  • File - Функции и приложения
    Robots.txt - файл, който да ограничи достъпа до сайта на търсачката роботи съдържание намира в HTTP сървър. файла robots.txt трябва да се намира в главната директория на сайта, който има относително име път на сайта: /robots.txt).