robots.txt не доступен

[DmitryD88]

При наборе в строке браузера https://site.ru/robots.txt файл robots.txt виден. А вот если его добавить для анализа в Яндекс Вебмастер или другие стороние сервисы, то пишет что файл отсутствует. В чем дело, подскажите пожалуйста?

[seoiz]

Чтобы разобраться в вашей проблеме, необходимо посмотреть как вы составляете файл robots.txt. Возможно вы не правильно его составляете. Покажите ваш файл.
Вот правильный файл к примеру:
--
User-agent: *
Allow: /
Disallow: /feedback
Host: site.ru
Sitemap: http://site.ru/sitemap.xml
--

Disallow - запрещает индексацию файлов, прописывается урл страницы или название папки, которую нужно спрятать от индексации.
Примечание:
-если вы хотите закрыть всю папку вместе с вложенными папками (если таковые есть), то прописать нужно /feedback
-если вы хотите закрыть папку, но вложенные папки должны индексироваться, то прописать нужно /feedback/
Allow - индексирует весь сайт.
Также обязательно прописываем Host без http и Sitemap (карта сайта).
Такие файлы robots.txt не имеют ошибки и хорошо добавляются в вебмастере. Если нужны дополнительные значения, их можно посмотреть в
https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#robots-txt

https://yandex.ru/support/webmaster/indexing-options/robots-txt-analyzer.xml#analysis здесь можно посмотреть ошибки при создании robots.txt.

[Вадим Костин]

При наборе в строке браузера https://site.ru/robots.txt файл robots.txt виден. А вот если его добавить для анализа в Яндекс Вебмастер или другие стороние сервисы, то пишет что файл отсутствует. В чем дело, подскажите пожалуйста?

Скорей всего Вы загрузили файл не в ту дирректорию или не правильно назвали. Файл должен называться robots.txt и загружаться в корневую дирректорию.
Добавлено: 04-09-2015, 08:58:46

При наборе в строке браузера https://site.ru/robots.txt файл robots.txt виден. А вот если его добавить для анализа в Яндекс Вебмастер или другие стороние сервисы, то пишет что файл отсутствует. В чем дело, подскажите пожалуйста?

Скорей всего Вы загрузили файл не в ту дирректорию или не правильно назвали. Файл должен называться robots.txt и загружаться в корневую дирректорию.