Web разработка > Вебдизайн и Вебмастеринг

Вопрос по robots.txt

(1/2) > >>

anykey13:
Приветствую.

Есть вопрос-при добавлении сайта на https://ahrefs.com и первичном краулинге выдает такую ошибку, подскажите как исправить, может что прописать надо?

robots.txt page returns an HTTP error with code 503

Данные robots.txt

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /*?
Disallow: /?s=
Allow: /*.css
Allow: /*.js
Sitemap: https://schneejager.ru/wp-sitemap.xml
Заранее благодарен.

evagrom79:
А какую ошибку-то выдает?

anykey13:

--- Цитата: evagrom79 от 13-06-2021, 08:07:42 ---А какую ошибку-то выдает?

--- Конец цитаты ---
А вот эту robots.txt page returns an HTTP error with code 503

vold57:
Файл роботса пустой - https://prnt.sc/158qo3r, https://prnt.sc/158qxwx.
Тут тоже видно, что роботс пустой - https://prnt.sc/158ri7o.

Карты сайта по указанному адресу нет - https://prnt.sc/158r8gm.

anykey13:

--- Цитата: vold57 от 13-06-2021, 11:36:50 ---Файл роботса пустой - https://prnt.sc/158qo3r, https://prnt.sc/158qxwx.
Тут тоже видно, что роботс пустой - https://prnt.sc/158ri7o.

Карты сайта по указанному адресу нет - https://prnt.sc/158r8gm.

--- Конец цитаты ---
Посоветовали сделать пустой роботс-сделал, не помогло.
В данный момент присутствуют строки:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /*?
Disallow: /?s=
Allow: /*.css
Allow: /*.js
Sitemap: https://schneejager.ru/wp-sitemap.xml

Навигация

[0] Главная страница сообщений

[#] Следующая страница

Перейти к полной версии