Web разработка > Вебдизайн и Вебмастеринг
Вопрос по robots.txt
anykey13:
Приветствую.
Есть вопрос-при добавлении сайта на https://ahrefs.com и первичном краулинге выдает такую ошибку, подскажите как исправить, может что прописать надо?
robots.txt page returns an HTTP error with code 503
Данные robots.txt
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /*?
Disallow: /?s=
Allow: /*.css
Allow: /*.js
Sitemap: https://schneejager.ru/wp-sitemap.xml
Заранее благодарен.
evagrom79:
А какую ошибку-то выдает?
anykey13:
--- Цитата: evagrom79 от 13-06-2021, 08:07:42 ---А какую ошибку-то выдает?
--- Конец цитаты ---
А вот эту robots.txt page returns an HTTP error with code 503
vold57:
Файл роботса пустой - https://prnt.sc/158qo3r, https://prnt.sc/158qxwx.
Тут тоже видно, что роботс пустой - https://prnt.sc/158ri7o.
Карты сайта по указанному адресу нет - https://prnt.sc/158r8gm.
anykey13:
--- Цитата: vold57 от 13-06-2021, 11:36:50 ---Файл роботса пустой - https://prnt.sc/158qo3r, https://prnt.sc/158qxwx.
Тут тоже видно, что роботс пустой - https://prnt.sc/158ri7o.
Карты сайта по указанному адресу нет - https://prnt.sc/158r8gm.
--- Конец цитаты ---
Посоветовали сделать пустой роботс-сделал, не помогло.
В данный момент присутствуют строки:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /*?
Disallow: /?s=
Allow: /*.css
Allow: /*.js
Sitemap: https://schneejager.ru/wp-sitemap.xml
Навигация
Перейти к полной версии