Вопрос по robots.txt

Автор anykey13, 13-06-2021, 08:06:03

« назад - далее »

anykey13Topic starter

Приветствую.

Есть вопрос-при добавлении сайта на https://ahrefs.com и первичном краулинге выдает такую ошибку, подскажите как исправить, может что прописать надо?

robots.txt page returns an HTTP error with code 503

Данные robots.txt

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /*?
Disallow: /?s=
Allow: /*.css
Allow: /*.js
Sitemap: https://schneejager.ru/wp-sitemap.xml
Заранее благодарен.


evagrom79

А какую ошибку-то выдает?


anykey13Topic starter

Цитата: evagrom79 от 13-06-2021, 08:07:42
А какую ошибку-то выдает?
А вот эту robots.txt page returns an HTTP error with code 503

vold57

#3
Файл роботса пустой - https://prnt.sc/158qo3r, https://prnt.sc/158qxwx.
Тут тоже видно, что роботс пустой - https://prnt.sc/158ri7o.

Карты сайта по указанному адресу нет - https://prnt.sc/158r8gm.


anykey13Topic starter

Цитата: vold57 от 13-06-2021, 11:36:50
Файл роботса пустой - https://prnt.sc/158qo3r, https://prnt.sc/158qxwx.
Тут тоже видно, что роботс пустой - https://prnt.sc/158ri7o.

Карты сайта по указанному адресу нет - https://prnt.sc/158r8gm.
Посоветовали сделать пустой роботс-сделал, не помогло.
В данный момент присутствуют строки:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /*?
Disallow: /?s=
Allow: /*.css
Allow: /*.js
Sitemap: https://schneejager.ru/wp-sitemap.xml


vold57

Теперь роботс есть. Но карты сайта по указанному в роботсе адресу нет.

alexakap

Если дословно, то ошибка "Файл роботс.тхт вернул 503 ответ сервера". Сам файл здесь ни при чем. Чаще всего такая ошибка вылетает при большой нагрузке на сервер
  •  

anykey13Topic starter

Ответ саппорта:

Таким образом, ошибки 503 - это временные проблемы. Обычно они вызваны перегрузкой сервера или техническим обслуживанием. Эти ошибки могут указывать на то, что вам нужен более мощный веб-сервер, способный обрабатывать большее количество запросов. Другими возможными причинами ошибок 5xx являются: Неисправные плагины в вашей CMS (например, Wordpress). Проблемы с правами доступа к файлам и папкам Если вы обнаружили, что ползание произошло во время обслуживания сервера, запустите новое ползание, чтобы проверить, сохраняются ли ошибки 5xx.

В принципе ответы на вопрос я получил, благодарю всех ответивших.
Тему можно закрывать.