Вопрос по robots.txt

[anykey13]

Приветствую.

Есть вопрос-при добавлении сайта на https://ahrefs.com и первичном краулинге выдает такую ошибку, подскажите как исправить, может что прописать надо?

robots.txt page returns an HTTP error with code 503

Данные robots.txt

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /*?
Disallow: /?s=
Allow: /*.css
Allow: /*.js
Sitemap: https://schneejager.ru/wp-sitemap.xml
Заранее благодарен.

[evagrom79]

А какую ошибку-то выдает?

[anykey13]

А какую ошибку-то выдает?

А вот эту robots.txt page returns an HTTP error with code 503

[vold57]

Файл роботса пустой - https://prnt.sc/158qo3r, https://prnt.sc/158qxwx.
Тут тоже видно, что роботс пустой - https://prnt.sc/158ri7o.

Карты сайта по указанному адресу нет - https://prnt.sc/158r8gm.

[anykey13]

Файл роботса пустой - https://prnt.sc/158qo3r, https://prnt.sc/158qxwx.
Тут тоже видно, что роботс пустой - https://prnt.sc/158ri7o.

Карты сайта по указанному адресу нет - https://prnt.sc/158r8gm.

Посоветовали сделать пустой роботс-сделал, не помогло.
В данный момент присутствуют строки:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /*?
Disallow: /?s=
Allow: /*.css
Allow: /*.js
Sitemap: https://schneejager.ru/wp-sitemap.xml

[vold57]

Теперь роботс есть. Но карты сайта по указанному в роботсе адресу нет.

[alexakap]

Если дословно, то ошибка "Файл роботс.тхт вернул 503 ответ сервера". Сам файл здесь ни при чем. Чаще всего такая ошибка вылетает при большой нагрузке на сервер

[anykey13]

Ответ саппорта:

Таким образом, ошибки 503 - это временные проблемы. Обычно они вызваны перегрузкой сервера или техническим обслуживанием. Эти ошибки могут указывать на то, что вам нужен более мощный веб-сервер, способный обрабатывать большее количество запросов. Другими возможными причинами ошибок 5xx являются: Неисправные плагины в вашей CMS (например, Wordpress). Проблемы с правами доступа к файлам и папкам Если вы обнаружили, что ползание произошло во время обслуживания сервера, запустите новое ползание, чтобы проверить, сохраняются ли ошибки 5xx.

В принципе ответы на вопрос я получил, благодарю всех ответивших.
Тему можно закрывать.