Вопрос по robots.txt

Автор Тема: Вопрос по robots.txt  (Прочитано 6204 раз)

Оффлайн anykey13Автор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 48
  • Сообщений: 86
  • Карма: 12
  • Пол: Мужской

Оффлайн anykey13Автор темы

  • Пользователь
  • **
Вопрос по robots.txt
« : 13-06-2021, 08:06:03 »
Приветствую.

Есть вопрос-при добавлении сайта на https://ahrefs.com и первичном краулинге выдает такую ошибку, подскажите как исправить, может что прописать надо?

robots.txt page returns an HTTP error with code 503

Данные robots.txt

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /*?
Disallow: /?s=
Allow: /*.css
Allow: /*.js
Sitemap: https://schneejager.ru/wp-sitemap.xml
Заранее благодарен.


Оффлайн evagrom79

  • Глобальный модератор
  • Бизнес оценка: (0)
  • *****
  • СПАСИБО: 1430
  • Сообщений: 3048
  • Карма: 142
  • Пол: Женский
  • Многому только учусь - медленно, зато старательно
  • Награды Более 100 спасибо
    • Лучшие курорты

Оффлайн evagrom79

  • Глобальный модератор
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 1430
    • Сообщений: 3048
    • Карма: 142
    • Пол: Женский
    • Многому только учусь - медленно, зато старательно
    • Награды Более 100 спасибо
      • Лучшие курорты
Re: Вопрос по robots.txt
« Ответ #1 : 13-06-2021, 08:07:42 »
А какую ошибку-то выдает?

Оффлайн anykey13Автор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 48
  • Сообщений: 86
  • Карма: 12
  • Пол: Мужской

Оффлайн anykey13Автор темы

  • Пользователь
  • **
Re: Вопрос по robots.txt
« Ответ #2 : 13-06-2021, 08:10:53 »
А какую ошибку-то выдает?
А вот эту robots.txt page returns an HTTP error with code 503

Оффлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5385
  • Сообщений: 7492
  • Карма: 294
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • SEO, интернет-маркетинг, сайостроение

Оффлайн vold57

  • Мастер
  • *****
Re: Вопрос по robots.txt
« Ответ #3 : 13-06-2021, 11:36:50 »
Файл роботса пустой - https://prnt.sc/158qo3r, https://prnt.sc/158qxwx.
Тут тоже видно, что роботс пустой - https://prnt.sc/158ri7o.

Карты сайта по указанному адресу нет - https://prnt.sc/158r8gm.

« Последнее редактирование: 13-06-2021, 11:41:35 от vold57 »

Оффлайн anykey13Автор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 48
  • Сообщений: 86
  • Карма: 12
  • Пол: Мужской

Оффлайн anykey13Автор темы

  • Пользователь
  • **
Re: Вопрос по robots.txt
« Ответ #4 : 13-06-2021, 16:17:25 »
Файл роботса пустой - https://prnt.sc/158qo3r, https://prnt.sc/158qxwx.
Тут тоже видно, что роботс пустой - https://prnt.sc/158ri7o.

Карты сайта по указанному адресу нет - https://prnt.sc/158r8gm.
Посоветовали сделать пустой роботс-сделал, не помогло.
В данный момент присутствуют строки:
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-json/
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /*?
Disallow: /?s=
Allow: /*.css
Allow: /*.js
Sitemap: https://schneejager.ru/wp-sitemap.xml


Оффлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5385
  • Сообщений: 7492
  • Карма: 294
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • SEO, интернет-маркетинг, сайостроение

Оффлайн vold57

  • Мастер
  • *****
Re: Вопрос по robots.txt
« Ответ #5 : 13-06-2021, 20:22:01 »
Теперь роботс есть. Но карты сайта по указанному в роботсе адресу нет.

Оффлайн alexakap

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 244
  • Сообщений: 611
  • Карма: 25
  • Пол: Мужской

Оффлайн alexakap

  • Ветеран
  • *****
Re: Вопрос по robots.txt
« Ответ #6 : 14-06-2021, 08:29:42 »
Если дословно, то ошибка "Файл роботс.тхт вернул 503 ответ сервера". Сам файл здесь ни при чем. Чаще всего такая ошибка вылетает при большой нагрузке на сервер

Оффлайн anykey13Автор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 48
  • Сообщений: 86
  • Карма: 12
  • Пол: Мужской

Оффлайн anykey13Автор темы

  • Пользователь
  • **
Re: Вопрос по robots.txt
« Ответ #7 : 14-06-2021, 10:43:08 »
Ответ саппорта:

Таким образом, ошибки 503 - это временные проблемы. Обычно они вызваны перегрузкой сервера или техническим обслуживанием. Эти ошибки могут указывать на то, что вам нужен более мощный веб-сервер, способный обрабатывать большее количество запросов. Другими возможными причинами ошибок 5xx являются: Неисправные плагины в вашей CMS (например, Wordpress). Проблемы с правами доступа к файлам и папкам Если вы обнаружили, что ползание произошло во время обслуживания сервера, запустите новое ползание, чтобы проверить, сохраняются ли ошибки 5xx.

В принципе ответы на вопрос я получил, благодарю всех ответивших.
Тему можно закрывать.


 

Похожие темы

  Тема / Автор Ответов Последний ответ
2 Ответов
1518 Просмотров
Последний ответ 07-06-2011, 22:13:04
от Andy27
7 Ответов
2175 Просмотров
Последний ответ 11-11-2012, 19:36:00
от DmitriyM
21 Ответов
4854 Просмотров
Последний ответ 06-03-2015, 12:04:54
от Barba Agency
5 Ответов
1228 Просмотров
Последний ответ 21-10-2015, 07:33:59
от Sky-fi
4 Ответов
1344 Просмотров
Последний ответ 23-05-2016, 10:56:54
от troll22