Ошибки, часто встречающиеся в файле robots.txt

[vold57]

работает, все зависит от потребности

Спасибо за новость.

[aleksohotnik]

Спасибо за новость.

[lionzzzmega]

Спасибо за такое подробное изложение!

[Grafi]

Подскажите новичку, почему ПС видят robots.txt вот так:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://cleanklin.by/sitemap.xml

а в корне файл содержит вот это:
User-agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

 

User-agent: Yandex

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Host: https://cleanklin.by
Sitemap: https://cleanklin.by/sitemap.xml

[vold57]

В корне у вас - http://prntscr.com/qf8ahd. Возможно у вас есть еще какой-то файл с похожим именем или не совсем в корне.

[Grafi]

В корне у вас - newbielink:http://prntscr.com/qf8ahd [nonactive]. Возможно у вас есть еще какой-то файл с похожим именем или не совсем в корне.

Да, такой файл не могу найти. Он ведь должен быть robots.txt, а такой файл один и в нем другой код

[vold57]

Значит не один. Смотрите в папках на хостинге. Удалите или переименуйте тот файл, который вы считаете, что находится в корне и посмотрим, что изменится.

[Grafi]

Значит не один. Смотрите в папках на хостинге. Удалите или переименуйте тот файл, который вы считаете, что находится в корне и посмотрим, что изменится.

Спасибо. Буду искать

[red-panda]

Подскажите новичку, почему ПС видят robots.txt вот так:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://cleanklin.by/sitemap.xml

а в корне файл содержит вот это:
User-agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

 

User-agent: Yandex

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Host: https://cleanklin.by
Sitemap: https://cleanklin.by/sitemap.xml

В каком то плагине сеошном, формируется робот, его и получают ПС. Найдите плагин и настройку в нем файла robots.txt
И его или отключить или записать данные как в том что в корне

[vold57]

или записать данные как в том что в корне

В корне этот:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php


Нужно его найти на сервере по ФТП и отредактировать.