Ошибки, часто встречающиеся в файле robots.txt

Автор Владимир75, 02-12-2016, 12:44:15

« назад - далее »


aleksohotnik

newbielink:http://webmarketinggroup.ru/services/razrabotka-saytov [nonactive]
  •  


lionzzzmega

Спасибо за такое подробное изложение!
  •  

Grafi

Подскажите новичку, почему ПС видят robots.txt вот так:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://cleanklin.by/sitemap.xml

а в корне файл содержит вот это:
User-agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag



User-agent: Yandex

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Host: https://cleanklin.by
Sitemap: https://cleanklin.by/sitemap.xml
  •  

vold57

В корне у вас - http://prntscr.com/qf8ahd. Возможно у вас есть еще какой-то файл с похожим именем или не совсем в корне.


Grafi

Цитата: vold57 от 24-12-2019, 17:09:33
В корне у вас - newbielink:http://prntscr.com/qf8ahd [nonactive]. Возможно у вас есть еще какой-то файл с похожим именем или не совсем в корне.

Да, такой файл не могу найти. Он ведь должен быть robots.txt, а такой файл один и в нем другой код
  •  

vold57

Значит не один. Смотрите в папках на хостинге. Удалите или переименуйте тот файл, который вы считаете, что находится в корне и посмотрим, что изменится.

Grafi

Цитата: vold57 от 24-12-2019, 18:09:25
Значит не один. Смотрите в папках на хостинге. Удалите или переименуйте тот файл, который вы считаете, что находится в корне и посмотрим, что изменится.
Спасибо. Буду искать
  •  


red-panda

Цитата: Grafi от 24-12-2019, 15:49:12
Подскажите новичку, почему ПС видят robots.txt вот так:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://cleanklin.by/sitemap.xml

а в корне файл содержит вот это:
User-agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag



User-agent: Yandex

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Host: https://cleanklin.by
Sitemap: https://cleanklin.by/sitemap.xml

В каком то плагине сеошном, формируется робот, его и получают ПС. Найдите плагин и настройку в нем файла robots.txt
И его или отключить или записать данные как в том что в корне
newbielink:https://sozdanie-saitov-rostov.ru/sozdanie/sozdanie-sajtov-v-rostove/ [nonactive]
  •  


vold57

Цитата: red-panda от 25-12-2019, 09:17:38или записать данные как в том что в корне
В корне этот:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php


Нужно его найти на сервере по ФТП и отредактировать.