Ошибки, часто встречающиеся в файле robots.txt

[Grafi]

В каком то плагине сеошном, формируется робот, его и получают ПС. Найдите плагин и настройку в нем файла robots.txt
И его или отключить или записать данные как в том что в корне

Действительно, плагин формировал. Уже все исправила.
Спасибо всем за ответы

[tomkatalog]

А кто может подсказать, как в интернет магазине закрыть страницу с покупкой товара? Ссылка не статичная, выглядит вот так:  /buy.php?product=ТОВАР
Пробовал так: Disallow /buy.php, но так почему-то главная страница из поиска вылетает и Вебмастер выдаёт, что в robots.txt ошибка.

[vold57]

tomkatalog, сайт в подписи?

[NickoF84]

А кто может подсказать, как в интернет магазине закрыть страницу с покупкой товара? Ссылка не статичная, выглядит вот так:  /buy.php?product=ТОВАР
Пробовал так: Disallow /buy.php, но так почему-то главная страница из поиска вылетает и Вебмастер выдаёт, что в robots.txt ошибка.

Попробуйте директиву
Disallow: /*?product=

[evrika46.ru]

Правильная ли у меня инструкция
 User-agent: *
Disallow: /*?tmpl=component
Disallow: /wp-login.php
Allow:/
Host: evrika46.ru/
Sitemap: https://evrika46.ru/sitemap.xml
User-agent: Yandex
Clean-param: p


Чем отличаться будет Clean-param: p, от /*?p=
Добавлено: 17-02-2022, 12:56:16
 User-agent: *
Disallow: /*?tmpl=component
Disallow: /wp-login.php
Allow:/
Host: evrika46.ru/
Sitemap: https://evrika46.ru/sitemap.xml
User-agent: Yandex
Clean-param: p

я переписывался в яндекс вебмастере мне сказали следующее

Что яндекс в данном коде будет игнорировать верхнюю часть и сразу перейдет к
User-agent: Yandex
Clean-param: p

Так вот вопрос дублирую чем отличается
Clean-param: p
от
Disallow: /*?p

[vold57]

Так вот вопрос дублирую чем отличается
Clean-param: p
от
Disallow: /*?p

https://yandex.ru/support/webmaster/robot-workings/clean-param.html

[evrika46.ru]

https://yandex.ru/support/webmaster/robot-workings/clean-param.html

Да это я читал, но по факту получается
Clean-param: p более узко
Disallow: /*?p более широко

Я просто описывал одну проблему в вебмастере, а именно, несмотря на rel canonical у меня индексировались некоторые страницы типа ?p=77 и мне посоветовали применить директиву Clean-param: p

Я просто понять не могу почему нельзя использовать просто Disallow: /*?p

[vold57]

Для того, чтобы понять что использовать, нужно смотреть адреса страниц сайта.
Добавлено: 17-02-2022, 19:24:04
О Disallow: /*?p. Не нужно закрывать страницы пагинаций в robots.txt. Чтобы облегчить индексацию карточек товаров лучше используйте метатег robots - <meta name="robots" content="noindex, follow">. Используя его вместе с follow, вы запретите индексацию страниц, но разрешите переходить по ссылкам с этих страниц.

[evrika46.ru]

Для того, чтобы понять что использовать, нужно смотреть адреса страниц сайта.
Добавлено: 17-02-2022, 19:24:04
О Disallow: /*?p. Не нужно закрывать страницы пагинаций в robots.txt. Чтобы облегчить индексацию карточек товаров лучше используйте метатег robots - <meta name="robots" content="noindex, follow">. Используя его вместе с follow, вы запретите индексацию страниц, но разрешите переходить по ссылкам с этих страниц.

это надо сделать везде где встречается переменная p... И после этого страницы с переменной p   перестанут индексироваться

[wooden]

robots.txt недавно пришлось отредактировать...
У меня было:
Disallow: /docs/
я так сделал, чтобы указать поисковикам, что не нужно смотреть мои документы, опубликованные на страницах сайта.
Но, спустя некоторое время обнаружил в GSC ошибку индексирования, которая указывала на то, что данные страницы не могут быть проиндексированы из-за ограничений robots.txt. Вроде бы всё логично, но раньше у меня ошибок индексирования не было и были одни показатели сайта, а потом, возможно из-за этой ошибки GSC, показатели стали другие (немного просели). Так как я ничего другого с сайтом не делал, я решил убрать надпись Disallow, отправил страницы с документами на переиндексацию, а ошибку нажал перепроверить - и через несколько дней ошибка исчезла. Но, увы, не могу сказать, как это повлияло на показатели, так как они у меня выросли, но уже по другой причине - я уже начал активнее заниматься продвижением. И не знаю, повлияла ли ошибка из-за ограничений robots.txt на показатели сайта. Может это совпадение или глюк какой-то... Но взял во внимание на будущее