Ошибки, часто встречающиеся в файле robots.txt

Автор Владимир75, 02-12-2016, 12:44:15

« назад - далее »

Grafi

Цитата: red-panda от 25-12-2019, 09:17:38
В каком то плагине сеошном, формируется робот, его и получают ПС. Найдите плагин и настройку в нем файла robots.txt
И его или отключить или записать данные как в том что в корне
Действительно, плагин формировал. Уже все исправила.
Спасибо всем за ответы
  •  


tomkatalog

А кто может подсказать, как в интернет магазине закрыть страницу с покупкой товара? Ссылка не статичная, выглядит вот так:  /buy.php?product=ТОВАР
Пробовал так: Disallow /buy.php, но так почему-то главная страница из поиска вылетает и Вебмастер выдаёт, что в robots.txt ошибка.
Надёжное электропитание newbielink:https://voltgarant.ru/ [nonactive]
  •  



NickoF84

Цитата: tomkatalog от 18-03-2021, 01:54:21
А кто может подсказать, как в интернет магазине закрыть страницу с покупкой товара? Ссылка не статичная, выглядит вот так:  /buy.php?product=ТОВАР
Пробовал так: Disallow /buy.php, но так почему-то главная страница из поиска вылетает и Вебмастер выдаёт, что в robots.txt ошибка.

Попробуйте директиву
Disallow: /*?product=
  •  

evrika46.ru

#44
Правильная ли у меня инструкция
User-agent: *
Disallow: /*?tmpl=component
Disallow: /wp-login.php
Allow:/
Host: evrika46.ru/
Sitemap: https://evrika46.ru/sitemap.xml
User-agent: Yandex
Clean-param: p


Чем отличаться будет Clean-param: p, от /*?p=

Добавлено: 17-02-2022, 11:56:16


User-agent: *
Disallow: /*?tmpl=component
Disallow: /wp-login.php
Allow:/
Host: evrika46.ru/
Sitemap: https://evrika46.ru/sitemap.xml
User-agent: Yandex
Clean-param: p

я переписывался в яндекс вебмастере мне сказали следующее

Что яндекс в данном коде будет игнорировать верхнюю часть и сразу перейдет к
User-agent: Yandex
Clean-param: p

Так вот вопрос дублирую чем отличается
Clean-param: p
от
Disallow: /*?p
  •  



evrika46.ru

Цитата: vold57 от 17-02-2022, 15:25:52
https://yandex.ru/support/webmaster/robot-workings/clean-param.html
Да это я читал, но по факту получается
Clean-param: p более узко
Disallow: /*?p более широко

Я просто описывал одну проблему в вебмастере, а именно, несмотря на rel canonical у меня индексировались некоторые страницы типа ?p=77 и мне посоветовали применить директиву Clean-param: p

Я просто понять не могу почему нельзя использовать просто Disallow: /*?p
  •  

vold57

#47
Для того, чтобы понять что использовать, нужно смотреть адреса страниц сайта.

Добавлено: 17-02-2022, 18:24:04


О Disallow: /*?p. Не нужно закрывать страницы пагинаций в robots.txt. Чтобы облегчить индексацию карточек товаров лучше используйте метатег robots - <meta name="robots" content="noindex, follow">. Используя его вместе с follow, вы запретите индексацию страниц, но разрешите переходить по ссылкам с этих страниц.


evrika46.ru

Цитата: vold57 от 17-02-2022, 17:30:33
Для того, чтобы понять что использовать, нужно смотреть адреса страниц сайта.

Добавлено: 17-02-2022, 18:24:04


О Disallow: /*?p. Не нужно закрывать страницы пагинаций в robots.txt. Чтобы облегчить индексацию карточек товаров лучше используйте метатег robots - <meta name="robots" content="noindex, follow">. Используя его вместе с follow, вы запретите индексацию страниц, но разрешите переходить по ссылкам с этих страниц.
это надо сделать везде где встречается переменная p... И после этого страницы с переменной p   перестанут индексироваться
  •  


wooden

robots.txt недавно пришлось отредактировать...
У меня было:
Disallow: /docs/
я так сделал, чтобы указать поисковикам, что не нужно смотреть мои документы, опубликованные на страницах сайта.
Но, спустя некоторое время обнаружил в GSC ошибку индексирования, которая указывала на то, что данные страницы не могут быть проиндексированы из-за ограничений robots.txt. Вроде бы всё логично, но раньше у меня ошибок индексирования не было и были одни показатели сайта, а потом, возможно из-за этой ошибки GSC, показатели стали другие (немного просели). Так как я ничего другого с сайтом не делал, я решил убрать надпись Disallow, отправил страницы с документами на переиндексацию, а ошибку нажал перепроверить - и через несколько дней ошибка исчезла. Но, увы, не могу сказать, как это повлияло на показатели, так как они у меня выросли, но уже по другой причине - я уже начал активнее заниматься продвижением. И не знаю, повлияла ли ошибка из-за ограничений robots.txt на показатели сайта. Может это совпадение или глюк какой-то... Но взял во внимание на будущее
Нужен брус или доска в Харькове? Нет? Ну, извините
  •