Ошибки, часто встречающиеся в файле robots.txt

Автор Тема: Ошибки, часто встречающиеся в файле robots.txt  (Прочитано 40443 раз)

Оффлайн Grafi

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 4
  • Карма: 0

Оффлайн Grafi

  • Дебютант
  • *
В каком то плагине сеошном, формируется робот, его и получают ПС. Найдите плагин и настройку в нем файла robots.txt
И его или отключить или записать данные как в том что в корне
Действительно, плагин формировал. Уже все исправила.
Спасибо всем за ответы


Оффлайн tomkatalog

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 2
  • Карма: 0
    • Вольт Гарант

Оффлайн tomkatalog

  • Дебютант
  • *
А кто может подсказать, как в интернет магазине закрыть страницу с покупкой товара? Ссылка не статичная, выглядит вот так:  /buy.php?product=ТОВАР
Пробовал так: Disallow /buy.php, но так почему-то главная страница из поиска вылетает и Вебмастер выдаёт, что в robots.txt ошибка.
Надёжное электропитание newbielink:https://voltgarant.ru/ [nonactive]


Оффлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5451
  • Сообщений: 7626
  • Карма: 298
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • SEO, интернет-маркетинг, сайостроение

Оффлайн vold57

  • Мастер
  • *****
tomkatalog, сайт в подписи?

Оффлайн NickoF84

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 16
  • Сообщений: 46
  • Карма: 1

Оффлайн NickoF84

  • Рекрут
  • *
А кто может подсказать, как в интернет магазине закрыть страницу с покупкой товара? Ссылка не статичная, выглядит вот так:  /buy.php?product=ТОВАР
Пробовал так: Disallow /buy.php, но так почему-то главная страница из поиска вылетает и Вебмастер выдаёт, что в robots.txt ошибка.

Попробуйте директиву
Disallow: /*?product=

Оффлайн evrika46.ru

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 3
  • Сообщений: 43
  • Карма: 1

Оффлайн evrika46.ru

  • Рекрут
  • *
Правильная ли у меня инструкция
 User-agent: *
Disallow: /*?tmpl=component
Disallow: /wp-login.php
Allow:/
Host: evrika46.ru/
Sitemap: https://evrika46.ru/sitemap.xml
User-agent: Yandex
Clean-param: p


Чем отличаться будет Clean-param: p, от /*?p=

Добавлено: 17-02-2022, 12:56:16

 User-agent: *
Disallow: /*?tmpl=component
Disallow: /wp-login.php
Allow:/
Host: evrika46.ru/
Sitemap: https://evrika46.ru/sitemap.xml
User-agent: Yandex
Clean-param: p

я переписывался в яндекс вебмастере мне сказали следующее

Что яндекс в данном коде будет игнорировать верхнюю часть и сразу перейдет к
User-agent: Yandex
Clean-param: p

Так вот вопрос дублирую чем отличается
Clean-param: p
от
Disallow: /*?p
« Последнее редактирование: 17-02-2022, 12:56:16 от evrika46.ru »


Оффлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5451
  • Сообщений: 7626
  • Карма: 298
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • SEO, интернет-маркетинг, сайостроение

Оффлайн vold57

  • Мастер
  • *****
Так вот вопрос дублирую чем отличается
Clean-param: p
от
Disallow: /*?p

https://yandex.ru/support/webmaster/robot-workings/clean-param.html

Оффлайн evrika46.ru

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 3
  • Сообщений: 43
  • Карма: 1

Оффлайн evrika46.ru

  • Рекрут
  • *
https://yandex.ru/support/webmaster/robot-workings/clean-param.html
Да это я читал, но по факту получается
Clean-param: p более узко
Disallow: /*?p более широко

Я просто описывал одну проблему в вебмастере, а именно, несмотря на rel canonical у меня индексировались некоторые страницы типа ?p=77 и мне посоветовали применить директиву Clean-param: p

Я просто понять не могу почему нельзя использовать просто Disallow: /*?p

Оффлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5451
  • Сообщений: 7626
  • Карма: 298
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • SEO, интернет-маркетинг, сайостроение

Оффлайн vold57

  • Мастер
  • *****
Для того, чтобы понять что использовать, нужно смотреть адреса страниц сайта.

Добавлено: 17-02-2022, 19:24:04

О Disallow: /*?p. Не нужно закрывать страницы пагинаций в robots.txt. Чтобы облегчить индексацию карточек товаров лучше используйте метатег robots - <meta name="robots" content="noindex, follow">. Используя его вместе с follow, вы запретите индексацию страниц, но разрешите переходить по ссылкам с этих страниц.
« Последнее редактирование: 17-02-2022, 19:24:04 от vold57 »


Оффлайн evrika46.ru

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 3
  • Сообщений: 43
  • Карма: 1

Оффлайн evrika46.ru

  • Рекрут
  • *
Для того, чтобы понять что использовать, нужно смотреть адреса страниц сайта.

Добавлено: 17-02-2022, 19:24:04

О Disallow: /*?p. Не нужно закрывать страницы пагинаций в robots.txt. Чтобы облегчить индексацию карточек товаров лучше используйте метатег robots - <meta name="robots" content="noindex, follow">. Используя его вместе с follow, вы запретите индексацию страниц, но разрешите переходить по ссылкам с этих страниц.
это надо сделать везде где встречается переменная p... И после этого страницы с переменной p   перестанут индексироваться


 

Похожие темы

  Тема / Автор Ответов Последний ответ
5 Ответов
4425 Просмотров
Последний ответ 03-10-2011, 15:40:03
от bumer
5 Ответов
3140 Просмотров
Последний ответ 15-02-2013, 09:35:54
от tureg1
1 Ответов
1993 Просмотров
Последний ответ 25-01-2014, 14:22:39
от Sky-fi
3 Ответов
2000 Просмотров
Последний ответ 18-10-2014, 12:56:10
от DOleg
4 Ответов
2703 Просмотров
Последний ответ 18-12-2015, 18:37:56
от ashifin