Помогите с Disallow

Автор Тема: Помогите с Disallow  (Прочитано 1385 раз)

Оффлайн olegnikАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 25
  • Сообщений: 65
  • Карма: 2
  • Пол: Мужской
    • Просмотр профиля
    • Создание сайта визитки

Оффлайн olegnikАвтор темы

  • Пользователь
  • **
Помогите с Disallow
« : 01-05-2011, 19:16:20 »
Подскажите пожалуйста неграмотному:

В файле robots вот такая вот запись Disallow: *shipping=1 расшифруйте как понять эту звездочку,и  она вообще допустима.



Я совсем еще мал и глуп в оптимизации.


Оффлайн Avadon

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 455
  • Сообщений: 1320
  • Карма: 40
  • Пол: Мужской
  • Награды Мастер вывода в Яндекс ТОП 1 За благотворительность Самая быстрая регистрация (индексация) сайта в Яндекс
    • Просмотр профиля

Оффлайн Avadon

  • Ветеран
  • *****
Re: Помогите с Disallow
« Ответ #1 : 01-05-2011, 19:25:09 »
Цитировать
    * В директиве «Disallow» разрешено пользоваться регулярными выражениями, но не во всех поисковых системах. Google поддерживает символы «*» (звездочка - любая последовательность символов) и «$» (доллар - окончание строки).
Что это дает нам? Можно запретить индексацию файлов с определеным расширением, например, «htm», достаточно написать:
Disallow: *.htm$
Еще пример запрета индексации файлов PDF для гугл
User-agent: Googlebot
Disallow: *.pdf$

Цитировать
Использование спецсимволов "*" и "$"
User-agent: Yandex
Disallow: /cgi-bin/*.aspx
# запрещает '/cgi-bin/example.aspx' и '/cgi-bin/private/test.aspx'
Disallow: /*private # запрещает не только '/private', но и '/cgi-bin/private'
« Последнее редактирование: 01-05-2011, 19:27:03 от Avadon »

Оффлайн olegnikАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 25
  • Сообщений: 65
  • Карма: 2
  • Пол: Мужской
    • Просмотр профиля
    • Создание сайта визитки

Оффлайн olegnikАвтор темы

  • Пользователь
  • **
Re: Помогите с Disallow
« Ответ #2 : 01-05-2011, 19:36:46 »
Про специальные расширения я понял,но там обычная страница: //www.sitename.ru/index.php?shipping=1.

и вот почему в роботсе такая запись в disallow мне не понятно
Я совсем еще мал и глуп в оптимизации.

Оффлайн Avadon

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 455
  • Сообщений: 1320
  • Карма: 40
  • Пол: Мужской
  • Награды Мастер вывода в Яндекс ТОП 1 За благотворительность Самая быстрая регистрация (индексация) сайта в Яндекс
    • Просмотр профиля

Оффлайн Avadon

  • Ветеран
  • *****
Re: Помогите с Disallow
« Ответ #3 : 01-05-2011, 19:39:53 »
покажите страницу, может опытные форумчане смогут вам подсказать зачем она исключена.

Оффлайн olegnikАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 25
  • Сообщений: 65
  • Карма: 2
  • Пол: Мужской
    • Просмотр профиля
    • Создание сайта визитки

Оффлайн olegnikАвтор темы

  • Пользователь
  • **
Re: Помогите с Disallow
« Ответ #4 : 01-05-2011, 19:45:54 »
Почему она исключена я понимаю,но вот почему именно таким способом через звездочку

вот страница : http://www.lidertrade.spb.ru/index.php?shipping=1
« Последнее редактирование: 01-05-2011, 19:47:28 от olegnik »
Я совсем еще мал и глуп в оптимизации.


Оффлайн shabananton

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 175
  • Сообщений: 545
  • Карма: 38
  • Пол: Мужской
  • White Hat SEO
    • Просмотр профиля
    • "Мы - это Веб" - о блогинге и SEO

Оффлайн shabananton

  • Ветеран
  • *****
Re: Помогите с Disallow
« Ответ #5 : 02-05-2011, 12:38:54 »
В общем-то не вижу разницы в данном случае между
Disallow: /index.php?shipping=1
и
Disallow: *shipping=1

Звездочка пригодилась бы в том случае, если бы вместо index.php? были бы какие-то альтернативные варианты. В данном случае все должно работать, плюс звездочки может быть только в том, что сэкономлено несколько символов, запись короче и robots.txt весит меньше. Эта запись закроет все страницы категории услуги.


 

Похожие темы

  Тема / Автор Ответов Последний ответ
3 Ответов
1697 Просмотров
Последний ответ 16-06-2010, 20:39:50
от webber
2 Ответов
2012 Просмотров
Последний ответ 14-10-2011, 11:53:51
от tolev
0 Ответов
1013 Просмотров
Последний ответ 01-04-2013, 13:12:07
от belamiko
9 Ответов
1566 Просмотров
Последний ответ 25-08-2015, 15:09:32
от Вадим Костин
14 Ответов
1496 Просмотров
Последний ответ 11-09-2016, 19:40:51
от vold57