Спецсимвол * в Disallow

Автор Тема: Спецсимвол * в Disallow  (Прочитано 1566 раз)

Оффлайн Вадим КостинАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 178
  • Сообщений: 667
  • Карма: 42
  • Пол: Мужской
  • Награды SEO-специалист продвинутого уровня
    • Просмотр профиля
    • Горные лыжи и сноуборд

Оффлайн Вадим КостинАвтор темы

  • Ветеран
  • *****
Спецсимвол * в Disallow
« : 25-08-2015, 11:04:30 »
Ребята привет! Вот возник следующий вопрос. Может ли в запрещающей директиве disallow стоять спецсимвол звездочка перед слешем. 
Или это ошибка?


Disallow: */?q=*


Оффлайн alexburn

  • Бизнес оценка: (1, 100%)
  • КМС
  • *****
  • СПАСИБО: 1056
  • Сообщений: 3375
  • Карма: 72
  • Пол: Мужской
  • Нужна прога для компа?
    • Просмотр профиля
    • Прикладные программы на заказ

Оффлайн alexburn

  • КМС
  • *****
  • Доп. информация
    • Бизнес оценка: (1, 100%)
    • СПАСИБО: 1056
    • Сообщений: 3375
    • Карма: 72
    • Пол: Мужской
    • Нужна прога для компа?
      • Просмотр профиля
      • Прикладные программы на заказ
Re: Спецсимвол * в Disallow
« Ответ #1 : 25-08-2015, 11:26:20 »
Тоже интересует этот вопрос :)

Оффлайн davidExl

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 288
  • Сообщений: 674
  • Карма: 27
  • Пол: Мужской
    • Просмотр профиля

Оффлайн davidExl

  • Ветеран
  • *****
Re: Спецсимвол * в Disallow
« Ответ #2 : 25-08-2015, 11:32:59 »
Universal "*" match[edit]
The Robot Exclusion Standard does not mention anything about the "*" character in the Disallow: statement. Some crawlers like Googlebot recognize strings containing "*", while MSNbot and Teoma interpret it in different ways.[27]
https://en.wikipedia.org/wiki/Robots_exclusion_standard#Universal_.22.2A.22_match

Может, например у меня есть папка в которой есть js, pdf и css, из за pdf я закрыл папку в Disallow, но создал команду
Allow: /default/*.css
для того чтоб открыть все css файлы в данной папке

конкретно в данном случае звездочка значит любые названия с расширением css

в вашем случае перед слешем, звездочка будет значит все названия файлов и папок
« Последнее редактирование: 25-08-2015, 11:34:57 от davidExl »

Оффлайн Вадим КостинАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 178
  • Сообщений: 667
  • Карма: 42
  • Пол: Мужской
  • Награды SEO-специалист продвинутого уровня
    • Просмотр профиля
    • Горные лыжи и сноуборд

Оффлайн Вадим КостинАвтор темы

  • Ветеран
  • *****
Re: Спецсимвол * в Disallow
« Ответ #3 : 25-08-2015, 11:52:36 »
Мне нужно скрыть все результаты поиска на всем сайте. Наверное правильно все-таки будет вот так, Disallow: /*?q=*   Как считаете?

Оффлайн davidExl

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 288
  • Сообщений: 674
  • Карма: 27
  • Пол: Мужской
    • Просмотр профиля

Оффлайн davidExl

  • Ветеран
  • *****
Re: Спецсимвол * в Disallow
« Ответ #4 : 25-08-2015, 11:58:24 »
а что там за поиск по сайту стоит? думаю стоит поискать у хороших сайтов с такимже модулем поиска, у меня например стоит поиск по сайту от гугл, и запрет выглядит так Disallow: /g_search
а все поисковые результаты выдаются в URL -  site.ru/g_search.aspx?search=


Оффлайн Вадим КостинАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 178
  • Сообщений: 667
  • Карма: 42
  • Пол: Мужской
  • Награды SEO-специалист продвинутого уровня
    • Просмотр профиля
    • Горные лыжи и сноуборд

Оффлайн Вадим КостинАвтор темы

  • Ветеран
  • *****
Re: Спецсимвол * в Disallow
« Ответ #5 : 25-08-2015, 12:07:21 »
Да нашел, спасибо.

Оффлайн davidExl

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 288
  • Сообщений: 674
  • Карма: 27
  • Пол: Мужской
    • Просмотр профиля

Оффлайн davidExl

  • Ветеран
  • *****
Re: Спецсимвол * в Disallow
« Ответ #6 : 25-08-2015, 12:31:38 »
ну раз нашли, поделитесь с общественностью) если у кого вопрос такой возникнет, можно будет не писать, а просто тему почитать)))

Оффлайн Вадим КостинАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 178
  • Сообщений: 667
  • Карма: 42
  • Пол: Мужской
  • Награды SEO-специалист продвинутого уровня
    • Просмотр профиля
    • Горные лыжи и сноуборд

Оффлайн Вадим КостинАвтор темы

  • Ветеран
  • *****
Re: Спецсимвол * в Disallow
« Ответ #7 : 25-08-2015, 13:07:02 »
А как тут поделиться? Ведь существует множество cms, и у каждой свои параметры для закрытия результатов поиска:)

Вот чем могу поделиться:

Использование спецсимволов * и $ При указании путей директив Allow и Disallow можно использовать спецсимволы * и $, задавая, таким образом, определенные регулярные выражения. Спецсимвол * означает любую (в том числе пустую) последовательность символов. Примеры:
 
User-agent: Yandex Disallow: /cgi-bin/*.aspx # запрещает '/cgi-bin/example.aspx' # и '/cgi-bin/private/test.aspx' Disallow: /*private # запрещает не только '/private', # но и '/cgi-bin/private'

Оффлайн davidExl

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 288
  • Сообщений: 674
  • Карма: 27
  • Пол: Мужской
    • Просмотр профиля

Оффлайн davidExl

  • Ветеран
  • *****
Re: Спецсимвол * в Disallow
« Ответ #8 : 25-08-2015, 14:55:40 »
весь интерес именно в cms, можете указать цмс и названия модуля поиска, и тогда на форуме будет ответ)


Оффлайн Вадим КостинАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 178
  • Сообщений: 667
  • Карма: 42
  • Пол: Мужской
  • Награды SEO-специалист продвинутого уровня
    • Просмотр профиля
    • Горные лыжи и сноуборд

Оффлайн Вадим КостинАвтор темы

  • Ветеран
  • *****
Re: Спецсимвол * в Disallow
« Ответ #9 : 25-08-2015, 15:09:32 »
Cms ,битрикс "Управление сайтом". А модуль мне неизвестен, т.к я его не устанавливал, этим разработчики занимаются)


 

Похожие темы

  Тема / Автор Ответов Последний ответ
3 Ответов
1696 Просмотров
Последний ответ 16-06-2010, 20:39:50
от webber
5 Ответов
1384 Просмотров
Последний ответ 02-05-2011, 12:38:54
от shabananton
2 Ответов
2012 Просмотров
Последний ответ 14-10-2011, 11:53:51
от tolev
1 Ответов
1011 Просмотров
Последний ответ 04-06-2013, 19:01:58
от vold57
14 Ответов
1494 Просмотров
Последний ответ 11-09-2016, 19:40:51
от vold57