Google не рекомендует закрывать страницу в robots.txt, если на ней есть noindex

Автор Тема: Google не рекомендует закрывать страницу в robots.txt, если на ней есть noindex  (Прочитано 1540 раз)

Оффлайн ВикторияИАвтор темы

  • Бизнес оценка: (0)
  • КМС
  • *****
  • СПАСИБО: 3063
  • Сообщений: 4112
  • Карма: 191
  • и да прибудет с Вами Сила.
  • Награды Автор самой интересной темы Более одной тысячи спасибо КМС поисковой оптимизации
    • Просмотр профиля
    • Заказ автобуса в Одессе
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 3063
    • Сообщений: 4112
    • Карма: 191
    • и да прибудет с Вами Сила.
    • Награды Автор самой интересной темы Более одной тысячи спасибо КМС поисковой оптимизации
      • Просмотр профиля
      • Заказ автобуса в Одессе
Специалист отдела качества поиска Google по работе с вебмастерами Джон Мюллер (John Mueller) отметил, что не следует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex.

Макс Прин (Max Prin) опубликовал в Twitter сообщение: «прoтестировано: нет необходимости использовать директиву disallow, если noindex уже содержится в файле robots.txt».

Однако Джон Мюллер опроверг это мнение: «Лучше избегать использования noindex».

Таким образом, если на странице есть тег meta name="robots" content="noindex", то нет смысла эту страницу через disallow закрывать ещё и в robots.txt.

Кроме того, об этом говорится и в Справочном центре Search Console: «Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex. Такая страница не будет отображаться в результатах поиска».


Оффлайн Старый

  • Бизнес оценка: (9, 100%)
  • Мастер
  • *****
  • СПАСИБО: 1703
  • Сообщений: 5529
  • Карма: 159
  • Ищу работу постоянную, удалённую с окладом.
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации
    • Просмотр профиля

Оффлайн Старый

  • Мастер
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 1703
    • Сообщений: 5529
    • Карма: 159
    • Ищу работу постоянную, удалённую с окладом.
    • Награды Более одной тысячи спасибо КМС поисковой оптимизации
      • Просмотр профиля
Кроме того, об этом говорится и в Справочном центре Search Console: «Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex. Такая страница не будет отображаться в результатах поиска».

Логично.  :) Для этого и закрывают.

Оффлайн ВикторияИАвтор темы

  • Бизнес оценка: (0)
  • КМС
  • *****
  • СПАСИБО: 3063
  • Сообщений: 4112
  • Карма: 191
  • и да прибудет с Вами Сила.
  • Награды Автор самой интересной темы Более одной тысячи спасибо КМС поисковой оптимизации
    • Просмотр профиля
    • Заказ автобуса в Одессе
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 3063
    • Сообщений: 4112
    • Карма: 191
    • и да прибудет с Вами Сила.
    • Награды Автор самой интересной темы Более одной тысячи спасибо КМС поисковой оптимизации
      • Просмотр профиля
      • Заказ автобуса в Одессе
например я сейчас делаю новый сайт, и пока он лежит на поддомене, каким то образом проиндексировался, хотя никгде никак не засветила адрес, после этого закрыла и метатегом и в роботсе )))

Оффлайн Старый

  • Бизнес оценка: (9, 100%)
  • Мастер
  • *****
  • СПАСИБО: 1703
  • Сообщений: 5529
  • Карма: 159
  • Ищу работу постоянную, удалённую с окладом.
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации
    • Просмотр профиля

Оффлайн Старый

  • Мастер
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 1703
    • Сообщений: 5529
    • Карма: 159
    • Ищу работу постоянную, удалённую с окладом.
    • Награды Более одной тысячи спасибо КМС поисковой оптимизации
      • Просмотр профиля
делаю новый сайт, и пока он лежит на поддомене, каким то образом проиндексировался

Может пригодится. Если что-то ваяю, то закрываю доступ к поддомену или папке с помощью .htaccess и .htpasswd

Гарантия, что "не прошенные" не увидят и не проиндексируют.  :)

Оффлайн ВикторияИАвтор темы

  • Бизнес оценка: (0)
  • КМС
  • *****
  • СПАСИБО: 3063
  • Сообщений: 4112
  • Карма: 191
  • и да прибудет с Вами Сила.
  • Награды Автор самой интересной темы Более одной тысячи спасибо КМС поисковой оптимизации
    • Просмотр профиля
    • Заказ автобуса в Одессе
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 3063
    • Сообщений: 4112
    • Карма: 191
    • и да прибудет с Вами Сила.
    • Награды Автор самой интересной темы Более одной тысячи спасибо КМС поисковой оптимизации
      • Просмотр профиля
      • Заказ автобуса в Одессе
Может пригодится. Если что-то ваяю, то закрываю доступ к поддомену или папке с помощью .htaccess и .htpasswd

Гарантия, что "не прошенные" не увидят и не проиндексируют.  :)


можете скинуть решение?


Оффлайн Старый

  • Бизнес оценка: (9, 100%)
  • Мастер
  • *****
  • СПАСИБО: 1703
  • Сообщений: 5529
  • Карма: 159
  • Ищу работу постоянную, удалённую с окладом.
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации
    • Просмотр профиля

Оффлайн Старый

  • Мастер
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 1703
    • Сообщений: 5529
    • Карма: 159
    • Ищу работу постоянную, удалённую с окладом.
    • Награды Более одной тысячи спасибо КМС поисковой оптимизации
      • Просмотр профиля
Создаёте или открываете файл .htaccess

В него добавляете строки:
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.где "/home/uхxхXX/.htpasswd" путь к файлу .htpasswd
Не www путь, а серверный, ROOT.

Потом создайте файл .htpasswd

Здесь 2 варианта.
1. Через unix shell
Команда для создания нового файла .htpasswd и пользователя
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.

Команда для добавления пользователя в файл .htpasswd:
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.
2. С помощью файла htpasswd.exe в Windows

Нужно скачать сам файл, например у меня здесь: http://faqed.ru/d/htpasswd.exe
И поместить в любое удобное вам место. Чем короче путь до него, тем лучше. (Иначе вам придётся руками в командной строке долго к нему пробираться  :) )

В командной строке или FAR, кому как удобнее:
Команда для создания нового файла .htpasswd и пользователя
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.
Команда для добавления пользователя в файл .htpasswd:
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.
Важно!!!
В командной строке окно должно быть открыто в месте нахождения файла. Т.е., если файл лежит в корне диска С, то в строке должен быть адрес: C:\, если в какой-то папке, то: С:\folderName\

После ввода команды, скрипт запросит у вас пароль и его подтверждение. В результате, там же будет создан файл .htpasswd с вашими данными. Останется закачать его на хостинг в папку, которая указана у вас в (AuthUserFile).

Таким образом можно закрывать (запароливать) любую папку на сайте.

Если при попытке попасть на сайт или в закрытую папку у вас запрашивается логин и пароль, а при их вводе вас не пускает, значит вы неверно указали путь к .htpasswd в .htaccess


 

Похожие темы

  Тема / Автор Ответов Последний ответ
3 Ответов
1788 Просмотров
Последний ответ 18-12-2012, 09:41:44
от nemetc
2 Ответов
2106 Просмотров
Последний ответ 25-04-2013, 17:59:04
от dmkolesnikov1
17 Ответов
5420 Просмотров
Последний ответ 24-03-2014, 09:26:26
от msutki
0 Ответов
923 Просмотров
Последний ответ 05-06-2014, 11:32:59
от ВикторияИ
1 Ответов
902 Просмотров
Последний ответ 21-05-2017, 22:31:45
от ProtectYourSite