Google не рекомендует закрывать страницу в robots.txt, если на ней есть noindex

Автор ВикторияИ, 11-09-2015, 11:14:47

« назад - далее »

ВикторияИTopic starter

Специалист отдела качества поиска Google по работе с вебмастерами Джон Мюллер (John Mueller) отметил, что не следует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex.

Макс Прин (Max Prin) опубликовал в Twitter сообщение: «Протестировано: нет необходимости использовать директиву disallow, если noindex уже содержится в файле robots.txt».

Однако Джон Мюллер опроверг это мнение: «Лучше избегать использования noindex».

Таким образом, если на странице есть тег meta name="robots" content="noindex", то нет смысла эту страницу через disallow закрывать ещё и в robots.txt.

Кроме того, об этом говорится и в Справочном центре Search Console: «Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex. Такая страница не будет отображаться в результатах поиска».


Старый

Цитата: ВикторияИ от 11-09-2015, 11:14:47Кроме того, об этом говорится и в Справочном центре Search Console: «Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex. Такая страница не будет отображаться в результатах поиска».

Логично.  :) Для этого и закрывают.


ВикторияИTopic starter

например я сейчас делаю новый сайт, и пока он лежит на поддомене, каким то образом проиндексировался, хотя никгде никак не засветила адрес, после этого закрыла и метатегом и в роботсе )))

Старый

Цитата: ВикторияИ от 11-09-2015, 13:01:09делаю новый сайт, и пока он лежит на поддомене, каким то образом проиндексировался

Может пригодится. Если что-то ваяю, то закрываю доступ к поддомену или папке с помощью .htaccess и .htpasswd

Гарантия, что "не прошенные" не увидят и не проиндексируют.  :)

ВикторияИTopic starter

Цитата: Старый от 11-09-2015, 13:06:13Может пригодится. Если что-то ваяю, то закрываю доступ к поддомену или папке с помощью .htaccess и .htpasswd

Гарантия, что "не прошенные" не увидят и не проиндексируют.  :)


можете скинуть решение?


Старый

Создаёте или открываете файл .htaccess

В него добавляете строки:

AuthType Basic
AuthName "Some Name"
AuthUserFile /home/uхxхXX/.htpasswd
require valid-user

где "/home/uхxхXX/.htpasswd" путь к файлу .htpasswd
Не www путь, а серверный, ROOT.

Потом создайте файл .htpasswd

Здесь 2 варианта.
1. Через unix shell
Команда для создания нового файла .htpasswd и пользователя
htpasswd -mbc .htpasswd user1 sNQ7j9oR2w

Команда для добавления пользователя в файл .htpasswd:
htpasswd .htpasswd user2

2. С помощью файла htpasswd.exe в Windows

Нужно скачать сам файл, например у меня здесь: http://faqed.ru/d/htpasswd.exe
И поместить в любое удобное вам место. Чем короче путь до него, тем лучше. (Иначе вам придётся руками в командной строке долго к нему пробираться  :) )

В командной строке или FAR, кому как удобнее:
Команда для создания нового файла .htpasswd и пользователя
htpasswd.exe -mc .htpasswd user1

Команда для добавления пользователя в файл .htpasswd:
htpasswd.exe -m .htpasswd user2

Важно!!!
В командной строке окно должно быть открыто в месте нахождения файла. Т.е., если файл лежит в корне диска С, то в строке должен быть адрес: C:\, если в какой-то папке, то: С:\folderName\

После ввода команды, скрипт запросит у вас пароль и его подтверждение. В результате, там же будет создан файл .htpasswd с вашими данными. Останется закачать его на хостинг в папку, которая указана у вас в (AuthUserFile).

Таким образом можно закрывать (запароливать) любую папку на сайте.

Если при попытке попасть на сайт или в закрытую папку у вас запрашивается логин и пароль, а при их вводе вас не пускает, значит вы неверно указали путь к .htpasswd в .htaccess