В robots или нет страница чужого сайта?

[Rissen]

Здравствуйте, вопрос вроде бы простой. Но погуглив, сходу ответа на него не нашел.
Подскажите, как кто определяет - находится или нет отдельно взятая страница чужого сайта в robots?

[KaZaK]

находится или нет отдельно взятая страница чужого сайта в robots?

Хмм...Адрес сайта можно?

[Rissen]

Yaseoshneg, в том то и дело, что адреса могут быть любыми. Может не точно сформулировал вопрос.
Задача. Берется любая страница с любого сайта. Как определить - закрыта эта страница в robots или нет?

[KaZaK]

Как определить - закрыта эта страница в robots или нет?

Для начала нужно посмотреть сам файл роботс

Например я хочу закрыть страницу с адресом http;/adres.ru/categoriya/skachatkino/

Я пишу в роботсе такую строку

Disallow: /skachatkino

Но мы должны учитывать что на сайте нет страницы с адресом /skachatkino_besplatno и так далее потому что все что начинается с skachatkino будет закрыто от индексации кроме категории конечно если категория так не названа.

Сервисами а вот какими не могу знать так как у меня нет ненужных страниц на сайте
Все ненужное я закрываю в роботсе и не парю мозг

[Rissen]

Yaseoshneg, я не про собственный сайт говорю, а про чужой.
В каких случаях это нужно? Допустим, на ваш сайт проставили ссылку с другого сайта со страницы, которая еще не в индексе.
Стоит ждать, что страница, а вместе с ней и ссылка, попадут в индекс или может страница закрыта в robots и индекс ей не светит?
Страницу чужого сайта нужно проверить, не свою.

[KaZaK]

Вот теперь понял

ДЛя этого нужно:

Firefox+плагин RDS Bar

Вот также сервис: http://www.pr-cy.ru/analysis_content

[Rissen]

Yaseoshneg, RDS стоит. В настройках есть графа robots. Но она показывает, есть ли в принципе на сайте файл robots или нет. А закрыта ли конкретная страница или открыта - понять невозможно.
В сервисе pr-cy.ru также этих данных не нашел. Может, чего-то не догоняю?

[Гарик+]

RDS показывает так же находится эта страница в индексе или нет. Хотя это тоже не окончательный критерий.
Добавлено: 11-12-2012, 22:41:59

В прочем есть и другой плагин к огнелису - Page Promoter Bar http://www.netpromoter.ru/   Он позволяет просматривать robots.txt сайта, который открыт в данный момент в браузере. Нажимаешь на кнопочку и файл открывается.
Добавлено: 11-12-2012, 22:43:55

У этой примочки есть и ещё одно существенное преимущество - он никогда не вгоняет яндекс-машину в ступор, отчего она начинает требовать капчи, как это происходит при частом использовании RDS-бара..

[Rissen]

В прочем есть и другой плагин к огнелису - Page Promoter Bar http://www.netpromoter.ru/   Он позволяет просматривать robots.txt сайта, который открыт в данный момент в браузере. Нажимаешь на кнопочку и файл открывается.

Таким баром еще не пользовался. Нужно опробовать ...

[Гарик+]

Я им пользуюсь очень давно. Удобная штука - шустрая и маленькая, без излишних наворотов, которыми никогда не будешь пользоваться. Стоит параллельно с RDSом..