Правильный ли robots.txt ?

[Nikita214]

Здравствуйте!
Вопрос мой вот в чём. Сайт на DLE 9.8, варезник. Яндекс последнее время выплёвывает из индекса много страниц.
Я думаю может robots.txt не правильный? Может что то я не закрыл от индексации и повторяются дубли. Вот мой robots.txt подскажите, правильный ли он для варезника на DLE 9.8 ?

User-agent: *
Disallow: /*print
Disallow: /autоbackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /webstat/
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /page/
Disallow: */page/
Sitemap: http://sity.ru/sitemap.xml
User-agent: Yandex
Host: sity.ru

[Price]

Nikita214, да, вы правильно заметили, если на сайте много дублей и прочего мусора странички могут выпадать и снова появляться в индексе.

Для верного составления файла robots.txt нужно знать url страничек-дублей.
Есть конечно универсальные команды для разных движков, но каждый сайт - уникальный, и бывает что эти команды не закрывают дубли на сайте.

По этому рекомендую найти дубли страничек на своем сайте, и по ним (их url) писать команды для закрытия.

[Nikita214]

По этому рекомендую найти дубли страничек на своем сайте, и по ним (их url) писать команды для закрытия.

Трудная однако задача, 9 000 новостей. Я думал закрыв в robots.txt , таким образом вопрос решается по поводу дублей. А в "ручную" искать дубли мне однако не по плечу будет. Урлы дублей по моим понятиям это категории, календарь и т.д., они ведь впринципе закрыты у меня, может думал ещё что то забыл или точнее по не знанию не закрыл. Может ли RSS считаться тоже дублями? По сути как бы да, а на самом деле как?

[Price]

Трудная однако задача, 9 000 новостей. Я думал закрыв в robots.txt , таким образом вопрос решается по поводу дублей. А в "ручную" искать дубли мне однако не по плечу будет.

Нет, вы можете добавить универсальные команды конечно, чем возможно и перекроете дубли страничек.

[Nikita214]

Может я чего то недопонимаю. Дело в том, что каждая новость публикуется на главной странице и в категориях, ну в календаре автоматически, в RSS. Смысл искать дубли в ручную, если впринципе и так понятно, где они находятся. Закрыв правильно дубли разве не решают эту проблему? Я извиняюсь, просто я не программист, возможно я действительно не понимаю, почему нужно делать какие то ещё команды в robots.txt, если они уже есть там? Просто я боюсь не понимая всё в этом файле, возможно ещё что то нужно закрыть? Я не совсем могу точно читать или точнее расшифровывать значения в файле robots.txt, поэтому не знаю, для варезника верно ли это?

[Price]

Просто я боюсь не понимая всё в этом файле, возможно ещё что то нужно закрыть? Я не совсем могу точно читать или точнее расшифровывать значения в файле robots.txt, поэтому не знаю, для варезника верно ли это?

Ваши опасения понятны и ясны.
Попробуйте этот сервис от Яндекса.
В строку хост пишите свой сайт.
В окно robots.txt - вставляете содержимое будущего файла.
В "Список URL" жмете добавить, и добавляете странички которые хотите знать, будут ли индексироваться или нет.
Так вы можете обеспечить себя от будущих проблем.

Думаю разберетесь

[Nikita214]

Спасибо, попробую!

[listik]

1. ресурс http://sity.ru/ недоступен
2. Во многих CMS страницы формируются пуием вариации последовательности "категорий", "календаря", "новости" и т.д.
к примеру так адрес_сайта/категория1/календарь1/новость1 и у нее могут быть дубли адрес_сайта/календарь1/новость1/категория1
адрес_сайта/новость1/категория1/календарь1 и тому подобное. Учтите и такие варианты.

[Nikita214]

к примеру так адрес_сайта/категория1/календарь1/новость1 и у нее могут быть дубли адрес_сайта/календарь1/новость1/категория1
адрес_сайта/новость1/категория1/календарь1 и тому подобное. Учтите и такие варианты.

Спасибо!

[listik]

Спасибо!