Помогите найти дубли на моём сайте

[listik]

да, как прописать, в роботсе нет данного раздела. или то что есть - то что закрытно от индекса?

1. Укажите конкретный пример... с урл-ами, чтобы понять, что вы хотите
2. Раздел, который вам необходим, нужно указать не в robots.txt, а в карте сайта (создайте и пропишите карту сайта sitemap.xml   <-  это я опять повторяюсь), и с главной страницы сделать ссылку на ваш раздел

Ну и почитайте про robots.txt здесь http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

[girotondo]

1. Укажите конкретный пример... с урл-ами, чтобы понять, что вы хотите

ВОТ  про подобные разделы магазина говорю, видите в папке магазин все категории и товары:
http://www.ceramica-online.kiev.ua/magazin/bochki-bochonki/view-all-products.html

о файле роботс и его значении узнала и продолжаю узнавать...

Карта сайта есть, осталось как то её прикрутить к роботсу.

[listik]

ВОТ  про подобные разделы магазина говорю, видите в папке магазин все категории и товары:
http://www.ceramica-online.kiev.ua/magazin/bochki-bochonki/view-all-products.html

Этот адрес и надо прописать в карте сайта с бОльшим приоритетом (параметр "приоритити" около 0.8 (в карте параметр страницы <priority>0.8</priority>), кстати все нужные и необходимые Вам адреса и прописываются в карте сайта.

Карта сайта есть, осталось как то её прикрутить к роботсу.

В файле robots.txt необходимо прописать путь к вашей карте сайта, для этого в последней строке файла robots.txt пропишите следующую строку

Код Выделить Развернуть

Sitemap: http://АдресВашегоСайта/sitemap.xml
(тут в примере карта сайта находится в корне сайта)
Добавлено: 07-12-2013, 17:47:58

Надеюсь, знаете значения строк в карет сайта (синим - код, красным - комментарии и их нет в настоящей карте)
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">  <- адрес используемой версии
<url>
<loc>http://s-stilissimo.ru</loc>  <- адрес главной страницы страницы
<lastmod>2013-10-07</lastmod>  <- дата создания страницы
<changefreq>daily</changefreq>  <- частота обновления главной страницы
<priority>1</priority>  <- приоритет главной страницы
</url>
<url>
ниже представлен пример остальных страниц сайта
<loc>http://s-stilissimo.ru/services</loc>  <-адрес страницы
<lastmod>2013-10-07</lastmod>  <- дата создания страницы
<changefreq>weekly</changefreq>  <- частота обновления страницы
<priority>0.8</priority> <- приоритет страницы
</url>
...  <- куча еще таких же строчек
</urlset>

[girotondo]

Этот адрес и надо прописать в карте сайта с бОльшим приоритетом (параметр "приоритити" около 0.8 (в карте параметр страницы <priority>0.8</priority>), кстати все нужные и необходимые Вам адреса и прописываются в карте сайта.В файле robots.txt необходимо прописать путь к вашей карте сайта, для этого в последней строке файла robots.txt пропишите следующую строку

Код Выделить Развернуть

Sitemap: http://АдресВашегоСайта/sitemap.xml
(тут в примере карта сайта находится в корне сайта)
Добавлено: 07-12-2013, 17:47:58

Надеюсь, знаете значения строк в карет сайта (синим - код, красным - комментарии и их нет в настоящей карте)
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">  <- адрес используемой версии
<url>
<loc>http://s-stilissimo.ru</loc>  <- адрес главной страницы страницы
<lastmod>2013-10-07</lastmod>  <- дата создания страницы
<changefreq>daily</changefreq>  <- частота обновления главной страницы
<priority>1</priority>  <- приоритет главной страницы
</url>
<url>
ниже представлен пример остальных страниц сайта
<loc>http://s-stilissimo.ru/services</loc>  <-адрес страницы
<lastmod>2013-10-07</lastmod>  <- дата создания страницы
<changefreq>weekly</changefreq>  <- частота обновления страницы
<priority>0.8</priority> <- приоритет страницы
</url>
...  <- куча еще таких же строчек
</urlset>

можно пример с другого сайта и можно ли поставить пароль на файлы роботс и сайтмэп?

[listik]

можно ли поставить пароль на файлы роботс и сайтмэп?

Пароль ставить не надо, просто в свойствах этих файлов делаешь запрет на изменение.

можно пример с другого сайта...

Вставь в

Код Выделить Развернуть

http://АдресВашегоСайта/sitemap.xml
адрес моего сайта и увидишь пример. Можешь любой другой адрес любого другого сайта (перед этим лучше для другого сайта проверить, есть ли ссылка на карту сайта в роботс.тхт)

[girotondo]

Пароль ставить не надо, просто в свойствах этих файлов делаешь запрет на изменение.

как? же это сделать

[listik]

как? же это сделать

Смотрите пункт "Выставление прав на файлы и каталоги" на странице http://help.infobox.ru/11-31
или здесь -> http://www.luksweb.ru/view_post.php?id=57

[girotondo]

Этот адрес и надо прописать в карте сайта с бОльшим приоритетом (параметр "приоритити" около 0.8 (в карте параметр страницы <priority>0.8</priority>), кстати все нужные и необходимые Вам адреса и прописываются в карте сайта.В файле robots.txt необходимо прописать путь к вашей карте сайта, для этого в последней строке файла robots.txt пропишите следующую строку

Код Выделить Развернуть

Sitemap: http://АдресВашегоСайта/sitemap.xml
(тут в примере карта сайта находится в корне сайта)
Добавлено: 07-12-2013, 17:47:58

Надеюсь, знаете значения строк в карет сайта (синим - код, красным - комментарии и их нет в настоящей карте)
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">  <- адрес используемой версии
<url>
<loc>http://s-stilissimo.ru</loc>  <- адрес главной страницы страницы
<lastmod>2013-10-07</lastmod>  <- дата создания страницы
<changefreq>daily</changefreq>  <- частота обновления главной страницы
<priority>1</priority>  <- приоритет главной страницы
</url>
<url>
ниже представлен пример остальных страниц сайта
<loc>http://s-stilissimo.ru/services</loc>  <-адрес страницы
<lastmod>2013-10-07</lastmod>  <- дата создания страницы
<changefreq>weekly</changefreq>  <- частота обновления страницы
<priority>0.8</priority> <- приоритет страницы
</url>
...  <- куча еще таких же строчек
</urlset>

а как менять приоритеты, не пойму принципа(((
Добавлено: 10-12-2013, 00:15:40

Как закрыть такую страницу?
[spoiler]
www.ceramica-online.kiev.ua/novoe/novaya-pochta-adresa-kontakty.html [/spoiler]

[listik]

Как закрыть такую страницу?

Прописать в роботс.тхт следуюшую строку
[spoiler]Disallow: /novoe/novaya-pochta-adresa-kontakty.html [/spoiler]
Добавлено: 11-12-2013, 18:44:15

а как менять приоритеты, не пойму принципа(((

1. Главная страница сайта =1 (пример страницы  http://www.ваш_сайт.ru/ или http://www.ваш_сайт.ru/index.* )
2. Страницы первого уровня, обладают меньшим приоритетом, обычно ставят 0.8, 0.9   (пример страницы  http://www.ваш_сайт.ru/страница_первого_уровня )
3. Страницы второго уровня, обладают меньшим приоритетом, по- сравнению со страницами первого уровня, обычно ставят 0.8(если первого уровня 0.9) или 0.7( если первого уровня 0.8 )  (пример страницы  http://www.ваш_сайт.ru/страница_первого_уровня/страница_второго_уровня )
4. И так далее

[girotondo]

Как избавится от страниц с повторяющимися заголовками, таких 4.
[spoiler]
/magazin/bochki-bochonki/bochka-dlya-soleniy-№15.html
/magazin/bochki-bochonki/bochka-dlya-soleniy-№15.html?pop=0[/spoiler]
Добавлено: 22-12-2013, 22:25:17

Надеюсь, знаете значения строк в карет сайта (синим - код, красным - комментарии и их нет в настоящей карте)
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">  <- адрес используемой версии
<url>
<loc>http://s-stilissimo.ru</loc>  <- адрес главной страницы страницы
<lastmod>2013-10-07</lastmod>  <- дата создания страницы
<changefreq>daily</changefreq>  <- частота обновления главной страницы
<priority>1</priority>  <- приоритет главной страницы
</url>
<url>
ниже представлен пример остальных страниц сайта
<loc>http://s-stilissimo.ru/services</loc>  <-адрес страницы
<lastmod>2013-10-07</lastmod>  <- дата создания страницы
<changefreq>weekly</changefreq>  <- частота обновления страницы
<priority>0.8</priority> <- приоритет страницы
</url>
...  <- куча еще таких же строчек
</urlset>

а если непомню когда создала страницу? или эту инфу где то можно взять?
частота обновления? могут быть страницы с одинаковым приоритетом?