Помогите с анализом сайта и robots.txt

[hellomoto]

Здравствуйте! У меня есть сайт на джумле. Недавно начал потихоньку изучать SEO продвижение сайта. Вроде стало получаться, сайт стал подыматься в результатах поиска на ya и гугле ( гугл вообще большинству среднечастотникам выдает 1е позиции )

Пришлось немного поменять структуру сайта, и началось клонирование страниц. Еще не разбиравшись в этом, я радовался, как яндекс каждые 3-4 дня добавляет в индекс по 10-20 страниц, позиции соответственно стали падать...

Составил новый robots.txt собственно по нему и нужна помощь:

User-agent: Yandex
Allow: /
Sitemap: http://xn--161-edd4aavo.xn--p1ai/sitemap.xml
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /latest/
Disallow: /index.htm
Disallow: /index.html
Disallow: /index.php
Disallow: /raboti/
Disallow: /raboti
Disallow: /cena/
Disallow: /-faq/
Disallow: /-faq
Disallow: /kontakti
Disallow: /garantiya
Disallow: /obrazec/tonirovka-far.html
Disallow: /component/content/frontpage.html
Disallow: /component/content/article/14-2012-03-16-23-12-47/1-glavnaya.html
Disallow: /component/content/category/23-garantiya.html
Disallow: /kontakti/47-hondaaccord.html
Disallow: /obrazec/-3d/47-hondaaccord.html
Disallow: /index/2.html
Disallow: /uslugi/salon/48-infinity-fx.html
Disallow: /component/content/category/4.html
Disallow: /component/content/category/16.html
Disallow: /component/content/category/2-2012-03-16-22-35-57.html
Disallow: /component/content/category/5.htm
Disallow: /obrazec/matovie-vinilovie-plenki/44-toyotaaygo.html
Disallow: /component/content/category/16--3d.html
Disallow: /uslugi/okleika/45-daewoomatizapplikaciya.htm
Disallow: /obrazec/vinil-pod-perlamutr/45-daewoomatizapplikaciya.htm
Disallow: /component/content/category/25.htm
Disallow: /uslugi/tonirovka/47-hondaaccord.htm
Disallow: /uslugi/tonirovka/50-kolonki.htm
Disallow: /obrazec/-3d/43-infinitifxalumini.html
Disallow: /index/5.html
Disallow: /obrazec/vinil-pod-perlamutr/49-cccruzevolvo.html
Disallow: /index/29-2012-09-09-00-28-41/44-toyotaaygo.html
Disallow: /index/25-laminirovaneavto/42-zachitaotkamneyatyagacha.html
Disallow: /component/content/category/6.html
Disallow: /index/14-2012-03-16-23-12-47/1-glavnaya.html
Disallow: /obrazec/vinul-pod-kogu/41-tonirovkafarplenkoi.html
Disallow: /obrazec/-3d/23-toyotaaygo.html
Disallow: /index/26-2012-09-09-00-23-42/23-toyotaaygo.html
Disallow: /obrazec/matovie-vinilovie-plenki/48-infinity-fx.html
Disallow: /obrazec/vinul-pod-kogu/48-infinity-fx.html
Disallow: /obrazec/-3d/50-kolonki.html
Disallow: /partners/44-toyotaaygo.html
Disallow: /obrazec/-3d/52-toyotacelica.html
Disallow: /uslugi/vinilografia/48-infinity-fx.html
Disallow: /uslugi/vinilografia/52-toyotacelica.html
Disallow: /videoavtovinil/52-toyotacelica.html
Disallow: /uslugi/lam/45-daewoomatizapplikaciya.html
Disallow: /uslugi/vinilografia/51-tigr.html
Disallow: /videoavtovinil/51-tigr.html
Disallow: /partners/49-cccruzevolvo.html
Disallow: /uslugi/vinilografia/37-toyotacelicavinil.html
Disallow: /index/29-2012-09-09-00-28-41/43-infinitifxalumini.html
Disallow: /videoavtovinil/44-toyotaaygo.html
Disallow: /index/27-2012-09-09-00-25-47/45-daewoomatizapplikaciya.html
Disallow: /component/content/category/3.html
Disallow: /component/content/category/2.html
Disallow: /component/content/category/6-2012-03-16-22-56-09.html

В чем суть вопроса: Как мне сделать так, чтобы запретить все страницы относящиеся допустим к каталогу /obrazec/, НО разрешить страницу obrazec/vinul-pod-kogu.html
У меня просто в одном каталоге от силы 10 страниц нужных, а 50 страниц хлама и вручную запрещать такие страницы можно бесконечно...




И еще очень хотелось бы, чтобы специалисты указали на основные недостатки сайта. адрес: винил161.рф

Спасибо за внимание!

[hellomoto]

Друзья, дайте хоть 1 совет)
Добавлено: 23-10-2012, 00:51:45

User-agent: *
Allow: /мойсайт/uslugi/lam.html
Disallow: /uslugi/

Дайте совет, так я могу сделать?
Добавлено: 23-10-2012, 02:41:20

И еще один вопросик. Нужно ли убирать из индекса страницы, контент которых является результатом поиска на моем сайте.

Вот таких  страниц яша понакидал в индекс, будут ли они вредить?
http://винил161.рф/component/search/?searchword=%D1%86%D0%B5%D0%BD%D0%B0&searchphrase=all&ordering=newest


P.S. Все еще надеюсь получить ответы на вопросы)

[web]

Как мне сделать так, чтобы запретить все страницы относящиеся допустим к каталогу /obrazec/, НО разрешить страницу obrazec/vinul-pod-kogu.html

Disallow: /obrazec
Allow: /obrazec/vinul-pod-kogu.html

Нужно ли убирать из индекса страницы, контент которых является результатом поиска на моем сайте.

Да, нужно убрать такие страницы из индекса.

[hellomoto]

Спасибо за совет. ! Я в принципе уже и сам роботс такой же написал) а есть ли разница, что будет написано раньше, allow или disallow?

[web]

порядок следования директив в файле robots.txt не влияет на использование их роботом. Примеры:

# Исходный robots.txt:
User-agent: Yandex
Allow: /catalog
Disallow: /
# Сортированный robots.txt:
User-agent: Yandex
Disallow: /
Allow: /catalog
# разрешает скачивать только страницы,
# начинающиеся с '/catalog'

Источник: Яндекс.Помощь

[hellomoto]

Я понял. Спасибо за помощь! еще небольшой вопрос про запрет индексации страниц поиска.

Мне нужно убрать из индекса страницу такого типа: мой_сайт/component/search/?searchword=белый&searchphrase=all&ordering=newest

В роботсе я прописал так: Disallow: /*search

Верна ли эта запись? Я просто сомневаюсь, т.к. робот уже раза 3 проиндексировал мой сайт, но страницы такого типа из индексированных страниц так и остались в поиске...

Возможно, у меня просто не хватает терпения подождать... 

[Кирилл_Lux]

В роботсе я прописал так: Disallow: /*search

Все верно. Ждите исчезнут.

[ewdokimow]

hellomoto,  это "В роботсе я прописал так: Disallow: /*search" исправьте на  Disallow: *search

http://винил161.рф/component/search/?searchword=%D1%86%D0%B5%D0%BD%D0%B0&searchphrase=all&ordering=newest
Ваше правило работает для 3-го слеша.

Проверьте, как все закрыто в Вебмастере.

[hellomoto]

hellomoto,  это "В роботсе я прописал так: Disallow: /*search" исправьте на  Disallow: *search

http://винил161.рф/component/search/?searchword=%D1%86%D0%B5%D0%BD%D0%B0&searchphrase=all&ordering=newest
Ваше правило работает для 3-го слеша.

Проверьте, как все закрыто в Вебмастере.

Исправил, спасибо! в вебмастере проверил, все ок!



Наконец разобрался откуда Joomla фигачит дубли страниц!)

Модуль mod_junewsultra, который отвечает на новости сайта, создает все время новые станицы. т.е. если я кликну по новостям с главной будет одна ссылка, если перейду к новостям со страницы "контакты" будет тот же контент, но ссылка другая Нет ничего приятней, как разобраться в проблеме самому)



Еще вопрос (?)  Около года назад прогонял сайт через 1ps базу каталогов, было много трешовых обратных линков. Я думал что чем больше тем лучше. Сейчас видение soe продвижения поменялось кардинально. Трешовые ссылки постепенно затухли. осталось около 130 ср. и качественных беков. Сегодня эти ссылки с линкопомоек опять попали в индекс, аж 350 шт... как думаете, может ли ПС посчитать этот как ссылочный взрыв? Сайту 1.5 года, ростет постепенно...
Кстати позиции сайта хорошенько рухнули... действительно ли этому поспособствовали беки с линкопомоек?