Помогите с анализом сайта и robots.txt

Автор Тема: Помогите с анализом сайта и robots.txt  (Прочитано 2102 раз)

hellomoto

  • Гость
  • Бизнес оценка: (0)

hellomoto

  • Гость
Здравствуйте! У меня есть сайт на джумле. Недавно начал потихоньку изучать SEO продвижение сайта. Вроде стало получаться, сайт стал подыматься в результатах поиска на ya и гугле ( гугл вообще большинству среднечастотникам выдает 1е позиции )

Пришлось немного поменять структуру сайта, и началось клонирование страниц. Еще не разбиравшись в этом, я радовался, как яндекс каждые 3-4 дня добавляет в индекс по 10-20 страниц, позиции соответственно стали падать...

Составил новый robots.txt собственно по нему и нужна помощь:

Цитировать
User-agent: Yandex
Allow: /
Sitemap: http://xn--161-edd4aavo.xn--p1ai/sitemap.xml
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /latest/
Disallow: /index.htm
Disallow: /index.html
Disallow: /index.php
Disallow: /raboti/
Disallow: /raboti
Disallow: /cena/
Disallow: /-faq/
Disallow: /-faq
Disallow: /kontakti
Disallow: /garantiya
Disallow: /obrazec/tonirovka-far.html
Disallow: /component/content/frontpage.html
Disallow: /component/content/article/14-2012-03-16-23-12-47/1-glavnaya.html
Disallow: /component/content/category/23-garantiya.html
Disallow: /kontakti/47-hondaaccord.html
Disallow: /obrazec/-3d/47-hondaaccord.html
Disallow: /index/2.html
Disallow: /uslugi/salon/48-infinity-fx.html
Disallow: /component/content/category/4.html
Disallow: /component/content/category/16.html
Disallow: /component/content/category/2-2012-03-16-22-35-57.html
Disallow: /component/content/category/5.htm
Disallow: /obrazec/matovie-vinilovie-plenki/44-toyotaaygo.html
Disallow: /component/content/category/16--3d.html
Disallow: /uslugi/okleika/45-daewoomatizapplikaciya.htm
Disallow: /obrazec/vinil-pod-perlamutr/45-daewoomatizapplikaciya.htm
Disallow: /component/content/category/25.htm
Disallow: /uslugi/tonirovka/47-hondaaccord.htm
Disallow: /uslugi/tonirovka/50-kolonki.htm
Disallow: /obrazec/-3d/43-infinitifxalumini.html
Disallow: /index/5.html
Disallow: /obrazec/vinil-pod-perlamutr/49-cccruzevolvo.html
Disallow: /index/29-2012-09-09-00-28-41/44-toyotaaygo.html
Disallow: /index/25-laminirovaneavto/42-zachitaotkamneyatyagacha.html
Disallow: /component/content/category/6.html
Disallow: /index/14-2012-03-16-23-12-47/1-glavnaya.html
Disallow: /obrazec/vinul-pod-kogu/41-tonirovkafarplenkoi.html
Disallow: /obrazec/-3d/23-toyotaaygo.html
Disallow: /index/26-2012-09-09-00-23-42/23-toyotaaygo.html
Disallow: /obrazec/matovie-vinilovie-plenki/48-infinity-fx.html
Disallow: /obrazec/vinul-pod-kogu/48-infinity-fx.html
Disallow: /obrazec/-3d/50-kolonki.html
Disallow: /partners/44-toyotaaygo.html
Disallow: /obrazec/-3d/52-toyotacelica.html
Disallow: /uslugi/vinilografia/48-infinity-fx.html
Disallow: /uslugi/vinilografia/52-toyotacelica.html
Disallow: /videoavtovinil/52-toyotacelica.html
Disallow: /uslugi/lam/45-daewoomatizapplikaciya.html
Disallow: /uslugi/vinilografia/51-tigr.html
Disallow: /videoavtovinil/51-tigr.html
Disallow: /partners/49-cccruzevolvo.html
Disallow: /uslugi/vinilografia/37-toyotacelicavinil.html
Disallow: /index/29-2012-09-09-00-28-41/43-infinitifxalumini.html
Disallow: /videoavtovinil/44-toyotaaygo.html
Disallow: /index/27-2012-09-09-00-25-47/45-daewoomatizapplikaciya.html
Disallow: /component/content/category/3.html
Disallow: /component/content/category/2.html
Disallow: /component/content/category/6-2012-03-16-22-56-09.html


В чем суть вопроса: Как мне сделать так, чтобы запретить все страницы относящиеся допустим к каталогу /obrazec/, НО разрешить страницу obrazec/vinul-pod-kogu.html
У меня просто в одном каталоге от силы 10 страниц нужных, а 50 страниц хлама и вручную запрещать такие страницы можно бесконечно...




И еще очень хотелось бы, чтобы специалисты указали на основные недостатки сайта. адрес: винил161.рф

Спасибо за внимание!



hellomoto

  • Гость
  • Бизнес оценка: (0)

hellomoto

  • Гость
Re: Помогите с анализом сайта и robots.txt
« Ответ #1 : 22-10-2012, 23:41:39 »
Друзья, дайте хоть 1 совет)

Добавлено: 23-10-2012, 00:51:45

User-agent: *
Allow: /мойсайт/uslugi/lam.html
Disallow: /uslugi/

 Дайте совет, так я могу сделать?

Добавлено: 23-10-2012, 02:41:20

И еще один вопросик. Нужно ли убирать из индекса страницы, контент которых является результатом поиска на моем сайте.

Вот таких  страниц яша понакидал в индекс, будут ли они вредить?
http://винил161.рф/component/search/?searchword=%D1%86%D0%B5%D0%BD%D0%B0&searchphrase=all&ordering=newest


P.S. Все еще надеюсь получить ответы на вопросы)
« Последнее редактирование: 23-10-2012, 02:41:20 от hellomoto »

Оффлайн web

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 388
  • Сообщений: 925
  • Карма: 53
  • Пол: Мужской
  • No bees – no honey....... No work – no money
    • Просмотр профиля

Оффлайн web

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 388
    • Сообщений: 925
    • Карма: 53
    • Пол: Мужской
    • No bees – no honey....... No work – no money
      • Просмотр профиля
Re: Помогите с анализом сайта и robots.txt
« Ответ #2 : 23-10-2012, 10:45:57 »
Цитата: hellomoto
Как мне сделать так, чтобы запретить все страницы относящиеся допустим к каталогу /obrazec/, НО разрешить страницу obrazec/vinul-pod-kogu.html

Disallow: /obrazec
Allow: /obrazec/vinul-pod-kogu.html

Цитата: hellomoto
Нужно ли убирать из индекса страницы, контент которых является результатом поиска на моем сайте.

Да, нужно убрать такие страницы из индекса.

hellomoto

  • Гость
  • Бизнес оценка: (0)

hellomoto

  • Гость
Re: Помогите с анализом сайта и robots.txt
« Ответ #3 : 23-10-2012, 11:55:51 »
Спасибо за совет. ! Я в принципе уже и сам роботс такой же написал) а есть ли разница, что будет написано раньше, allow или disallow?

Оффлайн web

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 388
  • Сообщений: 925
  • Карма: 53
  • Пол: Мужской
  • No bees – no honey....... No work – no money
    • Просмотр профиля

Оффлайн web

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 388
    • Сообщений: 925
    • Карма: 53
    • Пол: Мужской
    • No bees – no honey....... No work – no money
      • Просмотр профиля
Re: Помогите с анализом сайта и robots.txt
« Ответ #4 : 23-10-2012, 12:12:41 »
Цитировать
порядок следования директив в файле robots.txt не влияет на использование их роботом. Примеры:

# Исходный robots.txt:
User-agent: Yandex
Allow: /catalog
Disallow: /

# Сортированный robots.txt:
User-agent: Yandex
Disallow: /
Allow: /catalog

# разрешает скачивать только страницы,
# начинающиеся с '/catalog'

Источник: Яндекс.Помощь


hellomoto

  • Гость
  • Бизнес оценка: (0)

hellomoto

  • Гость
Re: Помогите с анализом сайта и robots.txt
« Ответ #5 : 27-10-2012, 02:47:22 »
Я понял. Спасибо за помощь! еще небольшой вопрос про запрет индексации страниц поиска.

Мне нужно убрать из индекса страницу такого типа: мой_сайт/component/search/?searchword=белый&searchphrase=all&ordering=newest

В роботсе я прописал так: Disallow: /*search

Верна ли эта запись? Я просто сомневаюсь, т.к. робот уже раза 3 проиндексировал мой сайт, но страницы такого типа из индексированных страниц так и остались в поиске...

Возможно, у меня просто не хватает терпения подождать...  ::)

Оффлайн Кирилл_Lux

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 32
  • Сообщений: 328
  • Карма: 5
    • Просмотр профиля

Оффлайн Кирилл_Lux

  • Старожил
  • ****
Re: Помогите с анализом сайта и robots.txt
« Ответ #6 : 27-10-2012, 09:37:09 »
В роботсе я прописал так: Disallow: /*search

Все верно. Ждите исчезнут.

А кому и среда - суббота, а где-то субботы нет :D

Оффлайн ewdokimow

  • Бизнес оценка: (0)
  • Мастер
  • *****
  • СПАСИБО: 1483
  • Сообщений: 5848
  • Карма: 143
  • Пол: Мужской
  • Евдокимов
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации
    • Просмотр профиля
    • Книги

Оффлайн ewdokimow

  • Мастер
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 1483
    • Сообщений: 5848
    • Карма: 143
    • Пол: Мужской
    • Евдокимов
    • Награды Более одной тысячи спасибо КМС поисковой оптимизации
      • Просмотр профиля
      • Книги
Re: Помогите с анализом сайта и robots.txt
« Ответ #7 : 27-10-2012, 15:20:36 »
hellomoto,  это "В роботсе я прописал так: Disallow: /*search" исправьте на  Disallow: *search

http://винил161.рф/component/search/?searchword=%D1%86%D0%B5%D0%BD%D0%B0&searchphrase=all&ordering=newest
Ваше правило работает для 3-го слеша.

Проверьте, как все закрыто в Вебмастере.
Ручная ковка металлов в художественном исполнении  для коттеджей в Истре

hellomoto

  • Гость
  • Бизнес оценка: (0)

hellomoto

  • Гость
Re: Помогите с анализом сайта и robots.txt
« Ответ #8 : 30-10-2012, 01:23:58 »
hellomoto,  это "В роботсе я прописал так: Disallow: /*search" исправьте на  Disallow: *search

http://винил161.рф/component/search/?searchword=%D1%86%D0%B5%D0%BD%D0%B0&searchphrase=all&ordering=newest
Ваше правило работает для 3-го слеша.

Проверьте, как все закрыто в Вебмастере.

Исправил, спасибо! в вебмастере проверил, все ок!



Наконец разобрался откуда Joomla фигачит дубли страниц!)

Модуль mod_junewsultra, который отвечает на новости сайта, создает все время новые станицы. т.е. если я кликну по новостям с главной будет одна ссылка, если перейду к новостям со страницы "контакты" будет тот же контент, но ссылка другая :) Нет ничего приятней, как разобраться в проблеме самому)



Еще вопрос (?)  Около года назад прогонял сайт через 1ps базу каталогов, было много трешовых обратных линков. Я думал что чем больше тем лучше. Сейчас видение soe продвижения поменялось кардинально. Трешовые ссылки постепенно затухли. осталось около 130 ср. и качественных беков. Сегодня эти ссылки с линкопомоек опять попали в индекс, аж 350 шт... как думаете, может ли ПС посчитать этот как ссылочный взрыв? Сайту 1.5 года, ростет постепенно...
Кстати позиции сайта хорошенько рухнули... действительно ли этому поспособствовали беки с линкопомоек?
« Последнее редактирование: 30-10-2012, 01:27:13 от hellomoto »


 

Похожие темы

  Тема / Автор Ответов Последний ответ
4 Ответов
1324 Просмотров
Последний ответ 19-11-2011, 21:32:40
от Delavego
10 Ответов
2957 Просмотров
Последний ответ 20-02-2012, 23:53:59
от Dexo
5 Ответов
1755 Просмотров
Последний ответ 02-03-2012, 21:16:09
от waveman
4 Ответов
1331 Просмотров
Последний ответ 04-03-2012, 14:20:40
от remind4me
16 Ответов
3132 Просмотров
Последний ответ 06-10-2012, 13:37:09
от sheep