Помогите составить правильный robots.txt

[Ametist]

Кстати насчет индексации ссылок на соц сети, вычитал что тег nofollow уже не катит

А что об этом говорит сам Яндекс - читаем

[Michael J Fox]

Кстати насчет индексации ссылок на соц сети, вычитал что тег nofollow уже не катит

не читайте левые мнения. сразу к первоисточнику. ссылка Ametist дала

[Adami4]

Michael J Fox, Спасибо
Ametist, Спасибо

Только вопрос остался открытым, какие страницы мне закрывать от индекса =(

[Adami4]

Беда беда 
Вылетел из YANDEX впринцеипе, индексирует только гугл =( Что может быть? Грешу на robots.txt ....


User-Agent: *
Disallow: /tags*
Disallow: /*print
Disallow: /links.html
Disallow: /korzina.html
Disallow: /compare.html?*
Disallow: /admintech18*
Disallow: /cgi-bin
Disallow: /tmp
Disallow: /search.html
Disallow: /template_4https.html
Disallow: /template_bezoperatora.html
Disallow: /template.html
Disallow: /partners.html
Disallow: /category.html
Disallow: /filter.html
Disallow: /ofcredita.html
Disallow: /compare.php?
Disallow: /kor.php?
Disallow: /blocks*
User-Agent: Yandex
Disallow: /tags*
Disallow: /*print
Disallow: /links.html
Disallow: /korzina.html
Disallow: /compare.html?*
Disallow: /admintech18*
Disallow: /cgi-bin
Disallow: /tmp
Disallow: /search.html
Disallow: /template_4https.html
Disallow: /template_bezoperatora.html
Disallow: /template.html
Disallow: /partners.html
Disallow: /category.html
Disallow: /filter.html
Disallow: /ofcredita.html
Disallow: /compare.php?
Disallow: /kor.php?
Disallow: /blocks*
Host: advanced-tech.ru

Помогите что может быть ?((((
Добавлено: 27-02-2012, 08:38:52

Урезал до
Disallow: /tags*
Disallow: /links.html
Disallow: /korzina.html
Disallow: /compare.html?*
Disallow: /admintech18*
Disallow: /search.html
Disallow: /partners.html
Disallow: /filter.html
Disallow: /ofcredita.html
Disallow: /compare.php?
Disallow: /kor.php?
Disallow: /blocks/topinfo.html
Disallow: /blocks/compinfo.html

[Ametist]

На вашем сайте слишком много моментов, которые могли повлиять на выпадение из индекса.

1. Для многих страниц одинаковые мета-теги, хотя сами страницы содержат информацию о другом.

[spoiler]<meta name="Keywords" content="коммуникаторы, acer, apple, HTC, коммуникаторы acer, коммуникаторы apple, коммуникаторы HTC, аксессуары, аксессуары для коммуникаторов, аккумуляторы, bluetooth устройства, в автомобиль, зарядные устройства, защитные пленки, кабели, карты памяти, стилусы, чехлы, аккумуляторы для коммуникаторов, bluetooth устройства для коммуникаторов, в автомобиль для коммуникаторов, зарядные устройства для коммуникаторов, защитные пленки для коммуникаторов, кабели для коммуникаторов, карты памяти для коммуникаторов, стилусы для коммуникаторов, чехлы для коммуникаторов">
<meta name="Description" content="Advanced Technology - Интернет-магазин коммуникаторов и аксессуаров в Санкт-Петербурге.">
[/spoiler]

http://advanced-tech.ru/page77.html
http://advanced-tech.ru/page52.html
http://advanced-tech.ru/page60.html
http://advanced-tech.ru/page64.html
http://advanced-tech.ru/page83.html
http://advanced-tech.ru/page63.html

2. Явный переспaм ключевыми запросами на страницах (все не беру, только пример)

[spoiler]Сенсация! Компания HTC анонсировала новый Коммуникатор HTC Sensation. 12 апреля 2011 года в Лондоне был представлен новейший мультимедийный смартфон HTC Sensation, который изменит Ваше представление о развлечениях благодаря новому сервису HTC Watch. Коммуникатор HTC Sensation изготовлен из высококачественных материалов, корпус выполнен из цельного куска алюминия, а закругленные края придают его облику элегантности и утонченности. Коммуникатор HTC Sensation обладает превосходным дисплеем с диагональю 4.3 дюйма, на котором удобно просматривать видео с высоким разрешением, а двухъядерный процессор Qualcomm с частотой 1,2 ГГц необходимую скорость обработки графической информации и высокое качество изображения.

На HTC Sensation установлена последняя версия пользовательского интерфейса HTC Sense. Обновленная версия HTC Sense получила активный интерфейс экрана блoкировки, который пользователь сможет настраивать и изменять, а более четкая и качественная графика, анимация и новые виджеты сделают использование коммуникатора еще более простым и удобным.
Новый сервис HTC Watch, который впервые установлен на коммуникаторе HTC Sensation, позволит легко и быстро искать, скачивать и воспроизводить качественный видео-контент. Благодаря HTC Sensation, видеоролики HTC Watch можно также воспроизводить на новейших плоскоэкранных телевизорах с использованием беспроводной технологии DLNA.
В России HTC Sensation появится в продаже в июне 2011 года. [/spoiler]

3. Беру страницу со статьей:
http://advanced-tech.ru/page142.html
Под названием "HTC открывает доступ к загрузчику ОС Android"
Но в мета-тегах наблюдается следующее:
<meta name="Keywords" content="купить HTC Incredible S смартфон">

Статья о чем? Откуда такой кейвордс. Ведь не зря Яндекс постоянно напоминает, что  разработка его алгоритмов прежде всего для  пользователей, для релевантной выдачи. А таким образом вы приводите пользователя не туда, куда ему нужно.

4. Берем страницу конкретного товара:

а)
http://advanced-tech.ru/tovar.html?tid=236
имеем:

<title>Apple iPad 2 16Gb Wi-Fi + 3G | Коммуникаторы, смартфоны, электронные книги, аксессуары | Продажа, настройка и обучение | Advanced Technology. </title>
      <meta name="Keywords" content="Apple iPad 2 16Gb Wi-Fi + 3G, Tablet PC, Apple">
      <meta name="Description" content="Advanced Technology - Интернет-магазин коммуникаторов и аксессуаров в Санкт-Петербурге. Apple iPad 2 16Gb Wi-Fi + 3G | Tablet PC | Apple">

б)
http://advanced-tech.ru/tovar.html?tid=983
имеем:

<title>Acer TRAVELMATE 8481-2463G25nkk LX.V4T03.055 | Коммуникаторы, смартфоны, электронные книги, аксессуары | Продажа, настройка и обучение | Advanced Technology. </title>
      <meta name="Keywords" content="Acer TRAVELMATE 8481-2463G25nkk LX.V4T03.055, Ноутбуки и нетбуки, Acer">
      <meta name="Description" content="Advanced Technology - Интернет-магазин коммуникаторов и аксессуаров в Санкт-Петербурге. Acer TRAVELMATE 8481-2463G25nkk LX.V4T03.055 | Ноутбуки и нетбуки | Acer">

Поймите, что вписывая в title так много ненужного вы не продвинете товар, создаете постоянную "нагрузку" на каждую страницу забивая её запросами, которые желательно продвигать по разделам.
То есть на странице с товаром желательно прописывать только информацию о товаре.

Например, один из магазинов с таким же товаром сделал вот такое описание:
[spoiler]<title>LG E730 Optimus Sol - характеристики, обзор, цена, купить LG E730 Optimus Sol -  MSota.ru</title>
        <meta name=Description content="LG E730 Optimus Sol - характеристики, обзор, цена. Купить Телефоны GSM LG E730 Optimus Sol в интернет-магазине MSota.ru с доставкой и гарантией. ">
        <meta name=Keywords content="LG E730 Optimus Sol, купить LG E730 Optimus Sol, цена LG E730 Optimus Sol, характеристики, описание LG E730 Optimus Sol">[/spoiler]

Я понимаю, что у некоторых интернет-магазинов можно встретить аналогичные вашим описания, но думаю, что они на порядок больше вкладывают в продвижение, и многие топовые имеют солидный возраст.

В robots.txt я не нашла серьезных ошибок, возможно кто-то увидит более широко - на что может повлиять закрытие того или иного урла

[web]

Сейчас ваш роботс выглядит так:

User-Agent: *
Disallow: /tags*
Disallow: /links.html
Disallow: /korzina.html
Disallow: /compare.html?*
Disallow: /admintech18*
Disallow: /search.html
Disallow: /partners.html
Disallow: /filter.html
Disallow: /ofcredita.html
Disallow: /compare.php?
Disallow: /kor.php?
Disallow: /blocks/topinfo.html
Disallow: /blocks/compinfo.html
Host: advanced-tech.ru
User-Agent: Yandex
Disallow: /tags*
Disallow: /links.html
Disallow: /korzina.html
Disallow: /compare.html?*
Disallow: /admintech18*
Disallow: /search.html
Disallow: /partners.html
Disallow: /filter.html
Disallow: /ofcredita.html
Disallow: /compare.php?
Disallow: /kor.php?
Disallow: /blocks/topinfo.html
Disallow: /blocks/compinfo.html
Host: advanced-tech.ru

В соответствии со стандартом перед каждой директивой 'User-agent' рекомендуется вставлять пустой перевод строки.
Зачем вам две директивы «Host»?

В общем, запишите роботс так:

User-Agent: *
Disallow: /tags*
Disallow: /links.html
Disallow: /korzina.html
Disallow: /compare.html?*
Disallow: /admintech18*
Disallow: /search.html
Disallow: /partners.html
Disallow: /filter.html
Disallow: /ofcredita.html
Disallow: /compare.php?
Disallow: /kor.php?
Disallow: /blocks/topinfo.html
Disallow: /blocks/compinfo.html

User-Agent: Yandex
Disallow: /tags*
Disallow: /links.html
Disallow: /korzina.html
Disallow: /compare.html?*
Disallow: /admintech18*
Disallow: /search.html
Disallow: /partners.html
Disallow: /filter.html
Disallow: /ofcredita.html
Disallow: /compare.php?
Disallow: /kor.php?
Disallow: /blocks/topinfo.html
Disallow: /blocks/compinfo.html
Host: advanced-tech.ru

И укажите sitemap, если он у вас есть, если нет – создайте его.
Добавлено: 27-02-2012, 19:41:58

Проверьте ещё раз свои директории в robots.txt, всё ли вы указали, и правильно ли (как требуется вам) их закрыли.

[Adami4]

web,  Спасибо, подправил.
Ametist,  С такими вот мета тегами и текстами мы были год в выдаче и держались в ней , а порой и занимали неплохие позиции, при том что закупка ссылок была минимальной, я бы даже сказал мизерной. Это у нас был чудо оптимизатор =) и как не странно все было ок. но с такой оптимизацией далеко не уйдешь конечно) Стали все менять и переделывать , вот и начались косяки с выдачей, вот дилемма =)
Кстати если есть возможность взгляните как сейчас сделали и что думаете?
категория
http://advanced-tech.ru/category.html?lev1id=14
[spoiler]title>Ar.Drone (вертолет parrot) - продажа в Санкт-Петербурге (доставка по СПБ и России) - Интернет-магазин advanced-tech.ru-tech.ru</title>

<meta name="Keywords" content="Купить Ar.Drone купить вертолет parrot Ar Drone">

<meta name="Description" content="Parrot Ar.Drone - вертолет, который дистанционно управляются с Вашего мобильного устройства. Инновационные технологии позволили разместить в корпусе Ar.Drone блок управления на основе процессора ARM926, два гироскопа для стабилизации аппарата в полете, ультразвуковой высотомер, две камеры, которые передают изображение на Ваш коммуникатор или планшет, а операционная система Linux перерабатывает данные от всех этих датчиков и облегчает пользователю управление устройством.">
[/spoiler]
http://advanced-tech.ru/category.html?lev1id=8
[spoiler]<title>Электронные книги(устройство для чтения электронных книг, e-book reader) - продажа в Санкт-Петербурге (доставка по СПБ и России) - Интернет-магазин advanced-tech.ru-tech.ru</title>

<meta name="Keywords" content="Устройства для чтения электронных книг купить электронную книгу PocketBook Onyx Boox Explay Prestigio Sony PRS Amazon Kindle 3 Sony PRS читалок электронных книг подсветки и обложки для электронных книг купить электронную книгу купить аксессуары для электронной книги">

<meta name="Description" content="Наш Интернет-магазин предлагает для вас различные устройства для чтения электронных книг. В последнее время очень популярны стали электронные книги Sony или электронные книги PocketBook (покетбук), а также других торговых марок.">
[/spoiler]
страница обзора
http://advanced-tech.ru/page216.html
[spoiler]<title>Обзор электронных книг - Какую электронную книгу купить? - Интернет-магазин advanced-tech.ru</title>

<meta name="Keywords" content="Электронная книга, Amazon Kindle, PocketBook, Sony, Onyx BOOX, Sony PRS T1, Amazon Kindle 4, PocketBook pro 612, PocketBook Basic 611, Onyx BOOX A62S, читалка, букридер, ридер, купить электронную книгу, купить Amazon Kindle, купить PocketBook, купить Sony, купить Onyx BOOX  купить Sony PRS T1, купить Amazon Kindle 4, купить PocketBook pro 612, купить PocketBook Basic 611, купить Onyx BOOX A62S">

<meta name="Description" content="Обзор электронных книг Sony PRS T1, Amazon Kindle 4, PocketBook pro 612, PocketBook Basic 611, Onyx BOOX A62S. Помощь в выборе электронной книги.">
[/spoiler]
TITLE страницы с товаром будет выглядеть примерно так ( хвосты будут автоматом прикрепляться к заголовку)
[spoiler]-смартфоны
Смартфон ****** - купить в Санкт-Петербурге (Доставка по СПБ и России) – интернет-магазин advanced-tech.ru
-навигаторы
Навигатор ******  - купить в Санкт-Петербурге (Доставка по СПБ и России) – интернет-магазин advanced-tech.ru
-ноутбуки (надо реализовать чтобы можно было разделить нетбук это или ноутуб например выбрать в админке просто)
Ноутбук ******  - купить в Санкт-Петербурге (Доставка по СПБ и России) – интернет-магазин advanced-tech.ru
Нетбук ******  - купить в Санкт-Петербурге (Доставка по СПБ и России) – интернет-магазин advanced-tech.ru
-Планшет
Планшет ******  - купить в Санкт-Петербурге (Доставка по СПБ и России) – интернет-магазин advanced-tech.ru
-Электронная книга
Электронная книга ******  - купить в Санкт-Петербурге (Доставка по СПБ и России) – интернет-магазин advanced-tech.ru
-Видеорегистраторы
Видеорегистратор  ******  - купить в Санкт-Петербурге (Доставка по СПБ и России) – интернет-магазин advanced-tech.ru
-Игровые приставки
Игровая приставка  ******  - купить в Санкт-Петербурге (Доставка по СПБ и России) – интернет-магазин advanced-tech.ru
-Ar.Drone
Вертолет ******  - купить в Санкт-Петербурге (Доставка по СПБ и России) – интернет-магазин advanced-tech.ru
-Аксессуары
По умолчанию из загловка  +  - купить в Санкт-Петербурге (Доставка по СПБ и России) – интернет-магазин advanced-tech.ru
[/spoiler]
Запросы типо - отзывы, обзоры, цена , продвигаем через текст страницы.

вот как то так, очень интересно ваше мнение!

[Ametist]

Ametist,  С такими вот мета тегами и текстами мы были год в выдаче и держались в ней , а порой и занимали неплохие позиции, при том что закупка ссылок была минимальной, я бы даже сказал мизерной. Это у нас был чудо оптимизатор =) и как не странно все было ок.

Не вы один такое говорите из тех владельцев сайтов, которые столкнулись с тем, что выпали из индекса.  В 2010 году все было нормально - 2011 год начинает лихорадить, и то, что спасало два три года назад перестает спасать на должном уровне

Далее, я бы сделала вот так:

<title>Ar.Drone parrot вертолет - продажа и доставка Санкт-Петербург, Россия</title>
<meta name="Keywords" content="Купить Ar.Drone  вертолет parrot">


<title>Электронные книги, устройство для чтения электронных книг, e-book reader - продажа, доставка  Санкт-Петербург, Россия - Интернет-магазин advanced-tech.ru-tech.ru</title>
<meta name="Keywords" content="Устройства для чтения электронных книг купить электронную книгу PocketBook Onyx Boox Explay Prestigio Sony PRS Amazon Kindle 3 Sony PRS читалок электронных книг подсветки  обложки  купить аксессуары для электронной книги">

1. Не применять скобки
2. Поменьше повторять одинаковые слова в кейвордсе. Яндекс умеет склеивать ключевые запросы, то есть у вас:

купить электронную книгу
купить reader
аксессуары для PocketBook

достаточно написать:
купить электронную книгу reader PocktBoot аксессуары

Слово "купить" будет распространяться на все