robots.txt

Автор Тема: robots.txt  (Прочитано 11701 раз)

Оффлайн Blackgeneral

  • Бизнес оценка: (3, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 234
  • Сообщений: 635
  • Карма: 36
    • Просмотр профиля

Оффлайн Blackgeneral

  • Ветеран
  • *****
Re: robots.txt
« Ответ #40 : 07-05-2011, 19:56:19 »
Blackgeneral, не пугайте девушку  :)
Mediapartners-Google используют те кто пользуется AdSense .
Всё у вас нормально по поводу этого бота.
Если хотите понять вот инструкция:
http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=1061943
И в мыслях не было пугать  :)
Как перевелось, так и высказал свое предположение, а вот с Disallow: ошибочка вышла - проморгал слешь и сказал не так, но нашлись люди и поправили   :)
Кто хочет, ищет возможность, кто не хочет - причину!
www.blog.yagusya.com - блог о детях и их развитии.


Оффлайн Avadon

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 455
  • Сообщений: 1320
  • Карма: 40
  • Пол: Мужской
  • Награды Мастер вывода в Яндекс ТОП 1 За благотворительность Самая быстрая регистрация (индексация) сайта в Яндекс
    • Просмотр профиля

Оффлайн Avadon

  • Ветеран
  • *****
Re: robots.txt
« Ответ #41 : 07-05-2011, 19:57:33 »
NeSeo, вы хотите сказать что стоит пренебречь рекомендацией Гугла?

Blackgeneral, нет кроме этого уточнения вы правильно раскрыли роботс, поэтому я про остальное и не писал )
« Последнее редактирование: 07-05-2011, 20:03:54 от Avadon »

Оффлайн NeSeo

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 208
  • Сообщений: 737
  • Карма: 41
  • Пол: Мужской
  • VashShop.com
    • Просмотр профиля
    • Регистрация доменных имён

Оффлайн NeSeo

  • Ветеран
  • *****
Re: robots.txt
« Ответ #42 : 07-05-2011, 20:38:56 »
Цитировать
NeSeo, вы хотите сказать что стоит пренебречь рекомендацией Гугла?

Ссылочку дайте на рекомендацию, а то разговор ни о чём.
С уважением, Александр.
Биржа купли-продажи сайтов

Оффлайн Avadon

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 455
  • Сообщений: 1320
  • Карма: 40
  • Пол: Мужской
  • Награды Мастер вывода в Яндекс ТОП 1 За благотворительность Самая быстрая регистрация (индексация) сайта в Яндекс
    • Просмотр профиля

Оффлайн Avadon

  • Ветеран
  • *****
Re: robots.txt
« Ответ #43 : 07-05-2011, 20:50:39 »
NeSeo, этот форум обязывает быть дружелюбным, поэтому:
1.Внимательно прочтите предыдущие сообщения.
2.Осмыслите, что в них сказано, ознакомтесь с предоставленными там ссылками.
3.А потом продолжим разговор.

Оффлайн NeSeo

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 208
  • Сообщений: 737
  • Карма: 41
  • Пол: Мужской
  • VashShop.com
    • Просмотр профиля
    • Регистрация доменных имён

Оффлайн NeSeo

  • Ветеран
  • *****
Re: robots.txt
« Ответ #44 : 07-05-2011, 21:04:15 »
Avadon,

Мой пост был к вопросу http://www.sbup.com/seo-forum/wordpress/robots_txt/msg40840/#msg40840

Я писал про комментарии на русском языке, о чём свидетельствует цитата.
Вот пример, как можно писать комментарии в роботс.тхт: http://seocompas.ru/Robimap.html
« Последнее редактирование: 07-05-2011, 21:08:24 от NeSeo »
С уважением, Александр.
Биржа купли-продажи сайтов


Оффлайн Avadon

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 455
  • Сообщений: 1320
  • Карма: 40
  • Пол: Мужской
  • Награды Мастер вывода в Яндекс ТОП 1 За благотворительность Самая быстрая регистрация (индексация) сайта в Яндекс
    • Просмотр профиля

Оффлайн Avadon

  • Ветеран
  • *****
Re: robots.txt
« Ответ #45 : 07-05-2011, 21:08:35 »
Полностью признаю вашу правоту, я не заметил на какой пост вы ответили.
прoстите меня?
 ::)

Оффлайн NeSeo

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 208
  • Сообщений: 737
  • Карма: 41
  • Пол: Мужской
  • VashShop.com
    • Просмотр профиля
    • Регистрация доменных имён

Оффлайн NeSeo

  • Ветеран
  • *****
Re: robots.txt
« Ответ #46 : 07-05-2011, 21:11:10 »
Я сам виноват. Хорошо, что напомнили про дружелюбность :).
С уважением, Александр.
Биржа купли-продажи сайтов

Оффлайн Платон Щукин

  • Бизнес оценка: (1, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 555
  • Сообщений: 959
  • Карма: 68
  • Пол: Мужской
  • Накрутка Insnagram пиши в ЛС
  • Награды КМС поисковой оптимизации
    • Просмотр профиля
    • Все ради денег

Оффлайн Платон Щукин

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (1, 100%)
    • СПАСИБО: 555
    • Сообщений: 959
    • Карма: 68
    • Пол: Мужской
    • Накрутка Insnagram пиши в ЛС
    • Награды КМС поисковой оптимизации
      • Просмотр профиля
      • Все ради денег
Re: robots.txt
« Ответ #47 : 30-09-2011, 07:47:03 »
Вопросы такие у меня, на данный момент у меня robots.txt вот такой:
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.
Хочу поставить вот этот:
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.
Чем мне это грозит?
Нужно ли прописывать вот эту строчку
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.И по хосту, в старом robots.txt у меня стоял домен с www вообще открывается блог без www как мне записать?
Возможно еще что-то упустил, посоветуйте что убрать или дополнить.
Прокачай Instagram по полной здесь    :-X

Оффлайн aristocrat

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 0
  • Сообщений: 17
  • Карма: 1
  • Пол: Мужской
    • Просмотр профиля
    • SEO эффект

Оффлайн aristocrat

  • Рекрут
  • *
Re: robots.txt
« Ответ #48 : 01-11-2011, 16:50:57 »
Подскажите, пожалуйста, как в robots.txt закрыть от индексации несколько дублей страниц. У главной страницы адрес такой домен/catalog/Item.aspx?id=6. Но есть еще на сайте домен/catalog/Item.aspx?id=6&lid=1 и домен/catalog/Item.aspx?id=6&lid=2. При этом Яндекс проиндексировал один из дублей, а главную не хочет.  Как быть?

Пытался прописать:

Dissalow: /catalog/Item.aspx?id=6*

Но получается, что закрывается и /catalog/Item.aspx?id=6


Оффлайн Victorio

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 418
  • Сообщений: 577
  • Карма: 27
    • Просмотр профиля

Оффлайн Victorio

  • Ветеран
  • *****
Re: robots.txt
« Ответ #49 : 29-11-2011, 08:58:00 »
armid, глянь, такой как?
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Allow: /wp-content/uploads/


Насколько эти важны?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /author/

Я еще закрываю архивы, которые просто плодят дубли.
Disallow: /2011
Беседки, Заборы, Перголы покупают здесь | Онлайн журнал садовода и огородника


 

Похожие темы

  Тема / Автор Ответов Последний ответ
7 Ответов
2578 Просмотров
Последний ответ 25-08-2010, 11:37:44
от SeoBrabus
5 Ответов
3958 Просмотров
Последний ответ 27-10-2011, 23:56:20
от leksi
6 Ответов
2867 Просмотров
Последний ответ 03-01-2011, 13:24:13
от KaZaK
14 Ответов
3718 Просмотров
Последний ответ 17-09-2011, 21:56:31
от Tata
4 Ответов
2594 Просмотров
Последний ответ 15-02-2011, 13:09:47
от ReCopier