robots.txt

Автор Тема: robots.txt  (Прочитано 3285 раз)

Оффлайн vlatvii.ruАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 0
  • Сообщений: 39
  • Карма: 2
    • Просмотр профиля

Оффлайн vlatvii.ruАвтор темы

  • Рекрут
  • *
robots.txt
« : 09-03-2011, 16:01:40 »
User-Agent: *
Disallow:
Host: myhost.ru
Sitemap: http://myhost.com/sitemap.txt

Скажите правильно ли составлен файл, если ничего закрывать не нужно и хост без www
« Последнее редактирование: 09-03-2011, 16:03:24 от vlatvii.ru »


Оффлайн webuser

  • Бизнес оценка: (3, 100%)
  • КМС
  • *****
  • СПАСИБО: 1790
  • Сообщений: 2692
  • Карма: 174
  • Пол: Мужской
  • Хотите спросить? Спрашивайте!
  • Награды SEO-специалист Более одной тысячи спасибо Почетный гражданин нашего форума За благотворительность КМС поисковой оптимизации
    • Просмотр профиля

Оффлайн webuser

  • КМС
  • *****
  • Доп. информация
    • Бизнес оценка: (3, 100%)
    • СПАСИБО: 1790
    • Сообщений: 2692
    • Карма: 174
    • Пол: Мужской
    • Хотите спросить? Спрашивайте!
    • Награды SEO-специалист Более одной тысячи спасибо Почетный гражданин нашего форума За благотворительность КМС поисковой оптимизации
      • Просмотр профиля
Re: robots.txt
« Ответ #1 : 09-03-2011, 16:20:54 »
Скажите правильно ли составлен файл, если ничего закрывать не нужно и хост без www
Карта сайта должна быть такой:
sitemap.xml

Оффлайн vlatvii.ruАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 0
  • Сообщений: 39
  • Карма: 2
    • Просмотр профиля

Оффлайн vlatvii.ruАвтор темы

  • Рекрут
  • *
Re: robots.txt
« Ответ #2 : 09-03-2011, 16:53:42 »
При проверке робота яндексом он почему ты видит его в таком виде, и выдаёт ошибки? Как поправить?

User-Agent: *<br />
Disallow:<br />
Host: lateka.com<br />
Sitemap: http://lateka.com/sitemap.xml

Оффлайн webuser

  • Бизнес оценка: (3, 100%)
  • КМС
  • *****
  • СПАСИБО: 1790
  • Сообщений: 2692
  • Карма: 174
  • Пол: Мужской
  • Хотите спросить? Спрашивайте!
  • Награды SEO-специалист Более одной тысячи спасибо Почетный гражданин нашего форума За благотворительность КМС поисковой оптимизации
    • Просмотр профиля

Оффлайн webuser

  • КМС
  • *****
  • Доп. информация
    • Бизнес оценка: (3, 100%)
    • СПАСИБО: 1790
    • Сообщений: 2692
    • Карма: 174
    • Пол: Мужской
    • Хотите спросить? Спрашивайте!
    • Награды SEO-специалист Более одной тысячи спасибо Почетный гражданин нашего форума За благотворительность КМС поисковой оптимизации
      • Просмотр профиля
Re: robots.txt
« Ответ #3 : 09-03-2011, 18:33:44 »
Как поправить?
Посмотрел ваш файл robots.txt - нормально он сейчас выглядит, без тегов <br>
<br /> - это перенос на следующую строку.
Как проверяете Яндексом?
« Последнее редактирование: 09-03-2011, 18:35:31 от webuser »

Оффлайн vlatvii.ruАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 0
  • Сообщений: 39
  • Карма: 2
    • Просмотр профиля

Оффлайн vlatvii.ruАвтор темы

  • Рекрут
  • *
Re: robots.txt
« Ответ #4 : 09-03-2011, 20:21:31 »
Как проверяете Яндексом?
http://webmaster.yandex.ru/robots.xml?hostname=http://lateka.com/#results


Оффлайн webuser

  • Бизнес оценка: (3, 100%)
  • КМС
  • *****
  • СПАСИБО: 1790
  • Сообщений: 2692
  • Карма: 174
  • Пол: Мужской
  • Хотите спросить? Спрашивайте!
  • Награды SEO-специалист Более одной тысячи спасибо Почетный гражданин нашего форума За благотворительность КМС поисковой оптимизации
    • Просмотр профиля

Оффлайн webuser

  • КМС
  • *****
  • Доп. информация
    • Бизнес оценка: (3, 100%)
    • СПАСИБО: 1790
    • Сообщений: 2692
    • Карма: 174
    • Пол: Мужской
    • Хотите спросить? Спрашивайте!
    • Награды SEO-специалист Более одной тысячи спасибо Почетный гражданин нашего форума За благотворительность КМС поисковой оптимизации
      • Просмотр профиля
Re: robots.txt
« Ответ #5 : 09-03-2011, 22:31:10 »
Попробуйте переписать файл не обычным блокнотом, а notepad++ или аналогом. Скорее всего проблема исчезнет.

Оффлайн vlatvii.ruАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 0
  • Сообщений: 39
  • Карма: 2
    • Просмотр профиля

Оффлайн vlatvii.ruАвтор темы

  • Рекрут
  • *
Re: robots.txt
« Ответ #6 : 09-03-2011, 22:41:32 »
Пробовал  em editor и notepad++, проблема осталась!

Оффлайн Chiliec

  • Владимир
  • Бизнес оценка: (3, 100%)
  • КМС
  • *****
  • СПАСИБО: 553
  • Сообщений: 2290
  • Карма: 188
  • Пол: Мужской
  • Веб-маэстро
  • Награды Мастер поисковой оптимизации Почетный гражданин нашего форума
    • Просмотр профиля
    • Обо мне

Оффлайн Chiliec

  • КМС
  • *****
  • Доп. информация
    • Владимир
    • Бизнес оценка: (3, 100%)
    • СПАСИБО: 553
    • Сообщений: 2290
    • Карма: 188
    • Пол: Мужской
    • Веб-маэстро
    • Награды Мастер поисковой оптимизации Почетный гражданин нашего форума
      • Просмотр профиля
      • Обо мне
Re: robots.txt
« Ответ #7 : 10-03-2011, 05:33:43 »
а у меня такая ошибка при загрузке файла robots.txt:
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.

Оффлайн webuser

  • Бизнес оценка: (3, 100%)
  • КМС
  • *****
  • СПАСИБО: 1790
  • Сообщений: 2692
  • Карма: 174
  • Пол: Мужской
  • Хотите спросить? Спрашивайте!
  • Награды SEO-специалист Более одной тысячи спасибо Почетный гражданин нашего форума За благотворительность КМС поисковой оптимизации
    • Просмотр профиля

Оффлайн webuser

  • КМС
  • *****
  • Доп. информация
    • Бизнес оценка: (3, 100%)
    • СПАСИБО: 1790
    • Сообщений: 2692
    • Карма: 174
    • Пол: Мужской
    • Хотите спросить? Спрашивайте!
    • Награды SEO-специалист Более одной тысячи спасибо Почетный гражданин нашего форума За благотворительность КМС поисковой оптимизации
      • Просмотр профиля
Re: robots.txt
« Ответ #8 : 10-03-2011, 10:29:14 »
проблема осталась!
Обратитесь к вашему хостеру, возможно у них какие-то ограничения есть. У меня был хостинг, который выдавал роботам не тот код, что отображался для простых пользователей. Хотя они в этом сразу не признались.
а у меня такая ошибка при загрузке файла robots.txt:
Тут явно с кодировкой проблемы. К хостеру ему надо.


Оффлайн Kuraboy

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 42
  • Сообщений: 154
  • Карма: 14
  • Пол: Мужской
  • Награды За благотворительность
    • Просмотр профиля

Оффлайн Kuraboy

  • Постоялец
  • ***
Re: robots.txt
« Ответ #9 : 10-03-2011, 12:21:09 »
Файл создается CMS и в нем правится?
Или же вы его добавляете на сайт вручную, через ftp, ssh?
Оптимизация это тебе не шубы в трусы заправлять.


 

Похожие темы

  Тема / Автор Ответов Последний ответ
4 Ответов
1680 Просмотров
Последний ответ 29-10-2012, 23:34:38
от MrViper
10 Ответов
2117 Просмотров
Последний ответ 08-07-2015, 18:21:14
от zanuda
2 Ответов
1050 Просмотров
Последний ответ 04-09-2015, 08:57:26
от Вадим Костин
5 Ответов
1109 Просмотров
Последний ответ 21-10-2015, 07:33:59
от Sky-fi
8 Ответов
1396 Просмотров
Последний ответ 30-11-2015, 17:58:36
от sergeykuzmenko93