по robot.txt

Автор Тема: по robot.txt  (Прочитано 1040 раз)

Оффлайн amatiАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 11
  • Сообщений: 38
  • Карма: 0
    • Просмотр профиля

Оффлайн amatiАвтор темы

  • Рекрут
  • *
по robot.txt
« : 07-09-2015, 14:50:25 »
Добрый день. занимаюсь сайтом год.
ТИЦ 0-70
доменов >400
ссылок   >2800
покупных до 60
В сутки 30-50 чел с поисковых, отказов до 30%, Вот сайт http://amati-shoes.com.ua
Не знаю мало не мало, заходит.
Вопрос что нужно в файле txt блoкировать, или не нужно , как понять , как на меня то пускай все индексируют, а как на самом деле?


Оффлайн SEO_MONSTR

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 2
  • Сообщений: 28
  • Карма: 0
  • Пол: Мужской
    • Просмотр профиля

Оффлайн SEO_MONSTR

  • Рекрут
  • *
Re: по robot.txt
« Ответ #1 : 11-09-2015, 20:56:27 »
у тебя стандартный роботс для этого движка, если не знаешь лучше его не меняй=)

Оффлайн Sky-fi

  • Глобальный модератор
  • Бизнес оценка: (9, 100%)
  • *****
  • СПАСИБО: 3772
  • Сообщений: 5388
  • Карма: 333
  • Пол: Мужской
  • Раскрутка сайтов
  • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
    • Просмотр профиля
    • Частный SEO оптимизатор Sky-fi

Оффлайн Sky-fi

  • Глобальный модератор
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 3772
    • Сообщений: 5388
    • Карма: 333
    • Пол: Мужской
    • Раскрутка сайтов
    • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
      • Просмотр профиля
      • Частный SEO оптимизатор Sky-fi
Re: по robot.txt
« Ответ #2 : 12-09-2015, 01:10:00 »
у тебя стандартный роботс для этого движка
Он вовсе не стандартный.

Вопрос что нужно в файле txt блoкировать, или не нужно , как понять , как на меня то пускай все индексируют, а как на самом деле?
amati, у вас есть ошибки в роботсе, но по правде говоря, их исправление мало что изменит. Вам следует начать с контента сайта, сделать, по крайней мере, так, чтобы статьи можно было читать. Отказность сразу уменьшится.

Вернемся к роботсу.
1. В начале всегда должны идти разрешающие директивы, а после них - запрещающие, у вас наоборот
2. Почему для Яндекса выделена строчка всего с одной директивой, Crawl-delay? Если в роботсе есть раздел с директивами для конкретного робота, то общие директивы он читать уже не будет.
3. Между строками 25 и 27 стоит пробел, зачем? Директива Allow не является междусекционной, так что в вашем случае, строки 26 и 27 ботами просто игнорируются.
4. Строки 18 и 19 обозначают одно и тоже. По умолчанию, роботы видят любой путь в роботсе со знаком "*" в конце. То есть, делать директивы отдельно со звездочкой и без нее нет смысла.

Оффлайн amatiАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 11
  • Сообщений: 38
  • Карма: 0
    • Просмотр профиля

Оффлайн amatiАвтор темы

  • Рекрут
  • *
Re: по robot.txt
« Ответ #3 : 12-09-2015, 08:49:55 »
спасибо.


 

Похожие темы

  Тема / Автор Ответов Последний ответ
7 Ответов
2516 Просмотров
Последний ответ 18-06-2011, 18:22:54
от myjobwebmed
3 Ответов
1828 Просмотров
Последний ответ 06-07-2011, 08:31:35
от Владимир75
20 Ответов
5081 Просмотров
Последний ответ 20-09-2013, 09:55:01
от Cyrus
1 Ответов
1184 Просмотров
Последний ответ 30-05-2015, 14:51:38
от Sky-fi
8 Ответов
1924 Просмотров
Последний ответ 29-05-2016, 21:59:55
от IrinaK