Если вам нравится SbUP Форум, вы можете поддержать его - BTC: bc1qppjcl3c2cyjazy6lepmrv3fh6ke9mxs7zpfky0 , TRC20 и ещё....

 

по robot.txt

Автор amati, 07-09-2015, 14:50:25

« назад - далее »

amatiTopic starter

Добрый день. занимаюсь сайтом год.
ТИЦ 0-70
доменов >400
ссылок   >2800
покупных до 60
В сутки 30-50 чел с поисковых, отказов до 30%, Вот сайт http://amati-shoes.com.ua
Не знаю мало не мало, заходит.
Вопрос что нужно в файле txt блoкировать, или не нужно , как понять , как на меня то пускай все индексируют, а как на самом деле?
  •  


SEO_MONSTR

у тебя стандартный роботс для этого движка, если не знаешь лучше его не меняй=)


Sky-fi

Цитата: SEO_MONSTR от 11-09-2015, 20:56:27у тебя стандартный роботс для этого движка
Он вовсе не стандартный.

Цитата: amati от 07-09-2015, 14:50:25Вопрос что нужно в файле txt блoкировать, или не нужно , как понять , как на меня то пускай все индексируют, а как на самом деле?
amati, у вас есть ошибки в роботсе, но по правде говоря, их исправление мало что изменит. Вам следует начать с контента сайта, сделать, по крайней мере, так, чтобы статьи можно было читать. Отказность сразу уменьшится.

Вернемся к роботсу.
1. В начале всегда должны идти разрешающие директивы, а после них - запрещающие, у вас наоборот
2. Почему для Яндекса выделена строчка всего с одной директивой, Crawl-delay? Если в роботсе есть раздел с директивами для конкретного робота, то общие директивы он читать уже не будет.
3. Между строками 25 и 27 стоит пробел, зачем? Директива Allow не является междусекционной, так что в вашем случае, строки 26 и 27 ботами просто игнорируются.
4. Строки 18 и 19 обозначают одно и тоже. По умолчанию, роботы видят любой путь в роботсе со знаком "*" в конце. То есть, делать директивы отдельно со звездочкой и без нее нет смысла.

amatiTopic starter

  •  



Если вам нравится SbUP Форум, вы можете поддержать его - BTC: bc1qppjcl3c2cyjazy6lepmrv3fh6ke9mxs7zpfky0 , TRC20 и ещё....