Правильный ли robots.txt ?

Автор Nikita214, 16-12-2013, 15:12:57

« назад - далее »

vold57

#10
Цитата: Nikita214 от 16-12-2013, 15:12:57
User-agent: Yandex
Host: sity.ru
Вы для Яндекса вообще ничего не закрыли и нужно было пробельную строку сделать до User-agent: Yandex.



Добавлено: 16-12-2013, 17:35:24


Цитата: Nikita214 от 16-12-2013, 15:12:57Вот мой robots.txt подскажите, правильный ли он для варезника на DLE 9.8 ?
Это похоже на "Что вы мне порекомендуете на завтрак, если я с утра в красных ботинках?"




Nikita214Topic starter

listik, прошу прощения, я что то туплю что ли, но я не вижу такой кнопки "Спасибо".
  •  



listik

Цитата: vold57 от 16-12-2013, 17:39:40
Nikita214, 10 сообщений будет - увидите.
Прошу пани прошен! Nikita214, после 10 сообщений,vold57 прав, это я стормозил.

Nikita214Topic starter

#14
Цитата: vold57 от 16-12-2013, 17:31:50
Вы для Яндекса вообще ничего не закрыли и нужно было пробельную строку сделать до User-agent: Yandex.
В смысле, не пойму, как пробельную строку, и как я ничего не закрыл для яндекса? Можно чуть подробнее?
Цитата: vold57 от 16-12-2013, 17:31:50

Добавлено: 16-12-2013, 17:35:24

Это похоже на "Что вы мне порекомендуете на завтрак, если я с утра в красных ботинках?"
Я отталкиваюсь от того, что в инете достаточно много статей, где выложены готовые robots.txt для варезников на Dle. А как Вы сами понимаете, варезники на Dle, они я думаю все одинаковые, гл. стр., категории и т.д., все практически они сделаны по одному стандартному варианту, я имею ввиду варезы и файл тоже должен быть наверное одинаковым. Ведь на всех варезах нужно дубли закрывать, и принцип размещения новостей один и тот же Так как всем нужно, чтобы яндекс индексировал, а не выплёвывал. Согласитесь, индивидуальных каких то варезов помоему в природе нет, чтобы они как то иначе работали, чем другие. Например, если у меня авто Ока и у Вас тоже Ока, так неужели двигатель или любой узел у наших с Вами авто будет как то различаться?
Также часто на форумах вижу темы с подобным заголовком, но как то им отвечают, помогают и про красные ботинки не упоминают. Сами подумайте, как быть, если многие в инете пишут, что для варезника на dle, должен выглядеть файл эдак, Вы пишите, что "Это похоже на "Что вы мне порекомендуете на завтрак, если я с утра в красных ботинках?". А кому тогда верить, как должно быть? Все по своему правы и получается путанится, не знаешь чей же вариант ответа будет более оптимальным. Ну вот как то так.
  •  


vold57

#15
Nikita214, читайте Использование robots.txt

Добавлено: 16-12-2013, 20:29:58


Цитата: Nikita214 от 16-12-2013, 17:54:28варезники на Dle, они я думаю все одинаковые, гл. стр., категории и т.д., все практически они сделаны по одному стандартному варианту, я имею ввиду варезы и файл тоже должен быть наверное одинаковым. Ведь на всех варезах нужно дубли закрывать, и принцип размещения новостей один и тот же Так как всем нужно, чтобы яндекс индексировал, а не выплёвывал. Согласитесь, индивидуальных каких то варезов помоему в природе нет, чтобы они как то иначе работали, чем другие.
Ну если вы так в этом уверены и знаете, то к чему тогда эта тема. Идите на любой из таких варезников и берите оттуда robots.txt.


Nikita214Topic starter

#16
Цитата: vold57 от 16-12-2013, 20:04:46читайте Использование robots.tx
Спасибо!



Добавлено: 16-12-2013, 20:33:32


Цитата: vold57 от 16-12-2013, 20:04:46
Ну если вы так в этом уверены и знаете, то к чему тогда эта тема. Идите на любой из таких варезников и берите оттуда robots.txt.
Мысль такая уже была, только не знаю как можно взять чужой robots.txt . У админа глупо спрашивать.
  •  

listik

Цитата: Nikita214 от 16-12-2013, 20:31:07
Спасибо!

Добавлено: 16-12-2013, 20:33:32

Мысль такая уже была, только не знаю как можно взять чужой robots.txt . У админа глупо спрашивать.
Пишите в адресной строке http://aдрec_вaрeзника/robots.txt - и вуаля (можете сохранять себе)


Nikita214Topic starter

Цитата: listik от 16-12-2013, 20:38:54Пишите в адресной строке http://aдрec_вaрeзника/robots.txt - и вуаля (можете сохранять себе)
Блин, как оказывается просто.) Спасибо огромное!

  •  


listik

Цитата: listik от 16-12-2013, 20:38:54
Пишите в адресной строке http://aдрec_вaрeзника/robots.txt - и вуаля (можете сохранять себе)
В смысле, не на сайт сохраняете, а на комп, чтобы проанализировать и поравить под свой ресурс