robots.txt для Codeigniter

Автор ukinari, 10-12-2012, 20:33:20

« назад - далее »

ukinariTopic starter

Всем доброго времени суток. Помогите, пожалуйста, кто нибудь составить robots.txt для сайта собранного на codeigniter.  Вот структура сайта

В robots.txt я пока запретил только папку system. В папке img находятся служебные картинки, думаю запретить и ее.  Запрещать также думаю папку с Javasript. Вот папку application наверняка нельзя, ведь там controller и файлы отображения, хотя возможно отдельные файлы и надо. А вот проблему с файлом controllerom админки решил, просто вписал в <header> админки во что:
<meta name="robots" content="noindex,nofollow"> Посмотрите, правильно ли я все сделал и думаю:
User-agent: *
Disallow: /system/
Disallow: /img/
Disallow: /js/
Disallow: /captcha/

PS  Таким  написанием  /system/ я запретил всю папку system вместе со всеми папками и в файлами в ней или только файлы в ней а входящие папки нет? Может надо так /system. Можно ли в robots.txt писать запрет на ссылки а не сами файлы? Правильно ли я вписал запрет админки, может, надо было бы, просто запретить в robots.txt файлы в админке, я посчитал, что так много букв  :). Надо ли еще что-то запрещать. Сори что много букв  :)
  •