robots.txt для Codeigniter

Автор Тема: robots.txt для Codeigniter  (Прочитано 1980 раз)

Оффлайн ukinariАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 1
  • Карма: 0
    • Просмотр профиля

Оффлайн ukinariАвтор темы

  • Дебютант
  • *
robots.txt для Codeigniter
« : 10-12-2012, 20:33:20 »
Всем доброго времени суток. Помогите, пожалуйста, кто нибудь составить robots.txt для сайта собранного на codeigniter.  Вот структура сайта

В robots.txt я пока запретил только папку system. В папке img находятся служебные картинки, думаю запретить и ее.  Запрещать также думаю папку с Javasript. Вот папку application наверняка нельзя, ведь там controller и файлы отображения, хотя возможно отдельные файлы и надо. А вот проблему с файлом controllerom админки решил, просто вписал в <header> админки во что:
<meta name="robots" content="noindex,nofollow"> Посмотрите, правильно ли я все сделал и думаю:
User-agent: *
Disallow: /system/
Disallow: /img/
Disallow: /js/
Disallow: /captcha/

PS  Таким  написанием  /system/ я запретил всю папку system вместе со всеми папками и в файлами в ней или только файлы в ней а входящие папки нет? Может надо так /system. Можно ли в robots.txt писать запрет на ссылки а не сами файлы? Правильно ли я вписал запрет админки, может, надо было бы, просто запретить в robots.txt файлы в админке, я посчитал, что так много букв  :). Надо ли еще что-то запрещать. Сори что много букв  :)


 

Похожие темы

  Тема / Автор Ответов Последний ответ
7 Ответов
2576 Просмотров
Последний ответ 25-08-2010, 11:37:44
от SeoBrabus
12 Ответов
5111 Просмотров
Последний ответ 18-02-2011, 23:35:16
от armid
10 Ответов
3209 Просмотров
Последний ответ 11-03-2011, 00:29:31
от vlatvii.ru
16 Ответов
3304 Просмотров
Последний ответ 04-11-2011, 00:19:47
от KaZaK
Robots для DLE

Автор voldemar « 1 2 » DLE

17 Ответов
7096 Просмотров
Последний ответ 03-06-2012, 22:10:49
от eqoist