Правильно ли я настроил robots.txt и .htaccess

Автор Тема: Правильно ли я настроил robots.txt и .htaccess  (Прочитано 915 раз)

Оффлайн Dan4ukoneАвтор темы

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 109
  • Сообщений: 313
  • Карма: 31
  • Пол: Мужской
    • Мебель Старина

Оффлайн Dan4ukoneАвтор темы

  • Старожил
  • ****
Здравствуйте! сильно не пинайте)
Правильно ли я все сделал:

1. .htaccess

RewriteEngine On
RewriteBase /
# Fix Apache internal dummy connections from breaking [(site_url)] cache
RewriteCond %{HTTP_USER_AGENT} ^.*internal\ dummy\ connection.*$ [NC]
RewriteRule .* - [F,L]

# Exclude /assets and /manager directories and images from rewrite rules
RewriteRule ^(manager|assets)/*$ - [L]
RewriteRule \.(jpg|jpeg|png|gif|ico)$ - [L]

# For Friendly URLs
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^(.*)$ index.php?q=$1 [L,QSA]

Options +FollowSymLinks

RewriteEngine On
RewriteCond %{HTTP_HOST} ^starina-mebel.ru [NC]
RewriteRule ^(.*)$ http://www.starina-mebel.ru/$1 [L,R=301]

2. robots.txt

# Default modx exclusions
User-agent: *
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/   
Host: starina-mebel.ru
Sitemap: http://starina-mebel.ru/sitemap.xml

User-agent: Yandex
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/


# For sitemaps.xml autodiscovery. Uncomment if you have one:
# Sitemap: http://example.com/sitemap.xml


только запутался полностью с редиректом, мне нужно что бы сайт был без www
« Последнее редактирование: 11-08-2014, 18:58:07 от Dan4ukone »


Оффлайн DOleg

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 746
  • Сообщений: 1307
  • Карма: 84
  • Пол: Мужской
  • Награды КМС поисковой оптимизации

Оффлайн DOleg

  • Ветеран
  • *****
Host и Sitemap  указываются для Яндекса, а не для всех.

мне нужно что бы сайт был без www

Тогда две последние строки в htaccess будут:

Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.

Оффлайн Dan4ukoneАвтор темы

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 109
  • Сообщений: 313
  • Карма: 31
  • Пол: Мужской
    • Мебель Старина

Оффлайн Dan4ukoneАвтор темы

  • Старожил
  • ****
Host и Sitemap  указываются для Яндекса, а не для всех.

Тогда две последние строки в htaccess будут:

Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.

Когда так прописал, яндекс в вебмастере не загружает роботс с сайта

Добавлено: 12-08-2014, 18:33:38

Спасибо за помощь, все настроил.
« Последнее редактирование: 12-08-2014, 18:33:38 от Dan4ukone »


 

Похожие темы

  Тема / Автор Ответов Последний ответ
38 Ответов
10649 Просмотров
Последний ответ 30-11-2010, 14:11:42
от SeoBrabus
18 Ответов
6838 Просмотров
Последний ответ 03-06-2013, 00:10:20
от Destroy
0 Ответов
936 Просмотров
Последний ответ 27-06-2016, 13:06:02
от vmaster36
2 Ответов
1087 Просмотров
Последний ответ 22-11-2016, 01:05:08
от ProtectYourSite
1 Ответов
641 Просмотров
Последний ответ 16-09-2018, 07:51:07
от vold57