Помогите прописать robots.txt

[kewa]

Сайт на ворд пресс

Ссылка на карту сайта - http://dishupravoslaviem.ru/sitemap_index.xml

Вопрос в том что прописать в robots.txt

в Sitemap нужно прописать ссылку с разрешением gz. Не могу найти ссылку на моем сайте, буду рад за совет.

[Sky-fi]

в Sitemap нужно прописать ссылку с разрешением gz.

Зачем? У вас приписан путь к карте.

Рекомендую для гугла добавить разрешение на индексирование скриптов и стилей.

Вот такой набор добавьте:

Код Выделить Развернуть

User-agent: Googlebot
Allow: *.css
Allow: *.js
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: */trackback
Disallow: */feed
Disallow: /*?
Disallow: /tag


[Вадим Костин]

Зачем? У вас приписан путь к карте.

Рекомендую для гугла добавить разрешение на индексирование скриптов и стилей.

Вот такой набор добавьте:

Код Выделить Развернуть

User-agent: Googlebot
Allow: *.css
Allow: *.js
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: */trackback
Disallow: */feed
Disallow: /*?
Disallow: /tag


Зачем? У вас приписан путь к карте.

Рекомендую для гугла добавить разрешение на индексирование скриптов и стилей.

Вот такой набор добавьте:

Код Выделить Развернуть

User-agent: Googlebot
Allow: *.css
Allow: *.js
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: */trackback
Disallow: */feed
Disallow: /*?
Disallow: /tag


Мне кажется  правильней будет если Вы хотите добавить разрешение на индексирование скриптов и стилей:

User-agent: Googlebot
Allow: /*.css
Allow: /*.js
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: */trackback
Disallow: */feed
Disallow: /*?
Disallow: /tag

[Sky-fi]

Мне кажется  правильней будет если Вы хотите добавить разрешение на индексирование скриптов и стилей

Работать будет так и так. Но слэш для каталогов предназначен, а файлы вполне можно со звездочки прописывать.

[Внучок]

Подскажите, если я хочу чтобы Гугл индексировал конкретный файл .js и CSS, правильно ли будет прописать в robots.txt
Allow: /templates/yoo_master2/css/theme.css
Allow: /templates/yoo_master2/js/theme.js

[Sky-fi]

правильно ли будет прописать в robots.txt

Скорее да, чем нет)

[Внучок]

Подскажите, если я хочу чтобы Гугл индексировал конкретный файл .js и CSS, правильно ли будет прописать в robots.txt
Allow: /templates/yoo_master2/css/theme.css
Allow: /templates/yoo_master2/js/theme.js

Написал как указано выше, количество заблoкированных страниц в гугл постепенно уменьшается

[Dogica]

спасибо за css и js

Добавлено: 07-01-2016, 16:41:09

а можно подобным способом другие ресурсы прописать?
например у меня ругается гугль на переводчик Яшкин... https://translate.yandex.net

[Внучок]

По поводу переводчика не знаю. Нужно читать рекомендации гугл.

P.S. иконки для списков таким же образом разблoкировал, только указывал не файл, а всю папку целиком.