подскажите как правильно настроить Файл Robots.txt

Автор Тема: подскажите как правильно настроить Файл Robots.txt  (Прочитано 3377 раз)

Оффлайн teplovizionАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 15
  • Сообщений: 143
  • Карма: 2
  • Пол: Мужской
    • Просмотр профиля
    • http://www.teplovizion.by/

Оффлайн teplovizionАвтор темы

  • Постоялец
  • ***
подскажите  как  правильно  настроить  Файл Robots.txt
 

Сейчас  по  факту
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: /xmlrpc.php
Disallow: */feed
Disallow: */author
 
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
User-agent: YandexImages
Allow: /wp-content/uploads/

Host: www.teplovizion.by
Sitemap: http://www.teplovizion.by/sitemap.xml

Закрыты от индексации фотографии. Как  снять запрет на папку «uploads»???


Увидим невидимое  teplovizion.by


Онлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 4659
  • Сообщений: 6237
  • Карма: 262
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • Просмотр профиля
    • SEO, интернет-маркетинг, сайостроение

Онлайн vold57

  • Мастер
  • *****
Пропишите Allow: /wp-content/uploads/ в общем блоке User-agent: *.

Оффлайн Coder

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 558
  • Сообщений: 847
  • Карма: 45
  • Пол: Мужской
  • Qui dicit eam omnia
    • Просмотр профиля
    • Coder hol es

Оффлайн Coder

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 558
    • Сообщений: 847
    • Карма: 45
    • Пол: Мужской
    • Qui dicit eam omnia
      • Просмотр профиля
      • Coder hol es
как  правильно  настроить  Файл Robots.txt
Файл robots.txt: правильный пример на WordPress для Яндекса и Google _http://wpnew.ru/raskrutka-bloga/seo_optimizaciya/fajl-robots-txt-pravilnyj-primer-na-wordpress-dlya-yandeksa.html


Оффлайн Seorator

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 8
  • Сообщений: 30
  • Карма: 3
  • Пол: Мужской
  • Оптимизатор
    • Просмотр профиля

Оффлайн Seorator

  • Рекрут
  • *
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 8
    • Сообщений: 30
    • Карма: 3
    • Пол: Мужской
    • Оптимизатор
      • Просмотр профиля
Я смотрю прямо распространенная проблема с этим Robots.txt.
Хоть пиши ликбез.

Краткая инструкция:
* - любые символы.
User-agent: * - для любого бота (либо пишем имя бота), список имен можно взять у Деваки https://devaka.ru/articles/list-of-search-bots
Allow: - открыть для индексации (далее пишем путь без имени домена и начиная со слеша)
Disallow: - закрыть для индексации (звездочкка - любые символы)
Host: www.имя_домена (указываем основное зеркало с  www или без  www, можно указать другой домен)
Sitemap: http://www.имя_домена/sitemap.xml

Больше там ничего вам мудрить не нужно.

Примеры.

Нужно закрыть от индексации:
1. админку
2. форму авторизации
3. страницу регистрации


Делаем примерно так:
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-login.php
Disallow: /wp-register.php

Но можно и проще:
Disallow: /wp-*

Нужно закрыть от идексации:

1. Лишние теги

Disallow: */author
Disallow: */trackback/
Disallow: */page/*
Disallow: */tag/*

2. Ленту (чтобы не было дублей текста)

Disallow: */feed

Не нужно мудрить:
Disallow: */feed                                           
Disallow: /feed/
Disallow: /?feed=
Disallow: */*/feed
Disallow: */*/feed/*/
Вы же понимаете, что данные "универсальные инструкции" пишут сео-блогеры «чайники» для таких же «чайников»? А если понимаете, что это абсурд, то просто посмотрите путь к вашему фиду и оставьте одну инструкцию.
А путь у вас (если не мудрили): http://имя_домена/feed  Значит, инструкции Disallow: */feed  вполне достаточно.

3. Поиск по сайту
Disallow: *?s=*
Disallow: /*search*

4. Служебные страницы:
Disallow: /xmlrpc.php

5. Определенную страницу (указываем путь к странице)
Disallow: /рубрика/раздел/страница

Если нужно открыть для индексации (например папку загрузки)
Allow: /wp-content/uploads/
« Последнее редактирование: 07-10-2017, 15:51:52 от Seorator »

Оффлайн Alina T

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 5
  • Сообщений: 25
  • Карма: 1
  • Пол: Женский
    • Просмотр профиля
    • Уроки маникюра

Оффлайн Alina T

  • Рекрут
  • *
Доброе время суток! Вопрос по теме. У меня на вебмастере вот такое сообщение:"Для корректного определения главного зеркала сайта рекомендуется задать соответствующую директиву Host в файлах robots.txt всех зеркал сайта. В случае ее отсутствия главное зеркало может быть выбрано автоматически" Как вы думаете, что лучше, подождать или создать???


Оффлайн zanuda

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 435
  • Сообщений: 1432
  • Карма: 47
    • Просмотр профиля

Оффлайн zanuda

  • Ветеран
  • *****
У вас автоматом перекидывает на без www, так что должно быть нормально. Но ели хостер грозится, то пропишите дирктиву...

Оффлайн Alina T

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 5
  • Сообщений: 25
  • Карма: 1
  • Пол: Женский
    • Просмотр профиля
    • Уроки маникюра

Оффлайн Alina T

  • Рекрут
  • *
Он особо не грозится. Сообщение в "Возможные проблемы". Так, что наверное, лучше подождать, чем накосячить???

Онлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 4659
  • Сообщений: 6237
  • Карма: 262
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • Просмотр профиля
    • SEO, интернет-маркетинг, сайостроение

Онлайн vold57

  • Мастер
  • *****
Alina T, в индексе Яндекса и Гугла с вашего сайта страницы без www.
Насчет хостера не понял, что значит не особо грозится? То есть все таки грозится? Чем? 
« Последнее редактирование: 09-10-2017, 19:59:39 от vold57 »

Оффлайн Alina T

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 5
  • Сообщений: 25
  • Карма: 1
  • Пол: Женский
    • Просмотр профиля
    • Уроки маникюра

Оффлайн Alina T

  • Рекрут
  • *
vold57, это плохо??? Вы советуете это срочно исправить? Если так то буду стараться, хоть и очень хочется, в первую очередь, заняться "сонником". Как я уже говорила я в таких вопросах мало, что понимаю, и в основном, пользуюсь методом научного тыка. Я  просто попробовала сделать сайт и это увлекло. Теперь хочется создать что то по настоящему стоящее.


Онлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 4659
  • Сообщений: 6237
  • Карма: 262
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • Просмотр профиля
    • SEO, интернет-маркетинг, сайостроение

Онлайн vold57

  • Мастер
  • *****
vold57, это плохо??? Вы советуете это срочно исправить?
Это неплохо. В индексе и должна быть одна версия сайта - либо с www, либо без. Это к тому, что ПС уже выбрали главное зеркало. Ну вы еще подтвердите в robots.txt
Host: um22.ru

В search console Гугла тоже укажите на главное зеркало. Ну это если у вас есть аккаунт.)))



 

Похожие темы

  Тема / Автор Ответов Последний ответ
1 Ответов
2057 Просмотров
Последний ответ 04-02-2012, 15:01:12
от NeSeo
3 Ответов
1065 Просмотров
Последний ответ 03-06-2014, 17:35:26
от vold57
16 Ответов
4974 Просмотров
Последний ответ 05-09-2015, 03:29:33
от Sky-fi
1 Ответов
509 Просмотров
Последний ответ 12-07-2016, 13:21:07
от davidExl
5 Ответов
528 Просмотров
Последний ответ 31-08-2016, 10:19:01
от Google-master