Файл robots.txt

Автор Тема: Файл robots.txt  (Прочитано 6697 раз)

Оффлайн ЮджинАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 1
  • Сообщений: 22
  • Карма: 1
    • Просмотр профиля

Оффлайн ЮджинАвтор темы

  • Рекрут
  • *
Файл robots.txt
« : 21-08-2015, 00:21:49 »
Добрый день,пытаюсь усовершенствовать сайт-слишком много страниц загружено.Имеется такой файл:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

Host: site.ru
Sitemap: http://site.ru/sitemap.xml
 
Хочу сделать так:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /

Host: site.ru
Sitemap: http://site.ru/sitemap.xml


Подскажите,так лучше или по фиг?
Сайт по продаже услуг,посетителю нужен только контент.Записи и FAQ есть,но в будущем хочу их переделать в простые страницы.


Оффлайн SEO_MONSTR

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 2
  • Сообщений: 28
  • Карма: 0
  • Пол: Мужской
    • Просмотр профиля

Оффлайн SEO_MONSTR

  • Рекрут
  • *
Re: Файл robots.txt
« Ответ #1 : 21-08-2015, 00:27:56 »
Если хочешь перекрыть все страницы от индекса то делай. По роботсу видно сайт на воркпрессе. Смотри там проблема с гуглом если не делать Allow: /wp-content/uploads/ для него. Вот сделай так:

User-Agent: *
Disallow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

User-Agent: Googlebot
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?

User-Agent: Yandex
Disallow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?

Оффлайн Старый

  • Бизнес оценка: (9, 100%)
  • Мастер
  • *****
  • СПАСИБО: 1703
  • Сообщений: 5526
  • Карма: 159
  • Ищу работу постоянную, удалённую с окладом.
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации
    • Просмотр профиля

Оффлайн Старый

  • Мастер
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 1703
    • Сообщений: 5526
    • Карма: 159
    • Ищу работу постоянную, удалённую с окладом.
    • Награды Более одной тысячи спасибо КМС поисковой оптимизации
      • Просмотр профиля
Re: Файл robots.txt
« Ответ #2 : 21-08-2015, 00:30:32 »
Хочу сделать так:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /
User-Agent: * - всем роботам
Allow: /wp-content/uploads/ - можно сканировать /wp-content/uploads/
Disallow: / - нельзя сканировать ничего

Оффлайн ЮджинАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 1
  • Сообщений: 22
  • Карма: 1
    • Просмотр профиля

Оффлайн ЮджинАвтор темы

  • Рекрут
  • *
Re: Файл robots.txt
« Ответ #3 : 21-08-2015, 01:43:22 »
Смотри там проблема с гуглом если не делать Allow: /wp-content/uploads/ для него. Вот сделай так:
Получается для всех кроме гугла  /wp-content/uploads/ будет закрыт для индексации?
Я попытаюсь если получится изначально сформулировать мою цель.Я хочу закрыть от индексации всё кроме страниц сайта с предложением услуг имеющих вид сайт.ру/страница и сайт.ру/родительская страница/страница.На сайте 76 страниц , 9 FAQ,6 записей,2 рубрики и одна метка.Рубрики и метка закрыты роботом.Итого годных 91 страница.Несколько страниц выпали из индекса,несколько новых ещё не проиндексированы.В индексе яндекса 84 страницы.Загружено же 175, из них 58 исключены роботом,причём только 4 запрещены в роботс.тхт. 175-58=117   117-84=33 Что это за 33 страницы,и где они болтаются не пойму. С гуглом почти то же самое,роботс.тхт сейчас блокирует 4 страницы,а ещё 2 месяца назад блoкировал 94.Подозреваю проблемы в файле  robots.txt. Вот и хочу всё закрыть,кроме страниц с услугами.

Оффлайн SeoKrug

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 7
  • Сообщений: 47
  • Карма: 1
    • Просмотр профиля

Оффлайн SeoKrug

  • Рекрут
  • *
Re: Файл robots.txt
« Ответ #4 : 22-08-2015, 22:10:33 »
гуглу пофинг на robots.txt, документы все равно будут в индексе. Для удаления нежелательных документов с индекса гугл их нужно открыть для гула в robots.txt  и запретить индексирование на уровне meta, подробнее - в хелпе гугла https://support.google.com/webmasters/answer/93710?hl=ru


Оффлайн Старый

  • Бизнес оценка: (9, 100%)
  • Мастер
  • *****
  • СПАСИБО: 1703
  • Сообщений: 5526
  • Карма: 159
  • Ищу работу постоянную, удалённую с окладом.
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации
    • Просмотр профиля

Оффлайн Старый

  • Мастер
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 1703
    • Сообщений: 5526
    • Карма: 159
    • Ищу работу постоянную, удалённую с окладом.
    • Награды Более одной тысячи спасибо КМС поисковой оптимизации
      • Просмотр профиля
Re: Файл robots.txt
« Ответ #5 : 22-08-2015, 23:21:20 »
гуглу пофинг на robots.txt

Не говорите ерунду. Пару недель назад была рассылка от Гоши, что нет доступа к JS и CSS с просьбой открыть для индексации. Значит robots.txt имеет значение.

Оффлайн Sky-fi

  • Глобальный модератор
  • Бизнес оценка: (9, 100%)
  • *****
  • СПАСИБО: 3778
  • Сообщений: 5397
  • Карма: 333
  • Пол: Мужской
  • Раскрутка сайтов
  • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
    • Просмотр профиля
    • Частный SEO оптимизатор Sky-fi

Оффлайн Sky-fi

  • Глобальный модератор
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 3778
    • Сообщений: 5397
    • Карма: 333
    • Пол: Мужской
    • Раскрутка сайтов
    • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
      • Просмотр профиля
      • Частный SEO оптимизатор Sky-fi
Re: Файл robots.txt
« Ответ #6 : 23-08-2015, 01:23:35 »
robots.txt имеет значение

Более того. У нас здесь регулярно попадаются топики, почему сайт не в индексе, или его отдельные страницы, причем создают их даже опытные вебмастера. Очень часто оказывается, что трабла в роботсе.  Например, запретил что-то вроде Disallow: /*s, и все страницы, содержащие "s" в урле, выпали из индекса. А директива Disallow: / куда посерьезнее.

Добавлено: 23-08-2015, 01:28:23

Получается для всех кроме гугла  /wp-content/uploads/ будет закрыт для индексации?

Гугл тут вообще не при чем - вы запрещаете сканировать сайт всем ботам,  в результате только картинки в поиске будут.
И директива Host ТОЛЬКО для Яндекса, соответственно, ее надо прописывать в наборе директив для Яндекса.
Могу посоветовать ничего не трогать, только исправить хост, как я написал.
« Последнее редактирование: 23-08-2015, 01:28:23 от Sky-fi »

Оффлайн ЮджинАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 1
  • Сообщений: 22
  • Карма: 1
    • Просмотр профиля

Оффлайн ЮджинАвтор темы

  • Рекрут
  • *
Re: Файл robots.txt
« Ответ #7 : 23-08-2015, 02:38:43 »
Могу посоветовать ничего не трогать, только исправить хост, как я написал.
то есть так?
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

User-Agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Оффлайн Sky-fi

  • Глобальный модератор
  • Бизнес оценка: (9, 100%)
  • *****
  • СПАСИБО: 3778
  • Сообщений: 5397
  • Карма: 333
  • Пол: Мужской
  • Раскрутка сайтов
  • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
    • Просмотр профиля
    • Частный SEO оптимизатор Sky-fi

Оффлайн Sky-fi

  • Глобальный модератор
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 3778
    • Сообщений: 5397
    • Карма: 333
    • Пол: Мужской
    • Раскрутка сайтов
    • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
      • Просмотр профиля
      • Частный SEO оптимизатор Sky-fi
Re: Файл robots.txt
« Ответ #8 : 23-08-2015, 10:07:51 »
то есть так?
Хост вы опять написали как междусекционную директиву. Ее необходимо поместить после правил для Яндекса.


Оффлайн ЮджинАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 1
  • Сообщений: 22
  • Карма: 1
    • Просмотр профиля

Оффлайн ЮджинАвтор темы

  • Рекрут
  • *
Re: Файл robots.txt
« Ответ #9 : 23-08-2015, 13:10:51 »
Хост вы опять написали как междусекционную директиву. Ее необходимо поместить после правил для Яндекса.

то есть так?
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

User-Agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: site.ru

Sitemap: http://site.ru/sitemap.xml


 

Похожие темы

  Тема / Автор Ответов Последний ответ
1 Ответов
2375 Просмотров
Последний ответ 04-02-2012, 15:01:12
от NeSeo
3 Ответов
1265 Просмотров
Последний ответ 03-06-2014, 17:35:26
от vold57
1 Ответов
739 Просмотров
Последний ответ 12-07-2016, 13:21:07
от davidExl
2 Ответов
681 Просмотров
Последний ответ 20-08-2016, 21:57:49
от Старый
5 Ответов
703 Просмотров
Последний ответ 31-08-2016, 10:19:01
от Google-master