Файл robots.txt

Автор Тема: Файл robots.txt  (Прочитано 6877 раз)

Оффлайн Sky-fi

  • Глобальный модератор
  • Бизнес оценка: (9, 100%)
  • *****
  • СПАСИБО: 3778
  • Сообщений: 5398
  • Карма: 333
  • Пол: Мужской
  • Раскрутка сайтов
  • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
    • Частный SEO оптимизатор Sky-fi

Оффлайн Sky-fi

  • Глобальный модератор
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 3778
    • Сообщений: 5398
    • Карма: 333
    • Пол: Мужской
    • Раскрутка сайтов
    • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
      • Частный SEO оптимизатор Sky-fi
Re: Файл robots.txt
« Ответ #10 : 23-08-2015, 16:59:30 »
Да, так. А что это такое? В стандартном роботсе такого нет, если я не ошибаюсь:
Disallow: /template.html


Оффлайн ЮджинАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 1
  • Сообщений: 22
  • Карма: 1

Оффлайн ЮджинАвтор темы

  • Рекрут
  • *
Re: Файл robots.txt
« Ответ #11 : 23-08-2015, 23:03:11 »
Да, так. А что это такое? В стандартном роботсе такого нет, если я не ошибаюсь:
Disallow: /template.html

Если честно,я не знаю.Мне сайт человек один сделал,а потом пропал.Подозреваю,что в составлении robots.txt он разбирается ненамного лучше меня.Теперь вот сам пытаюсь разобраться.У меня вообще мысль есть все папки и файлы в корне запретить к индексации,например вот так:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /webstat
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /.htaccess
Disallow: /index.php
Disallow: /testmail.php
Disallow: /wp-activate.php
Disallow: /wp-blog-header.php
Disallow: /wp-comments-post.php
Disallow: /wp-config-sample.php
Disallow: /wp-cron.php
Disallow: /wp-links-opml.php
Disallow: /wp-load.php
Disallow: /wp-login.php
Disallow: /wp-mail.php
Disallow: /wp-settings.php
Disallow: /wp-signup.php
Disallow: /wp-trackback.php
Disallow: /xmlrpc.php
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

User-Agent: Yandex
Allow: /wp-content/uploads/
Disallow: /cgi-bin
Disallow: /webstat
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /.htaccess
Disallow: /index.php
Disallow: /testmail.php
Disallow: /wp-activate.php
Disallow: /wp-blog-header.php
Disallow: /wp-comments-post.php
Disallow: /wp-config-sample.php
Disallow: /wp-cron.php
Disallow: /wp-links-opml.php
Disallow: /wp-load.php
Disallow: /wp-login.php
Disallow: /wp-mail.php
Disallow: /wp-settings.php
Disallow: /wp-signup.php
Disallow: /wp-trackback.php
Disallow: /xmlrpc.php
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Но я подозреваю,что некоторые файлы здесь не на своём месте,а некоторые просто нужно удалить.Файлы readme и license я уже удалил.И такой ещё вопрос -если файл wp-config.php находится не в корне,а в предыдущем уровне(не знаю как точно сказать,на каталог выше,что ли)-это нормально?

Оффлайн Sky-fi

  • Глобальный модератор
  • Бизнес оценка: (9, 100%)
  • *****
  • СПАСИБО: 3778
  • Сообщений: 5398
  • Карма: 333
  • Пол: Мужской
  • Раскрутка сайтов
  • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
    • Частный SEO оптимизатор Sky-fi

Оффлайн Sky-fi

  • Глобальный модератор
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 3778
    • Сообщений: 5398
    • Карма: 333
    • Пол: Мужской
    • Раскрутка сайтов
    • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
      • Частный SEO оптимизатор Sky-fi
Re: Файл robots.txt
« Ответ #12 : 24-08-2015, 03:00:18 »
Юджин, почитайте вот тут, я писал статью как раз на тему роботса. У вас некоторые директивы в данном роботсе доходят до абсурда, например, "Disallow: /.htaccess". Неужели вы думаете, что ПСы закинут ваш хтаксесс в индекс?
P.S. Для того, чтобы форумчанам было удобнее читать то, что вы пишете, большое кол-во строк второстепенной инфы (вроде содержимого роботса)рекомендую скрывать под спойлер,
(нажмите чтобы показать/скрыть)

Оффлайн ЮджинАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 1
  • Сообщений: 22
  • Карма: 1

Оффлайн ЮджинАвтор темы

  • Рекрут
  • *
Re: Файл robots.txt
« Ответ #13 : 25-08-2015, 22:56:15 »
Неужели вы думаете, что ПСы закинут ваш хтаксесс в индекс?

Нет,я просто хотел по незнанию облегчить жизнь роботу,чтоб он не тратил время на просмотр этого файла.Теперь я понял,что даже закрытые от индексации файлы робот просматривает,но не индексирует.А  файлы с точкой вначале вообще не видит.Так пишут.Спасибо за участие. А строку Disallow: /template.html  видел в нескольких статьях по роботсу.Для чего она ума не приложу.
А в целом вышеприведенный роботс,за исключением .htaccess  нормальный?

Оффлайн Старый

  • Бизнес оценка: (9, 100%)
  • Мастер
  • *****
  • СПАСИБО: 1707
  • Сообщений: 5536
  • Карма: 159
  • Ищу работу постоянную, удалённую с окладом.
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации

Оффлайн Старый

  • Мастер
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 1707
    • Сообщений: 5536
    • Карма: 159
    • Ищу работу постоянную, удалённую с окладом.
    • Награды Более одной тысячи спасибо КМС поисковой оптимизации
Re: Файл robots.txt
« Ответ #14 : 25-08-2015, 23:03:57 »
А  файлы с точкой вначале вообще не видит.Так пишут.

Именно так. Потому что это системные файлы.  :)


Оффлайн SeoKrug

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 7
  • Сообщений: 47
  • Карма: 1

Оффлайн SeoKrug

  • Рекрут
  • *
Re: Файл robots.txt
« Ответ #15 : 05-09-2015, 02:03:18 »
умники, как в выдаче гугл есть документы, запрещенные в robots.txt? могу объяснить, но прежде вчитывайтесь в мои посты

Оффлайн Sky-fi

  • Глобальный модератор
  • Бизнес оценка: (9, 100%)
  • *****
  • СПАСИБО: 3778
  • Сообщений: 5398
  • Карма: 333
  • Пол: Мужской
  • Раскрутка сайтов
  • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
    • Частный SEO оптимизатор Sky-fi

Оффлайн Sky-fi

  • Глобальный модератор
  • *****
  • Доп. информация
    • Бизнес оценка: (9, 100%)
    • СПАСИБО: 3778
    • Сообщений: 5398
    • Карма: 333
    • Пол: Мужской
    • Раскрутка сайтов
    • Награды Мастер поисковой оптимизации Более одной тысячи спасибо
      • Частный SEO оптимизатор Sky-fi
Re: Файл robots.txt
« Ответ #16 : 05-09-2015, 03:29:33 »
SeoKrug, вам стоит вести себя вежливее.

Как прописать ноиндекс для /wp-includes, например, а? Или как прописать для фильтров в магазине? И т. п.


 

Похожие темы

  Тема / Автор Ответов Последний ответ
1 Ответов
2411 Просмотров
Последний ответ 04-02-2012, 15:01:12
от NeSeo
3 Ответов
1281 Просмотров
Последний ответ 03-06-2014, 17:35:26
от vold57
1 Ответов
752 Просмотров
Последний ответ 12-07-2016, 13:21:07
от davidExl
2 Ответов
694 Просмотров
Последний ответ 20-08-2016, 21:57:49
от Старый
5 Ответов
722 Просмотров
Последний ответ 31-08-2016, 10:19:01
от Google-master