Ошибки, часто встречающиеся в файле robots.txt

Автор Тема: Ошибки, часто встречающиеся в файле robots.txt  (Прочитано 29629 раз)

Онлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5254
  • Сообщений: 7244
  • Карма: 287
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • SEO, интернет-маркетинг, сайостроение

Онлайн vold57

  • Мастер
  • *****
работает, все зависит от потребности
Спасибо за новость. 8)


Оффлайн aleksohotnik

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 2
  • Карма: 0
  • Пол: Мужской
  • Всем добра
    • WMG

Оффлайн aleksohotnik

  • Дебютант
  • *
newbielink:http://webmarketinggroup.ru/services/razrabotka-saytov [nonactive]

Оффлайн lionzzzmega

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 5
  • Карма: 0

Оффлайн lionzzzmega

  • Дебютант
  • *
Спасибо за такое подробное изложение!

Оффлайн Grafi

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 4
  • Карма: 0

Оффлайн Grafi

  • Дебютант
  • *
Подскажите новичку, почему ПС видят robots.txt вот так:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://cleanklin.by/sitemap.xml

а в корне файл содержит вот это:
User-agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

 

User-agent: Yandex

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Host: https://cleanklin.by
Sitemap: https://cleanklin.by/sitemap.xml

Онлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5254
  • Сообщений: 7244
  • Карма: 287
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • SEO, интернет-маркетинг, сайостроение

Онлайн vold57

  • Мастер
  • *****
В корне у вас - http://prntscr.com/qf8ahd. Возможно у вас есть еще какой-то файл с похожим именем или не совсем в корне.


Оффлайн Grafi

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 4
  • Карма: 0

Оффлайн Grafi

  • Дебютант
  • *
В корне у вас - newbielink:http://prntscr.com/qf8ahd [nonactive]. Возможно у вас есть еще какой-то файл с похожим именем или не совсем в корне.

Да, такой файл не могу найти. Он ведь должен быть robots.txt, а такой файл один и в нем другой код

Онлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5254
  • Сообщений: 7244
  • Карма: 287
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • SEO, интернет-маркетинг, сайостроение

Онлайн vold57

  • Мастер
  • *****
Значит не один. Смотрите в папках на хостинге. Удалите или переименуйте тот файл, который вы считаете, что находится в корне и посмотрим, что изменится.

Оффлайн Grafi

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 4
  • Карма: 0

Оффлайн Grafi

  • Дебютант
  • *
Значит не один. Смотрите в папках на хостинге. Удалите или переименуйте тот файл, который вы считаете, что находится в корне и посмотрим, что изменится.
Спасибо. Буду искать

Оффлайн red-panda

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 0
  • Сообщений: 5
  • Карма: 0
    • Создание сайтов в Ростове

Оффлайн red-panda

  • Дебютант
  • *
Подскажите новичку, почему ПС видят robots.txt вот так:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://cleanklin.by/sitemap.xml

а в корне файл содержит вот это:
User-agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

 

User-agent: Yandex

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /tag

Host: https://cleanklin.by
Sitemap: https://cleanklin.by/sitemap.xml

В каком то плагине сеошном, формируется робот, его и получают ПС. Найдите плагин и настройку в нем файла robots.txt
И его или отключить или записать данные как в том что в корне
newbielink:https://sozdanie-saitov-rostov.ru/sozdanie/sozdanie-sajtov-v-rostove/ [nonactive]


Онлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 5254
  • Сообщений: 7244
  • Карма: 287
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • SEO, интернет-маркетинг, сайостроение

Онлайн vold57

  • Мастер
  • *****
или записать данные как в том что в корне
В корне этот:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php


Нужно его найти на сервере по ФТП и отредактировать.



 

Похожие темы

  Тема / Автор Ответов Последний ответ
5 Ответов
4135 Просмотров
Последний ответ 03-10-2011, 15:40:03
от bumer
5 Ответов
2765 Просмотров
Последний ответ 15-02-2013, 09:35:54
от tureg1
1 Ответов
1763 Просмотров
Последний ответ 25-01-2014, 14:22:39
от Sky-fi
3 Ответов
1774 Просмотров
Последний ответ 18-10-2014, 12:56:10
от DOleg
4 Ответов
2360 Просмотров
Последний ответ 18-12-2015, 18:37:56
от ashifin