Вопрос по robots.txt

Автор Тема: Вопрос по robots.txt  (Прочитано 348 раз)

Оффлайн restraАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 170
  • Сообщений: 555
  • Карма: 19
  • право и обязанность
    • Просмотр профиля
    • рестра

Оффлайн restraАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 170
    • Сообщений: 555
    • Карма: 19
    • право и обязанность
      • Просмотр профиля
      • рестра
Вопрос по robots.txt
« : 29-06-2019, 14:12:46 »
Доброго дня, уважаемые форумчане!
Возник вопрос по настройке robots.txt следующего толка.
Предположим, что в robots.txt запрещен раздел /take методом "Disallow: /take"
Однако, в данный раздел входит пять страниц, которые необходимо открыть для индексации, не меняя директивы "Disallow: /take"
Может ли мета тег <meta name="robots" content="index" /> вывести из под директивы, установленной в robots.txt необходимые для индексации страницы, при этом оставив под запретом остальные страницы директории? Или же придётся включить в файл robots.txt урлы нужных страниц?
Спасибо, надеюсь, удалось понятно изложить суть вопроса.


Оффлайн alexakap

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 111
  • Сообщений: 353
  • Карма: 15
  • Пол: Мужской
    • Просмотр профиля

Оффлайн alexakap

  • Старожил
  • ****
Re: Вопрос по robots.txt
« Ответ #1 : 29-06-2019, 15:28:26 »
html теги не могут отменять правила в robots.txt. Если нужно открыть какие-то страницы, то используйте директиву Allow. Если есть возможность, то для удобства добавьте в урл какую-нибудь директорию типа /open/, тогда урл будет выглядеть как-то так .../take/open/. При этом нужные урлы можно будет открыть одной строкой
Allow: */take/open/*

Оффлайн restraАвтор темы

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 170
  • Сообщений: 555
  • Карма: 19
  • право и обязанность
    • Просмотр профиля
    • рестра

Оффлайн restraАвтор темы

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 170
    • Сообщений: 555
    • Карма: 19
    • право и обязанность
      • Просмотр профиля
      • рестра
Re: Вопрос по robots.txt
« Ответ #2 : 29-06-2019, 17:57:47 »
html теги не могут отменять правила в robots.txt. Если нужно открыть какие-то страницы, то используйте директиву Allow. Если есть возможность, то для удобства добавьте в урл какую-нибудь директорию типа /open/, тогда урл будет выглядеть как-то так .../take/open/. При этом нужные урлы можно будет открыть одной строкой
Allow: */take/open/*
спасибо за ответ, получается, директивы прописанные в robots txt имеют преимущество перед тегами непосредственно в коде страницы?

Оффлайн alexakap

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 111
  • Сообщений: 353
  • Карма: 15
  • Пол: Мужской
    • Просмотр профиля

Оффлайн alexakap

  • Старожил
  • ****
Re: Вопрос по robots.txt
« Ответ #3 : 29-06-2019, 19:00:30 »
спасибо за ответ, получается, директивы прописанные в robots txt имеют преимущество перед тегами непосредственно в коде страницы?

Они не имеют преимущество, а работают по разному с html тегами. Директива Disallow запрещает доступ в странице/директории. Тег <meta name="noindex, follow"..
разрешает доступ, но рекомендует не индексировать страницу, где установлен. Если страница будет закрыта в роботсе, то бот просто не увидит ее содержимое, в т.ч. любые html теги


 

Похожие темы

  Тема / Автор Ответов Последний ответ
2 Ответов
1419 Просмотров
Последний ответ 07-06-2011, 22:13:04
от Andy27
7 Ответов
1974 Просмотров
Последний ответ 11-11-2012, 19:36:00
от DmitriyM
21 Ответов
4553 Просмотров
Последний ответ 06-03-2015, 12:04:54
от Barba Agency
5 Ответов
1071 Просмотров
Последний ответ 21-10-2015, 07:33:59
от Sky-fi
4 Ответов
1189 Просмотров
Последний ответ 23-05-2016, 10:56:54
от troll22