Topkits.Ru - сервис аудита сайта, поиск полных и частичных дублей

« предыдущая тема следующая тема »
Страниц: 1 [2]   Вниз

Автор Тема: Topkits.Ru - сервис аудита сайта, поиск полных и частичных дублей  (Прочитано 3220 раз)

Оффлайн Yama

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 198
  • Сообщений: 470
  • Карма: 15
    • Товары для охоты и рыбалки

Оффлайн Yama

  • Старожил
  • ****
Re: Topkits.Ru - сервис аудита сайта, поиск полных и частичных дублей
« Ответ #10 : 28-06-2017, 10:31:59 »
Цитата: sergeyzhdan от 28-06-2017, 00:48:09
Чтобы отказаться от сканирования определенных директорий или страниц,  можно использовать директиву Disallow в robots.txt и тег <meta name=“robots” content=“nofollow”>.
Странное предложение, в платном парсере должна быть эта функция по умолчанию. Дать указание парсить только статичные страницы .html - это сложно?   
Записан

Оффлайн sergeyzhdanАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 2
  • Сообщений: 6
  • Карма: 1

Оффлайн sergeyzhdanАвтор темы

  • Дебютант
  • *
Re: Topkits.Ru - сервис аудита сайта, поиск полных и частичных дублей
« Ответ #11 : 28-06-2017, 11:11:03 »
Цитата: Yama от 28-06-2017, 10:31:59
Дать указание парсить только статичные страницы .html - это сложно?
Сделаем.
Записан

Оффлайн tartaren

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 145
  • Сообщений: 464
  • Карма: 10
  • Награды SEO-специалист

Оффлайн tartaren

  • Старожил
  • ****
Re: Topkits.Ru - сервис аудита сайта, поиск полных и частичных дублей
« Ответ #12 : 01-08-2017, 15:12:29 »
Сейчас заметил. Программа не видит букву "ё", думаю это нужная буква. Решил что это я очепятался, её не показало во фрагменте текста (частичные дубли), ан нет на сайте всё нормально.
Записан
Страниц: 1 [2]   Вверх
« предыдущая тема следующая тема »
 

Похожие темы