Topkits.Ru - сервис аудита сайта, поиск полных и частичных дублей

Автор Тема: Topkits.Ru - сервис аудита сайта, поиск полных и частичных дублей  (Прочитано 3220 раз)

Оффлайн Yama

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 198
  • Сообщений: 470
  • Карма: 15
    • Товары для охоты и рыбалки

Оффлайн Yama

  • Старожил
  • ****
Чтобы отказаться от сканирования определенных директорий или страниц,  можно использовать директиву Disallow в robots.txt и тег <meta name=“robots” content=“nofollow”>.
Странное предложение, в платном парсере должна быть эта функция по умолчанию. Дать указание парсить только статичные страницы .html - это сложно?   


Оффлайн sergeyzhdanАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 2
  • Сообщений: 6
  • Карма: 1

Оффлайн sergeyzhdanАвтор темы

  • Дебютант
  • *
Дать указание парсить только статичные страницы .html - это сложно?
Сделаем.


Оффлайн tartaren

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 145
  • Сообщений: 464
  • Карма: 10
  • Награды SEO-специалист

Оффлайн tartaren

  • Старожил
  • ****
Сейчас заметил. Программа не видит букву "ё", думаю это нужная буква. Решил что это я очепятался, её не показало во фрагменте текста (частичные дубли), ан нет на сайте всё нормально.


 

Похожие темы