Проблема с индексацией и файлом Robots, помогите.

Автор Тема: Проблема с индексацией и файлом Robots, помогите.  (Прочитано 2176 раз)

Оффлайн clubeliteusaАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 14
  • Сообщений: 92
  • Карма: 6
    • Просмотр профиля
    • Туры в США, Отдых в США.

Оффлайн clubeliteusaАвтор темы

  • Пользователь
  • **
Здравствуйте, в Googl вебмастере обнаружил что растет количество заблoкированных ресурсов. Как выяснилось это связано с фалом роботс.txt. Гугл сообщает
"Чтобы улучшить индексирование, желательно разрешить обработку этого ресурса." Да я могу добавить данный ресурс в файл роботс, но несколько месяцев назад была таже проблема именно путем добавления в роботс в роботс я ее решил, а сейчас опять и к тому же присутствуют те же самые страницы что и в прошлый раз (не все конечно но есть + новые созданные новости тоже вошли в этот список) в чем дело? я  не понимаю. Подскажите что не так.

За любую полезную инфу по теме кликну на спасибо!
« Последнее редактирование: 09-05-2016, 02:55:38 от clubeliteusa »


Оффлайн Krokodilchik

  • Бизнес оценка: (1, 100%)
  • Постоялец
  • ***
  • СПАСИБО: 53
  • Сообщений: 189
  • Карма: 5
    • Просмотр профиля
    • Информационный портал о натяжных потолках

Оффлайн Krokodilchik

  • Постоялец
  • ***
что-нибудь подобное в роботс есть?
Disallow: /*?   #   #   #все ссылки которые содержат этот знак не индексируются
Disallow: /*%   #   #   #все ссылки которые содержат этот знак не индексируются !
Disallow: /*&    #   #   #все ссылки которые содержат этот знак не индексируются !

блокируются не страницы, а ресурсы на них

Оффлайн clubeliteusaАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 14
  • Сообщений: 92
  • Карма: 6
    • Просмотр профиля
    • Туры в США, Отдых в США.

Оффлайн clubeliteusaАвтор темы

  • Пользователь
  • **
Конечно есть, wp-admin, почемуто некоторые новости идут через вп админ

Оффлайн Krokodilchik

  • Бизнес оценка: (1, 100%)
  • Постоялец
  • ***
  • СПАСИБО: 53
  • Сообщений: 189
  • Карма: 5
    • Просмотр профиля
    • Информационный портал о натяжных потолках

Оффлайн Krokodilchik

  • Постоялец
  • ***
роботс скопируйте сюда

Оффлайн hammer8

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 3
  • Сообщений: 52
  • Карма: 2
  • Пол: Мужской
  • Награды SEO-специалист
    • Просмотр профиля

Оффлайн hammer8

  • Пользователь
  • **
clubeliteusa, Кроме роботса, еще сделайте скрин из админки Настройки - Постоянные ссылки.


Оффлайн clubeliteusaАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 14
  • Сообщений: 92
  • Карма: 6
    • Просмотр профиля
    • Туры в США, Отдых в США.

Оффлайн clubeliteusaАвтор темы

  • Пользователь
  • **
Вот роботс.  Значения где много цифр мне пришлось вносить в  исключения иначе не индексируются нововсти

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /xmlrpc.php

allow: /wp-includes/js/
allow: /wp-includes/images/
allow: /wp-admin/admin-ajax.php?0.7861164330970496
allow: /wp-admin/admin-ajax.php?0.6426680667791516
allow: /wp-admin/admin-ajax.php?0.2959865420125425
allow: /wp-admin/admin-ajax.php?0.7751337876543403
allow: /wp-admin/admin-ajax.php?0.7066596569493413
allow: /wp-admin/admin-ajax.php?0.7372368390206248

Мешает индексированию wp-admin несколько месяцев назад я добавил
allow: /wp-admin/admin-ajax.php?0.7861164330970496
allow: /wp-admin/admin-ajax.php?0.6426680667791516
allow: /wp-admin/admin-ajax.php?0.2959865420125425
а сейчас пришлось
 allow: /wp-admin/admin-ajax.php?0.7751337876543403
allow: /wp-admin/admin-ajax.php?0.7066596569493413
allow: /wp-admin/admin-ajax.php?0.7372368390206248
« Последнее редактирование: 09-05-2016, 16:15:09 от clubeliteusa »

Оффлайн Krokodilchik

  • Бизнес оценка: (1, 100%)
  • Постоялец
  • ***
  • СПАСИБО: 53
  • Сообщений: 189
  • Карма: 5
    • Просмотр профиля
    • Информационный портал о натяжных потолках

Оффлайн Krokodilchik

  • Постоялец
  • ***
а что это за файлы вообще?
/wp-admin/admin-ajax.php?0.7751337876543403

Оффлайн clubeliteusaАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 14
  • Сообщений: 92
  • Карма: 6
    • Просмотр профиля
    • Туры в США, Отдых в США.

Оффлайн clubeliteusaАвтор темы

  • Пользователь
  • **
посмотри на скрин там сам гугл вебмастер говорит что его нужно добавить чтобы данная ссылка идексировалась.
Если ее нету то он выделяет красным wp-admin и ссылки не проходят, когда ее добавляю все ок становится.
Вот прошлый раз 3 добавил и сейчас опять 3 возникли
в том и дело что сам не знаю с чего это всё)

Добавлено: 09-05-2016, 17:00:14

clubeliteusa, Кроме роботса, еще сделайте скрин из админки Настройки - Постоянные ссылки.
« Последнее редактирование: 09-05-2016, 17:00:15 от clubeliteusa »

Оффлайн Krokodilchik

  • Бизнес оценка: (1, 100%)
  • Постоялец
  • ***
  • СПАСИБО: 53
  • Сообщений: 189
  • Карма: 5
    • Просмотр профиля
    • Информационный портал о натяжных потолках

Оффлайн Krokodilchik

  • Постоялец
  • ***
можно так сделать
allow: /wp-admin/admin-ajax.php?*

звездочка - любое количество любых символов


Оффлайн clubeliteusaАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 14
  • Сообщений: 92
  • Карма: 6
    • Просмотр профиля
    • Туры в США, Отдых в США.

Оффлайн clubeliteusaАвтор темы

  • Пользователь
  • **
А почему это происходит не подскажите?


 

Похожие темы

  Тема / Автор Ответов Последний ответ
1 Ответов
1008 Просмотров
Последний ответ 15-05-2012, 20:30:24
от motosimak
16 Ответов
3436 Просмотров
Последний ответ 24-08-2012, 22:18:24
от remind4me
0 Ответов
632 Просмотров
Последний ответ 16-03-2014, 14:35:40
от voltermaher
0 Ответов
376 Просмотров
Последний ответ 25-01-2016, 10:45:20
от hameleon445
0 Ответов
351 Просмотров
Последний ответ 13-10-2016, 13:30:32
от Valeriy31