Всё ли в порядке с robots.txt

Автор Тема: Всё ли в порядке с robots.txt  (Прочитано 1111 раз)

Оффлайн ArchyАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 1
  • Сообщений: 35
  • Карма: 0
    • Просмотр профиля

Оффлайн ArchyАвтор темы

  • Рекрут
  • *
Всё ли в порядке с robots.txt
« : 16-06-2017, 11:23:35 »
Друзья, помогите разобраться с таким вопросом...
Есть сайт (на вордпрессе), он какое-то время был на переработке и был закрыт в роботсе disallow /
 А 2 дня назад, я залил такой роботс:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: url этого сайта
Sitemap:

Да, без сайтмапа- его нет просто. Чисто шаблоный роботс.

А вчера заказчик говорит, что сайт не в индексе, я проверил-да!
Вопрос: это за 1 день Гугл ещё не успел переиндексировать сайт  с новым роботсом или я в роботсе что-то напортачил? Нет ли в моём роботсе какой-то директивы, из-за которой сайт выпал из индекса?


Оффлайн Google-master

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 177
  • Сообщений: 281
  • Карма: 61
  • Пол: Мужской
    • Просмотр профиля

Оффлайн Google-master

  • Старожил
  • ****
Re: Всё ли в порядке с robots.txt
« Ответ #1 : 16-06-2017, 12:14:40 »
Чисто шаблоный роботс.
Поэтому и проблем в нём нет.


Вопрос: это за 1 день Гугл ещё не успел переиндексировать сайт  с новым роботсом
Да вы приколист  ;D За 1 день страница обычная в индекс не входит, а вы говорите обо всём сайте. Да, конечно, в Google процесс индексации происходит быстрее, чем в Яндексе, но всё же. Потерпите хотя бы пару недель, а потом уже подобные вопросы задавайте.
САМЫЙ БЫСТРЫЙ ХОСТИНГ! Промокод на скидку 10%: anton-seo

Оффлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 4196
  • Сообщений: 5646
  • Карма: 249
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • Просмотр профиля

Оффлайн vold57

  • Мастер
  • *****
Re: Всё ли в порядке с robots.txt
« Ответ #2 : 16-06-2017, 12:16:32 »
Сайты не индексируются поисковиками за 1 день. Время индексации зависит от того, как скоро ПС увидят ваш новый роботс, от качества сайта, от количества страниц, от самой ПС (Яндекс, Гугл ...).
В роботсе прямо так и прописано - Host: url этого сайта ?

Оффлайн ArchyАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 1
  • Сообщений: 35
  • Карма: 0
    • Просмотр профиля

Оффлайн ArchyАвтор темы

  • Рекрут
  • *
Re: Всё ли в порядке с robots.txt
« Ответ #3 : 16-06-2017, 14:58:57 »
В роботсе прямо так и прописано - Host: url этого сайта ?
Неееет)))) это я не стал реальтный урл на форуме светить ::)

Оффлайн [DiZ]

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 212
  • Сообщений: 985
  • Карма: 29
  • Пол: Мужской
  • Судьба судьбой, а выбор за тобой!
  • Награды SEO-специалист
    • Просмотр профиля
    • Сео в помощь

Оффлайн [DiZ]

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 212
    • Сообщений: 985
    • Карма: 29
    • Пол: Мужской
    • Судьба судьбой, а выбор за тобой!
    • Награды SEO-специалист
      • Просмотр профиля
      • Сео в помощь
Re: Всё ли в порядке с robots.txt
« Ответ #4 : 17-06-2017, 10:43:54 »
Неееет)))) это я не стал реальтный урл на форуме светить

Ну тогда все в порядке. Проблем не вижу. Обычный роботс для Вордреса.
Стартовал новый сайт: СЕО в помощь милости просим! ;)


Оффлайн Владимир75

  • Администратор
  • Бизнес оценка: (4, 100%)
  • *****
  • СПАСИБО: 6676
  • Сообщений: 9850
  • Карма: 638
  • Пол: Мужской
  • Это я такой уже старый
  • Награды SEO Профессионал Гроссмейстер поисковой оптимизации Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
    • Просмотр профиля
    • Оптимизация и Продвижение

Оффлайн Владимир75

  • Администратор
  • *****
  • Доп. информация
    • Бизнес оценка: (4, 100%)
    • СПАСИБО: 6676
    • Сообщений: 9850
    • Карма: 638
    • Пол: Мужской
    • Это я такой уже старый
    • Награды SEO Профессионал Гроссмейстер поисковой оптимизации Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
      • Просмотр профиля
      • Оптимизация и Продвижение
Re: Всё ли в порядке с robots.txt
« Ответ #5 : 17-06-2017, 16:17:19 »
Карту сайта для остальных поисковиков тоже укажите.
Seo-консультации по SkypeSeo и разработка сайтов, Облачный майнинг(Блокчейн)
Skype:service-advertising(без live)
Мобильный, Whatsap, Viber: 8(910)774-44-99

Оффлайн ArchyАвтор темы

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 1
  • Сообщений: 35
  • Карма: 0
    • Просмотр профиля

Оффлайн ArchyАвтор темы

  • Рекрут
  • *
Re: Всё ли в порядке с robots.txt
« Ответ #6 : 19-06-2017, 09:53:35 »
Карту сайта для остальных поисковиков тоже укажите.
Да я и рад бы, да разработчики отморозились, типа "нас об этом не просили", а раз так, то и я руки умыл)))
Но спасибо за участие!

Оффлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 4196
  • Сообщений: 5646
  • Карма: 249
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • Просмотр профиля

Оффлайн vold57

  • Мастер
  • *****
Re: Всё ли в порядке с robots.txt
« Ответ #7 : 19-06-2017, 12:30:25 »
Archy, вопрос не по теме, но все же спрошу. А какое отношение вы имеете к сайту, что роботс заливаете, а на карте сайта умываете руки?
Спросил чисто из любопытства. :)

Онлайн zanuda

  • Бизнес оценка: (0)
  • Ветеран
  • *****
  • СПАСИБО: 320
  • Сообщений: 1137
  • Карма: 35
    • Просмотр профиля

Онлайн zanuda

  • Ветеран
  • *****
Re: Всё ли в порядке с robots.txt
« Ответ #8 : 19-06-2017, 16:35:40 »
Цитата: Владимир75
Карту сайта для остальных поисковиков тоже укажите.
Да я и рад бы, да разработчики отморозились, типа "нас об этом не просили", ...

А через плагин карту делать? Или есть предвзятость на счет пользования плагинов на сайте?

Ну а если вы нормально по поводу плагинов на каждый случай, можно генерить карту либо через отдельный плагин лио поставить Yoast SEO, в котором помимо другин полезных функций есть возможность генерить карту...



 

Похожие темы

  Тема / Автор Ответов Последний ответ
12 Ответов
2059 Просмотров
Последний ответ 22-09-2011, 22:24:14
от Holsten
Robots для DLE

Автор voldemar « 1 2 » DLE

17 Ответов
6322 Просмотров
Последний ответ 03-06-2012, 22:10:49
от eqoist
10 Ответов
1756 Просмотров
Последний ответ 06-05-2013, 19:37:15
от crimeas
2 Ответов
1519 Просмотров
Последний ответ 19-05-2013, 20:05:08
от Clever
5 Ответов
763 Просмотров
Последний ответ 18-12-2016, 10:48:01
от Google-master