robots.txt

[ReCopier]

щас Recopier помог с robots.txt составили по другому, в гугл добавился нормально, а в яндекс так и не хочет

Яндекс частенько капризничает  Думаю стоит немного подождать.
Мой блог вообще индексировать не хочет. В выдаче только главная страница. Ни описания - ничего. 

[Бy Ka]

щас Recopier помог с robots.txt составили по другому, в гугл добавился нормально, а в яндекс так и не хочет

У Вас основной Ваш сайт с www, а без www зеркало. А у Вас везде ссылки без www. В данный момент Яше видимо Ваш сайтмап не нравиться.

[ReCopier]

Как мне объяснил Bumer, у него стоит 301 редирект на домен без www. Поэтому, наверное, такие ссылки.
Сейчас FireFox выдает следующее:

Код Выделить Развернуть


Неверное перенаправление на странице
Firefox определил, что сервер перенаправляет запрос на этот адрес таким образом, что он никогда не завершится.
    *    Эта проблема может возникать при отключении или запрещении принятия кук.
Думаю, что надо конкретно определиться с основным доменом и зеркалом, прописав в панели Google и в файле Robots.txt основной домен. Потом расставить верные ссылки.

[Бy Ka]

ReCopier,
Об этом я и сказал. Надо полность снести из панели и вновь добавить без www. Так как все ссылки у bumerа без www

[bumer]

я там темку создал отдельно по своей проблеме. помогите плиз, пипец неохото занового блог писать, а бекап делать  тоже не хочется, у меня на этом аке 6 сайтов,

[Бy Ka]

Где там?

Все, нашел!

[bumer]

http://www.sbup.com/seo-forum/wordpress/301_redirekt_ili_problema_v_samom_dvizke_/

[tolev]

Я даже его не настраивал...((( автоматом все родеустановлено. Блог индексируется нормально, гугл конечно яшу опережает, но на то он и гугл.

а выглядит так, тока в комменте удалил  почти все юзер-агенты поисковиков.


User-agent: Zeus
Disallow: /

User-agent: Adsbot-Google
Disallow:

User-agent: Googlebot
Disallow:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php

Sitemap: http://tolevbizsystems.com/sitemap.xml.gz

[CLASSIK]

так а кто что скажет по поводу стандартного вп роботса? Может стоит его использовать и не париться?

[dbaik]

так а кто что скажет по поводу стандартного вп роботса? Может стоит его использовать и не париться?

по умолчанию он отсутствует