Индексация сайта на Битрикс и robots.txt для него

Автор Тема: Индексация сайта на Битрикс и robots.txt для него  (Прочитано 17226 раз)

Оффлайн golf4manАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 5
  • Сообщений: 58
  • Карма: 3
  • Пол: Мужской

Оффлайн golf4manАвтор темы

  • Пользователь
  • **
Доброе утро, уважаемые форумчане. Столкнулся с одной проблемой, а именно индексацией сайта на Битрикс и составлением для него robots.txt. Сам robots доступен по адресу http://www.scrp.ru/robots.txt
Может он составлен не совсем корректно, откуда столько мусорных страниц в индексе ПС? Или же они просто не успели из индекса выпасть?
Основной идеей в robots.txt было запретить индексацию персональных страниц, служебных, админки ну и нечто подобного, когда страница доступна по двум адресам http://сайт.ru/ и http://сайт.ru/index.php.
 


Оффлайн Владимир75

  • Администратор
  • Бизнес оценка: (4, 100%)
  • *****
  • СПАСИБО: 7248
  • Сообщений: 10677
  • Карма: 649
  • Пол: Мужской
  • Это я такой уже старый
  • Награды Гроссмейстер поисковой оптимизации SEO Профессионал Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
    • Оптимизация и Продвижение

Оффлайн Владимир75

  • Администратор
  • *****
  • Доп. информация
    • Бизнес оценка: (4, 100%)
    • СПАСИБО: 7248
    • Сообщений: 10677
    • Карма: 649
    • Пол: Мужской
    • Это я такой уже старый
    • Награды Гроссмейстер поисковой оптимизации SEO Профессионал Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
      • Оптимизация и Продвижение
Вот правильный роботс для битрикс, также пропишите правила в админке битрикса для сео-урлов, а насчёт индексации новые страницы  попадают в индекс быстрее чем яндекс апит:
User-agent: *   Disallow: /bitrix/   Disallow: /search/   Allow: /search/map.php   Disallow: /club/search/   Disallow: /club/group/search/   Disallow: /club/forum/search/   Disallow: /communication/forum/search/   Disallow: /communication/blog/search.php   Disallow: /club/gallery/tags/   Disallow: /examples/my-components/   Disallow: /examples/download/download_private/   Disallow: /auth/   Disallow: /auth.php   Disallow: /personal/   Disallow: /communication/forum/user/   Disallow: /e-store/paid/detail.php   Disallow: /e-store/affiliates/   Disallow: /club/$   Disallow: /club/messages/   Disallow: /club/log/   Disallow: /content/board/my/   Disallow: /content/links/my/   Disallow: /*/search/   Disallow: /*PAGE_NAME=search   Disallow: /*PAGE_NAME=user_post   Disallow: /*PAGE_NAME=detail_slide_show   Disallow: /*/slide_show/   Disallow: /*/gallery/*order=*   Disallow: /*?print=   Disallow: /*&print=   Disallow: /*register=yes   Disallow: /*forgot_password=yes   Disallow: /*change_password=yes   Disallow: /*login=yes   Disallow: /*logout=yes   Disallow: /*auth=yes   Disallow: /*action=ADD_TO_COMPARE_LIST   Disallow: /*action=DELETE_FROM_COMPARE_LIST   Disallow: /*action=ADD2BASKET   Disallow: /*action=BUY   Disallow: /*print_course=Y   Disallow: /*bitrix_*=   Disallow: /*backurl=*   Disallow: /*BACKURL=*   Disallow: /*back_url=*   Disallow: /*BACK_URL=*   Disallow: /*back_url_admin=*   Disallow: /*index.php$      User-agent: Yandex     Disallow: /bitrix/   Disallow: /search/   Allow: /search/map.php   Disallow: /club/search/   Disallow: /club/group/search/   Disallow: /club/forum/search/   Disallow: /communication/forum/search/   Disallow: /communication/blog/search.php   Disallow: /club/gallery/tags/   Disallow: /examples/my-components/   Disallow: /examples/download/download_private/   Disallow: /auth/   Disallow: /auth.php   Disallow: /personal/   Disallow: /communication/forum/user/   Disallow: /e-store/paid/detail.php   Disallow: /e-store/affiliates/   Disallow: /club/$   Disallow: /club/messages/   Disallow: /club/log/   Disallow: /content/board/my/   Disallow: /content/links/my/   Disallow: /*/search/   Disallow: /*PAGE_NAME=search   Disallow: /*PAGE_NAME=user_post   Disallow: /*PAGE_NAME=detail_slide_show   Disallow: /*/slide_show/   Disallow: /*/gallery/*order=*   Disallow: /*?print=   Disallow: /*&print=   Disallow: /*register=yes   Disallow: /*forgot_password=yes   Disallow: /*change_password=yes   Disallow: /*login=yes   Disallow: /*logout=yes   Disallow: /*auth=yes   Disallow: /*action=ADD_TO_COMPARE_LIST   Disallow: /*action=DELETE_FROM_COMPARE_LIST   Disallow: /*action=ADD2BASKET   Disallow: /*action=BUY   Disallow: /*print_course=Y   Disallow: /*bitrix_*=   Disallow: /*backurl=*   Disallow: /*BACKURL=*   Disallow: /*back_url=*   Disallow: /*BACK_URL=*   Disallow: /*back_url_admin=*   Disallow: /*index.php$     Host: нужное зеркало сайта  
Seo-консультации по SkypeSeo и разработка сайтов, Облачный майнинг(Блокчейн)
Skype:service-advertising(без live)
Мобильный, Whatsap, Viber: 8(910)774-44-99

Оффлайн golf4manАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 5
  • Сообщений: 58
  • Карма: 3
  • Пол: Мужской

Оффлайн golf4manАвтор темы

  • Пользователь
  • **
Цитировать
также пропишите правила в админке битрикса для сео-урлов

А про этот момент можно поподробнее?
И еще, разве ваш robots чем-то отличается от моего, кроме User-Agent для Яндекса?

Оффлайн Владимир75

  • Администратор
  • Бизнес оценка: (4, 100%)
  • *****
  • СПАСИБО: 7248
  • Сообщений: 10677
  • Карма: 649
  • Пол: Мужской
  • Это я такой уже старый
  • Награды Гроссмейстер поисковой оптимизации SEO Профессионал Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
    • Оптимизация и Продвижение

Оффлайн Владимир75

  • Администратор
  • *****
  • Доп. информация
    • Бизнес оценка: (4, 100%)
    • СПАСИБО: 7248
    • Сообщений: 10677
    • Карма: 649
    • Пол: Мужской
    • Это я такой уже старый
    • Награды Гроссмейстер поисковой оптимизации SEO Профессионал Более трех тысяч спасибо За благотворительность Почетный гражданин нашего форума
      • Оптимизация и Продвижение
http://www.bitrixmod.ru/articles/detail.php?ID=55
Seo-консультации по SkypeSeo и разработка сайтов, Облачный майнинг(Блокчейн)
Skype:service-advertising(без live)
Мобильный, Whatsap, Viber: 8(910)774-44-99

Оффлайн Глеб Александрович

  • Бизнес оценка: (1, 100%)
  • КМС
  • *****
  • СПАСИБО: 773
  • Сообщений: 1664
  • Карма: 48
  • Пол: Мужской
  • Питер - рулит.
    • Ремонт квартир в Санкт-Петербурге
Скажите пожалуйста а это робот тхт можно скопировать и установить, конечно же подкорректировать.
Спасибо.


Оффлайн [Константин]

  • Глобальный модератор
  • Бизнес оценка: (4, 100%)
  • *****
  • СПАСИБО: 2465
  • Сообщений: 3735
  • Карма: 322
  • Пол: Мужской
  • SEO-специалист: аудит, оптимизация, продвижение
  • Награды SEO Профессионал Более одной тысячи спасибо Мастер поисковой оптимизации Почетный гражданин нашего форума За отличный ролик За благотворительность

Оффлайн [Константин]

  • Глобальный модератор
  • *****
  • Доп. информация
    • Бизнес оценка: (4, 100%)
    • СПАСИБО: 2465
    • Сообщений: 3735
    • Карма: 322
    • Пол: Мужской
    • SEO-специалист: аудит, оптимизация, продвижение
    • Награды SEO Профессионал Более одной тысячи спасибо Мастер поисковой оптимизации Почетный гражданин нашего форума За отличный ролик За благотворительность
Глеб Александрович, ну да.

Оффлайн Глеб Александрович

  • Бизнес оценка: (1, 100%)
  • КМС
  • *****
  • СПАСИБО: 773
  • Сообщений: 1664
  • Карма: 48
  • Пол: Мужской
  • Питер - рулит.
    • Ремонт квартир в Санкт-Петербурге
Глеб Александрович, ну да.
Здравствуйте, у меня вопрос
1)   правильно составлен робот.тхт
также есть около 13 страниц которые дублируются
пример.
http://calion-spb.ru/content/repair_turn_key/index.php
http://calion-spb.ru/content/repair_turn_key/
в роботе я закрыл ( Disallow: /*index.php$) но у меня стоят внешние ссылки
 
http://calion-spb.ru/content/repair_turn_key/index.php  как это отразиться на продвижении страницы.
Эти ссылки потеряют с свой авторитет если ведут на запрещенную страницу, эта называется битая ссылка, да, или я не прав объясните пожалуйста. 

Спасибо.

 User-agent:*
Disallow: /*index.php$
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: /upload/
Disallow: /search/
Disallow: /*/search/
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*?action=
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /*print_course=Y
Disallow: /*COURSE_ID=
Disallow: /*?COURSE_ID=
Disallow: /*?PAGEN
Disallow: /*PAGEN_1=
Disallow: /*PAGEN_2=
Disallow: /*PAGEN_3=
Disallow: /*PAGEN_4=
Disallow: /*PAGEN_5=
Disallow: /*PAGEN_6=
Disallow: /*PAGEN_7=
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*SHOWALL
Disallow: /*show_all=
Disallow: /*building_directory/$
Disallow: /*work/$
Disallow: /*yslugi_sanexnika/$
Disallow: /*modern-repair/$
Disallow: /*school_remo/$
Host: calion-spb.ru
Sitemap: http://calion-spb.ru/sitemap.xml

Оффлайн Dimitrij

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 0
  • Сообщений: 20
  • Карма: 1

Оффлайн Dimitrij

  • Рекрут
  • *
Такая проблема.
Создан robots.txt, Яндекс видит его, а вот Гугл не находит.

Загружено - Никогда
Статус - пустая строчка

Когда пытаюсь его проверить через "Заблoкированные URL", то пишет что "Файл robots.txt, вероятно, является недействительным".
Хотя в "заблoкированные URL" пишет цифру 100. Это значит эта цифра, если он вроде как не видит его?
Что можете посоветовать. Да, сайт на Битриксе, если что.

Оффлайн Вебнет

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 5
  • Сообщений: 22
  • Карма: 1

Оффлайн Вебнет

  • Рекрут
  • *
Здравствуйте, у меня вопрос
1)   правильно составлен робот.тхт
также есть около 13 страниц которые дублируются
пример.
http://calion-spb.ru/content/repair_turn_key/index.php
http://calion-spb.ru/content/repair_turn_key/
в роботе я закрыл ( Disallow: /*index.php$) но у меня стоят внешние ссылки
 
http://calion-spb.ru/content/repair_turn_key/index.php  как это отразиться на продвижении страницы.
Эти ссылки потеряют с свой авторитет если ведут на запрещенную страницу, эта называется битая ссылка, да, или я не прав объясните пожалуйста. 


Чтобы не потерять внешние ссылки необходимо сделать с таких страниц 301 редирект. Для этого вставьте в файл Битрикса
/bitrix/php_interface/init.php (если файла нет, создайте его пустым)
строчку кода:
if(substr_count($_SERVER["REQUEST_URI"],"/index.php")) LocalRedirect($APPLICATION->GetCurUri(),false,"301 Moved Permanently");

Важно! Ошибки в этом файле могут привести к отказу работы всего сайта. Прежде чем изменять файл сохраните его копию у себя. Код PHP должен быть вставлен внутрь <? ... ?>  где '...' - код (уже существующий или только ваш)

 
Как альтернатива, для сайтов на Битриксе, есть в маркетплейсе соответствующий модуль "я.Робот", он более функционален по возможностям, хотя в начале может показаться сложным в понимании.


Оффлайн ewdokimow

  • Бизнес оценка: (0)
  • Мастер
  • *****
  • СПАСИБО: 1483
  • Сообщений: 5848
  • Карма: 143
  • Пол: Мужской
  • Евдокимов
  • Награды Более одной тысячи спасибо КМС поисковой оптимизации
    • Книги

Оффлайн ewdokimow

  • Мастер
  • *****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 1483
    • Сообщений: 5848
    • Карма: 143
    • Пол: Мужской
    • Евдокимов
    • Награды Более одной тысячи спасибо КМС поисковой оптимизации
      • Книги
Ручная ковка металлов в художественном исполнении  для коттеджей в Истре


 

Похожие темы

  Тема / Автор Ответов Последний ответ
12 Ответов
2926 Просмотров
Последний ответ 13-03-2014, 11:42:55
от Smyga
2 Ответов
1151 Просмотров
Последний ответ 09-04-2014, 20:53:49
от Sky-fi
3 Ответов
1636 Просмотров
Последний ответ 10-06-2014, 13:44:37
от azazely85
1 Ответов
764 Просмотров
Последний ответ 09-12-2017, 23:30:28
от Ivan_SEO
3 Ответов
742 Просмотров
Последний ответ 09-08-2018, 16:35:20
от lokdown