Правильный robot.txt

Автор Тема: Правильный robot.txt  (Прочитано 2612 раз)

Оффлайн akenfolАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 2
  • Сообщений: 7
  • Карма: 2
  • Пол: Мужской

Оффлайн akenfolАвтор темы

  • Дебютант
  • *
Правильный robot.txt
« : 09-05-2011, 11:10:22 »
Здравствуйте подскажите пожалуйста как должен выглядеть мой робот если у меня имеются такие дубли страниц как эти
 http://mel-tracker.ru/details.php?id=387&dllist=1
 http://mel-tracker.ru/details.php?id=387

и все страницы торрентов у меня так  индексируются как написать в робот что бы они не появлялись, эти дубли?
http://mel-tracker.ru/details.php?id=103&hit=1 еще как решить что бы таких проблем не было?


Оффлайн Chiliec

  • Владимир
  • Бизнес оценка: (3, 100%)
  • КМС
  • *****
  • СПАСИБО: 555
  • Сообщений: 2291
  • Карма: 188
  • Пол: Мужской
  • Программист
  • Награды Мастер поисковой оптимизации Почетный гражданин нашего форума

Оффлайн Chiliec

  • КМС
  • *****
  • Доп. информация
    • Владимир
    • Бизнес оценка: (3, 100%)
    • СПАСИБО: 555
    • Сообщений: 2291
    • Карма: 188
    • Пол: Мужской
    • Программист
    • Награды Мастер поисковой оптимизации Почетный гражданин нашего форума
Re: Правильный robot.txt
« Ответ #1 : 09-05-2011, 13:17:46 »
Здравствуйте подскажите пожалуйста как должен выглядеть мой робот если у меня имеются такие дубли страниц как эти
 http://mel-tracker.ru/details.php?id=387&dllist=1
http://mel-tracker.ru/details.php?id=103&hit=1
Решили ведь вроде уже, зачем еще одна тема?
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.

Оффлайн akenfolАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 2
  • Сообщений: 7
  • Карма: 2
  • Пол: Мужской

Оффлайн akenfolАвтор темы

  • Дебютант
  • *
Re: Правильный robot.txt
« Ответ #2 : 13-05-2011, 06:40:02 »
/details.php?id=1166&filelist=1
&page=0
вот еще одно нашел так правильно?


Добавлено: 13-05-2011, 06:42:08

http://www.mel-tracker.ru/browse.php?page=7&sort=4&type=asc
http://mel-tracker.ru/browse.php?sort=3&type=asc&page=7
http://mel-tracker.ru/browse.php?cat=gvpuxlcwjxjzk&sort=5&type=desc
http://www.mel-tracker.ru/browse.php?sort=5&type=desc&page=5

еще такие страницы нашел как с ними быть?
« Последнее редактирование: 13-05-2011, 06:44:45 от akenfol »

Оффлайн akenfolАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 2
  • Сообщений: 7
  • Карма: 2
  • Пол: Мужской

Оффлайн akenfolАвтор темы

  • Дебютант
  • *
Re: Правильный robot.txt
« Ответ #3 : 24-05-2011, 05:54:28 »
Правильно или нет если к уже имеющемуся роботу еще это?

Оффлайн ReCopier

  • Бизнес оценка: (2, 100%)
  • Ветеран
  • *****
  • СПАСИБО: 232
  • Сообщений: 812
  • Карма: 47
  • Пол: Мужской
  • Копирайтер, веб-разработчик
  • Награды За благотворительность Профессиональный копирайтер
    • Проект «Надежда» - поиск доноров крови по всей России

Оффлайн ReCopier

  • Ветеран
  • *****
  • Доп. информация
    • Бизнес оценка: (2, 100%)
    • СПАСИБО: 232
    • Сообщений: 812
    • Карма: 47
    • Пол: Мужской
    • Копирайтер, веб-разработчик
    • Награды За благотворительность Профессиональный копирайтер
      • Проект «Надежда» - поиск доноров крови по всей России
Re: Правильный robot.txt
« Ответ #4 : 24-05-2011, 11:53:12 »
Прошу прощения за оффтоп, но какой раз захожу на трекер этот, у меня все время ревет антивирус. Такое ощущение, что пытаются или трояна загрузить через пробив браузера или просто сделать редирект на какой-нибудь ГС.
Я бы все-таки убрал подобные фишки со своего ресурса.


Оффлайн myjobwebmed

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 204
  • Сообщений: 286
  • Карма: 19
  • Пол: Мужской
  • Врач профилактической медицины

Оффлайн myjobwebmed

  • Старожил
  • ****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 204
    • Сообщений: 286
    • Карма: 19
    • Пол: Мужской
    • Врач профилактической медицины
Re: Правильный robot.txt
« Ответ #5 : 31-05-2011, 11:07:02 »
объясните, пожалуйста, новичку - в файле robots.txt прописаны одинаковые запреты на индексирование для яндекса и гугла, а количество страниц индексируется разное? спасибо)

Оффлайн webuser

  • Бизнес оценка: (3, 100%)
  • КМС
  • *****
  • СПАСИБО: 1790
  • Сообщений: 2692
  • Карма: 174
  • Пол: Мужской
  • Хотите спросить? Спрашивайте!
  • Награды SEO-специалист Более одной тысячи спасибо Почетный гражданин нашего форума За благотворительность КМС поисковой оптимизации

Оффлайн webuser

  • КМС
  • *****
  • Доп. информация
    • Бизнес оценка: (3, 100%)
    • СПАСИБО: 1790
    • Сообщений: 2692
    • Карма: 174
    • Пол: Мужской
    • Хотите спросить? Спрашивайте!
    • Награды SEO-специалист Более одной тысячи спасибо Почетный гражданин нашего форума За благотворительность КМС поисковой оптимизации
Re: Правильный robot.txt
« Ответ #6 : 31-05-2011, 11:25:04 »
объясните, пожалуйста, новичку - в файле robots.txt прописаны одинаковые запреты на индексирование для яндекса и гугла, а количество страниц индексируется разное? спасибо)
Просто Яндекс и Гугл может по разному считать нужными ваши странички и некоторые не включать. Главное чтобы не индексировалось то что запрещено в роботсе.

Оффлайн myjobwebmed

  • Бизнес оценка: (0)
  • Старожил
  • ****
  • СПАСИБО: 204
  • Сообщений: 286
  • Карма: 19
  • Пол: Мужской
  • Врач профилактической медицины

Оффлайн myjobwebmed

  • Старожил
  • ****
  • Доп. информация
    • Бизнес оценка: (0)
    • СПАСИБО: 204
    • Сообщений: 286
    • Карма: 19
    • Пол: Мужской
    • Врач профилактической медицины
Re: Правильный robot.txt
« Ответ #7 : 18-06-2011, 18:22:54 »
да вроде не индексируется... правда, я еще профан в роботсе, но сделал, как советовали)


 

Похожие темы

  Тема / Автор Ответов Последний ответ
9 Ответов
2803 Просмотров
Последний ответ 25-12-2011, 08:32:47
от mark3000
5 Ответов
3240 Просмотров
Последний ответ 23-01-2013, 03:10:51
от rifys
20 Ответов
5351 Просмотров
Последний ответ 20-09-2013, 09:55:01
от Cyrus
2 Ответов
1029 Просмотров
Последний ответ 23-09-2014, 20:08:06
от vovakozar
2 Ответов
1222 Просмотров
Последний ответ 19-02-2015, 12:38:06
от nick_sinigamy