Поисковые боты

[oblaco]

В админке форум php есть раздел управление поисковыми ботами. Изначально они все выключены, может быть какие-нибудь нужно подключить. Или они все только вредят?

[Sevab]

Я не знаю как в пхпбб, но здесь я всех подключил.
Во-первых самому удобнее отслеживать.
Во-вторых, если их включить, то для них не будут подставляться переменные сессии в урл. А значит будет меньше дублей.
А это, как понимаете, очень важно.

[oblaco]

Во-вторых, если их включить, то для них не будут подставляться переменные сессии в урл. А значит будет меньше дублей.
А это, как понимаете, очень важно.
Совсем не понимаю, что такое переменные сессии в урл, и что такое меньше дублей, в общем мне лучше всех подключить?
Да, и как их отслеживать? если можно чуть подробней.

[Sevab]

Когда кто либо (например бот) первый раз заходит в течении какого либо отрезка времени на форум, еще не известно поддерживаются у него куки или нет.
Для стабильной работы в этом случае используются переменные сессии, которые добавляются к урл. Например:

Код:

Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.
Затем они исчезают. У ботов естественно они никуда не денутся. Отсюда могут быть (в яндексе точно) лишние дубли страниц.