Здравствуйте.
Подскажите, пожалуйста, решение как выйти из следующих ситуаций.
1) Если есть две страницы:
Site.ru/o-proekte
Site.ru/o-pRoekte
Вторая по идее не должна быть доступна, т.е. выдавать 404 Not Found, а не 200 ОК. Подскажите, пожалуйста, как это можно сделать?
2) Если запросить заведомо некорректный URL вида http://site.ru/?N, где N – любой численный или строковый параметр, например http://site.ru/?qwerty, сервер отдаёт 200 ОК. Хотя, по идее, правильно было бы 404 Not Found или 301 Moved Permanently. Что вроде как реализовывается при помощи модуля Mod_rewrite. Прав ли я? И если да, то, как можно исправить ситуацию?
Спасибо.
Цитата: Mr_Volk от 19-01-2013, 16:57:58Site.ru/o-proekte
Site.ru/o-pRoekte
Если обе страницы влетят в индекс - будут считаться дублями. Поэтому вы правы, должна отдаваться 404-я.
У меня на сайте я так понимаю это реализовано в самой CMS, т.к. я эту проблему никак не решала.
Какая у вас система? Поинтересуйтесь на официальном или любом тематическом форуме по ней, там вам скорее дадут ответ.
Какой движек на сайте?
Добавлено: 25-01-2013, 12:20:33
А еще ведь можно вот так написать Site.ru/O-pRoEkTe.......
Вам занятся нечем, что вы ищете проблемы там где их нет????
Движок вордпресс.
Цитата: parmactep от 25-01-2013, 12:16:15А еще ведь можно вот так написать Site.ru/O-pRoEkTe.......
Вам занятся нечем, что вы ищете проблемы там где их нет?
Если все эти страницы влетят в индекс, то это будут дубли. Насколько мне известно, раз урл страницы Site.ru/o-proekte, то при наборе Site.ru/o-pRoekte должна выдаваться 404 ошибка, а не 200 ок. Поэтому мне всего лишь хочется разобраться с этой ситуацией, пока это действительно не стало проблемой.
Обычно делают редирект где буквы в нижнем реестре.
Навскидку:
RewriteEngine On
RewriteMap lc int:tolower
RewriteCond %{REQUEST_URI} [A-Z]
RewriteRule (.*) ${lc:$1} [R=301,L]
Цитата: Mr_Volk от 25-01-2013, 19:39:23пока это действительно не стало проблемой.
И не станет это проблемой - не парьтесь.....
вот вам ссылка чтобы окончательно успокоить
www.sbup.com/seo-forum/OpTiMiZaCiYa_StRaNiC_sAiTa/KaK_bOrOtSyA_s_DuBlYaMi/?topicseen
Цитата: parmactep от 26-01-2013, 04:11:12
И не станет это проблемой - не парьтесь.....
вот вам ссылка чтобы окончательно успокоить
www.sbup.com/seo-forum/OpTiMiZaCiYa_StRaNiC_sAiTa/KaK_bOrOtSyA_s_DuBlYaMi/?topicseen
Ну так в вашем примере как раз таки всё нормально. При наборе этого урла происходит 301 редирект на нормальный урл. А в моём случае при вводе неправильного урла отдаётся 200 ок и в адресной строке остаётся неправильный урл. Я так пониманию, что вопрос решается прописанием в файле .htaccess какого-то правила, типа чтоб в адресной строке были буквы только нижнего регистра или что-то типа того. Но в этом я, к сожалению, не силён. Может подскажите как тут реализован этот 301 редирект?
Добавлено: 26-01-2013, 20:19:00
Цитата: Cradle от 25-01-2013, 20:16:33
Обычно делают редирект где буквы в нижнем реестре.
Навскидку:
RewriteEngine On
RewriteMap lc int:tolower
RewriteCond %{REQUEST_URI} [A-Z]
RewriteRule (.*) ${lc:$1} [R=301,L]
Вот и товарищ Cradle подсказывает, что в .htaccess нужно правила прописывать, правда я чего-то слабо понял на этом примере, что нужно сделать :(
если сайт новый то такой дубль сам отпадет, у меня было тоже самое! написал яше там сказали само решится и решилось!
Где редирект? ТЫЦ (http://clip2net.com/s/2L7zV)
Цитата: parmactep от 27-01-2013, 00:41:48
Где редирект? ТЫЦ (http://clip2net.com/s/2L7zV)
В firebug firefox можно увидеть 301 редирект с плохого урла на нормальный. Скрин (http://clip2net.com/page/m198975/40794948) прилагается.
Добавлено: 27-01-2013, 12:42:08
Если писать так:
www.sbup.com/seo-forum/optiMiZaCiya_stranic_saita/kak_borotsya_s_dublyami/
то редиректит на
www.sbup.com/seo-forum/optimizaciya_stranic_saita/kak_borotsya_s_dublyami/
а если писать так
www.sbup.com/seo-forum/optimizaciya_stranic_saita/kak_boRoTsyA_s_dublyami/
то 200 ок и в строке
www.sbup.com/seo-forum/optimizaciya_stranic_saita/kak_boRoTsyA_s_dublyami/
Короче не стоит, наверное, дальше мусолить эту тему, т.к. по ходу дела такая ситуация с прописными в урлах не критична. Просмотрев некоторые авторитетные SEO-блоги, я вижу, что авторы не заморачивались с этим. Их урлы отдают 200 ок и с прописными буквами.
Но если у кого-то будут соображения по этому вопросу с удовольствием послушал бы, т.к. хотелось бы разобраться всё таки с этой ситуацией.
За комментарии всем спасибо :)
Цитата: Slay от 19-01-2013, 16:57:58
2)Если запросить заведомо некорректный URL вида http://site.ru/?N, где N – любой численный или строковый параметр, например http://site.ru/?qwerty, сервер отдаёт 200 ОК. Хотя, по идее, правильно было бы 404 Not Found или 301 Moved Permanently. Что вроде как реализовывается при помощи модуля Mod_rewrite. Прав ли я? И если да, то, как можно исправить ситуацию?
Нашёл некоторую информацию по этому вопросу. Чтобы страницы вида http://site.ru/?qwerty, не отдавали 200 ок, нужно в .htaccess прописать правило
RewriteEngine on
RewriteCond %{QUERY_STRING} ^.+$
RewriteRule ^[^/.]*$ http://site.ru/? [R=301,L]
Может кто-то прокомментирует всё ли правильно, а то с этим .htaccess я не особо силён.
Цитата: Randy от 31-01-2013, 20:46:24Нашёл некоторую информацию по этому вопросу. Чтобы страницы вида http://site.ru/?qwerty, не отдавали 200 ок, нужно в .htaccess прописать правило
Лучше чтобы статус отдавал скрипт самой ЦМС ИМХО
Добавлено: 31-01-2013, 21:34:53
Цитата: Slay от 19-01-2013, 16:57:582) Если запросить заведомо некорректный URL вида http://site.ru/?N, где N – любой численный или строковый параметр, например http://site.ru/?qwerty, сервер отдаёт 200 ОК. Хотя, по идее, правильно было бы 404 Not Found или 301 Moved Permanently. Что вроде как реализовывается при помощи модуля Mod_rewrite. Прав ли я? И если да, то, как можно исправить ситуацию?
Не путайте статусы...
404 - страница не доступна или временно отсутствует..
400 - неверный запрос, такой страницы никогда не существовало..
Цитата: parmactep от 31-01-2013, 21:30:39
Лучше чтобы статус отдавал скрипт самой ЦМС ИМХО
А вы не подскажете как это можно реализовать в вордпрессе?
Цитата: Slay от 02-02-2013, 11:28:33
А вы не подскажете как это можно реализовать в вордпрессе?
(https://www.sbup.com/seo-forum/proxy.php?request=http%3A%2F%2Fpit.dirty.ru%2Fdirty%2F1%2F2010%2F02%2F25%2F26234-013014-75b7f319879bfc0dc39fd9c7b264f34c.jpg&hash=eaf38419cb79185b3626569d9b6a8eb56e284c8b)
Потому что меня уже раз "научили". Если в адресной строке набрать следующую комбинацию:
http://site.ru/ ?pоrno-online (пробел после / уберите)
то в исходном коде можно увидеть следующую картину (http://clip2net.com/page/m198975/41158078). И эти страницы реально появились в Гугле, я их потом удалял.
Я вам уже приводил примеры
Вот вам еще один:
_seobuilding.ru/?%D1%82%D1%80%D0%B0%D1%82%D0%B0%D1%82%D0%B0
тут дело не в том чтобы запретить параметры, а втом что - вариант который вы указали - это впринципе уязвимость самого сайта...
Так в том то и дело, что уязвимость, которую я, как мне кажется, закрыл бы если бы при наборе таких комбинаций не 200 ок отдавало бы, а, к примеру 301 редирект. Только я не пойму в чём именно проблема. Куча сайтов на вордпрессе точно также отдают 200 ок при такой ситуации, но в их исходном коде не появляются такие хреновины, как я вам указал на картинке. С чем может быть это связано? Сделать 301 редирект это первое, что мне пришло в голову. Но по ходу тут что-то поглубже будет. Из-за чего такая ситуация вообще может быть? Может подскажете?
поисковик не переходит по тем адресам на которых нет ссылок... Вылезла где-то подобная ссылка.. Изза этого и ситуация..
Если так, то в принципе возможна такая ситуацию, когда с помощью недобросовестных конкурентов, например, эти ссылки будут появляться и появляться. Вопрос как раз в том, чтобы вообще исключить последствия таких ситуаций. Т.е. если и вылезет ещё такая ссылка, то чтобы это никак не отразилось на выдаче моего сайта, чтобы непонятные страницы с этими урлами не появлялись.
Вы бьетесь с ветряными мельницами...
Цитата: Randy от 31-01-2013, 20:46:24
Нашёл некоторую информацию по этому вопросу. Чтобы страницы вида http://site.ru/?qwerty, не отдавали 200 ок, нужно в .htaccess прописать правило
RewriteEngine on
RewriteCond %{QUERY_STRING} ^.+$
RewriteRule ^[^/.]*$ http://site.ru/? [R=301,L]
А вы можете объяснить чем плох этот вариант?
дубли это же не только страницы, но и title и т.д.
может закрывать их от индексирования?
вот скажем пример, нужно чтоб индексировалась 1 страница категории, а пагинация нет, т.е. 2 - 3 и т.д. страницы нет
как правильно закрыть их в роботс?
http://site.ru/exhibitions/
http://site.ru/exhibitions/?PAGEN_1=2
http://site.ru/exhibitions/?PAGEN_1=3
http://site.ru/exhibitions/?PAGEN_1=4
http://site.ru/exhibitions/?PAGEN_1=5
http://site.ru/exhibitions/?PAGEN_1=6
http://www.greatgroup.ru/exhibitions/?PAGEN_1=7
Похожий вопрос.. Как правильно закрыть в robots.txt от индексации страницы типа
http://сайт/index.php?start=2
http://сайт/index.php?start=3
... ну, и так все остальные (поскольку по описанию Гугл их определяет как дубли). Страниц много, не хочется каждую отдельно прописывать. Как грамотно их все сразу закрыть?
Закрывая в роботсе, мы создаем дубли в доп. индексе. Лучше прописать метатег robots meta content noindex на всех технических дублях