Как найти страницу с битой ссылкой?

[batan-92]

В общем товарищи, не знаю, на сколько это Вам интересно, но кажется я начинаю понимать в чём причина. Постараюсь изложить во всех подробностях, по этому наверное придётся читать много букФФ, но тем, кто этим занимается- думаю будет полезно узнать)
В общем скриншот с ошибками яндекс вебмастера был в первом моём посте, там 40 с копейками ошибок, но у гугла- немного другая цифра:
[spoiler][/spoiler]

И тут я обратил внимание на ссылки. Дело в том, что раньше, когда сайт только начинал строить- он был на DLE, но в январе я решил, что возможностей её мне мало и написал свой скрипт с нуля, с января месяца мой сайт работает на самописной СМС. И url стран разные! Т.е. тут, на скриншоте видно, что адреса страниц от DLE, которых нет на сайте с января месяца! Как он их в шестом месяце мог найти на сайте- для меня загадка! Далее я проверил несуществующие страницы через сервис, который мне посоветовали тут выше, вот его результаты:
[spoiler][/spoiler]

Есть дна внешняя и три внутренние несуществующие страницы. Причины их я уже нашёл и сегодня- завтра исправлю. Для начала хочется разобраться с этими поисковиками, которые видят страницы, которых нет уже почти год.

В общем что я сделал?

Я уже писал выше, что чтоб выяснить, есть ли на самом деле эти страницы- к функции, которая обрабатывает некорректные url- прикрутил ещё одну функцию, которая записывает их в файлик. И да, оказалось- такие переходы действительно есть. Но сопоставив данные гугла в виде мутных страниц и переходов- решил к этой функции прикрутить ещё один фильтр, который начал фильтровать по "HTTP_USER_AGENT" поисковиков и реальных людей. Ошибки, на которые попадают поисковики- на протяжении трёх дней записывались в один файл, а ошибки, на которые попадали пользователи- во второй.
Что в итоге? В итоге трёх дней ожидания- в файле, где ошибки реальных людей- одна страница и это 'thtps://www.max-info.by/index.php?tag=жестокая_психология' Т.е. одна из страниц, которую нашёл сервис. А вот в файле, который писался для поиковых систем- привычные 10-15 записей в день! Т.е. получается, что люди вполне себе адекватно ходят по сайту и не испытывают проблем, а поисковики- постоянно почему то некорректно понимают теги. Но почему- ответ на этот вопрос я пока что не нашёл. 

Если кому любопытно- в спойлере ниже файл ошибок за 21.08.16:
[spoiler]Поисковик:
Время: 5:04:13
Ошибка произошла на странице: www.max-info.by/index.php?tag=%D0%B6%D0%B5%D1%81%D1%82%D0%BE%D0%BA%D0%B0%D1%8F_%D0%BF%D1%81%D0%B8%D1%85%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F
IP адрес пользвателя: 130.193.50.38
____________________________________
Поисковик:
Время: 5:44:11
Ошибка произошла на странице: www.max-info.by/index.php?fact=
IP адрес пользвателя: 141.8.132.41
____________________________________
Поисковик:
Время: 6:06:39
Ошибка произошла на странице: www.max-info.by/index.php?tag=
IP адрес пользвателя: 93.158.152.65
____________________________________
Поисковик:
Время: 6:07:31
Ошибка произошла на странице: www.max-info.by/index.php?tag=%D1%87%D0%B5%D1%80%D0%BD%D0%BE%D0%B1%D0%BB%D1%8C
IP адрес пользвателя: 5.255.253.26
____________________________________
Поисковик:
Время: 7:05:17
Ошибка произошла на странице: www.max-info.by/index.php?tag=%25D0%25BC%25D1%258B%25D1%2581%25D0%25BB%25D0%25B8+%25D0%25B2+%25D1%2581%25D0%25BB%25D1%2583%25D1%2585
IP адрес пользвателя: 40.77.167.83
____________________________________
Поисковик:
Время: 11:15:30
Ошибка произошла на странице: www.max-info.by/index.php?do=tags&tag=%25CB%25FE%25E4%25E8+%25E2+%25F7%25B8%25F0%25ED%25EE%25EC
IP адрес пользвателя: 66.249.66.38
____________________________________
Поисковик:
Время: 14:22:48
Ошибка произошла на странице: www.max-info.by/index.php?tag=
IP адрес пользвателя: 93.158.152.61
____________________________________
Поисковик:
Время: 14:23:06
Ошибка произошла на странице: www.max-info.by/index.php?fact=
IP адрес пользвателя: 93.158.152.61
____________________________________
Поисковик:
Время: 14:25:00
Ошибка произошла на странице: www.max-info.by/index.php?tag=%D0%B6%D0%B5%D1%81%D1%82%D0%BE%D0%BA%D0%B0%D1%8F_%D0%BF%D1%81%D0%B8%D1%85%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F
IP адрес пользвателя: 141.8.132.41
____________________________________
Поисковик:
Время: 14:51:11
Ошибка произошла на странице: www.max-info.by/index.php?tag=%D1%87%D0%B5%D1%80%D0%BD%D0%BE%D0%B1%D0%BB%D1%8C
IP адрес пользвателя: 130.193.50.4
____________________________________
Поисковик:
Время: 15:07:30
Ошибка произошла на странице: www.max-info.by/index.php?tag=%25D0%25B4%25D0%25BE%25D0%25BA%25D1%2583%25D0%25BC%25D0%25B5%25D0%25BD%25D1%2582%25D0%25B0%25D0%25BB%25D1%258C%25D0%25BD%25D1%258B%25D0%25B9+%25D1%2584%25D0%25B8%25D0%25BB%25D1%258C%25D0%25BC
IP адрес пользвателя: 68.180.228.41
____________________________________[/spoiler]

[Valiant]

Интересно будет когда найдешь ответ)) не забудь написать.

[davidExl]

Самописные cms - зло!

xenu наше всё!

Вот смотрите:
Тут вы добавляете свой сайт и ждёте пока внизу не станет полностью 100% done


Выбираешь красный линк и жмешь правой кнопкой, а дальше выбираешь URL properties


В открывшемся окне у тебя вверху твой не работающий линк, а внизу все страницы которые этот линк имеют.
На примере того что выбрал я, это у тебя в шаблоне, вот твой код с главной:

Код Выделить Развернуть

</head>
<body id="MyBody"  >
<div id="HeatColor">
<a href="/fun.php?color=blue" class="yacheika" id="blue" rel="nofollow" title="Выбрать синее цветовое оформление"></a>
<a href="/fun.php?color=black" class="yacheika" id="black" rel="nofollow" title="Выбрать чёрное цветовое оформление"></a>
<a href="/fun.php?color=green" class="yacheika" id="green" rel="nofollow" title="Выбрать зелёное цветовое оформление"></a>
<a href="/fun.php?color=purple" class="yacheika" id="purple" rel="nofollow" title="Выбрать фиолетовое цветовое оформление"></a>
<a href="/fun.php?color=red" class="yacheika" id="red" rel="nofollow" title="Выбрать крассное цветовое оформление"></a>
</div>

Для поиска это битые ссылки.

Еще после выполнения можно по статусу кликнуть и все красные прыгнут вверх, там их не так много. Удачи

[batan-92]

Ну на счёт самописных смс- не согласен, половину того, что сейчас есть на сайте- на комерческих движках я бы не сделал.
На счёт тех ссылок, что показываются якобы битые- они не битые, перейдя по ним- человеку записывается кука с выброным оформлением после чего возвращает обратно на ту же страницу, но уже при загрузке- выбирается новое оформление. Скорее всего из за обратного редиректа программа считает её битой.
Хотя всё же дабы не нервировать всякие программы- перепишу эту функцию на Js и заменю ссылки на блоки. Функционал не пострадает, а всякие там чудо программы не будут лишний раз тревожиться)

Но вот вопрос, о котором я подумал, а нужно ли в карте сайта для поисковых систем кодировать русские символы через urlencode? Или же они и так адекватно будут воспринимать русские символы в ссылках?
Добавлено: 22-08-2016, 19:41:46

Загадка разгадана! Как не сложно было догадаться- всё по моей криворукости. 
В общем дабы упрoстить генерацию тегов- в мета теги расставляю запрос пользователя на тег, а в тег, который дублирует ссылку для соцсетей- вставляю прямо адрес страницы. В общем так проще и без заморочек т.к. адреса то совпадают. Всё было хорошо ровно до того момента, пока дело не доходило до русских символов. Они то блин на стороне сервера не кодировались и выдавалась такая вот Хня:
[spoiler][/spoiler]
Это и объясняет факт того, что по ней переходили только поисковики т.к. пользователи то по мета тегам не лазят. В общем такой не большой косяк на этапе разработки СМС привёл к тому, что я почти неделю его вылавливал по сайту. Но за то параллельно с этим- за одно подправил пару мелких замечаний. Так что тут тоже можно отыскать положительный момент!

[batan-92]

Товарищи, как оказывается- проблема совсем не решена. Но решил подождать, подбосрать статистику, чтоб потом оттакиваясь от её уже что то думать. В общем собрал статистику ошибок за два с лишним месяца, написал скрипт, который подсчитал статистику и вот что получилось. Сохранил результат в html файл вот тут:
https://www.max-info.by/stat.html

В таблице юзерагент, а напротив- сколько раз он за последние два с лишним месяца попадал на страницу ошибки. Отдельно в верхней части таблицы пользователи, а начиная с 47-й строки- поисковики.

Собственно вопрос простой. Да где они находят эти битые ссылки? Все ошибки- именно на страницах с тегами т.е. где в адресе есть русские символы. Но я ведь и на сайте, и в карте сайта- везде кодирую русские символы. Я уже и с разных устройств по сайту лазил, и всех друзей просил полазить- нигде ни сам, никто другой не может найти битых ссылок, но между тем вот эти вот товарищи находят. Я в тупике. 

[plgame]

Попробуй Screaming Frog – он кравлит сайт и выдаёт все 404-ки и проблемные линки.
В консоли Яндекса и Google смотри отчёты по ошибкам, там может быть инфа. И настрой лог-файлы на сервере, чтобы понять, откуда запросы идут.

[kruzalex595]

Используй Screaming Frog SEO Spider. Запусти полный краул сайта, в фильтрaх ищи ссылки с %253A (это двoйное кодирование). Инструмент покажет точные URL страниц, где эти битые ссылки находятся.

P.S. Классическая проблема, бывает после частых переписываний URL или кривых редиректов. Ты на верном пути.