Товарищи, обнаружил в вебмастере кучу ошибок и понял, что оказывается туда полезно иногда заглядывать)
В общем начал рыть, в чём проблема. После кучи многоэтажного мата и кучи попыток "идентификации проблемы" я нашёл причину. Оказывается в этих ссылках русские символы дважды кодированы. Осталось найти где я это делаю и убрать вторую функцию кодирования. Но тут образовалась другая проблема с вопросом о которой я и обращаюсь сюда.
Не могу найти, откуда эти ссылки? Уже и в коде всё, что связано с выводом тегов пересмотрел, и так всё на сайте облазил... Везде всё правильно и всё без проблем работает. Решил проверить, может это Яндекс что не так видит? Допилил к выводу страницы функцию, которая записывает в текстовый файл ссылки с ошибками... И да! Есть такая проблема, именно этот список через пару дней оказался в лог файле, но вот [МАТ] с каких страниц эти ссылки??? Может кто подскажет сервис, где можно найти страницу с битыми ссылками? Ибо я уже и не знаю как мне выловить эти [МАТ] страницы. На всякий случай скрин вебмастера с ошибками- прилагаю.
[spoiler](https://www.sbup.com/seo-forum/proxy.php?request=http%3A%2F%2Fimages.vfl.ru%2Fii%2F1471609290%2Fc45255dd%2F13796977.jpg&hash=00643cf5d5b4dc0f828c0ae3f0cf0ff8a4cbb32f)[/spoiler]
Xenu Link - самая простая. Это программа.
Цитата: Smyga от 19-08-2016, 15:45:40
Xenu Link - самая простая. Это программа.
Видимо у меня что то не оттуда растёт т.к. я пробовал сегодня с её помощью искать 404 страницы на сайте- так и не разобрался как с её помощью их найти. Она же проверяет только ту страницу, которую указал. Т.е. мне надо ей списком все страницы сайта дать. С таким успехом мне можно и самому все страницы перелопатить на сайте и пересмотреть ???
Цитата: batan-92 от 19-08-2016, 16:31:08Она же проверяет только ту страницу, которую указал
:o
Она проверяет домен (сайт).
Смотрите статус страниц.
Потом свойства. Там указаны - ссылка, страницы с ней и title.
GoogleWebmaster показывает откуда ссылка на страницу. Либо Screaming Frog
Цитата: Старый от 19-08-2016, 16:53:51
:o
Она проверяет домен (сайт).
Смотрите статус страниц.
Потом свойства. Там указаны - ссылка, страницы с ней и title.
Ну у меня всегда проблемы с английским были, наверное по этому не смог разобраться до конца ::)
http://www.sbup.com/seo-forum/prodvizenie_saita/bitye_ssylki_na_saite-46731/ (http://www.sbup.com/seo-forum/prodvizenie_saita/bitye_ssylki_na_saite-46731/)
Круто, все сервисы, которые посоветовали- нашли 5 битых ссылок на сайте, 4 из которых являются ссылками на внешние сайты. Кому верить? Что то я понимаю, что я чего то не понимаю. Но чего я не понимаю- я не понимаю ???
меня эти сервисы не подводили ранее.. они показывают более-менее точно.
но мне кажется эти сервисы ориентированы только на внешние ресурсы
по поводу внутренних - вам ответили выше - в гугле вебмастере есть прекрасные ресурсы для этого..
верьте только себе и будет вам счастье! :))
Я использую сайт seositecheckup.com там есть инструмент который доступен после регистраций Broken Links.
2 вариант audit.megaindex.ru и выбрать битые ссылки. Удачного пользования :)
В общем товарищи, не знаю, на сколько это Вам интересно, но кажется я начинаю понимать в чём причина. Постараюсь изложить во всех подробностях, по этому наверное придётся читать много букФФ, но тем, кто этим занимается- думаю будет полезно узнать)
В общем скриншот с ошибками яндекс вебмастера был в первом моём посте, там 40 с копейками ошибок, но у гугла- немного другая цифра:
[spoiler](https://www.sbup.com/seo-forum/proxy.php?request=http%3A%2F%2Fimages.vfl.ru%2Fii%2F1471869911%2F81f421eb%2F13830961.jpg&hash=4f2fd5817e40dd574601000762813449fef4e833)[/spoiler]
И тут я обратил внимание на ссылки. Дело в том, что раньше, когда сайт только начинал строить- он был на DLE, но в январе я решил, что возможностей её мне мало и написал свой скрипт с нуля, с января месяца мой сайт работает на самописной СМС. И url стран разные! Т.е. тут, на скриншоте видно, что адреса страниц от DLE, которых нет на сайте с января месяца! Как он их в шестом месяце мог найти на сайте- для меня загадка! Далее я проверил несуществующие страницы через сервис, который мне посоветовали тут выше, вот его результаты:
[spoiler](https://www.sbup.com/seo-forum/proxy.php?request=http%3A%2F%2Fimages.vfl.ru%2Fii%2F1471870141%2F1d1f7a0a%2F13831003.jpg&hash=82f2383541bd027fcb0a40afdbdc32d6e0568174)[/spoiler]
Есть дна внешняя и три внутренние несуществующие страницы. Причины их я уже нашёл и сегодня- завтра исправлю. Для начала хочется разобраться с этими поисковиками, которые видят страницы, которых нет уже почти год.
В общем что я сделал?
Я уже писал выше, что чтоб выяснить, есть ли на самом деле эти страницы- к функции, которая обрабатывает некорректные url- прикрутил ещё одну функцию, которая записывает их в файлик. И да, оказалось- такие переходы действительно есть. Но сопоставив данные гугла в виде мутных страниц и переходов- решил к этой функции прикрутить ещё один фильтр, который начал фильтровать по "HTTP_USER_AGENT" поисковиков и реальных людей. Ошибки, на которые попадают поисковики- на протяжении трёх дней записывались в один файл, а ошибки, на которые попадали пользователи- во второй.
Что в итоге? В итоге трёх дней ожидания- в файле, где ошибки реальных людей- одна страница и это 'thtps://www.max-info.by/index.php?tag=жестокая_психология' Т.е. одна из страниц, которую нашёл сервис. А вот в файле, который писался для поиковых систем- привычные 10-15 записей в день! Т.е. получается, что люди вполне себе адекватно ходят по сайту и не испытывают проблем, а поисковики- постоянно почему то некорректно понимают теги. Но почему- ответ на этот вопрос я пока что не нашёл. ???
Если кому любопытно- в спойлере ниже файл ошибок за 21.08.16:
[spoiler]Поисковик:
Время: 5:04:13
Ошибка произошла на странице: www.max-info.by/index.php?tag=%D0%B6%D0%B5%D1%81%D1%82%D0%BE%D0%BA%D0%B0%D1%8F_%D0%BF%D1%81%D0%B8%D1%85%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F
IP адрес пользвателя: 130.193.50.38
____________________________________
Поисковик:
Время: 5:44:11
Ошибка произошла на странице: www.max-info.by/index.php?fact=
IP адрес пользвателя: 141.8.132.41
____________________________________
Поисковик:
Время: 6:06:39
Ошибка произошла на странице: www.max-info.by/index.php?tag=
IP адрес пользвателя: 93.158.152.65
____________________________________
Поисковик:
Время: 6:07:31
Ошибка произошла на странице: www.max-info.by/index.php?tag=%D1%87%D0%B5%D1%80%D0%BD%D0%BE%D0%B1%D0%BB%D1%8C
IP адрес пользвателя: 5.255.253.26
____________________________________
Поисковик:
Время: 7:05:17
Ошибка произошла на странице: www.max-info.by/index.php?tag=%25D0%25BC%25D1%258B%25D1%2581%25D0%25BB%25D0%25B8+%25D0%25B2+%25D1%2581%25D0%25BB%25D1%2583%25D1%2585
IP адрес пользвателя: 40.77.167.83
____________________________________
Поисковик:
Время: 11:15:30
Ошибка произошла на странице: www.max-info.by/index.php?do=tags&tag=%25CB%25FE%25E4%25E8+%25E2+%25F7%25B8%25F0%25ED%25EE%25EC
IP адрес пользвателя: 66.249.66.38
____________________________________
Поисковик:
Время: 14:22:48
Ошибка произошла на странице: www.max-info.by/index.php?tag=
IP адрес пользвателя: 93.158.152.61
____________________________________
Поисковик:
Время: 14:23:06
Ошибка произошла на странице: www.max-info.by/index.php?fact=
IP адрес пользвателя: 93.158.152.61
____________________________________
Поисковик:
Время: 14:25:00
Ошибка произошла на странице: www.max-info.by/index.php?tag=%D0%B6%D0%B5%D1%81%D1%82%D0%BE%D0%BA%D0%B0%D1%8F_%D0%BF%D1%81%D0%B8%D1%85%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D1%8F
IP адрес пользвателя: 141.8.132.41
____________________________________
Поисковик:
Время: 14:51:11
Ошибка произошла на странице: www.max-info.by/index.php?tag=%D1%87%D0%B5%D1%80%D0%BD%D0%BE%D0%B1%D0%BB%D1%8C
IP адрес пользвателя: 130.193.50.4
____________________________________
Поисковик:
Время: 15:07:30
Ошибка произошла на странице: www.max-info.by/index.php?tag=%25D0%25B4%25D0%25BE%25D0%25BA%25D1%2583%25D0%25BC%25D0%25B5%25D0%25BD%25D1%2582%25D0%25B0%25D0%25BB%25D1%258C%25D0%25BD%25D1%258B%25D0%25B9+%25D1%2584%25D0%25B8%25D0%25BB%25D1%258C%25D0%25BC
IP адрес пользвателя: 68.180.228.41
____________________________________[/spoiler]
Интересно будет когда найдешь ответ)) не забудь написать.
Самописные cms - зло!
xenu наше всё!
Вот смотрите:
Тут вы добавляете свой сайт и ждёте пока внизу не станет полностью 100% done
(https://www.sbup.com/seo-forum/proxy.php?request=http%3A%2F%2Fs50.radikal.ru%2Fi129%2F1608%2F3e%2F44964b6b19c2.png&hash=423e83f7197806378e3cd68c704e91ce18e1c993) (http://radikal.ru/big/d8403b945999425e880982c9b9539e9c)
Выбираешь красный линк и жмешь правой кнопкой, а дальше выбираешь URL properties
(https://www.sbup.com/seo-forum/proxy.php?request=http%3A%2F%2Fs020.radikal.ru%2Fi708%2F1608%2Fb0%2Fe405b7b51d77.png&hash=7e7de77cd19c92288279f2b4f088d0a66723a50f) (http://radikal.ru/big/25321648a67f40ee9462dcd01e3247dd)
В открывшемся окне у тебя вверху твой не работающий линк, а внизу все страницы которые этот линк имеют.
На примере того что выбрал я, это у тебя в шаблоне, вот твой код с главной:
</head>
<body id="MyBody" >
<div id="HeatColor">
<a href="/fun.php?color=blue" class="yacheika" id="blue" rel="nofollow" title="Выбрать синее цветовое оформление"></a>
<a href="/fun.php?color=black" class="yacheika" id="black" rel="nofollow" title="Выбрать чёрное цветовое оформление"></a>
<a href="/fun.php?color=green" class="yacheika" id="green" rel="nofollow" title="Выбрать зелёное цветовое оформление"></a>
<a href="/fun.php?color=purple" class="yacheika" id="purple" rel="nofollow" title="Выбрать фиолетовое цветовое оформление"></a>
<a href="/fun.php?color=red" class="yacheika" id="red" rel="nofollow" title="Выбрать крассное цветовое оформление"></a>
</div>
Для поиска это битые ссылки.
Еще после выполнения можно по статусу кликнуть и все красные прыгнут вверх, там их не так много. Удачи
Ну на счёт самописных смс- не согласен, половину того, что сейчас есть на сайте- на комерческих движках я бы не сделал.
На счёт тех ссылок, что показываются якобы битые- они не битые, перейдя по ним- человеку записывается кука с выброным оформлением после чего возвращает обратно на ту же страницу, но уже при загрузке- выбирается новое оформление. Скорее всего из за обратного редиректа программа считает её битой.
Хотя всё же дабы не нервировать всякие программы- перепишу эту функцию на Js и заменю ссылки на блоки. Функционал не пострадает, а всякие там чудо программы не будут лишний раз тревожиться)
Но вот вопрос, о котором я подумал, а нужно ли в карте сайта для поисковых систем кодировать русские символы через urlencode? Или же они и так адекватно будут воспринимать русские символы в ссылках?
Добавлено: 22-08-2016, 19:41:46
Загадка разгадана! Как не сложно было догадаться- всё по моей криворукости. :))
В общем дабы упрoстить генерацию тегов- в мета теги расставляю запрос пользователя на тег, а в тег, который дублирует ссылку для соцсетей- вставляю прямо адрес страницы. В общем так проще и без заморочек т.к. адреса то совпадают. Всё было хорошо ровно до того момента, пока дело не доходило до русских символов. Они то блин на стороне сервера не кодировались и выдавалась такая вот Хня:
[spoiler](https://www.sbup.com/seo-forum/proxy.php?request=http%3A%2F%2Fimages.vfl.ru%2Fii%2F1471883631%2F086d83f0%2F13834118.jpg&hash=526370e10761f099d20c6abce41ff2f8326b612d)[/spoiler]
Это и объясняет факт того, что по ней переходили только поисковики т.к. пользователи то по мета тегам не лазят. В общем такой не большой косяк на этапе разработки СМС привёл к тому, что я почти неделю его вылавливал по сайту. Но за то параллельно с этим- за одно подправил пару мелких замечаний. Так что тут тоже можно отыскать положительный момент! :)
Товарищи, как оказывается- проблема совсем не решена. Но решил подождать, подбосрать статистику, чтоб потом оттакиваясь от её уже что то думать. В общем собрал статистику ошибок за два с лишним месяца, написал скрипт, который подсчитал статистику и вот что получилось. Сохранил результат в html файл вот тут:
https://www.max-info.by/stat.html
В таблице юзерагент, а напротив- сколько раз он за последние два с лишним месяца попадал на страницу ошибки. Отдельно в верхней части таблицы пользователи, а начиная с 47-й строки- поисковики.
Собственно вопрос простой. Да где они находят эти битые ссылки? Все ошибки- именно на страницах с тегами т.е. где в адресе есть русские символы. Но я ведь и на сайте, и в карте сайта- везде кодирую русские символы. Я уже и с разных устройств по сайту лазил, и всех друзей просил полазить- нигде ни сам, никто другой не может найти битых ссылок, но между тем вот эти вот товарищи находят. Я в тупике. ???
Попробуй Screaming Frog – он кравлит сайт и выдаёт все 404-ки и проблемные линки.
В консоли Яндекса и Google смотри отчёты по ошибкам, там может быть инфа. И настрой лог-файлы на сервере, чтобы понять, откуда запросы идут.
Используй Screaming Frog SEO Spider. Запусти полный краул сайта, в фильтрaх ищи ссылки с %253A (это двoйное кодирование). Инструмент покажет точные URL страниц, где эти битые ссылки находятся.
P.S. Классическая проблема, бывает после частых переписываний URL или кривых редиректов. Ты на верном пути.