Как разобраться, почему перестал ЛИНКОСКОП делать анализ

Автор natmir, 22-11-2015, 10:07:03

« назад - далее »

natmirTopic starter

Добрый день всем! Несколько месяцев не пользовалась Линкоскопом. Вчера решила проверить перелинковку. Сначала опешила - программа выдала 6048(!) битых ссылок с кодом ошибки 500. Да и проанализировала она чуть больше 60 страниц сайта. Второй анализ выдал совершенно другие цифры, но ошибка 500 осталась. Ошибка 500, насколько я понимаю, это ошибка сервера. Стала мучать хостеров. Всю ночь с ними переписывалась. Итог неутешительный. Сначала они меня стали уверять, что
[spoiler]Ссылки не битые, просто у Вас достаточно большая посещаемость и когда ещё приходят поисковые роботы и начинают сканировать все ссылки на сайте превышаются лимиты. В статистике использования ресурсов видно:
"Ваш сайт подвергался ограничениям в течение последних 24 часов
Ресурсы процессора ограничивались для Вашего сайта
Ресурсы физической памяти ограничивались для Вашего сайта
Вы достигали пределов по входным процессам (количеству одновременно запущенных PHP и CGI скриптов, заданий по расписанию и консольных сессий) <b>548</b> раз
Ваш сайт достигает ограничений по использованию ресурсов
Использование Вами ввода-вывода достигало 1024 из 1024 выделенного"
Отсюда и 500 ошибка (когда доступ к сайту ограничивается лимитамии, выдается 500 ошибка). Лимиты у нас достаточно свободные, так что надо видимо аккуратнее работать с поисковыми роботами и проверялками. Как вариант, Вы можете на время работы программы или онлайн чекера, ограничить доступ к сайту только Вашим айпи адресом или адресом сайта онлайн чекера для того, чтобы не превышать лимиты. На всякий случай добавил в robots.txt:
User-agent: Yandex
Crawl-delay: 10
С тем, чтобы яндекс не грузил чрезмерно аккаунт. Последите некоторое время за показателями нагрузки и, если будут проблемы с 500 ошибкой, сообщите нам.
[/spoiler]
Попыталась опять пропустить свой сайт через Линкоскоп - ничего не изменилось - программа после проверки небольшого количества страниц опять выдает неверные сведения.
Я абсолютно безграмотна в технических вопросах (ресурсы процессора, ресурсы физической памяти и пр.), но точно знаю, что никакой, как пишут хостеры, "достаточно большой посещаемости" у меня сейчас нет - ноябрь-декабрь у огородников - мертвый сезон. Посещаемость с мая месяца уменьшилась в 10 раз (до 1300 посетителей в день) и, думаю, что в декабре будет еще меньше. Поняла только, что лимиты не позволяют нормально работать Линкоскопу. Но по поводу увеличения лимитов хостер ответил так:
[spoiler][такие лимиты мы используем лет уже 9 и их значения не менялись. На любом хостинге используются аналогичные лимиты, они могут быть больше или меньше, но они есть. Эти лимиты применяются для того, чтобы при превышении выделяемых на сервере для хостинга ресурсов каким-то из клиентов, это не повлияло бы на других клиентов. Виртуальный хостинг по английски называется точнее: shared hosting. На виртуальном хостинге ресурсы одного сервера, распределяются между пользователями сервера и один пользователь не может получать все ресурсы сервера за счёт других пользователей.
Повышать мы их не будем, так как в прошлом уже пробовали (и не только мы) и это не приносит ожидаемых результатов.[/spoiler]
Вобщем какой-то замкнутый круг получается.
Хостеры дали еще один совет:
[spoiler]Если вступают в силу лимиты, то необходимо либо оптимизировать сайт (если есть еще куда), либо переходить на виртуальный или физический сервер, так как с хостингов будут гонять за превышение нагрузки. Какие именно изменения повлияли на создаваемую нагрузку сказать сложно. В нашей практике бывали случаи, когда буквально от одного плагина поставленного на WordPress сайту становилось очень плохо. Но сказать точно, кто виноват в повышении нагрузки и виноват ли, практически невозможно, так как мы не видим какие именно запросы или какие скрипты и/или их функции вызывают нагрузку. Для этого существует т.н. профилирование нагрузки которое производится обычно программистами с целью отлавливания проблем в коде. Мы такими работами не занимаемся. Отчасти это профилирование может заменить стастика нагрузки (она практически в реальном масштабе времени работает). Попробуйте поотключать плагины для начала один за другим и посмотреть как это влияет на показатели. Начинать стоит с тех, которые последние устанавливали. Также стоит проверить когда примерно начались проблемы и что делалось на сайте в это время, какие изменения были сделаны.[/spoiler]
Я, конечно, попробую поэкспериментировать с плагинами. Но, вроде бы те, которые есть, с августа месяца (а тогда Линкоскоп работала нормально) не меняла и не добавляла.
И еще один совет хостера:
[spoiler]В .htaccess нужно вписать:
order deny,allow
deny from all
Allow from ip (ip замените своим, его можно узнать на ip.yandex.ru)[/spoiler]
Но у меня ip не постоянный. Значит каждый раз надо новый вписывать? Вобщем - головная боль...
Может быть у кого-то была подобная ситуация? Дайте, пожалуйста, совет, как лучше решить проблему с Линкоскопом.
Извините, что сообщение получилось таким большим - краткость - не моя сестра. :))


Maklaud

#1
Здравствуйте! С программой ЛИНКОСКОП лично не знаком, но
Попробуйте проверить сайт этой бесплатной программой Xenu Link Sleuth.
Это программа для аудита внутренней структуры сайта. Там тоже есть проверка на битые ссылки.

Почему вы вдруг решили проверить перелинковку? Перелинковка если она уже сделана, то она сама по себе не может исчезнуть..
На счет битых ссылок: Если вы не переименовывали url-страницы сайта, то битых ссылок быть не должно.. Битые ссылки могут появиться если вы ссылаетесь на внешние картинки или внешние ресурсы. Так как картинки за пределами вашего сайта могут быть удалены или перемещены.
Также битые ссылки могут быть из-за неверного написания url-адреса в ссылке.
  •  


natmirTopic starter

Цитата: Maklaud от 23-11-2015, 20:47:10Почему вы вдруг решили проверить перелинковку?
Может быть я неправильно выразилась, но мне надо было проверить, какие страницы сайта у меня имеют слабый вес, чтобы добавить на них внутренних ссылок. Xenu у меня тоже есть, но для этой цели Линкоскоп подходит больше, чем Xenu. Проблема в том, что на каком-то этапе проверки Линкоскоп перестает работать.

Владимир75

Цитата: natmir от 23-11-2015, 21:03:06
Может быть я неправильно выразилась, но мне надо было проверить, какие страницы сайта у меня имеют слабый вес, чтобы добавить на них внутренних ссылок. Xenu у меня тоже есть, но для этой цели Линкоскоп подходит больше, чем Xenu. Проблема в том, что на каком-то этапе проверки Линкоскоп перестает работать.
Тогда пишите разработчику...
Услуги: Сайты в топ за две неделм Мобильный, WatsApp., Viber +79964788889, telegram @xiceer.
  •  

natmirTopic starter

Цитата: Владимир75 от 23-11-2015, 21:10:54Тогда пишите разработчику...

Спасибо, про разработчиков я как-то не подумала...


Sky-fi

Цитата: natmir от 22-11-2015, 10:07:03Но у меня ip не постоянный. Значит каждый раз надо новый вписывать?
Впишите целую подсеть тогда.

По поводу хостеров - тут не все однозначно. Во-первых, не на 100% факт, что дело в лимитах. У меня недавно сайт отдавал 500-е ошибки при сканировании, проблема была в битых innodb в базах. Саппорт поколдовал, все ок стало. Второе - если дело в лимите - можно съехать на более быстрый шаред, или взять впс недорогой, можно за $ 10 вполне приличный арендовать.

Ну и конечно же, можно написать разработчику, Марку - он идет на контакт, несколько раз пересекался с ним на разных форумах, общались в рамках каких-то вопросов, можете с ним посоветоваться.

Я в вашей ситуации перешел бы на впс, 10К посетителей - совсем не мало, особенно для шареда.

CLASSIK

Марк сказал что яндекс сменил алгоритмы, а нормального программера, который бы доработал софт - нет :)
  •  

Sky-fi

Цитата: CLASSIK от 24-11-2015, 16:04:27Марк сказал что яндекс сменил алгоритмы, а нормального программера, который бы доработал софт - нет
Уверен, что есть, просто вопрос в бюджете, скорее всего) Тем не менее, прога все еще нормально сканирует сайты, общую инфу получить по ссылкам можно. Меня сильно напрягает только, что нет возможности подключения проксей, хмл-лимитов, антикапчи, и что прога не работает с https протоколом(



CLASSIK

Sky-fi, как-то много чего напрягает :) или мне показалось? :)
  •  


Sky-fi

По сути, всего два проблемы)
1. Не работает с хттпс
2. Нельзя ускорить и сделать более качественным процесс сканирования, при помощи прокси, антикапчи и тд

Вот подумываю Page Weight купить, но если у нее такой интерфейс и возможности, как у версии Lite -грош ей цена вообще.