Seo Форум

Поисковая оптимизация => SEO сервисы и Seo инструменты => Тема начата: vold57 от 22-03-2020, 23:21:45

Название: Как массово проверить коды ответа сервера и время загрузки страниц?
Отправлено: vold57 от 22-03-2020, 23:21:45
УРЛов может быть 20к. Сайты разные.
Название: Re: Как массово проверить коды ответа сервера и время загрузки страниц?
Отправлено: Val_Ery от 23-03-2020, 22:35:05
Цитировать
Как массово проверить коды ответа сервера и время загрузки страниц?

Интересная задачка :)
Коды ответов получить достаточно просто. А вот время загрузки страниц... Могу предложить такой вариант:

Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.
Здесь - "многопоточный" запуск curl (выполняется 10 процессов одновременно -P 10). В качестве источника данных - файл, содержащий список URL (при запуске скрипта выводится запрос на ввод названия этого файла). Результат работы сохраняется в файл results.csv

Какие данный собираются...
В данном случае, это собственно сам URL и для него - код ответа, общее время выполнения в секундах, средняя скорость до окончания полной загрузки через curl.
"Собираемые" данные прописываюся в виде %{variable_name}. Могут использоваться следующие переменные:
(нажмите чтобы показать/скрыть)

P.S. Нужен установленный curl.

P.P.S. Если хотя бы частично решит задачу, буду рад.
Название: Re: Как массово проверить коды ответа сервера и время загрузки страниц?
Отправлено: vold57 от 23-03-2020, 23:04:52
Цитата: Val_Ery от 23-03-2020, 22:35:05
А вот время загрузки страниц
Это время загрузки страниц в браузере?
По установке, видимо придется обращаться в саппорт ВДС. Сам я не программист и не админ. )

Название: Re: Как массово проверить коды ответа сервера и время загрузки страниц?
Отправлено: Val_Ery от 24-03-2020, 00:05:30
Цитата: vold57 от 23-03-2020, 23:04:52
Это время загрузки страниц в браузере?
К сожалению, нет. Curl - он, как бы, текстовый. То есть, можно в консоли просто набрать
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.и любоваться разметкой в терминале.
Временные "отсечки" касаются только того, что сервер отдаёт curl'у по его запросу.

В общем, я пока не придумал, как с-имитировать погрузку линка, как это делает браузер, и с помощью чего проще посчитать время для каждого конкретного линка. Придумаю - отпишусь...

P. S. Про vds. Если скажете, какая там ось установлена (у Вас ведь есть права админа?), подскажу, как установить. Ну... Это, если решитесь попробовать ;)
Вообще, curl можно поставить и на вин10. Нужно только задействовать подсистемы виндовс для линукс и установить нормальный (в отличии от cmd или powers hell) линуксовый терминал
Название: Re: Как массово проверить коды ответа сервера и время загрузки страниц?
Отправлено: alexakap от 24-03-2020, 14:11:48
Коды ответа сервера покажет какая-нибудь програмулина типа Netpeak spider, ксеня тоже вроде может
А скорость, если сайт шаблонный типа вп, джумлы, dle, будет на всех страницах примерно одинаковой, т.к. по шаблону подключаются одни и те же css и js файлы. Ну да, могут отдельные страницы весить больше из-за тяжелых фоток. Это можно посмотреть по website auditor в разделе "слишком большие страницы". Здесь на форуме вроде была тема по бесплатному анализу сайта в wsa
Название: Re: Как массово проверить коды ответа сервера и время загрузки страниц?
Отправлено: vold57 от 24-03-2020, 14:48:40
Цитата: alexakap от 24-03-2020, 14:11:48
А скорость, если сайт шаблонный типа вп, джумлы, dle, будет на всех страницах примерно одинаковой

Цитата: vold57 от 22-03-2020, 23:21:45
УРЛов может быть 20к. Сайты разные.