Нужен скрипт массовой проверки времени загрузки страниц в браузере

[vold57]

Нужен скрипт-парсер, который будет проверять код ответа сервера и время загрузки страниц в браузере. УРЛов будет до 30к. Результат нужно сохранять в экселе.

[Barmaley_66]

Если под веб то с кодами ответов все просто а вот время загрузки страниц в браузере получить стандартными средствами не получиться. Популярный curl либо wget или lynx не грузят картинки и вообще любые внешние скрипты

Есть вариант с внешним api. Такие так или иначе есть но у всех этих api есть ограничения либо по кол-ву проверок либо по времени
Есть вот такой всем известный вариант вариант https://developers.google.com/speed/pagespeed/insights/?hl=RU
У него есть api и для меньшего кол-ва сайтов я делал но для проверки в реальном времени. Проверка по списку с такими вводными
как ваши займет уйму времени. Ваши 30К урлов будут проверяться минимум часов 8 плюс и то не все и трафика гребaнете некисло. Сейчас там лимиты 25К запросов в сутки и 1 запрос в секунду

Если это единичный случай то можно заморочиться через веб и данный сервис но разнести проверку на несколько дней.
Если нужно быстро то веб не пойдет. Надо писать на каком-нибудь delphi / c# / .net
Там есть какие-то компоненты работы с web

[vold57]

Barmaley_66, я не программист, но все равно было интересно прочитать.
Быстро не нужно. Несколько дней проверки меня тоже устроит. Проверять нужно будет изредка. Из собранных страниц мне нужно будет удалить все медленно загружающиеся и то, что останется будет использоваться постоянно. Но для одного проекта подготовить список из быстрозагружающихся страниц нужно будет только один раз.

[Barmaley_66]

Тут не все так просто и вы должны понимать что это не просто скрипт который вы получите, загрузите на хостинг и зайдя по url получите результат. С учетом постановки задачи получается несколько важных моментов которые вы должны понимать как заказчик

1. За один запуск программы вашу задачу не решить. Надо учитывать временные ограничения на выполнение скрипта и запускаться по cron. Тут надо считать на калькуляторе сколько примерно займет получение результата. Также надо понимать что для правильного понимания результатов одного прогона недостаточно. В среднем надо сравнивать 2 - 3 прогона по базе с разносом по времени. Доступность / скорость того или иного ресурса на основании одного замера не считают

2. Данные требуют хранения и последующей обработки. Потребуется работа с базой

3. Задачу можно решать локально на ПК либо с использованием хостера. Как в том и другом случае есть как плюсы так и минусы

4. Если требуется хранение не только данных текущего проекта но и предыдущих проектов то нужна минимальная админ панель

5. Экспорт в эксель это самый последний шаг. Все расчеты и вычисления правильнее в нем не проводить. Первичная информация должна находиться в базе.

Готовых решений я не знаю. Реализовать можно но многое зависит от деталей ТЗ

[vold57]

Я уже договорился с исполнителем. Посмотрим, что получится. )

Учет всех пунктов, которые вы описали, зависит от цены.
 
1. Смотря какое расхождение будет между отдельными запусками. Мне проще собрать большую базу и удалить две третьи части, чем заказывать и платить за программу, которая очень точно позволит мне удалять одну третью часть.
2.Ну, если требуют, значит с базой.) 
3.Без разницы.
4.Предыдущие проекты не нужны.
5.Сортировку и удаление до сих пор делал в экселе. Меня это устраивает.