Печать страницы - API Сервиса Комплексного Анализа сайтов

Название: API Сервиса Комплексного Анализа сайтов
Отправлено: Sevab от 17-10-2013, 10:50:35

UPD от 08.12.2016:

В API теперь нет необходимости, т.к. вы можете самостоятельно скачать ежедневный дамп базы данных комплексного анализа. Подробнее об этом здесь (http://www.sbup.com/seo-forum/seo_servisy__seo_instrumenty_i_seo_utility/ezednevnyi_damp_bazy_saitov_kompleksnogo_analiza/).

----------------------------------------------------------------------

Друзья, по многочисленным просьбам команда разработчиков сервиса комплексного анализа сайтов (http://www.sbup.com/seo-forum/seo_servisy__seo_instrumenty_i_seo_utility/complex_seo_analysis/) (или сразу сюда (http://www.sbup.com/)) создала API (http://ru.wikipedia.org/wiki/%D0%98%D0%BD%D1%82%D0%B5%D1%80%D1%84%D0%B5%D0%B9%D1%81_%D0%BF%D1%80%D0%BE%D0%B3%D1%80%D0%B0%D0%BC%D0%BC%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F_%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9) для получения данных сервиса программным путем.
Формат получаемых данных - JSON (http://ru.wikipedia.org/wiki/JSON).

(http://www.sbup.com/myimages/cmp_tls/api_data.png)

Обращаю внимание, данные отдаются в UTF-8 кодировке.
Если в ответе сервера будут присутствовать не латинские буквы (напр. имя домена президент.рф), а ваш сайт (скрипт) работает в кодировке отличной от UTF-8 (напр. windows-1251, кириллица), то вам придется конвертировать полученные данные в свою кодировку. На PHP это можно сделать с помощью функции iconv (http://www.php.net/manual/ru/function.iconv.php).
Тоже самое касается ваших запросов. Если в запросе присутствуют не латинские символы, то запрос должен быть в UTF-8 кодировке.

API сервис совершенно бесплатный, но есть некоторые ограничения, о которых будет сказано ниже.
Также разрабатывается более сложный (больше данных) программный интерфейс, который возможно будет платный, но об этом тоже ниже.

Какие данные вы получаете?

Вы получите 9 основных характеристик сайтов, прошедших комплексный анализ нашим сервисом (http://www.sbup.com/). Это:

'page_rank' => PageRank главной страницы
'page_rank_real' => Реальный ПР сайта
'trust_rank' => Траст (уровень доверия) сайта
'yandex_rank' => Яндекс рэнк (от нуля до шести)
'yandex_tic' => Яндекс тИЦ
'value_site' => Примерная стоимость сайта
'alexa_rank' => Алекса рейтинг.
'alexa_2_level' => Этот параметр важен только для поддоменов. Если у поддомена алекса рейтинг отличен (редкий случай) от вышестоящего домена, то значение будет 1, иначе 0. Т.е. если значение этого параметра 1, то алекса реальный, если ноль, то рейтинг алексы можно не учитывать.
'spam_links' => Заспамленность сайта. Измеряется от нуля до 100 процентов, либо значение na (не определено, т.е. недостаточно данных для определения).

Каким образом можно получить доступ к API?

Не смотря на то, что сервис совершенно бесплатный, есть некоторые ограничения.

1) Доступ к интерфейсу предоставляется только различным онлайн сервисам, сайтам, либо программным продуктам.
Для личного пользования будет онлайн сервис на текущем сайте, а этот интерфейс только для сторонних сервисов.

2) Если это онлайн сервис либо сайт, то на страницах отображающих данные нашего сервиса должна быть информация откуда получены данные. Т.е. это может быть небольшой поясняющий текст, либо картинка, с прямой ссылкой на сервис комплексного анализа (http://www.sbup.com/).
Т.е. при запросе доступа вы должны предоставить пример такой страницы.
Если после получения доступа, и отображения наших данных вашим сервисом, на страницах с данными не будет указания откуда они получены, доступ может быть прекращен.

3) Если вы собираетесь встроить данные сервиса в ваш программный продукт, пожалуйста опишите в каком виде будет представлена информация о получаемых данных с нашего сайта.

4) Если вышеуказанные пункты будут выполнены, вы получите пару логин-пароль для доступа к API.

5) Запрос нужно подать только через нашу форму обратной связи (http://www.sbup.com/contacts.php), т.к. вы получите ответ на email, который будет логином для доступа к сервису. Просьба не просить доступ через личку этого форума.

Как получать данные?

Сервис работает только с POST запросами. В запросе не более 50 доменов за один раз. Дальше привожу примеры на PHP.
Вы должны послать одномерный массив доменов.
Это может быть что-то вроде:
$check_sites[0] = 'seobuilding.ru';
$check_sites[1] = 'seomastering.com';
$check_sites[2] = 'trustdirectory.org';

или

$check_sites[] = 'seobuilding.ru';
$check_sites[] = 'seomastering.com';
$check_sites[] = 'trustdirectory.org';

Или другим путем полученный массив доменов.
Если массив получен примерно как в примерах выше, перед запросом его (массив) нужно перевернуть, т.е. поменять местами ключи и значения, т.к. POST запросом цифровые ключи не передаются. Пример:
$check_sites = array_flip($check_sites);

Ниже полный рабочий скрипт доступа к API через cURL (http://www.php.net/manual/ru/curl.examples.php):

Код:

Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.

Разбираем работу скрипта.

Соединяемся с сервисом с помощью функции get_mass_trust, которая использует curl для доступа к API, посылки данных (массива доменов) и пары логин:пароль, а также получения ответа в JSON формате.

В принципе, в вышеупомянутом скрипте все подробно объяснено, поэтому повторяться смысла нет. Обращу лишь внимание на некоторые нюансы.

1) Если ответа нет, либо он не в формате массива, значит что-то пошло не так. Смотрите пояснения в скрипте.

2) Коды ошибок:
'domains_not_in_db' - Ни один из представленных доменом не находится в базе данных. Т.е. нужно проверять вручную через сервис

'wrong_domain_names' - Неправильные имена доменов. Например seobuildi+ng.ru

'try_in_one_second' - Запросы не чаще чем 1 раз в полсекунды. Попробуйте через секунду.

'wrong_login_or_password' - Неправильный логин или пароль

'try_again_in_24_hours' - Больше 10 неудачных попыток входа (неправильный логин или пароль). Вход с вашего IP блокируется на 24 часа.

'wrong_login_try_in_3_seconds' - Неправильный логин или пароль и частота неправильных запросов чаще одного раза в три секунды. Попробуйте через 3 секунды.

3) Сам ответ будет в формате массива, где ключами будут имена доменов, а значениями массивы вышеперечисленных пузомерок и других параметров сайта. Например:

Код:

Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.

В этом пункте обращу внимание на два возможных значения домена, которые не являются массивами.
а) 'no_in_db' - Домена нет в базе данных. Значит его сначала нужно проверить нашим сервисом (http://www.sbup.com/).
б) 'limit_exceed'. Дело в том, что за один раз можно проверять не более 50 доменов. Все что больше, будет иметь это значение.

UPD:
Ниже скрипт работы с АПИ на python от Глеба с сайта http://www.rodinalinkov.ru/ (http://www.rodinalinkov.ru/) (скрипт уже работает на этом сайте):

Код:

Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.

По работе скрипта все. Если кто разработает скрипт доступа к API на другом (не PHP) языке, пожалуйста предоставьте его. Помещу скрипт в это сообщение, чтобы другие пользователи могли им воспользоваться.

Жду ваши замечания и предложения по работе сервиса.

ПС.
Ближайшие две недели будет разработан расширенный API, с помощью которого можно будет получать 40-60 параметров сайта.
На основе обоих программных интерфейсов будет запущен онлайн сервис (на этом сайте) по массовому получению и сравнению характеристик сайтов. До 50 сайтов за один раз.

Онлайн сервис будет бесплатным (это без вариантов), а вот программный доступ к расширенному API бесплатным сделать не получиться, т.к. массовые сложные (ведь данных будет не 9, а 40-60) запросы достаточно накладны.

Поэтому у меня есть к вам вопрос по разрабатываемому расширенному (до 60 параметров сайта) API.
Какая может быть нормальная (приемлемая) цена за запрос по одному (но запрашивать можно будет сразу до 50) домену?

Просьба называть реальные цифры, т.к. пояснил выше, почему цена не может быть нулевой либо близкой к нулю.

PS.PS.
Сервис массовой проверки уже готов (http://www.sbup.com/seo-forum/seo_servisy__seo_instrumenty_i_seo_utility/servis_massovogo_sravneniya_saitov_ot_seobuilding_ru/). Скоро будет готово API-PRO.

Название: Re: API Сервиса Комплексного Анализа сайтов
Отправлено: remind4me от 19-10-2013, 20:52:53

Sevab, отличный API !!!
Я немного прoтестил, с сервера Москвы и Минска - данные получил практически мгновенно!
Вот пример одного из отчетов: