SiteControl - серверная система проверки позиций и аудита сайтов

Алексей Лачков · 10-10-2015, 12:47:43

Я вбил в гугле прокси серверы нашел айпишники проверил на доступность и привязал в настройках модуля к поисковику Received HTTP code 400 from proxy after CONNECT вот что в ответ. Можете посоветовать откуда брать прокси и тд.

Surok · 12-10-2015, 08:08:14

Цитата: Алексей Лачков от 10-10-2015, 12:47:43
Я вбил в гугле прокси серверы нашел айпишники проверил на доступность и привязал в настройках модуля к поисковику Received HTTP code 400 from proxy after CONNECT вот что в ответ. Можете посоветовать откуда брать прокси и тд.

Можно использовать эти прокси socksline.ru либо подобные.
Буквально на днях запустим продажу проксей, можно будет прямо из Lk купить.

Нужно в раздел прокси добавить пачку проксей, в настройках модуля не указывать точный ip который необходимо использовать, тогда система сама определит, какие прокси нужно использовать.

Алексей Лачков · 12-10-2015, 11:01:55

Печаль, только платно.... а бесплатного варианта нету? ну хотя бы ограниченное количество прокси еще и каптчу купить, выходят одни расходы. Дешевле было снимать позиции за 2-3 бакса раз в месяц. Да и не понимаю вроде нашел нормальные прокси в интернете проверил на доступность всё ок - зеленые. а когда позицию снимаю в логах.
Скрины логов
http://prntscr.com/8qdaes
http://prntscr.com/8qdao4

Surok · 12-10-2015, 11:06:16

Цитата: Алексей Лачков от 12-10-2015, 11:01:55
Печаль, только платно.... а бесплатного варианта нету? ну хотя бы ограниченное количество прокси еще и каптчу купить, выходят одни расходы. Дешевле было снимать позиции за 2-3 бакса раз в месяц. Да и не понимаю вроде нашел нормальные прокси в интернете проверил на доступность всё ок - зеленые. а когда позицию снимаю в логах.
Скрины логов
http://prntscr.com/8qdaes
http://prntscr.com/8qdao4

Поищите, возможно есть. Достойный вариантов получать бесплатно подходящие прокси не встречал.
Прокси может работать, но забанен в ПС либо владелец прокси не дает использовать его для парсинга ПС.
По опыту могу сказать, что для google с задержкой 8-10 секунд можно использовать локальный ip, но обязательно использовать разгадовалку капч.
Яндекс дешевле и проще парсить через xml.

irbis90 · 12-10-2015, 11:57:03

есть возможность установить ваш софт не через ioncube?
просто файлы закинуть, и запустить.

Алексей Лачков · 13-10-2015, 08:16:08

Ну вообщем разобрался в системе и есть несколько пожеланий, одно из них это возможность изменение часового пояса в скрипте( удобнее смотреть во сколько снимали позиции ) и еще допустим если у меня закончились каптчи я мог сам вручную вводить её

Добавлено: 13-10-2015, 08:46:38

И еще вопросы есть. Можно настроить для отдельных групп разные пс? допустим у меня сайт на трех языках, снимать запросы по яндексу в анг версии мне не надо соответственно я не хочу видеть яндекс в этой группе. Проблема со снятием частотности в вордстате, в логах я не прошел авторизацию, вроде ввел логин и пароль от яндекса(в настройках модуля - Аккаунты ) в чем может быть дело? или я не туда ввел данные ?

Surok · 14-10-2015, 07:10:29

Цитата: irbis90 от 12-10-2015, 11:57:03
есть возможность установить ваш софт не через ioncube?
просто файлы закинуть, и запустить.

Нет, на сервере обязательно должен быть установлен Ioncube.

Цитата: Алексей Лачков от 13-10-2015, 08:16:08
Ну вообщем разобрался в системе и есть несколько пожеланий, одно из них это возможность изменение часового пояса в скрипте( удобнее смотреть во сколько снимали позиции ) и еще допустим если у меня закончились каптчи я мог сам вручную вводить её

Часовой пояс добавим, записал в пожелания.
Ввода капчи вручную не будет, это не целесообразно.

Цитата: Алексей Лачков от 13-10-2015, 08:16:08
И еще вопросы есть. Можно настроить для отдельных групп разные пс? допустим у меня сайт на трех языках, снимать запросы по яндексу в анг версии мне не надо соответственно я не хочу видеть яндекс в этой группе. Проблема со снятием частотности в вордстате, в логах я не прошел авторизацию, вроде ввел логин и пароль от яндекса(в настройках модуля - Аккаунты ) в чем может быть дело? или я не туда ввел данные ?

Снимать позиции для разных групп по разным ПС можно по cron, для этого зайдите в группы запросов нужного сайта, далее редактировать группу.
Но вот отображения ПС с привязкой к группам нет. Эта возможность очень специфическая, запишу в пожелания, но, когда будем реализовывать и будем ли вообще, не могу сказать.

По вордстат, Яндекс очень жестко стал отслеживать ботов, нужно обязательно использовать антикапчу. В ближайшее время мы выпустим обновление с решением данной проблемы, ожидайте.

Алексей Лачков · 20-10-2015, 08:26:27

К пожеланиям добавьте виджеты в которые можно вставлять html(вставлять счетчики с сайта) так же вывод данных с яндекс метрики и аналитик. Так же подобие блокнота для заметок

Surok · 20-10-2015, 12:48:01

Цитата: Алексей Лачков от 20-10-2015, 08:26:27
К пожеланиям добавьте виджеты в которые можно вставлять html(вставлять счетчики с сайта) так же вывод данных с яндекс метрики и аналитик. Так же подобие блокнота для заметок

Вывод html постараемся реализовать быстро. Что касается аналитикса и метрики, то их интеграция у на запланирована.

Мы подготовили порцию "вкусных" обновлений!

Платформа 4.20
Добавлено:
- Добавлена настройка команды в планировщике, для запуска альтернативных команд. У кого были проблемы с запуском cron, прочитайте инструкцию.
На странице прокси появилась возможность купить прокси, подробности о прокси;

Изменения:
- Отключено автоматическое удаление пустых групп;
- Доработаны логи;
- Добавлена проверка на полные права для сайта у юзера;
- Обновлены переводы.

Исправления:
- Исправлена ситуация с удалением www не в начале строки в названии домена;
- Исправлены неточности для прокси и локальных ip;
- Много мелких исправлений.

Модуль — Проверка позиций 4.24
Добавлено:
Это совершилось! Мы добавили сбор частотности wordstat через Яндекс.Директ с поддержкой регионов.

Это означает, что сбор частотности вырос в десятки, а в некоторых случаях и сотни раз!
Собрать частотность для 500 запросов можно менее чем за минуту.

Единственное неудобство, таким методом можно снимать частотность только через интерфейс, для cron съем не делали и в ближайшее время не собираемся делать. Причины тому – это нестандартность парсера, для реализации нам потребуется потратить очень много времени.

Изменения:
- Исправлены консольные команды, возможность запуска альтернативных команд;
- Теперь выводится название примененного фильтра в заголовке;
- При поиске релевантного URL учитываются настройки поддомена.

Исправления:
- Фикс генерации очереди, если расписание на воскресенье. Ранее расписание не запускалось;
- Фикс для удаления запросов при удалении группы запросов.

Модуль — Контроль 4.18
Добавлено:
- Звездочки для полей паролей яндекс и мэйл вебмастера;
- Теперь выводится название примененного фильтра в заголовке

- Массовое назначение и снятие прав на сайты:

Изменения:
- Обновлены переводы.

Исправления:
- Исправляет выход из системы, если у пользователя панель установлена в папку и домашней страницей выбран модуль;
- Исправлены консольные команды, возможность запуска альтернативных команд;
- Много мелких исправлений.

Модуль — Аудит 4.14
Изменения:
- Первая цифра в нумерации версии модуля обозначает не версию модуля, а версию платформы, под которую написан модуль.

Исправления:
- Исправлены консольные команды, возможность запуска альтернативных команд;
- Исправляет выход из системы если у пользователя панель установлена в папку и домашней страницей выбран модуль.

Новые пользователи могут скачать установщик системы здесь.
Пишите свои предложения и пожелания в тикетах lk.site-control.ru, всем тикетам с предложениями будет уделено особое внимание!
Для оперативного общения доступен наш скайп: SiteControlRU

Surok · 27-10-2015, 13:26:14

Платформа 4.23
Изменения:
- Seznam.cz добавлена в парсеры для логирования.

Исправления:
- Авторизация в Яндекс;
- Исправлены переводы.

Добавлено:
Добавлен Чешский поисковик https://www.seznam.cz, интеграция была оплачена нашим пользователем по такой модели http://site-control.ru/functional сотрудничества.

Изменения:
- Предотвращение попадания копипастных пробелов для ключей ********и и аккаунта Яндекс;
- Обновлены иконки.

Модуль — Контроль 4.23
Добавлено:
- Добавлена история показателей в окне с графиками. (недоступно во Free)

Изменения:
- Исправлены переводы.
- Исправлены ошибки.

Модуль — Аудит сайта 4.15
Добавлено:
- Добавлено сканирование картинок, находящихся в теге img. Теперь картинки отображаются в выборка. Так же можно посмотреть список всех страниц, на которых найдено изображение.

Исправления:
- Мелкие исправления.