A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парс

Автор Тема: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парс  (Прочитано 16324 раз)

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 0
  • Сообщений: 65
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Пользователь
  • **
A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, email, телефоны, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 70 парсеров

На сегодняшний день A-Parser развился в невероятный SEO комбаин, позволяющий покрыть огромное число задач для SEO-специалистов и вебмастеров любого уровня подготовки:
  • Используйте встроенные парсеры чтобы с легкостью получать и анализировать любые данные
  • Воспользуйтесь нашим каталогом парсеров и пресетов для расширения возможностей A-Parser и решения нестандартных задач
  • Если вы продвинутый пользователь - создавайте свои собственные парсеры на основе регулярных выражений или XPath
  • Владеете JavaScript? Тогда A-Parser предлагает вам беспрецедентную возможность программировать свои собственные парсеры, используя всю мощь возможностей A-Parser!
  • Для автоматизации мы предлагаем API позволяющий легко встроить A-Parser в ваши бизнес процессы, а также для создания сервисов любого уровня сложности на базе нашего парсера


Кроме этого мы предоставляем услуги по составлению заданий и написанию парсеров под ваши задачи, в кратчайшие сроки и по демократичной цене. Хотите спарсить целиком интернет магазин(Ozon, Amazon, AliExpress)? Проверить 100 миллионов сайтов по вашим признакам? Получить данные с любого сайта в структурированном виде(CSV, JSON, XML, SQL)? В решении этих задач поможет наша дополнительная платная поддержка

A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:
  • SEO-оптимизация сайтов и Web-аналитика
    • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
    • Оценка сайтов и доменов по множеству параметров
    • Мониторинг позиции любых сайтов в поисковых системах
    • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
    • Отслеживание обратных ссылок
    • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
    • Сбор и оценка ключевых слов
    • Сбор списка обратных ссылок
    • И многое другое
  • Web-безопасность
    • Сбор и фильтрация баз ссылок по признакам
    • Определение CMS сайтов
    • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
  • Сетевое администрирование
    • Работа с DNS службой - резолвинг доменов в IP адреса
    • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера
A-Parser обладает следующими преимуществами:
  • Колоссальная производительность
    • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
    • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
    • Множественные оптимизации сложных операций
    • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
  • Промышленные масштабы
    • Парсер разрабатывался с учетом работы с неограниченным размером данных
    • Способен обрабатывать сотни миллионов и миллиардов запросов
    • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
  • Автономность
    • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
    • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
    • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
  • Поддержка более 70 парсеров
  • Создание собственных пресетов
    • Использование регулярных выражений
    • Поддержка XPath
    • Поддержка многостраничного парсинга
    • Проверка контента и наличия следующей страницы
  • Создание собственных парсеров
    • Быстрая разработка на JavaScript
    • Многопоточность и работу с прокси обеспечивает A-Parser
  • Распознавание каптчи
    • Поддержка множества сервисов: антигeйт, cheap-captcha.com, rucaptcha.com и любых других на основе AntiGate API
    • Поддержка CapMonster и XEvil
  • Мощные инструменты для формирования запросов и результатов
    • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
    • Подстановки для запросов: из файла; перебор слов, символов и цифр
    • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
    • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
    • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, json, sql, произвольный формат)
  • Гибкость настроек
    • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
    • Настроить можно все - никаких рамок и ограничений
    • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
  • Сетевые возможности
    • Поддержка HTTP/1.1, HTTP/2 и HTTPS(TLS)
    • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
    • Полностью асинхронная работа с сетью, включая работу с DNS
  • API
    • Возможность интегрировать и управлять парсером из своих программ и скриптов
    • Полная автоматизация бизнес-процессов
    • Клиенты для PHP, Perl, Python и NodeJS
  • Постоянные улучшения и исправления
    • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
    • С тех пор было выпущено более 100 новых версий, включающих множество улучшений и исправлений
    • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
  • Техническая поддержка
    • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
    • Создана подробная документация по A-Parser'у, открыт форум для пользователей
    • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
    • Разработчики A-Parser'а готовы ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера
Более подробно ознакомится с возможностями парсера можно в полноценной документации

A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:



Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.
Для приобретения лицензии необходимо зарегистрироваться на сайте https://a-parser.com и перейти на страницу оплаты.
Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку
« Последнее редактирование: 08-05-2017, 19:52:01 от Sevab »
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций


Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 0
  • Сообщений: 65
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Пользователь
  • **
A-Parser - 1.1.162 - новые парсеры Seznam и подсказок AOL, уменьшено потребление памяти на 40%

Улучшения
  • SE::Seznam -  парсер чешской поисковой системы seznam.cz
  • SE::AOL::Suggest - парсер подсказок с поисковой системы AOL
  • Уменьшено начальное потребление памяти на 40%
  • В парсере Net::HTTP добавлена возможность указать произвольные заголовки запроса, с поддержкой возможностей шаблонизатора
  • Добавлена опция позволяющая сохранять параметры окна интерфейса A-Parser
  • Добавлена возможность пропускать обновления на определенную версию
  • Улучшено отображение интерфейса при изменении размеров окна и растягивании на весь экран
  • Добавлен параметр командной строки -nofork позволяющий отключить многоядерную обработку результатов
Исправления
  • Исправлено отображение текущий версии A-Parser для пользователей Lite версии
  • Исправлена работа тестового парсинга с некоторыми ресурсами
  • Исправлен парсер Rank::Ahrefs в связи с изменением в выдаче
  • Исправлена работа опции Use pages для парсера Net::HTTP при использовании перебора запросов
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 0
  • Сообщений: 65
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Пользователь
  • **
A-Parser - 1.1.177 - Новый модуль SEO::Ping и парсер Rank::Mustat, улучшения в интерфейсе

Улучшения
  • Новый модуль SEO::Ping - массовая отправка Ping запросов в сервисы поддерживающие Weblog API(Google Blog Search, Feed Burner, Ping-o-Matic и т.п.)
  • Новый парсер Rank::Mustat - оценка трафика на сайте, также стоимость и рейтинг домена
  • Для парсера Net::Whois добавлена возможность вручную указать адрес whois-сервера
  • В поле Additional headers парсера Net::HTTP теперь возможно использовать переменные из конструктора запросов
  • Добавлена опция позволяющая перезаписывать файл результата
  • Добавлена возможность поиска пресета задания по названию
  • Автоматическая прокрутка к выбранному элементу во всех списках в интерфейсе парсера
  • В очереди заданий теперь отображаются названия пресетов

Исправления
  • Парсер Rank::Ahrefs исправлен в связи с изменением в выдачи
  • Исправлен вывод Raw results для парсера Net::Whois
  • Исправлен вывод порядкового номера запроса $query.num
  • Исправлена работа метода API bulkRequest

http://a-parser.com/threads/1436/
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

Оффлайн SaKrAt91

  • Бизнес оценка: (0)
  • Рекрут
  • *
  • СПАСИБО: 3
  • Сообщений: 17
  • Карма: 1
    • Просмотр профиля

Оффлайн SaKrAt91

  • Рекрут
  • *
В валюте как-то не актуально теперь, цена сервиса выросла раза в 2)

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 0
  • Сообщений: 65
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Пользователь
  • **
A-Parser - 1.1.200 - возможность добавлять запросы на основе результатов парсинга, множество исправлений


Улучшения

  • Добавлена возможность добавлять новые запросы на основе результатов парсинга, что позволяет составлять более продвинутые пресеты по сбору данных
  • Парсер SE::Google::Images теперь парсит без https
  • Добавлена возможность ограничить максимальное число соединений на один прокси сервер
  • В API добавлена возможность удалять файл результата
  • Обновлен Perl модуль по работе с API AParser.pm
  • В Конструкторе результатов теперь автоматически подставляются имена результирующих переменных
  • Добавлена возможность использовать запрос $query в настройке Extra query string

Исправления

  • В парсере SE::Yandex исправлена обработка каптчи, переход по страницам и парсинг времени кэширования, в связи с изменением в выдачи
  • Исправлена возможность сохранять бинарные данные(скачивать картинки, видео, документы...)
  • Исправлен вывод запроса после форматирования для конкретного парсера, используя конструкцию $p1.query.query
  • Исправлена кодировка при сохранении неудачных запросов
  • Исправлена ошибка, при которой задания могли не удалятся из очереди
  • Исправлена кодировка в именах файлов результатов
  • В парсере HTML::LinkExtractor исправлена работа при переходе одновременно по внутренним и внешним ссылкам
  • При использовании нескольких парсеров и опции Parse to level в некоторых случаях могли накапливаться запросы что приводило к утечке памяти
  • Исправлен вылет парсера при использовании некоторых регулярных выражений
  • Исправлена обработка относительных путей в парсере Net::HTTP при использовании опции Next Page Regex
  • Исправлен парсинг количества результатов в парсере SE::Google при использовании арабской локализации
  • Исправлена блокировка файла после завершения задачи при использовании нескольких файлов результатов
  • Исправлен парсер Rank::Ahrefs в связи с изменением в выдачи
  • Исправлена ошибка работы с исходным кодом страницы в парсере SE::Google
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций


Онлайн vold57

  • Бизнес оценка: (6, 100%)
  • Мастер
  • *****
  • СПАСИБО: 4496
  • Сообщений: 6026
  • Карма: 258
  • Пол: Мужской
  • Награды Более трех тысяч спасибо Мастер поисковой оптимизации
    • Просмотр профиля

Онлайн vold57

  • Мастер
  • *****
Хороший софт. Давно пользуюсь. И саппорт отличный. Иногда задаю вопросы и без ответов не остаюсь.

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 0
  • Сообщений: 65
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Пользователь
  • **
Демо версия A-Parser

Рады представить онлайн демо версию A-Parser ( http://a-parser.com/pages/demo/ ), в которой можно ознакомиться со всеми возможностями перед покупкой парсера или перед переходом на новую версию

Демо версия предоставляет доступ к A-Parser установленному на нашем сервере, период тестирования - 6 часов, по истечению этого времени все настройки автоматически будут сброшены

Ограничения демо версии:
  • Результаты парсинга не доступны для загрузки
  • Максимальное число потоков - 100
  • Парсинг возможен только с использованием прокси
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 0
  • Сообщений: 65
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Пользователь
  • **
A-Parser - 1.1.224 - улучшенные возможности по уникализации результатов, множество исправлений(http://http://a-parser.com/threads/1565/)

Все возможности новой версии можно прoтестировать в демо версии A-Parser'а (http://http://a-parser.com/pages/demo/)

Улучшения

  • Добавлена возможность уникализировать результаты созданные с помощью Конструктора результатов
  • Добавлена возможность передавать дополнительные параметры на сервис распознавания каптчи(например специальные настройки для CapMonster)
  • В парсер SE::Bing::Images добавлена возможность отключить безопасный поиск
  • В парсер SE::YouTube добавлен фильтр по 4K видео
  • Добавлена возможность применять Конструктор запросов после подстановок запросов
  • В парсер SE::Bing добавлена возможность парсить связанные кейворды в глубину, автоматически подставляя новые кейворды в запросы(Parse to level)
  • Переработан выбор файлов запросов, теперь вложенные директории отображаются только при клике по ним

Исправления в связи с изменениями в выдачи

  • Исправлен парсер SE::Yandex::WordStat
  • Исправлен парсер SE::Yahoo
  • Исправлен парсер SE::AOL
  • Исправлен парсинг связанных ключевых слов в парсере SE::Bing
  • Исправлен парсинг времени последнего кэширования страницы в парсере SE::Yandex
  • Исправлен регистратор аккаунтов SE::Yandex::Register
  • Исправлен парсинг связанных ключевых слов в парсере SE::Yandex
Исправления

  • Некорректно работала опция сохранения переноса строк для Windows (CRLF)
  • Иногда задание могло зависнуть в состоянии pausing/stopping
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 0
  • Сообщений: 65
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Пользователь
  • **
A-Parser - 1.1.247 - новые парсеры поисковиков Ask и Comcast, произвольные шаблоны в конструкторе результатов - http://a-parser.com/threads/1612/

Улучшения

  • В конструкторе результатов и фильтрaх теперь возможно использовать произвольный шаблон в качестве аргумента для преобразования или фильтрации
  • В парсер SE::Yandex добавлена возможность выбора домена yandex.com для парсинга
  • Добавлен новый поисковик SE::Ask с американской выдачей Google
  • Добавлен новый поисковик SE::Comcast с американской выдачей Google
  • Добавлена статистика для завершенных заданий, а также отображение общего времени выполнения задания
  • Добавлен объект $request, который доступен при форматировании результата и позволяет извлечь любую информацию о текущем запросе, а также о всех редиректах выполненных перед конечным запросом
Исправления

  • Парсер мог заблокировать файл результата после завершения задания
  • Исправлена некорректная обработка <base href= в некоторых случаях
  • Парсер вылетал при использовании инструмента генерации произвольного User-Agent tools.ua.random() в тестовом парсинге
  • В быстром задании не работал выбор запросов из файла
  • Некорректно обрабатывался редирект с автоматическим выбором схемы(ссылки вида //domain.com/)

Исправления в связи с изменениями в выдачи

  • В парсере Rank::Alexa исправлен парсинг страны и регионального рейтинга
  • Улучшен парсинг тИЦ в парсере SE::Yandex::TIC
  • Исправлен парсер SE::Yahoo
  • Исправлено определение блокировки IP-адреса в парсере Rank::Ahrefs
  • Исправлен парсер SE::Yandex::WordStat::ByDate
  • Парсер Rank::Category перешел на семантический анализатор от Ашманова
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций


Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Пользователь
  • **
  • СПАСИБО: 0
  • Сообщений: 65
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Пользователь
  • **
Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов (http://a-parser.com/threads/1660/)

Итак, продолжаем серию статей с рецептами применения A-parser: комплексные примеры с одновременным использованием различного функционала парсера.

Проверяем наличие мобильной версии для 1000000 сайтов (http://a-parser.com/threads/1655/)

Работаем с большими объемами данных и учимся искать совпадения в raw data.

  • за 8 часов работы данного задания мы узнали что почти 41% самых посещаемых сайтов не имеют мобильных версий. Кто знает, возможно обзаведясь мобильной версией, они стали бы еще более посещаемыми?

По списку запросов получаем страницы, CMS, PR, e-mail из whois (http://a-parser.com/threads/1645/)

Комплексное задание, выполняемое в 2 этапа, в котором мы учимся работать с несколькими парсерами, регулярными выражениями, а также красиво выводим результаты во многоуровневые каталоги и несколько файлов.

  • на первом этапе используется 1 парсер, на втором - 3
  • в конструкторе результатов используется регулярное выражения для извлечения необходимой информации
  • результаты выводятся в виде вложенных папок и текстовых файлов по следующей схеме:
Код:
Только зарегистрированные пользователи могут видеть код. Пожалуйста, войдите или зарегистрируйтесь.
Узнать позиции по кеям, как? (http://a-parser.com/threads/1659/)

Знакомимся с парсером  SE::Google::Position и проверяем на каком месте в поисковой выдачи находится ключевое слово.


Детальнее о самом парсере здесь (http://a-parser.com/wiki/se-google-position/).

Предыдущие сборники:
  • Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте (http://a-parser.com/threads/1250/)
  • Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов (http://a-parser.com/threads/1328/)
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций


 

Похожие темы

  Тема / Автор Ответов Последний ответ
1 Ответов
2748 Просмотров
Последний ответ 06-01-2012, 01:02:50
от avt25
0 Ответов
3107 Просмотров
Последний ответ 19-06-2011, 16:27:40
от LadanOFF
0 Ответов
1832 Просмотров
Последний ответ 24-07-2011, 00:59:03
от akhmedoff
2 Ответов
2022 Просмотров
Последний ответ 30-12-2011, 09:36:19
от ivan18shishkin
1 Ответов
580 Просмотров
Последний ответ 26-12-2017, 15:07:37
от MrRoman