A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парс

[A-Parser Support]

A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, email, телефоны, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 70 парсеров

На сегодняшний день A-Parser развился в невероятный SEO комбаин, позволяющий покрыть огромное число задач для SEO-специалистов и вебмастеров любого уровня подготовки:

• Используйте встроенные парсеры чтобы с легкостью получать и анализировать любые данные
  
• Воспользуйтесь нашим каталогом парсеров и пресетов для расширения возможностей A-Parser и решения нестандартных задач
  
• Если вы продвинутый пользователь - создавайте свои собственные парсеры на основе регулярных выражений или XPath
  
• Владеете JavaScript? Тогда A-Parser предлагает вам беспрецедентную возможность программировать свои собственные парсеры, используя всю мощь возможностей A-Parser!
  
• Для автоматизации мы предлагаем API позволяющий легко встроить A-Parser в ваши бизнес процессы, а также для создания сервисов любого уровня сложности на базе нашего парсера
  

Кроме этого мы предоставляем услуги по составлению заданий и написанию парсеров под ваши задачи, в кратчайшие сроки и по демократичной цене. Хотите спарсить целиком интернет магазин(Ozon, Amazon, AliExpress)? Проверить 100 миллионов сайтов по вашим признакам? Получить данные с любого сайта в структурированном виде(CSV, JSON, XML, SQL)? В решении этих задач поможет наша дополнительная платная поддержка

A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:

• SEO-оптимизация сайтов и Web-аналитика
  
  
  
  • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
    
  • Оценка сайтов и доменов по множеству параметров
    
  • Мониторинг позиции любых сайтов в поисковых системах
    
  • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
    
  • Отслеживание обратных ссылок
    
  • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
    
  • Сбор и оценка ключевых слов
    
  • Сбор списка обратных ссылок
    
  • И многое другое
    
• Web-безопасность
  
  
  
  • Сбор и фильтрация баз ссылок по признакам
    
  • Определение CMS сайтов
    
  • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
    
• Сетевое администрирование
  
  
  
  • Работа с DNS службой - резолвинг доменов в IP адреса
    
  • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера
    

A-Parser обладает следующими преимуществами:

• Колоссальная производительность
  
  
  
  • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
    
  • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
    
  • Множественные оптимизации сложных операций
    
  • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
    
• Промышленные масштабы
  
  
  
  • Парсер разрабатывался с учетом работы с неограниченным размером данных
    
  • Способен обрабатывать сотни миллионов и миллиардов запросов
    
  • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
    
• Автономность
  
  
  
  • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
    
  • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
    
  • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
    
• Поддержка более 70 парсеров
  
• Создание собственных пресетов
  
  
  
  • Использование регулярных выражений
    
  • Поддержка XPath
    
  • Поддержка многостраничного парсинга
    
  • Проверка контента и наличия следующей страницы
    
• Создание собственных парсеров
  
  
  
  • Быстрая разработка на JavaScript
    
  • Многопоточность и работу с прокси обеспечивает A-Parser
    
• Распознавание каптчи
  
  
  
  • Поддержка множества сервисов: антигeйт, cheap-captcha.com, rucaptcha.com и любых других на основе AntiGate API
    
  • Поддержка CapMonster и XEvil
    
• Мощные инструменты для формирования запросов и результатов
  
  
  
  • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
    
  • Подстановки для запросов: из файла; перебор слов, символов и цифр
    
  • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
    
  • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
    
  • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, json, sql, произвольный формат)
    
• Гибкость настроек
  
  
  
  • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
    
  • Настроить можно все - никаких рамок и ограничений
    
  • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
    
• Сетевые возможности
  
  
  
  • Поддержка HTTP/1.1, HTTP/2 и HTTPS(TLS)
    
  • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
    
  • Полностью асинхронная работа с сетью, включая работу с DNS
    
• API
  
  
  
  • Возможность интегрировать и управлять парсером из своих программ и скриптов
    
  • Полная автоматизация бизнес-процессов
    
  • Клиенты для PHP, Perl, Python и NodeJS
    
• Постоянные улучшения и исправления
  
  
  
  • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
    
  • С тех пор было выпущено более 100 новых версий, включающих множество улучшений и исправлений
    
  • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
    
• Техническая поддержка
  
  
  
  • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
    
  • Создана подробная документация по A-Parser'у, открыт форум для пользователей
    
  • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
    
  • Разработчики A-Parser'а готовы ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера
    

Более подробно ознакомится с возможностями парсера можно в полноценной документации

A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:



Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как Bitcoin, WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.
Для приобретения лицензии необходимо зарегистрироваться на сайте https://a-parser.com и перейти на страницу оплаты.
Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку

[A-Parser Support]

A-Parser - 1.1.162 - новые парсеры Seznam и подсказок AOL, уменьшено потребление памяти на 40%

Улучшения

• SE::Seznam -  парсер чешской поисковой системы seznam.cz
  
• SE::AOL::Suggest - парсер подсказок с поисковой системы AOL
  
• Уменьшено начальное потребление памяти на 40%
  
• В парсере Net::HTTP добавлена возможность указать произвольные заголовки запроса, с поддержкой возможностей шаблонизатора
  
• Добавлена опция позволяющая сохранять параметры окна интерфейса A-Parser
  
• Добавлена возможность пропускать обновления на определенную версию
  
• Улучшено отображение интерфейса при изменении размеров окна и растягивании на весь экран
  
• Добавлен параметр командной строки -nofork позволяющий отключить многоядерную обработку результатов
  

Исправления

• Исправлено отображение текущий версии A-Parser для пользователей Lite версии
  
• Исправлена работа тестового парсинга с некоторыми ресурсами
  
• Исправлен парсер Rank::Ahrefs в связи с изменением в выдаче
  
• Исправлена работа опции Use pages для парсера Net::HTTP при использовании перебора запросов
  

[A-Parser Support]

A-Parser - 1.1.177 - Новый модуль SEO::Ping и парсер Rank::Mustat, улучшения в интерфейсе

Улучшения

• Новый модуль SEO::Ping - массовая отправка Ping запросов в сервисы поддерживающие Weblog API(Google Blog Search, Feed Burner, Ping-o-Matic и т.п.)
  
• Новый парсер Rank::Mustat - оценка трафика на сайте, также стоимость и рейтинг домена
  
• Для парсера Net::Whois добавлена возможность вручную указать адрес whois-сервера
  
• В поле Additional headers парсера Net::HTTP теперь возможно использовать переменные из конструктора запросов
  
• Добавлена опция позволяющая перезаписывать файл результата
  
• Добавлена возможность поиска пресета задания по названию
  
• Автоматическая прокрутка к выбранному элементу во всех списках в интерфейсе парсера
  
• В очереди заданий теперь отображаются названия пресетов
  

Исправления

• Парсер Rank::Ahrefs исправлен в связи с изменением в выдачи
  
• Исправлен вывод Raw results для парсера Net::Whois
  
• Исправлен вывод порядкового номера запроса $query.num
  
• Исправлена работа метода API bulkRequest
  

http://a-parser.com/threads/1436/

[SaKrAt91]

В валюте как-то не актуально теперь, цена сервиса выросла раза в 2)

[A-Parser Support]

A-Parser - 1.1.200 - возможность добавлять запросы на основе результатов парсинга, множество исправлений


Улучшения

• Добавлена возможность добавлять новые запросы на основе результатов парсинга, что позволяет составлять более продвинутые пресеты по сбору данных
  
• Парсер SE::Google::Images теперь парсит без https
  
• Добавлена возможность ограничить максимальное число соединений на один прокси сервер
  
• В API добавлена возможность удалять файл результата
  
• Обновлен Perl модуль по работе с API AParser.pm
  
• В Конструкторе результатов теперь автоматически подставляются имена результирующих переменных
  
• Добавлена возможность использовать запрос $query в настройке Extra query string
  

Исправления

• В парсере SE::Yandex исправлена обработка каптчи, переход по страницам и парсинг времени кэширования, в связи с изменением в выдачи
  
• Исправлена возможность сохранять бинарные данные(скачивать картинки, видео, документы...)
  
• Исправлен вывод запроса после форматирования для конкретного парсера, используя конструкцию $p1.query.query
  
• Исправлена кодировка при сохранении неудачных запросов
  
• Исправлена ошибка, при которой задания могли не удалятся из очереди
  
• Исправлена кодировка в именах файлов результатов
  
• В парсере HTML::LinkExtractor исправлена работа при переходе одновременно по внутренним и внешним ссылкам
  
• При использовании нескольких парсеров и опции Parse to level в некоторых случаях могли накапливаться запросы что приводило к утечке памяти
  
• Исправлен вылет парсера при использовании некоторых регулярных выражений
  
• Исправлена обработка относительных путей в парсере Net::HTTP при использовании опции Next Page Regex
  
• Исправлен парсинг количества результатов в парсере SE::Google при использовании арабской локализации
  
• Исправлена блoкировка файла после завершения задачи при использовании нескольких файлов результатов
  
• Исправлен парсер Rank::Ahrefs в связи с изменением в выдачи
  
• Исправлена ошибка работы с исходным кодом страницы в парсере SE::Google
  

[vold57]

Хороший софт. Давно пользуюсь. И саппорт отличный. Иногда задаю вопросы и без ответов не остаюсь.

[A-Parser Support]

Демо версия A-Parser

Рады представить онлайн демо версию A-Parser ( http://a-parser.com/pages/demo/ ), в которой можно ознакомиться со всеми возможностями перед покупкой парсера или перед переходом на новую версию

Демо версия предоставляет доступ к A-Parser установленному на нашем сервере, период тестирования - 6 часов, по истечению этого времени все настройки автоматически будут сброшены

Ограничения демо версии:

• Результаты парсинга не доступны для загрузки
  
• Максимальное число потоков - 100
  
• Парсинг возможен только с использованием прокси
  

[A-Parser Support]

A-Parser - 1.1.224 - улучшенные возможности по уникализации результатов, множество исправлений(http://http://a-parser.com/threads/1565/)

Все возможности новой версии можно прoтестировать в демо версии A-Parser'а (http://http://a-parser.com/pages/demo/)

Улучшения

• Добавлена возможность уникализировать результаты созданные с помощью Конструктора результатов
  
• Добавлена возможность передавать дополнительные параметры на сервис распознавания каптчи(например специальные настройки для CapMonster)
  
• В парсер SE::Bing::Images добавлена возможность отключить безопасный поиск
  
• В парсер SE::YouTube добавлен фильтр по 4K видео
  
• Добавлена возможность применять Конструктор запросов после подстановок запросов
  
• В парсер SE::Bing добавлена возможность парсить связанные кейворды в глубину, автоматически подставляя новые кейворды в запросы(Parse to level)
  
• Переработан выбор файлов запросов, теперь вложенные директории отображаются только при клике по ним
  

Исправления в связи с изменениями в выдачи

• Исправлен парсер SE::Yandex::WordStat
  
• Исправлен парсер SE::Yahoo
  
• Исправлен парсер SE::AOL
  
• Исправлен парсинг связанных ключевых слов в парсере SE::Bing
  
• Исправлен парсинг времени последнего кэширования страницы в парсере SE::Yandex
  
• Исправлен регистратор аккаунтов SE::Yandex::Register
  
• Исправлен парсинг связанных ключевых слов в парсере SE::Yandex
  

Исправления

• Некорректно работала опция сохранения переноса строк для Windows (CRLF)
  
• Иногда задание могло зависнуть в состоянии pausing/stopping
  

[A-Parser Support]

A-Parser - 1.1.247 - новые парсеры поисковиков Ask и Comcast, произвольные шаблоны в конструкторе результатов - http://a-parser.com/threads/1612/

Улучшения

• В конструкторе результатов и фильтрaх теперь возможно использовать произвольный шаблон в качестве аргумента для преобразования или фильтрации
  
• В парсер SE::Yandex добавлена возможность выбора домена yandex.com для парсинга
  
• Добавлен новый поисковик SE::Ask с американской выдачей Google
  
• Добавлен новый поисковик SE::Comcast с американской выдачей Google
  
• Добавлена статистика для завершенных заданий, а также отображение общего времени выполнения задания
  
• Добавлен объект $request, который доступен при форматировании результата и позволяет извлечь любую информацию о текущем запросе, а также о всех редиректах выполненных перед конечным запросом
  

Исправления

• Парсер мог заблoкировать файл результата после завершения задания
  
• Исправлена некорректная обработка <base href= в некоторых случаях
  
• Парсер вылетал при использовании инструмента генерации произвольного User-Agent tools.ua.random() в тестовом парсинге
  
• В быстром задании не работал выбор запросов из файла
  
• Некорректно обрабатывался редирект с автоматическим выбором схемы(ссылки вида //domain.com/)
  

Исправления в связи с изменениями в выдачи

• В парсере Rank::Alexa исправлен парсинг страны и регионального рейтинга
  
• Улучшен парсинг тИЦ в парсере SE::Yandex::TIC
  
• Исправлен парсер SE::Yahoo
  
• Исправлено определение блoкировки IP-адреса в парсере Rank::Ahrefs
  
• Исправлен парсер SE::Yandex::WordStat::ByDate
  
• Парсер Rank::Category перешел на семантический анализатор от Ашманова
  

[A-Parser Support]

Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов (http://a-parser.com/threads/1660/)

Итак, продолжаем серию статей с рецептами применения A-parser: комплексные примеры с одновременным использованием различного функционала парсера.

Проверяем наличие мобильной версии для 1000000 сайтов (http://a-parser.com/threads/1655/)

Работаем с большими объемами данных и учимся искать совпадения в raw data.

• за 8 часов работы данного задания мы узнали что почти 41% самых посещаемых сайтов не имеют мобильных версий. Кто знает, возможно обзаведясь мобильной версией, они стали бы еще более посещаемыми?
  

По списку запросов получаем страницы, CMS, PR, e-mail из whois (http://a-parser.com/threads/1645/)

Комплексное задание, выполняемое в 2 этапа, в котором мы учимся работать с несколькими парсерами, регулярными выражениями, а также красиво выводим результаты во многоуровневые каталоги и несколько файлов.

• на первом этапе используется 1 парсер, на втором - 3
  
• в конструкторе результатов используется регулярное выражения для извлечения необходимой информации
  
• результаты выводятся в виде вложенных папок и текстовых файлов по следующей схеме:
  

Код Выделить Развернуть

PR_1
     \Joomla
           \domain.com
                   contacts.txt
                   cache.txt
      \Drupal
      \WordPress
     \no CMS
PR_2
PR_3

Узнать позиции по кеям, как? (http://a-parser.com/threads/1659/)

Знакомимся с парсером  SE::Google::Position и проверяем на каком месте в поисковой выдачи находится ключевое слово.


Детальнее о самом парсере здесь (http://a-parser.com/wiki/se-google-position/).

Предыдущие сборники:

• Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте (http://a-parser.com/threads/1250/)
  
• Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов (http://a-parser.com/threads/1328/)