A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парс

Автор A-Parser Support, 13-12-2014, 08:03:09

« назад - далее »

A-Parser SupportTopic starter

Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей

16-й выпуск Сборника рецептов. В нем мы научимся парсить OpenSiteExplorer с авторизацией, попробуем забирать все сайты из Яндекс.Каталога и сделаем парсер Яндекс.Новостей. Поехали!

Парсинг OpenSiteExplorer (MOZ) с авторизацией
С помощью рассмотренного в статье способа, можно парсить OSE с авторизацией, что в свою очередь позволяет обходить ограничение на 10 запросов с одного IP в сутки. Плюс ко всему, значительно расширен набор возвращаемых параметров по сравнению со стандартным парсером. Кроме этого, можно совсем не использовать прокси, что дает значительный прирост в скорости! Сам пресет и описание - по ссылке выше.


Парсинг всех сайтов из указанной категории Я.Каталога
Многие пользователи A-Parser неоднократно спрашивали о возможности спарсить все сайты из Яндекс.Каталога. Поэтому мы публикуем сам пресет и подробное описание процесса его создания и работы. Все это - по ссылке выше.


Как парсить Яндекс.Новости?
В А-Парсере в стандартном парсере Google можно парсить новости. А вот для Яндекса на данный момент нету такой возможности. Но решается это довольно просто. Как именно - читайте по ссылке выше. Плюс бонусом небольшой пресет для парсинга подсказок из Я.Новостей - еще один способ парсить ключевые слова :)


Кроме этого:

Еще больше различных рецептов в нашем Каталоге примеров!

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  


A-Parser SupportTopic starter

A-Parser - 1.1.681 - обход защиты CloudFlare, улучшения в конструкторах запросов


В версии A-Parser 1.1.681 добавлен автоматический обход проверки CloudFlare на браузер, тем самым позволяя собирать информацию с сайтов под защитой самого популярного облачного провайдера. Работает в парсерах Net::HTTP, HTML::LinkExtractor и HTML::TextExtractor

В конструкторах запросов улучшена логика при разделении запроса на части

Исправления в связи с изменениями в выдачи

  • SE::Yandex - пропускались некоторые ссылки
  • SE::MailRu, SE::Baidu
Исправления

  • Исправлена поддержка тега meta http-equiv в парсере Net::HTTP
  • Теперь x64 Linux версия A-Parser запускается на всех современных дистрибутивах
  • В парсере SE::Yandex::Direct::Frequency исправлена ошибка, которая могла приводить к зацикливанию запросов
  • Исправлена ошибка в Тестировщике заданий, при которой не очищался результат предыщущего парсинга
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  


A-Parser SupportTopic starter

Доброго времени суток, друзья!


Отныне в A-Parser добавлена уникальная возможность создавать свои парсеры на языке JavaScript:





Давайте более подробно рассмотрим нововведения:

  • теперь возможна реализация парсеров, регеров, постеров и т.п. любого уровня сложности, используя все преимущества A-Parser
  • API будет дорабатываться и пополняться полезными возможностями
  • для тех кто уже готов пользоваться новым функционалом - вступайте в наш чат https://join.skype.com/nMAYI9lpsJ9Z для JavaScript разработчиков
  • ограничения: работает на windows или linux-x64, только для Pro и Enterprise лицензий

Мы ежедневно работаем над улучшениями и предоставляем вам только качественный продукт!
Благодарим вас за использование A-Parser :P
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  

A-Parser SupportTopic starter

Всем привет!


Друзья, рады сообщить что мы обновили Каталог примеров и добавили 32 примера и 1 видео.

Более подробно вы можете всё просмотреть здесь: https://a-parser.com/threads/1738/







Всем профитной недели и приятной работы в месте с A-Parser!
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  

A-Parser SupportTopic starter

Дорогие друзья!



Рады сообщить о том, что мы впервые запустили новогодний розыгрыш 3 лицензий A-Parser'а. Две "Lite" и одну "Pro". Подробнее об условиях и дате вы можете узнать в нашей группе Вконтакте: https://vk.cc/5YBNVX

Не упустите этот момент, возможно розыгрыш произойдёт только один раз :)

С любовью, команда A-Parser!
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  


A-Parser SupportTopic starter

1.1.712 - новогодняя юбилейная 100-ая версия, JavaScript парсеры



Всех с наступающим новым годом! Участвуйте в конкурсе и получайте бесплатные лицензии, но об этом ниже

Сегодня я хочу вам представить юбилейную 100-ую версию A-Parser'a! Да, мы выпустили ровно 100 версий за почти 5 лет существования нашего парсера. Разработка парсера никогда не останавливается, сейчас он буквально пухнет от возможностей! Это хорошо подчеркивает все принципы и подходы заложенные в A-Parser еще в далеком 2012 году.

Одно из главных новшеств новой версии - JavaScript парсеры, теперь каждый кто обладает хотя бы минимальными знаниями программирования сможет создавать высокопроизводительные парсеры на языке JavaScript используя все возможности A-Parser'а(многопоточность, работу с прокси, шаблонизатор, обработка запросов и результатов, и многое другое)



A-Parser давно перестал быть просто парсером, на сегодняшний день это полнофункциональная платформа для сбора информации в промышленных масштабах, которая позволит вам собирать информацию из самых разных источников и множеством разных способов. В следующем году вас ждет еще больше новых возможностей, следите за новостями!

Улучшения

  • JavaScript парсеры - возможность создавать свои парсеры используя все преимущества A-Parser
  • JS парсеры: возможность получить и установить Cookies
  • JS парсеры: мютекс для синхронизации между потоками
  • JS парсеры: возможность использования инструментов tools
  • JS парсеры: поддержка запросов к другим парсерам
  • Множественные оптимизации всех парсеров, обработке подвергаются только те элементы страницы которые необходимы в результатах парсинга
  • В парсере HTML::TextExtractor будут игнорироваться блоки меню без текста
  • В парсере SE::Google::Compromised добавлена возможность проверки подозрительных сайтов по всем страницам
  • API: добавлена возможность получить количество активных аккаунтов(для Яндекса)
  • API: при выставленном флаге rawResults будут передаваться все доступные результаты
  • Убрана настройка Raw data results, теперь необходимость этих результатов определяется автоматически
  • Добавлена возможность работы с одним прокси сервером(параметр Reuse proxy beetwen retries)
  • Если ошибка в шаблонизаторе произошла во время парсинга она будет записана в лог
Исправления в связи с изменениями в выдачи


  • В парсере SE::YouTube не собиралась выдача
  • В парсере SE::Bing не парсилось количество результатов для новостей
  • В парсере SE::Google не собирались рекламные блоки
  • В парсере SE::Yandex некоторые позиции в выдаче могли пропускаться
  • В парсере SE::Yandex::Register исправлена обработка ошибок регистрации
Исправления

  • Исправлена ошибка с обработкой запросов вне рабочего каталога A-Parser, что в некоторых случаях могло привести к проблемам с безопасностью
  • В парсере SE::Yandex::WordStat в редких ситуациях могла зациклиться работа с одним прокси
  • В парсере Net::HTTP не корректно работала опция Check next page при редиректе на другой URL
  • Исправлена проблема с работой Net::DNS на ОС Linux x64
  • Исправлен вывод ошибок в логе при уникализации "не доменов"
  • Исправлена работа парсера HTML::TextExtractor::LangDetect
  • Исправлен парсер Check::BackLink, ошибка появилась в предыдущей версии
  • Не выводились внешние переменные в методе .format, ошибка появилась в предыдущей версии

Напоминаем, что мы разыгрываем 3 лицензии на A-Parser общей стоимостью $437, участвуйте в конкурсе, победитель будет выбран 5ого января 2017!
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  

A-Parser SupportTopic starter

1.1.873 - парсинг Google со скоростью 10000+ запросов в минуту

В версии A-Parser 1.1.873 добавлен новый парсер SE::Google::Fast позволяющий парсить Google со скоростью 10к+ запросов в минуту без использования антикаптчи



Улучшения

  • Новый парсер SE::Google::Fast - быстрый парсер выдачи гугла, способен развить скорость более 10000 запросов в минуту без использования антикаптчи
  • Новый парсер SE::Google::ByImage - парсер картинок из Google по ссылке на картинку
  • В парсере Rank::SimilarWeb добавлена поддержка антикаптчи
  • В парсере Rank::Linkpad добавлены новые параметры для сбора - ранк домена, процент nofollow и безанкорных ссылок, число доноров по IP и подсетям, а также стоимость размещения ссылок
  • JavaScript парсеры: добавлен параметр browser для this.request, позволяющий автоматически эмулировать заголовки браузера
  • В инструменты tools добавлена возможность кодировать и декодировать base64
  • Теперь в tools.data содержится большое количество предустановленной информации - языки, регионы, домены для поисковых систем Google и Яндекс
Исправления в связи с изменениями в выдаче

  • Rank::SimilarWeb, SE::Google::Images, Rank::MajesticSEO
Исправления

  • Исправлена уязвимость позволяющая читать файлы на сервере при известном пароле
  • Исправлена ошибка в тестировщике заданий - могли обрабатываться не все запросы
  • При использовании tools.query.add задание могло зависнуть в очереди, ошибка появилась в предыдущем релизе
  • Исправлена работа tools.js на ОС Linux
  • Исправлена утечка памяти при использовании JavaScript парсеров
  • Исправлена работа опции Динамический лимит потоков
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  

A-Parser SupportTopic starter

Новый каталог парсеров и пресетов

Представляем наш новый каталог парсеров и пресетов - это бесплатные дополнения и примеры для всех пользователей A-Parser Pro и A-Parser Enterprise. Каталог полностью интегрирован с парсером, установка из каталога происходит в один клик



Подавляющее большинство примеров были перенесены из старого каталога, часть из них была обновлена. Небольшое кол-во примеров переехали в наш FAQ, т.к. их формат не совсем вписывался в новый каталог. Более того, теперь в каталоге доступны все наши обучающие видео и статьи. Также добавлены примеры JavaScript-парсеров. Каталог разбит на категории, что облегчает поиск нужного примера

На данный момент в каталоге 100 парсеров и пресетов, 9 видео и 2 обзорных статьи, вот некоторые из них:
Любой пользователь может добавить в каталог свой пресет, за что ему будет большая благодарность :) Присылайте свои идеи для новых парсеров, самые интересные и востребованные мы обязательно реализуем!
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  


A-Parser SupportTopic starter

Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК

17-й сборник рецептов. В нем мы будем парсить картинки из популярного фотохостинга Flickr; научимся писать JavaScript парсеры и определять язык ключевых слов; разберемся, как получать список пользователей, которые лайкнули пост во Вконтакте. Поехали!

Парсер изображений с Flickr
Flickr - это один из наиболее популярных фотохостингов. Согласно Википедии еще в 2011 году кол-во фото на нем превысило отметку в 6 млрд и продолжает активно расти. Именно поэтому поиск фото на данном хостинге - это актуальная задача, и она легко решается с помощью A-Parser. Подробности по ссылке выше.


JS::Yandex::LangDetect::Key - определение языка ключевого слова через Яндекс Переводчик
Как известно, в юбилейном 100-м релизе А-Парсера появился давно ожидаемый функционал: JavaScript парсеры. Благодаря этому возможности парсера значительно выросли, а также теперь можно выполнять задачи еще быстрее и эффективнее.
Бывает, что нужно получить ключевые слова только на каком-то определенном языке, и возникает задача определения этого самого языка для каждого ключа. С этим неплохо справляются различные переводчики. К примеру Яндек.Переводчик. В этом примере будет показано создание JS-парсера для решения данной задачи, подробности, как обычно, по ссылке выше.


Получение списка пользователей, которые лайкнули пост в VK
Вконтакте - это одна из самых популярных социальных сетей на територии СНГ. Поэтому парсинг различных данных из нее - это очень востребованные задачи. В нашем каталоге можно найти несколько таких пресетов, а в данном примере будет показан парсинг списка пользователей, которые лайкнули определенный пост. Это может быть полезно, например, при проведении различных акций, когда требуется получить такой список пользователей. Детали по ссылке выше.


Кроме этого:

  • JS::TitleFromSE - парсинг тайтлов по ключу одним заданием

  • JS::Yandex::LangDetect - определение языка страницы через Яндекс Переводчик

  • JS::TextFromSE - парсинг текстовки по ключу одним заданием
Еще больше различных рецептов в нашем обновленном Каталоге!

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  


A-Parser SupportTopic starter

1.1.888 - парсер РосКомНадзора и переводчики Google и Яндекса



Улучшения

  • Новый парсер Check::RosKomNadzor - проверяет наличие домена или ссылки в реестре запрещенных сайтов, для работы необходим антигeйт
  • Новый парсер SE::Google::Translate - переводчик текста через сервис Google Translate
  • Новый парсер SE::Yandex::Translate - переводчик текста через Яндекс.Переводчик
Исправления в связи с изменениями в выдачи

  • Парсер SE::DisconnectMe удален в связи с постоянным редиректом на DuckDuckGo, используйте SE::DuckDuckGo
  • SE::Google::Images, SE::Google, SE::Yandex::Images
Исправления

  • В парсере Net::Whois исправлена работа с доменной зоной .fr
  • SE::Google - не собирались Related keywords на языках интерфейса отличного от английского
  • Исправлен обход защиты CloudFlare на ОС Linux
  • Исправлено падение при запуске задания с удаленным конфигом потоков
  • Не корректно работало переопределение tools.js в задании, ошибка появилась в предыдущей версии
  • В парсере SE::Google::ByImage не выводился Raw data
  • В парсер Rank::SimilarWeb не корректно определялся totalvisits
  • Не работало изменение названия пресета при импорте
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •