A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парс

Автор A-Parser Support, 13-12-2014, 08:03:09

« назад - далее »

A-Parser SupportTopic starter

[SIZE="4"]Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво[/SIZE]

6-й выпуск сборника рецептов. Здесь мы попробуем собирать скрытые номера мобильных телефонов из доски объявлений и научимся сохранять результаты работы А-парсера в таблицы с возможностью сортировки.

Парсим базу мобильных телефонов
Базы телефонов могут использоваться по-разному, но основной вид их использования - рассылка смс рекламного характера. А если базу еще и возможно отсортировать по городу, интересу или другим характеристикам, т.е. сделать таргетированную рассылку, то эффективность сильно возрастает. Подобные базы собираются разными способами, мы же поговорим о том, как это сделать с помощью А-парсера.


Вывод результатов в таблицу
Бывает, возникает необходимость в красивом и удобном выводе данных, полученных в результате парсинга. И если обычного текстового вида недостаточно, нужно искать другие способы вывода. Об одном таком способе и пойдет речь в статье по ссылке выше.



Предыдущие сборники:
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  


A-Parser SupportTopic starter

#11
A-Parser - версия 1.1.269 - получение списка задач по API, только мобильные для WordStat

Два месяца у нас работает профессиональный саппорт, который помогает составлять задания любой степени сложности. Доработана документация, регулярно появляются интересные решения на нашем форуме, которые теперь собраны в едином Каталоге примеров. Также создан большой FAQ, в котором собраны ответы на часто задаваемые вопросы.

Версия 1.1.269 является одной из последних в ветке 1.1.х, в скором времени будет доступна бета версия 1.2, которая принесет новый виток развития A-Parser, следите за новостями

Улучшения


  • Теперь по API можно получить список активных заданий, а также опционально список завершенных заданий
  • Для парсера SE::Yandex::WordStat добавлена возможность получать статистику только для мобильного трафика
  • В парсере HTML::LinkExtractor теперь обрабатываются только http(s) ссылки
  • При использовании автоопределения языка в парсере SE::Bing::Translator теперь можно вывести в результат язык исходного текста
Исправления в связи с изменениями в выдачи


  • Исправлен парсер SE::YouTube
  • Исправлен парсер Rank::MajesticSEO
  • Исправлен парсер SE::Ask
  • Исправлен парсер SE::Yandex
  • Исправлен парсер Rank::Ahrefs

  • Исправлен парсинг рекламных объявлений в SE::Google
  • Исправлен парсер Rank::Archive

Исправления



  • В парсере SE::Bing::Translator исправлен парсинг арабского языка
  • Парсер Net:: DNS не поддерживал кириллические домены
  • Исправлен парсинг подсказок в парсер SE::Google при использовании подстановок
  • Парсер SE::Yahoo использовал много CPU
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  


A-Parser SupportTopic starter

Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам

7-й выпуск сборника рецептов. Здесь мы рассмотрим вариант парсинга RSS, будем скачивать картинки в зависимости от их характеристик и научимся фильтровать результат по хедерам.

Парсинг RSS
На сегодняшний день RSS остаются довольно популярным вариантом доставки новостей и контента пользователям. В связи с этим его используют почти на всех сайтах, где бывает более-менее периодическое обновление информации. А для нас это возможность быстро спарсить свежие обновления сайта, не анализируя сам сайт. И один из способов, как это сделать описан по ссылке выше.


Как фильтровать результат по определенным хедерам?
Как известно, А-парсер предназначен для парсинга, в основном, текстовой информации. Но кроме этого им вполне реально парсить и другие обьекты (файлы, картинки и т.п.). При этом существует возможность фильтровать их по заголовкам ответа сервера. Об этом по ссылке выше.


Скачивание картинок указанного разрешения и размера
Если выше мы фильтровали результат только по хедерам и рассматривали вариант с документами, то в данной статье мы будем скачивать картинки и фильтровать их по размеру и разрешению. Как это сделать - можно увидеть по ссылке выше.


Еще больше различных рецептов в нашем Каталоге примеров!

Предыдущие сборники:

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  

A-Parser SupportTopic starter

Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность

9-й выпуск Сборника рецептов. В нем мы будем работать с ключевыми словами: проверять их сезонность и искать свободные ниши в рунете, проверяя "полезность" ключевиков.

Определение сезонности ключевых слов через Wordstat
Использование нужных ключевых слов в нужное время - один из способов привлечения дополнительного трафика на сайт. Для определения сезонности ключевых слов существует немало различных способов и сервисов. О том, как это делать с помощью А-Парсера - читайте по ссылке выше.


Поиск свободных ниш в RU сегменте интернета
Используя на сайте не только сезонные, а и "полезные" ключевые слова, можно значительно повысить шансы попасть в ТОП10 поисковиков. И если о сезонности мы писали ранее, то о "полезности", а точнее о "незанятости" ключевых слов мы поговорим в данной статье. Полезные или незанятые - это такие КС, которые пользователи часто ищут, но конкуренция по которым не очень высокая. Как их искать - читайте по ссылке выше.


Еще больше различных рецептов в нашем Каталоге примеров!

Предыдущие сборники:
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  

A-Parser SupportTopic starter

A-Parser - 1.1.292 - парсинг JSON, улучшения использования памяти, множество исправлений

Улучшения

  • Поддержка разбора JSON структур в шаблонизаторе
  • Добавлена опция "Конструктор запросов на всех уровнях", позволяющая использовать конструктор запросов на всех уровнях вложенного парсинга
  • При просмотре статистики работы задания теперь отображается общее число HTTP запросов
  • Новый инструмент отладки Gladiator, позволяющий быстро локализовать возможные утечки памяти
Исправления в связи с изменениями в выдачи

  • Исправлено определение наличия каптчи на этапе логина в парсере SE::Yandex::WordStat
  • Полностью переработан Rank::Ahrefs
  • Исправлен парсинг времени кэширования в SE::Yandex
  • Исправлен SE::Google::Images
  • Исправлен SE::Bing
  • Исправлен SE::Yahoo::Suggest

  • Исправлен SE::AOL
Исправления

  • Исправлен парсер SE::Yandex::TIC - ресурсы у которых тИЦ был неопределен отображались как тИЦ = 0, исправлено на тИЦ = -1
  • Исправлено множество утечек памяти
  • При замене в регулярных выражениях не работал символ переноса \n
  • При использовании большого числа переменных в конструкторе запросов или результатов они могли не влезать в видимую область
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  


A-Parser SupportTopic starter

A-Parser - 1.1.323 - парсинг с помощью XPath, поддержка JavaScript в шаблонизаторе, тестировщик заданий

Улучшения

  • Добавлен новый Тестировщик заданий, позволяющий тестировать все задание целиком, включая использование нескольких парсеров, конструкторов запросов и результатов. Тестировщик позволяет просматривать результаты по каждому созданному файлу, а также отображает логи выполнения по каждому запросу
  • Для парсера Net::Whois добавлена опция Recursive query, которая позволяет получать расширенную версию WHOIS(контактные email адреса и т.п.)
  • Добавлена поддержка XPath запросов, сильно упрощающая разбор HTML документов
  • Добавлен новый инструмент tools.js, позволяющий исполнять JavaScript из шаблонизатора, теперь помимо возможности использовать JavaScript для обработки и вывода результатов стало возможно частично исполнять скрипты встроенные в HTML(Выборочная обработка JavaScript: расшифровка телефонов)


Исправления в связи с изменениями в выдачи

  • Исправлен парсинг рекламных объявлений в SE::Google

  • Исправлен парсер Rank::Ahrefs

  • Исправлен парсер Rank::DMOZ
Исправления

  • При использовании динамического имени файла append text теперь пишется один раз
  • Исправлена работа с ссылками, которые содержат некоторые символы Юникода в Net::HTTP
  • Исправлена обработка каптчи в SE::Yandex::Register
  • Исправлен парсинг подсказок в SE::Google::Suggest
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  

A-Parser SupportTopic starter

Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!

Розыгрыш призов, условия акции смотри в конце!

11-й выпуск сборника рецептов. В нем мы разберем пример парсинга Авито, научимся расшифровывать телефонные номера, скрытые за JS и будем анализировать тексты.

Парсинг Авито
Если просмотреть сайты с вакансиями для фрилансеров, то можно увидеть, что очень часто требуется парсить популярный сайт объявлений avito.ru. Чаще всего в результате нужна база телефонов, реже - списки объявлений и цены. Данная информация может быть необходима маркетологам, для изучения ситуации на рынке, спамерам для рассылки смс и т.д...
Задачу по парсингу Авито можно решить также с помощью А-Парсера. О том как это сделать - читайте по ссылке выше.


Выборочная обработка JavaScript: расшифровка телефонов
Бывает, что при парсинге различных ресурсов можно наткнуться на информацию, которая скрыта скриптом на JavaScript. До недавнего времени A-Parser не умел обрабатывать JS, и такие сайты оставались в "зоне недоступности". Но начиная с версии 1.1.318 A-Parser научился выборочно работать с JS. Поэтому теперь есть возможность более эффективно парсить такие ресурсы и получать нужную информацию.
Как это делать и больше подробностей о поддержке JS в А-Парсере читайте по ссылке выше.


Анализ текста

Иногда возникает необходимость проанализировать спаршенный или написанный текст по различным параметрам (например: тошнота, водность, определить тематику и язык, найти наиболее повторяющиеся слова и т.п.). Для этого существует много различных приложений и онлайн-сервисов. Парсинг одного из таких сервисов будет показан по ссылке выше.


Почти 3 месяца назад у нас появилась Платная услуга по составлению заданий для А-Парсера. Она оказалась очень актуальна среди новых пользователей парсера, а также среди тех, у кого не хватает времени на его изучение. За время ее существования было составлено более 70 заданий, при этом 75% состояли из 2-х и более пресетов. Среднее время на составление одного заказа, от согласования деталей до получения готового набора пресетов, составляет около 4 часов. При этом, каждый пресет тщательно тестируется, а получаемый результат обсуждается с клиентом.

Так как A-Parser - это программа для парсинга различной информации, 26 ноября, во Всемирный день информации, будет разыграно:

  • 5 пакетов прокси (100 потоков на месяц)
  • 3 бесплатных составления 1-го задания для А-Парсера
В акции принимают участие все, кто ретвитнет нашу новость об этой акции в Twitter. Подписывайтесь на наши каналы в Twitter: русскоязычный @a_parser и англоязычный @a_parser_en и следите за новостями на сайте! Победители акции будут определены случайно с помощью сервиса random.org. Видео определения победителей будет выложено вместе с результатами акции.

Еще больше различных рецептов в нашем Каталоге примеров!

Предыдущие сборники:
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  

A-Parser SupportTopic starter

Снижение комиссии при оплате PayPro и Итоги акции

В связи с плохой проходимостью платежей в системе Interkassa было принято решение снизить комиссию PayPro до 3%. PayPro теперь является рекомендуемым способом оплаты, который принимает все популярные платежные системы: PayPal, Visa/MasterCard, QIWI, Yandex.Money, Wire Transfer

Напоминаю что всегда доступен прием WebMoney без комиссии

Одновременно с этим мы перевели Members Area на русский язык, добавили систему уведомлений на e-mail, а также готовим инструкцию по использованию нашего магазина

Итоги акции:

Итак, сегодня 26 ноября, а значит пора подводить итоги нашей акции!
Всего участников оказалось не так и много - 14 человек. Поэтому шансы получить 1 из 8-ми призов были довольно велики.
Было проведено определение победителей, видео по ссылке: http://files.a-parser.com/Video/Action_26_11_15.avi



Искренне поздравляем всех счастливчиков! А те, кому не повезло в этот раз - не отчаивайтесь, вскоре будут новые акции! Поэтому следите за нашими новостями на сайте или в Твиттере.

Победители, для уточнения деталей и получения призов, свяжитесь через Твиттер с выигрышных аккаунтов с администрацией А-Парсера @a_parser.
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  


A-Parser SupportTopic starter

A-Paeser - 1.1.355 - улучшения работы с регионами в Google и Яндексе, новые методы API, множество исправлений

Улучшения


  • В парсере SE::Yandex теперь также собираются ссылки на колдунщики(внутренние сервисы Яндекса), что позволяет более точно определять позиции сайтов в выдаче
  • В парсере SE::Yandex улучшено определение misspell(исправленных) запросов
  • В парсере SE::Yandex домен Яндекса теперь выбирается автоматически в зависимости от выбранного региона
  • В парсере SE::Google улучшена работа с сессиями
  • В парсере SE::Bing добавлен выбор локации
  • В интерфейсе парсера теперь доступен список последних сообщений с форума поддержки
  • Для парсера SE::Yandex добавлена поддержка турецкого домена yandex.com.tr
  • В парсере Net::HTTP добавлена поддержка шаблонизатора в поле Cookies
  • Теперь у начального текста, формата результата и конечного текста, общее пространство переменных, что позволяет решать задачи по выводу статистики
  • В макрос num добавлена возможность указать шаг итераций, формат {num:START:END:STEP}
  • Добавлен новый метод API getParserInfo - выводит список всех доступных результатов, который может вернуть парсер
  • Добавлен новый метод API update - обновляет исполняемый файл парсера до последней доступной версии, после успешного ответа A-Parser будет автоматически перезапущен
  • Метод API info теперь дополнительно выдает список всех доступных парсеров
Исправления в связи с изменениями в выдаче


  • В SE::Google исправлено указание локации
  • В SE::Bing исправлен парсинг серпа и связанных ключевых слов
  • В SE::Yandex исправлен сбор сниппетов и анкоров
  • В SE::Yahoo исправлен парсинг выдачи и работа с региональными доменами
  • Исправлены Rank::Category, SE::Bing::Images, SE::Bing::LangDetect, SE::Baidu, SE::AOL, SE::Google::SafeBrowsing, SE::Yandex::Register
Исправления


  • Исправлено игнорирование максимального числа активных заданий
  • В парсере HTML::LinkExtractor исправлена обработка относительных ссылок
  • Исправлена перезапись результатов при паузе\старте или при перезапуске парсера и одновременно включенной опции "Перезаписать файл"
  • Исправлена работа функции tools.parseJSON если страница была декодирована в UTF-8
  • Исправлен вывод результатов в Тестировщике заданий
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  


A-Parser SupportTopic starter

A-Parser: вводный видео урок, обзор возможностей

Денис Бартаев рассказывает о базовых возможностях A-Parser



В выпуске рассматриваются:

  • Основные настройки рядового парсера на примере SE::Yandex
  • Настройки Антигeйт
  • Настройки прокси с проверкой статуса и без
  • Основные инструменты тестирования результатов парсинга
  • Базовые методы работы с шаблонизатором результатов, переменные парсеров
  • Примеры создания заданий, и описание процедуры работы с Редактором заданий
Подписывайтесь на наш канал!


A-Parser на СПИК 2015 - запись доклада Леонида Гроховского[/B]

A-Parser на СПИК 2015! Почти половина доклада посвящена обзору некоторых возможностей A-Parser

Как использовать парсеры для SEO? Как проверять индексацию страниц, как узнать позиции сайта. Об этом в докладе "Парсеры на службе у SEO-специалистов" рассказывает Леонид Гроховский. Подписывайтесь на его канал https://www.youtube.com/user/Grohovskiy
И на наш https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw



Тезисы:

  • Проверка индексации сайтов
  • Сбор сниппетов
  • Парсинг подсвеченных слов из сниппетов
  • Проверка позиций и входных страниц
  • Сбор запросов и подсказок
  • Определение частотности для списка запросов
  • Парсинг VK
  • Выкачивание базы у любого сайта
  • Взаимодействие с A-Parser через API
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •