A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парс

Автор A-Parser Support, 13-12-2014, 08:03:09

« назад - далее »

A-Parser SupportTopic starter

Сборник рецептов #36: уникальность текста, парсер GitHub, посещаемость сайтов, результаты розыгрыша

36-й сборник рецептов, в котором опубликованы парсер для проверки текстов на уникальность, парсер GitHub и парсер для получения информации о посещаемости сайтов. А также список обновленных пресетов из нашего Каталога.

Но, в первую очередь хотим поделиться результатами розыгрыша, который был проведен в связи с Черной пятницей. Мы разыграли 5 лицензий на А-Парсер среди всех новых участников нашего telegram чата, которые присоединились к нему в период проведения акции. Результаты розыгрыша в видео:




А теперь перейдем непосредственно к сборнику.

Проверка текста на уникальность

Задача проверки текстов на уникальность является одной из самых частых для копирайтеров. Возможность осуществлять такую проверку предоставляют много ресурсов. И парсер для одного из таких сервисов опубликован по ссылке выше.



Парсер Github

Согласно Википедии, GitHub - это крупнейший веб-сервис для хостинга IT-проектов и их совместной разработки. Поэтому мы не могли обойти его стороной и публикуем парсер данных о репозиториях при поиске по ключевому слову на данном ресурсе.



Парсинг количества трафика на сайтах

Этот парсер позволяет получать информацию о просмотрaх и посещениях страниц за день, месяц и год. В качестве источника данных используется один из известных сервисов.



Кроме этого были обновлены:
Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  


A-Parser SupportTopic starter

1.2.713 - новые парсеры: Telegram и eBay, оптимизации во встроенных парсерах, новые инструменты



Улучшения


  • Добавлен новый парсер  Telegram::GroupScraper, который собирает из публичных групп в Telegram данные о сообщениях: текст, дата, автор, ссылки на фото и видео
  • Добавлен новый парсер Shop::eBay, который позволяет парсить поисковую выдачу на ebay.com
  • Изменения в парсерах Google:

  • Добавлена переменная $detected_geo, в которой содержится информация о геолокации
  • В связи с неактуальностью удалены опции:

  • Old desktop computer (IE6) в Device
  • Util::AntiGate preset
  • Use digit captcha


       
  • В SE::Yandex увеличено максимальное значение Pages count до 25
  • В SE::Google::Images добавлена поддержка новой верстки
  • В  Util::ReCaptcha2 добавлена поддержка capmonster.cloud
  • Парсер SE::MailRu полностью переписан, добавлена поддержка каптч и сессий и добавлен сбор ссылок на кешированные страницы
  • Парсер  SE::Yandex::Direct полностью переписан, добавлен сбор тегов и дополнительных ссылок с анкорами
  • Добавлен новый инструмент шаблонизатора tools.task, на данный момент он умеет возвращать id задания и число потоков
  • JS парсеры: this.query.add теперь поддерживает передачу дополнительных параметров
Исправления в связи с изменениями в выдаче
Исправления

       
  • В парсерах Google исправлена ошибка, при которой собираемые ссылки были с переводчиком
  • Исправлены проблемы с рандомизацией в некоторых случаях
  • Исправлена ошибка в  Social::Instagram::post при парсинге только массивов данных
  • Исправлена проблема с проходом по пагинации, которая возникла в одной из предыдущих версий
  • JS парсеры: исправлена работа с Node.js модулем socks
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  


A-Parser SupportTopic starter

Сборник рецептов #37: парсинг Twitter, поиск и скачивание картинок, парсинг групп в Telegram

37-й сборник рецептов. В него вошли: парсер Twitter, который умеет собирать сообщения, их авторов и т.п.; JS парсер, в котором объединены поиск и скачивание картинок; а также 2 пресета для парсинга Telegram, которые демонстрируют возможности по сбору данных из публичных групп.

Парсер постов из Twitter
Публикуем парсер, который по ключевому слову парсит данные из сообщений в Twitter. Собираются имя и логин автора, текст сообщения, дата публикация, количество лайков, ответов и ретвитов. Есть возможность указать количество страниц для парсинга.



JS::ImagesFromSE
Ранее мы уже публиковали JavaScript парсер, в котором объединены парсинг выдачи ПС и парсинг текста со страниц. Теперь представляем вашему вниманию JS парсер, в котором объединены поиск и скачивание картинок.



Пресеты для парсинга публичных групп в Telegram
Начиная с версии 1.2.709 в А-Парсер был добавлен Telegram::GroupScraper. Для демонстрации его возможностей мы опубликовали в Каталоге 2 пресета:


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  

A-Parser SupportTopic starter

Сборник статей #10: отслеживание цен с уведомлением, парсинг характеристик товаров, редиректы

10-й сборник статей, в котором будет показано, как с помощью А-Парсера получать уведомления в Телеграм об изменении цен на товары, как парсить характеристики товаров и выводить их в виде удобной таблицы, а также подробно описана работа с редиректами.

Периодический мониторинг цен с уведомлением в Telegram

В этой статье пошагово описан процесс создания парсера, с помощью которого можно отслеживать изменение цен товаров. При этом парсер будет присылать уведомление в Телеграм, а также можно легко добавить поддержку других сайтов.



Сбор характеристик товара

Одной из частых задач для А-Парсера является сбор характеристик товаров в интернет-магазинах. И если сам парсинг совсем не проблема, то формирование итоговой таблицы, при условии, что характеристики должны быть распределены по отдельным столбцам, вызывает вопросы. Поэтому, в данной статье будет описан способ такого парсинга.



Всё о редиректах

Большая справочная статья, посвященная тематике редиректов.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей


A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  

A-Parser SupportTopic starter

Видео урок: Парсинг тематических доменов из Google и получение различных параметров по доменам

В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.



В уроке рассмотрено:

  • Парсинг поисковой выдачи Google
  • Вывод уникальных результатов в качестве главных доменов
  • Получение таких параметров как:


    • зарегистрирован домен или нет
    • дата регистрации и дата окончания регистрации домена
    • язык сайта
    • title и description
    • индекс качества сайта
    • позицию в глобальном рейтинге Alexa
    • cтрану с наибольшим числом трафика по Alexa
    • позицию в рейтинге этой страны по Alexa

Полезные ссылки:


Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  


A-Parser SupportTopic starter

1.2.752 - полноценная поддержка Node.js, функция Memory Saver, оптимизация производительности



Улучшения


  • Полноценная поддержка NodeJS 12.13.х, включая нативные модули, подробнее: https://a-parser.com/threads/5807/
  • Новая опция Memory Saver, которая позволяет регулировать потребление памяти парсером
  • Улучшена производительность SE::Yandex
  • В Shop::Amazon добавлена возможность подключать антигeйт, а также поддержка сессий
  • В SE::Google::ByImage добавлена возможность выбирать язык интерфейса, язык результатов и страну
  • Уменьшено потребление памяти, при использовании нескольких парсеров в задании, разница может достигать 100%

Исправления в связи с изменениями в выдаче


Исправления


  • Исправлена работа Bypass Cloudflare в некоторых случаях
  • Исправлена работа при малом числе прокси
  • Исправлена проблема при редактировании дополнительных форматов результатов

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  

A-Parser SupportTopic starter

Сборник рецептов #38: парсер Яндекс.Кью, парсер сайтов из Яндекс.Радар и определение типов сайтов

38-й сборник рецептов. В нем опубликованы: парсер сервиса вопросов-ответов Яндекс.Кью, парсер для сбора сайтов из Яндекс.Радара, а также парсер для определения типа сайта.

Парсер Яндекс Кью

Яндекс.Кью - это сервис вопросов-ответов, запущенный в конце 2019 года. Он объединил в себе несколько других сервисов, поэтому уже на момент запуска обладал большой базой информации. Мы не могли оставить это просто так и публикуем парсер для сбора данных из этого сервиса.



Парсинг сайтов из Яндекс.Радар

Яндекс.Радар - это сравнительно новый сервис Яндекса, который в отчасти заменил ранее популярный Яндекс.Каталог. Это большой каталог популярных в рунете сайтов с данными о их посещаемости и некоторой информацией о посетителях. Мы подготовили парсер, с помощью которого можно собрать список сайтов с необходимыми фильтрами.



Определение типа сайта по Яндекс Радару

И еще один парсер для Яндекс.Радар от нашего пользователя. С его помощью можно определять типы сайтов, если они есть в базе Яндекс.Радара.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  

A-Parser SupportTopic starter

Сборник статей #11: анализ содержимого картинок, добавление ссылок в индекс Google и поиск RSS лент

11-й сборник статей, в котором рассказано, как в А-Парсере анализировать содержимое картинок, добавлять страницы своих сайтов в индекс Google и искать RSS ленты необходимой тематики.

Фильтрация картинок по их содержимому

В этой статье на примере поиска картинок с определенным содержимым, показана работа с Google Vision. С помощью "компьютерного зрения" для каждого изображения присваивается набор меток, который описывает содержимое.



Инструкция по использованию Google Indexing API

В данной статье рассмотрена работа с Google Indexing API, который позволяет владельцам сайтов напрямую уведомлять Google о добавлении или удалении страниц. Таким образом ваш сайт будет быстрее просканирован Google, что способствует повышению качества трафика.



Поиск и сбор rss лент

В этой статье рассмотрен простой пример поиска ссылок на rss ленты по заданной тематике. Решение состоит из 3-х пресетов, каждый из которых отвечает за определенный этап работы.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  


A-Parser SupportTopic starter

1.2.799 - новый парсер для поиска картинок, улучшения в существующих парсерах



Улучшения


  • Добавлен новый парсер SE::Yandex::ByImage - поиск картинок в Яндексе по ссылке
  • В  Social::Instagram::post  добавлена возможность собирать ссылки на локации
  • В Util::YandexRecognize добавлена поддержка сессий
  • В SE::Yandex::SQI добавлена возможность определять считается ли домен "официальным"
  • Улучшения в HTML::EmailExtractor для более качественного сбора почт
  • В SE::Google::Trends  обновлен и значительно расширен список регионов
  • Из  SE::Seznam  удален парсинг $related в связи с тем, что связанные ключевые слова больше не выводятся на странице выдачи

Исправления в связи с изменениями в выдаче


Исправления

  • Исправлен выбор страны в SE::Yahoo
  • Исправлен баг с декодированием ссылок в  SE::Google::Images
  • В режиме -newnode исправлены проблемы с кодировкой и оптимизировано потребление памяти


A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •  


A-Parser SupportTopic starter

Парсинг booking.com с помощью A-Parser

В этом видео уроке рассмотрен парсинг ресурса booking.com, получение результатов поиска квартир и отелей на сайте. Подробную информацию о них будем получать при помощи парсера Net::HTTP




В видео рассмотрено

  • Пользование разделом тестового парсинга
  • Переход по страницам пагинации
  • Проверка наличия определенного контента на странице сайта
  • Использование регулярных выражений
  • Применение конструктора результатов (декодирование HTML сущностей)
  • Применение шаблонизатора Template Toolkit в формате результата:

    • Использование инструмента $tools.CSVline
    • Циклическая обработка директивой FOREACH
    • Виртуальный метод .match
    • Фильтры: .remove, .collapse, .replace
Полезные ссылки
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
  •