A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парс

Автор Тема: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парс  (Прочитано 33385 раз)

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 108
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
1.2.455 - поддержка puppeteer, все методы в Net::HTTP, обновление Bypass Cloudflare

Начиная с версии 1.2.455 мы начинаем официальную поддержку Node.JS модуля puppeteer - средства автоматизации работы с браузером Chrome(Chromium), благодаря чему возможен полноценный рендеринг DOM с поддержкой JS. В качестве примера мы выкладываем парсер, который делает скриншоты сайтов в формате PNG, доступен выбор размера скриншота. Chromium может быть запущен как на Windows, так и на Linux серверах без GUI.
Улучшения
  • SE::Bing::Images полностью переписан, добавлен сбор дополнительных данных, а также в настройках добавлен выбор региона и языка интерфейса
  • В Net::HTTP добавлены все методы в настройки, а также реализована возможность переопределения через заголовок Method
  • Добавлена возможность форматирования всех цифр в интерфейсе
  • JS парсеры: в this.parser.request для override добавлена опция needData, которая определяет передавать или нет в ответе data/pages[], может использоваться для оптимизации
  • JS парсеры: добавлена поддержка модулей url и ws

Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена работа функции Bypass Cloudflare в Net::HTTP
  • Исправлена ошибка, из-за которой при определенных настройках не писался Начальный текст
  • Исправлена работа некоторых socks4 прокси
  • Исправлена ошибка в $tools.base64.encode() при работе с кириллическими символами
  • В Shop::Amazon исправлена ошибка, при которой игнорировался домен
  • JS парсеры: исправлена редкая ошибка в работе сокетов в Node.js
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций


Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 108
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
Сборник рецептов #31: скидка -50% на XEvil, скриншоты страниц, подсказки Я.Маркета и правописание
31-й сборник рецептов. В нем будет показан способ создания скриншотов веб-страниц, парсинг подсказок Яндекс Маркета, а также проверка правописания в Google. Кроме этого, только до конца апреля доступна возможность купить XEvil со скидкой. Далее обо всем по порядку.

Скидка -50% на покупку XEvil для существующих и новых пользователей A-Parser
Для всех существующих и новых пользователей A-Parser действует скидка на покупку XEvil -50%!
XEvil - это простая, быстрая и удобная программа для полностью автоматического распознавания и обхода подавляющего числа капч и рекапч, без необходимости подключения каких-либо сторонних сервисов. Использование XEvil в связке с A-Parser позволяет значительно удешевить парсинг ресурсов, где необходимо разгадывать капчи/рекапчи, при этом практически не теряя в скорости.
Акция действует до конца апреля. Количество промокодов ограничено, поэтому не упустите возможность воспользоваться скидкой!
Для получения промокода на покупку XEvil пишите в тикеты.


JS::Chrome::ScreenshotsMaker
Возможность загружать страницы с полной обработкой всех скриптов, аналогично браузеру - это один из самых популярных фичреквестов для A-Parser. Поэтому буквально недавно была добавлена поддержка Node.js модуля puppeteer, с помощью которого теперь можно получать полностью отрендеренные страницы. И мы публикуем первый пример по работе с ним - парсер для создания скриншотов веб-страниц. Больше информации, пример работы и готовый парсер - все это доступно по ссылке выше.


Парсер подсказок Яндекс.Маркет
Еще один парсер подсказок, на этот раз из Яндекс Маркета. Собираются подсказки, их популярность (частота), тип, а также, опционально, категория (включая полный путь родительских категорий). Готовый парсер, как обычно, доступен в нашем Каталоге по ссылке выше.


Проверка правописания в Google
Данный парсер позволяет проверить ключевые слова через поиск Google на предмет опечаток и получить исправленные варианты. Готовый пресет доступен по ссылке выше.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 108
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
Видео урок: Работа с MySQL
Видеоурок по работе с MySQL в A-Parser. В нем на реальном примере показано как работать с базами данных MySQL, используя Node.js модуль mysql2.

<a href="http://www.youtube.com/watch?v=C9XLgv-0_Y4" target="_blank">http://www.youtube.com/watch?v=C9XLgv-0_Y4</a>

В этом уроке рассмотрены:
  • Установка и подключение модулей
  • Некоторые основы языка запросов SQL
  • Создание базы данных MySQL
  • Получение и запись данных в БД, используя JS-парсеры

Полезные ссылки:
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 108
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
Сборник рецептов #32: Yahoo Answers, контакты фрилансеров и оценка ключевых слов

32-й сборник рецептов, в котором подобраны 3 JS парсера для парсинга Yahoo Answers, оценки ключевых слов и сбора контактных данных фрилансеров.

Парсер Yahoo Answers
Полноценный парсер сервиса Yahoo Answers, который по ключевым словам позволяет собирать непосредственно вопросы, ответы, а также их категории, дату создания и ссылки на страницы обсуждений.


Парсинг контактов фрилансеров
Парсер, который ищет по ключевым словам фрилансеров и собирает их контакты. Данные собираются с сервиса fl.ru.


Анализ ключевых слов
Парсер для сервиса seranking.com. Кейворды оцениваются по 4-м показателям: частотность, стоимость клика (CPC), стоимость трафика и KEI. Также есть возможность собирать похожие, релевантные и подсказки к начальному запросу вместе с их показателями.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 108
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
1.2.484 - 4 новых парсера, улучшение работы и исправление существующих

Улучшения
  • Новые парсеры:
    • Maps::Google - по ключевым словам собирает различные данные об организациях в заданных координатах
           
    • Maps::Yandex - по ключевым словам собирает различные данные об организациях в заданных координатах
           
    • Rank::Bukvarix:: Domain - сбор ключевых слов по домену
       
    • Rank::Bukvarix::Keyword - сбор ключевых слов по домену
         
  • Удалены 4 неактуальных парсера: Rank::SEMrush::Keyword, SE::QIP, SE::QIP::Position, Rank::MegaIndex
  • Улучшена работа SE::AOL
  • JS парсеры: для this.request добавлена опция data_as_buffer, которая определяет возвращать data как строку(String) или объект Buffer

Исправления в связи с изменениями в выдаче
  • В SE::Google::Modern исправлена работа с рекаптчами, исправлен парсинг сниппетов, а также исправлен парсинг мобильной выдачи
  • Rank::SEMrush полностью переписан, также полностью изменился список собираемых данных, парсер возвращает только те данные, которые доступны без авторизации
  • Полностью переписан Rank::Alexa
  • Исправлена работа Rank::MajesticSEO, теперь обязательно требуется установка Node.js и модуля brotli
  • В Rank::Social::Signal удалена переменная $facebook_share в связи с прекращением поддержки со стороны FB
  • SE::IxQuick, Shop::AliExpressSE:: DuckDuckGo::Images , Shop::Amazon, Check::RosKomNadzor
Исправления
  • Исправлена работа с запросами, содержащими пробел в  SE:: DuckDuckGo
  • Исправлена проблема с декомпресией данных на некоторых сайтах
  • JS парсеры: исправлена работа setImmediate
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций


 

Похожие темы

  Тема / Автор Ответов Последний ответ
1 Ответов
3044 Просмотров
Последний ответ 06-01-2012, 01:02:50
от avt25
0 Ответов
3300 Просмотров
Последний ответ 19-06-2011, 16:27:40
от LadanOFF
0 Ответов
2104 Просмотров
Последний ответ 24-07-2011, 00:59:03
от akhmedoff
2 Ответов
2286 Просмотров
Последний ответ 30-12-2011, 09:36:19
от Куцый
1 Ответов
1030 Просмотров
Последний ответ 26-12-2017, 15:07:37
от MrRoman