A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парс

Автор Тема: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парс  (Прочитано 50096 раз)

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 139
  • Карма: 1
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
Сборник рецептов #39: бот-опросник, парсер hotline.ua и copart.com

Представляем вашему вниманию 39-й сборник рецептов, в который вошли:
  • телеграмм бот опросник
  • парсер агрегатора цен hotline.ua
  • парсер аукционов транспортных средств copart.com
Телеграмм бот опросник

Данный бот позволяет организовать ежедневный опрос сотрудников, при этом список вопросов можно гибко менять. Все настройки берутся из Google таблицы, а также туда пишутся ответы по каждому сотруднику.
Также, этот пример демонстрирует возможность создания телеграмм бота на базе A-Parser и работу с Google таблицами.

<a href="http://www.youtube.com/watch?v=ypgj2T1axi0" target="_blank">http://www.youtube.com/watch?v=ypgj2T1axi0</a>

Парсер hotline.ua

hotline.ua - это самый большой агрегатор цен в Украине. С его помощью можно мониторить и анализировать цены на товары у конкурентов или искать наиболее выгодные предложения среди большого количества интернет-магазинов.



Парсер copart.com

Copart является одним из крупнейших интернет аукционов, специализирующихся на продаже новых и б/у автомобилей. По официальной информации каждый день на аукционе выставляется на продажу более 150 000 транспортных средств.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций


Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 139
  • Карма: 1
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
Мы начинаем публикацию серии коротких видеоуроков, каждый из которых будет посвящен какому-то одному функционалу.
И в этом уроке будут рассмотрены варианты формирования имени файла результата.

<a href="http://www.youtube.com/watch?v=yB4NiKyOV84" target="_blank">http://www.youtube.com/watch?v=yB4NiKyOV84</a>

В видео рассмотрено:
  • Нумерация файла результата в соответствии с запросами
  • Нумерация файла результата + часть имени запроса
  • Именование файла результата по запросу, если запрос линк

Полезные ссылки:

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 139
  • Карма: 1
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
1.2.852 - новый парсер для Google Keyword Planner, Native NodeJS, множество исправлений и улучшений



Улучшения

   ● Добавлен парсер SE::Google::KeywordPlanner
      ◦ собираются списки подсказок и варианты ключевых слов
      ◦ для каждого варианта парсится среднее кол-во запросов в месяц, конкуренция, объемы поиска, а также минимальная и максимальная ставки
      ◦ присутствует возможность указывать несколько ключевых слов в запросе
   ● В SE::Yandex::ByImage добавлена функция Get full links to page, которая позволяет получать реальные ссылки на страницы
   ● В SE::Yandex::SQI добавлены переменные сбор количества отзывов и оценок, а также рейтинга
   ● Улучшена проверка правильности разгадывания каптчи в парсерах Яндекса
   ● Автоматическое увеличение лимитов на ОС Linux
   ● Улучшена работа с регулярными выражениями
   ● При бане прокси в лог задания теперь выводится более детальная информация
   ● Native NodeJS переведена из стадии альфы в бету, проведено множество оптимизаций, за счет чего в большинстве сценариев это дает повышение максимальной скорости в 1.5-2 раза, а также уменьшение потребление памяти в 2-4 раза
      ◦ Начиная с 1.2.822 все бета версии имеют включенный Native NodeJS, стабильные версии выходят с включенным oldnode
   ● Native NodeJS: добавлена экспериментальная поддержка HTTP/2
   ● Native NodeJS: обновление Node.js до актуальной версии
   ● JS парсеры: добавлена опция allow_dangerous_node_modules, подробнее тут

Исправления в связи с изменениями в выдаче

   ● Исправлено скачивание каптчи в SE::Yandex
   ● Исправлен Rank::Ahrefs: в $anchors переменная $bl заменена на $domains
   ● В SE::Google исправлены:
      ◦ парсинг mobile news
      ◦ баг с дублированием ссылок в выдаче
      ◦ парсинг анкоров в рекламе, связанных ключевых слов, а также первый результат в выдаче не всегда попадал в serp
   ● В SE::Google::Images исправлен парсинг gif
   ● Исправлен SE::Yandex::ByImage, убраны flat переменные $height и $width
   ● SE::Yandex, SE::Google::ByImage, SE::DuckDuckGo, Social::Instagram::Post, Rank::Ahrefs, Rank::Bukvarix::Domain, SE::MailRu, SE::Yandex::Suggest

Исправления

   ● Исправлена работа Net::Whois с доменами 3го уровня, а также улучшена проверка получаемого ответа
   ● Исправлена работа Extra query string в SE::Bing
   ● Исправлена работа Rank::SEMrush и Rank::SerpStat::Keyword при получении ответа без данных
   ● Исправлен баг с типами переменных
   ● Исправлена ошибка, при которой запросы ошибочно считались неудачными при постановке задания на паузу
   ● Исправлена работа Bypass Cloudflare
   ● Исправлен динамический лимит потоков
   ● Исправлена ошибка при использовании Request delay
   ● Исправлено предупреждение о превышении лимита в Поле запросов
   ● Исправлена работа $tools.task.id в имени файла результата
   ● JS парсеры: исправлены получение сессий и работа http2 (баг появился в одной из предыдущих версий)
   ● JS парсеры: исправлено определение кодировки страницы
   ● Native NodeJS: исправлено поведение при некоторых ошибках
   ● Native NodeJS: исправлена проблема при обновлении A-Parser на OS Windows
   ● Native NodeJS: исправлена работа save_to_file, а также еще ряд ошибок
   ● Native NodeJS: исправлена работа SOCKS5 с авторизацией
   ● Native NodeJS: исправлена подстановка данных после Конструктора запросов


A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 139
  • Карма: 1
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
Сборник рецептов #40: посещаемость организаций, SSL сертификаты, ikea и анализ доменов

Представляем вашему вниманию 40-й сборник рецептов, в который вошли:
  • парсер данных о посещаемости организаций
  • парсер данных о SSL сертификатах
  • парсер товаров на ikea.com
  • комплексный пресет для анализа доменов по ряду характеристик
  • способ извлечения доменов из ссылок без фактического захода на страницу
Посещаемость в Google Maps
В поисковой выдаче Google для определенных запросов отображается расширенный сниппет с информацией об организации из Google карт. В частности, обычно отображается информация о посещаемости в разрезе дней недели.
Представляем парсер, который собирает данные о посещаемости.


Данные по SSL сертификату
Данный парсер собирает информацию о SSL сертификате сайта. В качестве источника данных используется сторонний ресурс.


Парсер ikea.com
Парсер данных из ikea.com, который позволяет собирать различную информацию о товарах. Согласно данным из Википедии, ikea - это одна из крупнейших в мире торговых сетей по продаже мебели и товаров для дома.


Кроме этого:Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 139
  • Карма: 1
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
Видео урок: Сохранение результатов в несколько файлов используя переменные, массивы и условия

В этом видео уроке рассмотрены способы сохранения результатов в несколько файлов, используя переменные и массив, при определенных условиях.

<a href="http://www.youtube.com/watch?v=uIJ_TIsO_oA" target="_blank">http://www.youtube.com/watch?v=uIJ_TIsO_oA</a>

В видео рассмотрено:
  • Вывод результатов в разные файлы с разными именами используя переменные
  • Вывод результатов для каждого файла отдельно по определенному условию
  • Вывод результатов для двух файлов с условием, используя массив
Полезные ссылки:
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций


Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 139
  • Карма: 1
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
Сборник рецептов #41: Google таблицы, отправка писем и авторизация с помощью puppeteer

Представляем 41-й сборник рецептов, который полностью посвящен использованию различных Node.js модулей в A-Parser.
  • Работа с Google таблицами
  • Отправка писем из А-Парсера
  • Авторизация с помощью puppeteer
Сохранение результатов в Google SpreadSheets

Один из часто задаваемых вопросов в поддержке, это вопрос о возможности писать результаты прямо в Google Таблицы. Поэтому мы подготовили небольшой пример парсера, который демонстрирует такую возможность.



Отправка почтовых писем

Еще одна возможность, о которой часто спрашивают наши пользователи - отправка писем. Такой функционал может быть использован для уведомлений о различных событиях в заданиях, в том числе о завершении их работы. Поэтому мы также подготовили пример, демонстрирующий отправку писем прямиком из А-Парсера.

 

Авторизация на GitHub с использованием puppeteer

Еще один пример по заявкам наших пользователей, демонстрирующий загрузку страницы, авторизацию на ресурсе и простую навигацию.




Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций


 

Похожие темы

  Тема / Автор Ответов Последний ответ
1 Ответов
3472 Просмотров
Последний ответ 06-01-2012, 01:02:50
от avt25
0 Ответов
3492 Просмотров
Последний ответ 19-06-2011, 16:27:40
от LadanOFF
0 Ответов
2382 Просмотров
Последний ответ 24-07-2011, 00:59:03
от akhmedoff
2 Ответов
2856 Просмотров
Последний ответ 30-12-2011, 09:36:19
от Куцый
1 Ответов
1365 Просмотров
Последний ответ 26-12-2017, 15:07:37
от MrRoman