A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парс

Автор Тема: A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента, показателей, 70+ парс  (Прочитано 43282 раз)

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 122
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
Сборник статей #8: ссылки с GET параметрами, скачивание Google документов, очистка очереди через API
8-й сборник статей. В нем мы научимся парсить ссылки с GET параметрами, искать в поиске Google и скачивать документы, а также узнаем как очищать очередь заданий через API. Поехали!

Сбор ссылок с GET параметрами
В техническую поддержку часто задают вопрос, как собирать ссылки с GET параметрами для поиска SQL уязвимостей. Поэтому, по ссылке выше мы расскажем как это сделать, используя стандартный парсер Google.


Поиск и скачивание Google документов
За последнее время уже несколько раз появлялись новости о том, что Google индексирует пользовательские документы, размещенные в их одноименном сервисе и открытые для доступа по ссылке. Соответственно все эти файлы становятся доступны в поиске. И пока Google разбирается с этим, по ссылке выше мы рассказываем как можно искать и скачивать такие документы.


Работаем с API, часть 3
Третья и заключительная часть из цикла статей по работе с A-Parser через API. В ней на примере очистки очереди задач будет рассмотрена работа со вспомогательными запросами, которые позволяют работать с очередью заданий. Все детали - по ссылке выше.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций


Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 122
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
Сборник рецептов #34: оценка трафика, парсинг Ahrefs и информация об IP адресах

34-й сборник рецептов, в котором опубликован пресет для оценки количества трафика на сайтах, парсер Ahrefs через API и пресет для парсинга информации об IP адресах. Поехали!

Чек трафика сайта
Пресет для проверка трафика сайта через сервис siteworthtraffic.com. Собираются данные о количестве уникальных постетителей и просмотров, а также о доходе с рекламы. Оценка трафика на сайтах может быть полезна для фильтрации списка сайтов по критерию прибыльности и популярности. Пресет доступен по ссылке выше.


Парсер Ahrefs на основе Ahrefs API
Парсер для сбора данных из популярного сервиса Ahrefs через их официальное API. Собирается множество данных, которые позволяют оценивать домены по различным характеристикам. Для использования нужен API ключ, который приобретается отдельно.


Парсинг подсети и организации по IP
Небольшой пресет для сбора информации об IP адресе, а именно: подсеть, организация, страна и город. Данные собираются из сервиса whoer.net.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

« Последнее редактирование: 02-08-2019, 10:55:21 от A-Parser Support »
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 122
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
1.2.570 - новые парсеры API::Server::Redis и SE::Startpage, улучшения в существующих парсерах

Улучшения
  • Добавлен новый парсер API::Server::Redis (только для лицензий Enterprise)
  • В SE::Google::Modern добавлена возможность определять наличие расширенных сниппетов (rich snippets) в выдаче
  • В связи с изменениями на сервисе-источнике парсер SE::IxQuick был удален, а вместо него добавлен SE::Startpage с почти аналогичным функционалом
  • Улучшена логика работы функции Get full links в SE::Baidu SE::Baidu
  • В SE::Google::Modern  реализована возможность указывать дополнительные заголовки для запросов
  • Улучшен парсинг меток сайтов в SE::Yandex, а также добавлена поддержка новых типов меток
  • Улучшена логика работы функции Get full links в SE::Baidu
  • Оптимизирован алгоритм обработки подзапросов
Исправления в связи с изменениями в выдаче
  • Улучшена работа SE::YouTube, в связи с тестированием новой верстки
  • В SE::Google::Translate переработан механизм повторных попыток, добавлена поддержка сессий
  • Исправлен парсинг сниппетов в SE::Google::Images
  • Поностью переработан GooglePlay::Apps- теперь он парсит только первую страницу результатов
  • Исправлен парсинг мобильной выдачи в SE::Google::Modern
  • Исправлена работа SE::Seznam при отсутствии результатов
  • Исправлена работа Rank::Linkpad, парсер полностью переписан
  • SE::Bing::Translator, SE:: DuckDuckGo::Images, SE::Bing::Images
Исправления
  • Исправлена проблема, из-за которой в некоторых случаях при запросе через API возвращался пустой массив страниц
  • Исправлено падение скорости в Net::Whois
  • Исправлен баг в оптимизации парсеров
  • Исправлено сохранение параметра Report period в SE::Yandex:: Direct::Frequency
  • В HTML::LinkExtractor исправлен сбор ссылок, если в них есть перенос строки
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 122
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
Видео урок: Поиск страниц контактов
В этом видео уроке рассмотрен пример решения задачи по поиску страниц контактов у заданного списка сайтов. Также парсится тайтл и все это сохраняется в CSV файл.
<a href="http://www.youtube.com/watch?v=1ZjbFj1x6IQ" target="_blank">http://www.youtube.com/watch?v=1ZjbFj1x6IQ</a>
В уроке рассмотрено:
  • парсинг поиска Google для получения ссылки на страницу контактов
  • парсинг главной страницы сайта для получения title
  • использование инструмента $tools.CSVline для форматирования файла результата
  • пример правильного импорта в Excel
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 122
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
Сборник рецептов #35: комментарии на Youtube, контакты на сайтах и японский Yahoo
35-й сборник результатов, где мы будем собирать комментарии из Youtube, искать контакты (телефоны и почты) на сайтах, а также парсить японскую выдачу Yahoo. Поехали!
Парсинг комментариев из Youtube
Представляем вашему вниманию JS парсер комментариев для видео на Youtube. С его помощью можно собирать тексты комментариев, а также информацию об авторах комментариев индивидуально для каждого видео. Также реализована возможность указывать количество страниц с комментарими, что позволяет при необходимости ограничить их сбор и тем самым увеличить скорость работы.


Извлекаем телефоны, начинающиеся на 3 с помощью HTML::EmailExtractor
Пресет, в котором показано, как с помощью HTML::EmailExtractor HTML::EmailExtractor собирать контакты со страниц сайтов. Данный пресет предназначен для сбора e-mail и телефонов, начинающихся с 3 (Украина), но при необходимости можно немного изменить регулярные выражения и собирать телефоны других стран.


SE::Yahoo::JP
JS парсер для парсинга японской выдачи Yahoo. Используется домен search.yahoo.co.jp. Собираются ссылки, анкоры и сниппеты, а также есть возможность задать количество страниц для парсинга.


Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций


Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 122
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
1.2.595 - новый парсер Ahrefs, инструмент для создания CSV и много других улучшений



Улучшения
  • Добавлен новый парсер Rank::Ahrefs
  • Добавлен инструмент $tools.CSVline для простого создания CSV файлов
  • В связи с тестированием Гуглом новой верстки в поисковике, добавлена ее поддержка в SE::Google::Modern
  • В SE::Google::Modern в массив $serp добавлена переменная $amp, которая показывает, поддерживает ли страница AMP
  • В SE::Yandex в $serp.$i.label добавлена поддержка Турбо страниц, а также добавлен сбор типов меток сайтов
  • В Net::HTTP улучшена работа с редиректами, добавлена опция Follow common redirects
  • Теперь в Util::ReCaptcha2 можно указать хост для используемого сервиса разгадывания, а также в Provider url можно указывать адреса через запятую (актуально для XEvil и CapMonster), парсер будет использовать каждый из них в случайном порядке
  • Увеличено количество результатов в парсерах Rank::Bukvarix::*
  • Добавлена опция ограничения числа логов, с целью оптимизации использования дискового пространства
  • JS парсеры: улучшена пакетная обработка запросов
Исправления в связи с изменениями в выдаче
  • В Maps::Yandex исправлена ситуация, при которой для части результатов не собирались данные
  • Исправлен SE::Rambler
Исправления
  • Исправлена проблема с рядом парсеров, из-за которой они не работали, появилась в одной из предыдущих версий
  • Исправлена ошибка в Rank::Alexa, из-за которой при отсутствующих значениях запрос завершался с ошибкой
  • Исправлен баг в Rank::MajesticSEO, из-за которого в некоторых случаях запросы завершались с ошибкой
  • Для парсеров Social::Instagram::Profile и Social::Instagram::Tag изменен перечень доступных переменных в связи с не совсем корректной работой в некоторых случаях
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 122
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
Видео урок: Парсинг Google Maps для сбора всех организаций в определенной местности

В этом видео уроке рассмотрен способ сбора данных об организациях в указанной местности из Google Maps, используя встроенный парсер Гугл карт. Также показано как определить необходимые координаты на карте и задать их в парсере.

<a href="http://www.youtube.com/watch?v=61Q5gm28dFs" target="_blank">http://www.youtube.com/watch?v=61Q5gm28dFs</a>

В уроке рассмотрено:
  • Парсинг карт Google с использованием Maps::Google
  • Пример получения координат для использования в макросах подстановок
  • Работа с макросами подстановок при наличии отрицательных чисел
  • Импорт результата в Excel

Полезные ссылки:
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 122
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
Сборник статей #9: анализ страниц сайта, парсинг всех страниц сайта из индекса и проверка запросов

9-й сборник статей. В нем мы разберемся, как делать пресеты для анализа всех страниц сайта, научимся парсить все ссылки сайта из индекса ПС и будем проверять существование запросов. Поехали!

Создание пресета для анализа страниц сайта
Анализ страниц на сайте - это один из самых популярных кейсов использования А-Парсера. При этом можно собирать очень много различных параметров, начиная от проверки доступности и заканчивая поиском определенных слов на странице.
О том, как сделать простой анализатор сайта и пойдет речь в этой статье.


Парсинг разными способами максимум результатов из индекса поисковых систем
Парсинг из индекса поисковых систем всех страниц сайта - это еще один популярный кейс для A-Parser. ПС ограничивают кол-во результатов по одному запросу, поэтому нужно как-то обходить это ограничение. Как это сделать - описано в нашей статье.


Проверка существования запросов
Пресет из этого примера позволяет проверить базу ключевых слов и определить, был ли запрос одноразовым без постоянного спроса или нет. Тем самым появляется возможность отфильтровать семантику и оставить только "хорошие" запросы. Больше деталей, а также готовый пресет - по ссылке выше.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

Оффлайн A-Parser SupportАвтор темы

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 0
  • Сообщений: 122
  • Карма: 1
    • Просмотр профиля
    • A-Parser

Оффлайн A-Parser SupportАвтор темы

  • Постоялец
  • ***
1.2.678 - оптимизация работы с прокси, улучшения во встроенных парсерах, исправления ошибок



Улучшения
  • В SE::Google::ByImage добавлена поддержка рекаптч, а также улучшена работа в целом
  • В SE::Yandex добавлена возможность одновременной работы авторазгадывания каптч и антигeйта
  • В Rank::Ahrefs добавлена возможность выбора типа домена
  • Полностью переписан   SE::Yandex::SQI, изменен набор собираемых данных
  • Реализован бан прокси в SE:: DuckDuckGo::Images
  • В Net::Whois добавлен парсинг даты освобождения домена
  • Оптимизирована работа с прокси при использовании большого числа попыток
  • Улучшена работа функции Bypass Cloudflare
  • Добавлен tools.aparser.version(), позволяющий получить информацию о версии A-Parser

Исправления в связи с изменениями в выдаче
  • В мобильной верстке SE::Google::Modern исправлен парсинг новостей, а также исправлен парсинг ссылок и анкоров в desktop выдаче
  • В SE::Yandex исправлено определение каптчи, а также исправлен сбор ссылок на кеш
  • Исправлен парсинг цен и количества комментариев в Shop::Amazon
  • Исправлена работа SE:: DuckDuckGo::Images с запросами, содержащими более 1 слова
  • GooglePlay::Apps, SE::Youtube , Rank::Ahrefs
Исправления
  • Исправлена проблема с рандомизацией прокси на Windows 10
  • Исправлено зависание при использовании Check::BackLink
  • Исправлена проблема, при которой не применялся Content-Type в Net::HTTP
  • Исправлена редкая проблема с выбором файла запросов
  • Исправлена обработка редиректов при нестандартном порте
  • Исправлен вывод многострочных данных в tools.CSVline
  • JS парсеры: исправлена проблема с интерфейсом при отсутствии необходимых Node.js модулей
  • JS парсеры: исправлена проблема с подключением модуля jimp

A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций


 

Похожие темы

  Тема / Автор Ответов Последний ответ
1 Ответов
3281 Просмотров
Последний ответ 06-01-2012, 01:02:50
от avt25
0 Ответов
3397 Просмотров
Последний ответ 19-06-2011, 16:27:40
от LadanOFF
0 Ответов
2268 Просмотров
Последний ответ 24-07-2011, 00:59:03
от akhmedoff
2 Ответов
2693 Просмотров
Последний ответ 30-12-2011, 09:36:19
от Куцый
1 Ответов
1217 Просмотров
Последний ответ 26-12-2017, 15:07:37
от MrRoman