Сбор товаров и баз данных с интернет-магазинов, досок объявлений (парсинг)

Автор Тема: Сбор товаров и баз данных с интернет-магазинов, досок объявлений (парсинг)  (Прочитано 2704 раз)

Оффлайн content-parsАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 1
  • Сообщений: 8
  • Карма: 0
    • Просмотр профиля

Оффлайн content-parsАвтор темы

  • Дебютант
  • *
1
Автоматизированное наполнение сайтов от 10$.

Профессионально занимаюсь парсингом (автоматизированным сбором и систематизацией баз данных) уже 3 года. Работаю с разными программами, в зависимости от условий задания.

Что я могу сделать для Вас:

  • собрать товары вместе с фото и подробным описанием с любого сайта и быстро залить на Ваш сайт;
  • собрать базу данных (например, для рассылок) - телефоны, e-mail с 2gis, соц. сетей, досок объявлений или любых других сайтов;
  • быстро наполнить Ваш сайт (магазин) уже имеющимися товарами;
  • настроить автоматизированный постинг отзывов, объявлений, статей о Вашем сайте на предоставленных Вами площадках (или могу сам собрать площадки для размещения). Написание уникальных статей и отзывов тоже можно заказать у меня.

Если нужно собрать товары с иностранного сайта (например, taobao), тоже не проблема, уже есть соответствующий опыт. Настраиваю автоматизированный перевод текстов на русский язык с помощью Google Translate или Promt.
Если Вы уже пробовали заказать где-то сложный парсинг и Вам отказали, пишите, я не боюсь сложных заказов.

Краткое портфолио newbielink:https://docs.google.com/spreadsheets/d/1a3VVZNoeL84tinmo6QosfVTIeGZyu3cpmWYa1iDbcz0/edit?usp=sharing [nonactive].

Как сделать заказ?

Вы связываетесь со мной по одному из указанных контактов, мы с Вами формулируем ТЗ на парсинг с примером, чтобы в итоге Вы получили именно то, что нужно Вам. Стоимость зависит от объема работы. Если нужно обновление уже заказанного парсинга, сделаю его с хорошей скидкой.

Контакты

Почта - fast.content.pars@gmail.com
Skype - fast.content.pars

Форма оплаты

WMZ
WMR
WMU
Карта Приват Банка

Внимание! Готов оказать эту услугу двум участникам форума за подробный отзыв со скидкой в размере 50%. Условия: не менее 500 учтенных сообщений, время с момента регистрации ― более 12 месяцев.
« Последнее редактирование: 02-10-2015, 22:12:38 от [Lichkin-rus] »


Оффлайн tiptopvkr

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 143
  • Сообщений: 188
  • Карма: 27
  • Пол: Мужской
    • Просмотр профиля

Оффлайн tiptopvkr

  • Постоялец
  • ***
Здравствуйте. А вы можете спарсить все в файл? Не на сайт сразу. Например мне нужно спарсить все товары из определенных категорий, их атрибуты, цену в файл что-бы у каждого значения была своя колонка. И отдельно колонка с прямыми адресами на фото у донора.
Совершенствуюсь...)

Оффлайн content-parsАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 1
  • Сообщений: 8
  • Карма: 0
    • Просмотр профиля

Оффлайн content-parsАвтор темы

  • Дебютант
  • *
Здравствуйте. А вы можете спарсить все в файл? Не на сайт сразу. Например мне нужно спарсить все товары из определенных категорий, их атрибуты, цену в файл что-бы у каждого значения была своя колонка. И отдельно колонка с прямыми адресами на фото у донора.
Ответил в ЛС

Оффлайн content-parsАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 1
  • Сообщений: 8
  • Карма: 0
    • Просмотр профиля

Оффлайн content-parsАвтор темы

  • Дебютант
  • *
Пример парсинга, одна из последних работ

Задача: Собрать данные из 2gis
 - заголовок
 - адрес
 - сайт
 - почта
 - номера телефонов
 - категория
 - Все категории объекта

Собрать все данные из 2gis по Одессе по запросу “Интернет магазин”


В итоге клиент получил

таблицу с данными
свыше 500 интернет магазинов
более 1000 номеров телефонов
более 300 почтовых адресов




Готов принимать заказы на парсинги больших объемов данных (olx, 2gis и т.д.)

Оффлайн tiptopvkr

  • Бизнес оценка: (0)
  • Постоялец
  • ***
  • СПАСИБО: 143
  • Сообщений: 188
  • Карма: 27
  • Пол: Мужской
    • Просмотр профиля

Оффлайн tiptopvkr

  • Постоялец
  • ***
Один из немногих случаев когда пишу отзыв и добровольно) Работа выполнена на отлично и быстро. Требовалось для клиента спарсить с сайта все фото товаров, сделать таблицу для заливки на сайт с файла, переименовать все фото так как требуется. В итоге за 1 сутки файл готов, фото все в папке, названы как требовалось и ссылки на папку и на каждое фото прописаны. 10 000 позиций товаров. Большое спасибо за работу. Обязательно при необходимости обращусь еще.
Совершенствуюсь...)


Оффлайн content-parsАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 1
  • Сообщений: 8
  • Карма: 0
    • Просмотр профиля

Оффлайн content-parsАвтор темы

  • Дебютант
  • *
Пример сбора базы контактов
« Ответ #5 : 14-11-2015, 11:40:58 »
Задача

Собрать данные с резюме jobs.ua по Киеву
Необходимы следующие данные:
  • Последнюю хлебную крошку
  • Текст в теге <h1>
  • Образование
  • Опыт
  • График работы
  • Желаемая зарплата
  • Должность
  • Контактное лицо
  • Телефоны


Что было сделано

1)   Был создан аккаунт для входа на сайт (без аккаунта контакты не показываются)
2)   Была настроена программа для парсинга Content Downloader (с вводом логина и пароля через cookie)
3)   Сбор данных проходил в 5 подходов (5 файлов)
4)   После окончания каждой части запускалась следующая, а в предыдущей все номера телефонов приводились к одному виду - “+380……….”

Вся работа заняла 1 день




В итоге клиент получил

Базу телефонных номеров соискателей работы с характеристиками их специализации и именами и фамилиями

Всего более 56 000 строк с данными (так как в вакансиях размещено от 1 до 5 номеров, телефонов число уникальных номеров около 100 000)

Оффлайн content-parsАвтор темы

  • Бизнес оценка: (0)
  • Дебютант
  • *
  • СПАСИБО: 1
  • Сообщений: 8
  • Карма: 0
    • Просмотр профиля

Оффлайн content-parsАвтор темы

  • Дебютант
  • *
    Сбор данных с сайта vashdom.ru
    Задача

    Собрать все статьи и картинки с сайта vashdom.ru
    Каждая статья в отдельном файле .txt
    Структура файла .txt
    • Заголовок статьи;
    • Текст статьи без кода, с переносами строк;
    • Адреса и названия картинок, содержащихся в статье.



    Особенности


    1. Разный формат картинок .jpg, .jpeg, .gif
    2. Разные коды картинок
    • src="/адрес картинки.jpg"
    • src="адрес картинки.jpg"
    • src=/адрес картинки.jpg
    • src="адрес картинки.jpg
    • src="/адрес картинки.jpg
    3. Сочетание на одной странице разных форматов картинок с не стандартными кодами картинок




    В итоге клиент получил

    • Более 4000 файлов со статьями;
    • 3458 папок с картинками для статей (не у всех статей были картинки)


    При выполнении данного парсинга использовалась программа Content Downloader.
    Окончательный отчет клиент получил спустя 2 дня после заказа.[/list]

    Оффлайн content-parsАвтор темы

    • Бизнес оценка: (0)
    • Дебютант
    • *
    • СПАСИБО: 1
    • Сообщений: 8
    • Карма: 0
      • Просмотр профиля

    Оффлайн content-parsАвтор темы

    • Дебютант
    • *
    Задача

    Собрать объявления с сайта avito.ru из категории “Водный транспорт” и постепенно размещать их на сайте заказчика.

    Необходимые поля для сбора:
    1) Заголовок;
    2) Все картинки товара;
    3) Описание товара;
    4) Номер телефона владельца товара;
    5) Контактное лицо.

    Товар в списке выдачи Avito.ru -
    Страница товара -



    Необходимые для заполнения поля:


    1) Рубрика;
    2) Категория;
    3) Заголовок (из объявления с Авито);
    4) Текст объявления(из объявления с Авито);
    5) Изображения (из объявления с Авито);
    6) Цена (из объявления с Авито);
    7) Период размещения (выставить 6 мес.);
    8) Имя (из объявления с Авито);
    9) e-mail (ввести специально созданную почту)
    10) Телефон (из объявления с Авито)


    В итоге клиент получил.

    Регулярное обновление своего сайта более 1000 объявлений в день (количество обговаривалось с Клиентом, все объявления можно было добавить за 1 день).


    В конечном итоге на сайте клиента будет размещено более 50000 объявлений.

    Оффлайн content-parsАвтор темы

    • Бизнес оценка: (0)
    • Дебютант
    • *
    • СПАСИБО: 1
    • Сообщений: 8
    • Карма: 0
      • Просмотр профиля

    Оффлайн content-parsАвтор темы

    • Дебютант
    • *
    Еще один пример моей работы

    Задача


    Собрать телефонные номера, полные имена владельцев и их адреса с сайта tel.search.ch со следующими условиями:
    1) Указывать город “Zurich”;
    2) Поочередно вводить каждое из 104 предоставленных имен;



    3) Конечные данные должны иметь вид .txt или .csv файла с данными
    "41434998955","Gabler Anna","Streulistrasse 71 8032 Zurich"
    "41447615776","Gantert Anna","Munchhaldenstrasse 6 8008 Zurich"
    "41442722482","Gastl Anna-Marie","Rontgenstrasse 87/173 8005 Zurich"



    Итог

    Отчет был предоставлен на следующий день в формате .csv.
    Все телефонные номера были приведены к общему виду и уникализированы.



    В итоге клиент получил 11095 уникальных телефонных  номеров с именами и адресами владельцев.


    Оффлайн content-parsАвтор темы

    • Бизнес оценка: (0)
    • Дебютант
    • *
    • СПАСИБО: 1
    • Сообщений: 8
    • Карма: 0
      • Просмотр профиля

    Оффлайн content-parsАвтор темы

    • Дебютант
    • *
    Очередной пример парсинга.
    Задача.

    Собрать все товары с сайта msk.metro-cc.ru по региону
    “Москва, 1-я Дубровская 13,а”



    Что собирать.

     1. Заголовок товара
     2. Описание товара
     3. Характеристики товара (если есть)
     4. Изображение товара
     5. Стоимость
     6. Валюта
     7. Раздел товара
     8. Уникальный идентификатор (выдавать самому)
     9. Артикул товара



    Подробнее про сбор

    3) Характеристики товара - собирать из вкладки “Характеристики”, каждое название и значение характеристики собирать в отдельные ячейки таблицы.
    (Хар-ка | Знач. хар-ки | Хар-ка | Знач. хар-ки).

    4) Все картинки качать в отдельную папку, названия картинок делать такими-же как уникальный идентификатор.

    5) Стоимость - Увеличивать собранную стоимость на 15%.

    6) Валюта - Проставлять для всех товаров валюту RUB.



    Собранные данные должны сохраняться в отдельную таблицу с названием в виде раздела, в котором находится товар в латинице.



    Что было сделано.

    Для сбора товаров была использована программа Content Downloader. Настроенная на сбор в 5-ти потоках.
    Процесс парсинга проходил в 4 этапа:

    Настройка сканера сайтов;
    Сбор ссылок при помощи сканера сайтов;
    Настройка сбора и сохранения данных с собранных ссылок на страницы;
    Сбор и сохранение данных и последующая их ручная проверка.

    Итог. Что получил клиент.

    В итоге Клиент получил более 20 000 товаров в удобном для загрузки на сайт формате.
    Отчет был получен на следующий день после обсуждения заказа.


     

    Похожие темы

      Тема / Автор Ответов Последний ответ
    0 Ответов
    3196 Просмотров
    Последний ответ 14-03-2011, 11:43:05
    от Zadelsky
    13 Ответов
    6796 Просмотров
    Последний ответ 02-09-2012, 16:27:27
    от EntuziAst
    21 Ответов
    6075 Просмотров
    Последний ответ 02-07-2013, 00:24:53
    от 4weblance
    4 Ответов
    1811 Просмотров
    Последний ответ 20-12-2014, 22:25:05
    от Владимир75
    0 Ответов
    739 Просмотров
    Последний ответ 18-01-2019, 17:26:52
    от RelaxMiwka