Сбор товаров и баз данных с интернет-магазинов, досок объявлений (парсинг)

Автор content-pars, 22-09-2015, 17:49:21

« назад - далее »

content-parsTopic starter

Автоматизированное наполнение сайтов от 10$.

Профессионально занимаюсь парсингом (автоматизированным сбором и систематизацией баз данных) уже 3 года. Работаю с разными программами, в зависимости от условий задания.

Что я могу сделать для Вас:


  • собрать товары вместе с фото и подробным описанием с любого сайта и быстро залить на Ваш сайт;
  • собрать базу данных (например, для рассылок) - телефоны, e-mail с 2gis, соц. сетей, досок объявлений или любых других сайтов;
  • быстро наполнить Ваш сайт (магазин) уже имеющимися товарами;
  • настроить автоматизированный постинг отзывов, объявлений, статей о Вашем сайте на предоставленных Вами площадках (или могу сам собрать площадки для размещения). Написание уникальных статей и отзывов тоже можно заказать у меня.
Если нужно собрать товары с иностранного сайта (например, taobao), тоже не проблема, уже есть соответствующий опыт. Настраиваю автоматизированный перевод текстов на русский язык с помощью Google Translate или Promt.
Если Вы уже пробовали заказать где-то сложный парсинг и Вам отказали, пишите, я не боюсь сложных заказов.

Краткое портфолио newbielink:https://docs.google.com/spreadsheets/d/1a3VVZNoeL84tinmo6QosfVTIeGZyu3cpmWYa1iDbcz0/edit?usp=sharing [nonactive].

Как сделать заказ?

Вы связываетесь со мной по одному из указанных контактов, мы с Вами формулируем ТЗ на парсинг с примером, чтобы в итоге Вы получили именно то, что нужно Вам. Стоимость зависит от объема работы. Если нужно обновление уже заказанного парсинга, сделаю его с хорошей скидкой.

Контакты

Почта - fast.content.pars@gmail.com
Skype - fast.content.pars

Форма оплаты

WMZ
WMR
WMU
Карта Приват Банка

Внимание! Готов оказать эту услугу двум участникам форума за подробный отзыв со скидкой в размере 50%. Условия: не менее 500 учтенных сообщений, время с момента регистрации ― более 12 месяцев.
  •  


tiptopvkr

Здравствуйте. А вы можете спарсить все в файл? Не на сайт сразу. Например мне нужно спарсить все товары из определенных категорий, их атрибуты, цену в файл что-бы у каждого значения была своя колонка. И отдельно колонка с прямыми адресами на фото у донора.
Совершенствуюсь...)
  •  


content-parsTopic starter

Цитата: tiptopvkr от 23-09-2015, 19:21:40
Здравствуйте. А вы можете спарсить все в файл? Не на сайт сразу. Например мне нужно спарсить все товары из определенных категорий, их атрибуты, цену в файл что-бы у каждого значения была своя колонка. И отдельно колонка с прямыми адресами на фото у донора.
Ответил в ЛС
  •  

content-parsTopic starter

Пример парсинга, одна из последних работ

Задача: Собрать данные из 2gis
- заголовок
- адрес
- сайт
- почта
- номера телефонов
- категория
- Все категории объекта

Собрать все данные из 2gis по Одессе по запросу "Интернет магазин"


В итоге клиент получил

таблицу с данными
свыше 500 интернет магазинов
более 1000 номеров телефонов
более 300 почтовых адресов




Готов принимать заказы на парсинги больших объемов данных (olx, 2gis и т.д.)
  •  

tiptopvkr

Один из немногих случаев когда пишу отзыв и добровольно) Работа выполнена на отлично и быстро. Требовалось для клиента спарсить с сайта все фото товаров, сделать таблицу для заливки на сайт с файла, переименовать все фото так как требуется. В итоге за 1 сутки файл готов, фото все в папке, названы как требовалось и ссылки на папку и на каждое фото прописаны. 10 000 позиций товаров. Большое спасибо за работу. Обязательно при необходимости обращусь еще.
Совершенствуюсь...)
  •  


content-parsTopic starter

Задача

Собрать данные с резюме jobs.ua по Киеву
Необходимы следующие данные:

  • Последнюю хлебную крошку
  • Текст в теге <h1>
  • Образование
  • Опыт
  • График работы
  • Желаемая зарплата
  • Должность
  • Контактное лицо
  • Телефоны


Что было сделано

1)   Был создан аккаунт для входа на сайт (без аккаунта контакты не показываются)
2)   Была настроена программа для парсинга Content Downloader (с вводом логина и пароля через cookie)
3)   Сбор данных проходил в 5 подходов (5 файлов)
4)   После окончания каждой части запускалась следующая, а в предыдущей все номера телефонов приводились к одному виду - "+380.........."

Вся работа заняла 1 день




В итоге клиент получил

Базу телефонных номеров соискателей работы с характеристиками их специализации и именами и фамилиями

Всего более 56 000 строк с данными (так как в вакансиях размещено от 1 до 5 номеров, телефонов число уникальных номеров около 100 000)
  •  

content-parsTopic starter

    Сбор данных с сайта vashdom.ru
    Задача

    Собрать все статьи и картинки с сайта vashdom.ru
    Каждая статья в отдельном файле .txt
    Структура файла .txt

    • Заголовок статьи;
    • Текст статьи без кода, с переносами строк;
    • Адреса и названия картинок, содержащихся в статье.


    Особенности


    1. Разный формат картинок .jpg, .jpeg, .gif
    2. Разные коды картинок

       
    • src="/адрес картинки.jpg"
       
    • src="адрес картинки.jpg"
       
    • src=/адрес картинки.jpg
       
    • src="адрес картинки.jpg
       
    • src="/адрес картинки.jpg
    3. Сочетание на одной странице разных форматов картинок с не стандартными кодами картинок




    В итоге клиент получил


    • Более 4000 файлов со статьями;
    • 3458 папок с картинками для статей (не у всех статей были картинки)


    При выполнении данного парсинга использовалась программа Content Downloader.
    Окончательный отчет клиент получил спустя 2 дня после заказа.[/list]
    •  

    content-parsTopic starter

    Задача

    Собрать объявления с сайта avito.ru из категории "Водный транспорт" и постепенно размещать их на сайте заказчика.

    Необходимые поля для сбора:
    1) Заголовок;
    2) Все картинки товара;
    3) Описание товара;
    4) Номер телефона владельца товара;
    5) Контактное лицо.

    Товар в списке выдачи Avito.ru -
    Страница товара -



    Необходимые для заполнения поля:


    1) Рубрика;
    2) Категория;
    3) Заголовок (из объявления с Авито);
    4) Текст объявления(из объявления с Авито);
    5) Изображения (из объявления с Авито);
    6) Цена (из объявления с Авито);
    7) Период размещения (выставить 6 мес.);
    8) Имя (из объявления с Авито);
    9) e-mail (ввести специально созданную почту)
    10) Телефон (из объявления с Авито)


    В итоге клиент получил.

    Регулярное обновление своего сайта более 1000 объявлений в день (количество обговаривалось с Клиентом, все объявления можно было добавить за 1 день).


    В конечном итоге на сайте клиента будет размещено более 50000 объявлений.
    •  


    content-parsTopic starter

    Еще один пример моей работы

    Задача


    Собрать телефонные номера, полные имена владельцев и их адреса с сайта tel.search.ch со следующими условиями:
    1) Указывать город "Zurich";
    2) Поочередно вводить каждое из 104 предоставленных имен;



    3) Конечные данные должны иметь вид .txt или .csv файла с данными
    "41434998955","Gabler Anna","Streulistrasse 71 8032 Zurich"
    "41447615776","Gantert Anna","Munchhaldenstrasse 6 8008 Zurich"
    "41442722482","Gastl Anna-Marie","Rontgenstrasse 87/173 8005 Zurich"



    Итог

    Отчет был предоставлен на следующий день в формате .csv.
    Все телефонные номера были приведены к общему виду и уникализированы.



    В итоге клиент получил 11095 уникальных телефонных  номеров с именами и адресами владельцев.
    •  


    content-parsTopic starter

    Очередной пример парсинга.
    Задача.

    Собрать все товары с сайта msk.metro-cc.ru по региону
    "Москва, 1-я Дубровская 13,а"



    Что собирать.

    1. Заголовок товара
    2. Описание товара
    3. Характеристики товара (если есть)
    4. Изображение товара
    5. Стоимость
    6. Валюта
    7. Раздел товара
    8. Уникальный идентификатор (выдавать самому)
    9. Артикул товара



    Подробнее про сбор

    3) Характеристики товара - собирать из вкладки "Характеристики", каждое название и значение характеристики собирать в отдельные ячейки таблицы.
    (Хар-ка | Знач. хар-ки | Хар-ка | Знач. хар-ки).

    4) Все картинки качать в отдельную папку, названия картинок делать такими-же как уникальный идентификатор.

    5) Стоимость - Увеличивать собранную стоимость на 15%.

    6) Валюта - Проставлять для всех товаров валюту RUB.



    Собранные данные должны сохраняться в отдельную таблицу с названием в виде раздела, в котором находится товар в латинице.



    Что было сделано.

    Для сбора товаров была использована программа Content Downloader. Настроенная на сбор в 5-ти потоках.
    Процесс парсинга проходил в 4 этапа:

    Настройка сканера сайтов;
    Сбор ссылок при помощи сканера сайтов;
    Настройка сбора и сохранения данных с собранных ссылок на страницы;
    Сбор и сохранение данных и последующая их ручная проверка.

    Итог. Что получил клиент.

    В итоге Клиент получил более 20 000 товаров в удобном для загрузки на сайт формате.
    Отчет был получен на следующий день после обсуждения заказа.
    •