Парсинг
Собираю цены конкурентов, товары с маркетплейсов и каталоги поставщиков — и кладу данные туда, где с ними работают: в Excel, 1С, CRM или карточки магазина.
Парсинг сайта на заказ — от 5 000 ₽ за разовую выгрузку и от 20 000 ₽ за парсер, который сам обновляет данные по расписанию. Собираю открытые данные: цены и наличие у конкурентов, товары и позиции на Wildberries, Ozon и Яндекс Маркете, каталоги поставщиков с характеристиками и фото. Результат — не файл, который потом неделю разбирают руками, а готовая таблица, загрузка в 1С или CRM или обновлённые карточки интернет-магазина.
Парсер каждый день обходит сайты конкурентов, сопоставляет их товары с вашими и показывает, где вы дороже, где дешевле и у кого товар закончился. Вместо ручного просмотра десятка сайтов — одна таблица, которая обновляется сама.
Текущая цена, старая цена со скидкой, наличие на складе и срок доставки — по каждому товару у каждого конкурента.
Связываю товары по артикулу, штрихкоду или названию, чтобы в таблице рядом стояли одинаковые позиции, а не похожие.
Сообщение в Telegram, когда конкурент снизил цену ниже порога или у него закончился ходовой товар — пока это ещё можно использовать.
Для продавца на маркетплейсе важны не только цены, но и то, как конкуренты выглядят в выдаче: позиции по запросам, рейтинг, число отзывов, частота распродаж. Всё это собирается в одну таблицу по вашей категории.
Цена, скидка, рейтинг, число отзывов, продавец и остатки — по списку товаров или по всей категории.
На каком месте ваши карточки и карточки конкурентов стоят по нужным запросам — и как это меняется после правок.
Выгрузка отзывов по своим и чужим товарам: на что жалуются покупатели и что хвалят — готовый материал для карточки.
Если нужен обмен заказами и остатками между маркетплейсом и учётной системой, это отдельная задача — интеграция 1С с маркетплейсами.
Когда поставщик не даёт нормальной выгрузки, товары с его сайта собираются парсером: названия, характеристики, фото, цены и остатки. Дальше данные приводятся к структуре вашего магазина и загружаются в каталог — первый раз целиком, потом по расписанию обновляются цены и наличие.
| Что делаю | Зачем |
|---|---|
| Сбор товаров с характеристиками и фото | Не набивать сотни карточек руками |
| Приведение к вашей структуре разделов и свойств | Фильтры в каталоге работают, а не показывают «Цвет: синий» и «Цвет: Синий» отдельно |
| Файл импорта или загрузка через API | Товары сразу появляются в интернет-магазине на 1С-Битрикс, WordPress или в 1С |
| Обновление цен и остатков по расписанию | Не продавать то, чего уже нет у поставщика |
Тексты и фотографии поставщика используются с его согласия — большинство поставщиков дают его охотно, им это выгодно.
| Параметр | Разовая выгрузка | Регулярный парсер |
|---|---|---|
| Когда нужен | Один раз посмотреть рынок, собрать базу, наполнить каталог | Цены и наличие меняются, решения принимаются каждую неделю |
| Что получаете | Таблицу на дату сбора | Данные, которые обновляются сами, с историей изменений |
| Срок | 2–5 рабочих дней | 1–2 недели на запуск |
| Что дальше | Ничего — работа закрыта | Сопровождение: сайты-источники меняют вёрстку, парсер надо поправлять |
| Услуга | Цена от | Что входит |
|---|---|---|
| Разовая выгрузка | 5 000 ₽ | Один сайт-источник, данные в Excel или Google Таблице |
| Регулярный парсер | 20 000 ₽ | Сбор по расписанию, история изменений, таблица или уведомления в Telegram |
| Сопровождение парсера | 3 000 ₽/мес | Правки, когда источник поменял вёрстку, контроль, что сбор не остановился |
| Парсинг с загрузкой в 1С, CRM или каталог | 40 000 ₽ | Сопоставление с вашими товарами, импорт и обновление по расписанию |
Цену поднимают защита источника от роботов, десятки тысяч страниц и сложное сопоставление товаров. Сервер и прокси оплачиваются напрямую поставщику и в сумму не входят. Ориентиры по остальным услугам — на странице «Цены».
Телефоны, почты и профили частных лиц для рассылок и обзвона. Это нарушение 152-ФЗ, и отвечать за него будете вы.
Данные за авторизацией, платной подпиской или в чужих личных кабинетах. Собираю только то, что открыто любому посетителю.
Тексты и фото конкурентов для своего сайта. Цены и характеристики — можно, чужие описания — нет: поисковики понижают такие страницы, а правообладатель может потребовать компенсацию.
| Этап | Что происходит | Срок |
|---|---|---|
| 1. Задача и источники | Какие сайты, какие поля, как часто обновлять и куда складывать данные. Проверяю, нет ли у источника официального API | 1 день |
| 2. Пробная выгрузка | Собираю 50–100 записей, вы смотрите, те ли это данные и в том ли виде | 1–2 дня |
| 3. Полный сбор и загрузка | Весь объём, сопоставление с вашими товарами, выгрузка в таблицу, 1С, CRM или каталог | 2–10 дней |
| 4. Расписание и контроль | Для регулярного парсера — запуск по расписанию и уведомление, если сбор сломался | — |
Часто данные можно получить без парсера: у поставщика есть выгрузка, у маркетплейса — API. Опишите задачу — скажу, какой путь дешевле.
Разовая выгрузка с одного сайта в Excel — от 5 000 ₽. Парсер, который обновляет данные по расписанию, — от 20 000 ₽ за запуск и от 3 000 ₽ в месяц за сопровождение. Выгрузка сразу в 1С, CRM или карточки интернет-магазина — от 40 000 ₽. Цену поднимают защита сайта от роботов, большой объём страниц и сложная структура данных. Сервер и прокси оплачиваются напрямую поставщику.
Собирать открытые данные — цены, наличие, характеристики товаров — можно. Ограничения три: персональные данные людей (152-ФЗ), закрытые разделы за авторизацией и повторное использование чужих текстов и фотографий на своём сайте. Такие задачи я не беру или сразу предлагаю законный путь: для каталога поставщика — его официальную выгрузку или согласие на использование контента.
Столько, сколько нужно задаче: цены на маркетплейсах обычно снимают раз в сутки, остатки поставщика — несколько раз в день, ассортимент конкурентов — раз в неделю. Чем чаще обновление, тем больше нагрузка на чужой сайт и тем дороже прокси, поэтому частоту подбираю под то, как быстро вы реально принимаете решения по этим данным.
Большинство защит рассчитано на грубые роботы и обходится аккуратным сбором: паузы между запросами, реальный браузер, распределение по прокси. Если данные открыты только после входа в личный кабинет или защищены платным доступом, я за них не берусь. Иногда у сайта есть официальный API или выгрузка — тогда это дешевле и надёжнее парсинга.
В том, в каком с ними будут работать: таблица Excel или Google Таблицы, файл импорта для 1С-Битрикс или WooCommerce, загрузка в 1С или сделки и товары в Битрикс24 и amoCRM. Для мониторинга цен удобно добавить уведомление в Telegram, когда конкурент снизил цену ниже заданного порога.
Когда нужен не сбор чужих данных, а обмен своими: заказы, остатки и цены между 1С и Ozon, Wildberries.
Каталог, в который собранные товары загружаются автоматически и обновляются по расписанию.
Когда собранные данные надо ещё и обработать: разметить, сравнить, написать по ним отчёт без участия человека.
Пришлите ссылку на источник и опишите, что хотите получить, — отвечу, получится ли и во что обойдётся.
Обсудить проект