Парсинг и сбор данных

Парсинг сайтов: данные приходят сами, а не собираются руками

Собираю данные с каталогов, маркетплейсов, досок объявлений и внутренних систем. На выходе — аккуратный файл или база, которые обновляются по расписанию. Если сайт изменится и данные перестанут собираться, вы узнаете об этом сразу, а не через месяц по пустому отчёту.

Что вы получите

Результат, который можно проверить

Результат в удобном виде

Excel, Google Sheets, PostgreSQL, SQLite, CSV или готовое сообщение в Telegram — как вам удобнее работать.

Расписание и автоматика

Раз в час, раз в день, по будням — запуск на вашем сервере или на моём, с журналом выполнения.

Контроль качества данных

Проверяю обязательные поля, дубликаты и аномалии: пустые цены и битые ссылки не попадут в отчёт молча.

Уведомление при поломке

Сайт поменял вёрстку или включил защиту — приходит алерт, а не пустой файл. Чиню в рамках поддержки.

Обход блокировок

Там, где обычные запросы отсекаются, работаю через headless-браузер с реальным профилем: для сайта это обычный посетитель.

Исходники ваши

Отдаю код, инструкцию по запуску и настройке. Никакой привязки к исполнителю.

Цены и сроки

Варианты работы

Цены «от» — ориентир для типовой задачи. Точную стоимость и срок называю после разбора задачи и до начала работы.

Варианты работ, цены и сроки
ВариантЧто входитЦенаСрок
Разовый сбор Один прогон: собрать каталог, прайс, список объявлений от 9 000 ₽ от 2 дней
Сбор по расписанию Регулярное обновление данных на вашем сервере от 25 000 ₽ от 3 дней
Сбор с обходом защиты Сайты с капчей и антибот-защитой, через реальный браузерный профиль от 30 000 ₽ от 4 дней
Нормализация и склейка Приведение к единой структуре, дедупликация, сопоставление с вашей базой от 25 000 ₽ от 3 дней
Поддержка собранного Слежу за работоспособностью, правлю при изменениях сайта по договорённости ежемесячно

Как работаем

Пять шагов от задачи до результата

  1. 01

    Разведка

    Смотрю структуру сайта, отдачу данных, наличие защиты и ограничений. Говорю, реально ли собрать то, что нужно.

  2. 02

    Пилот

    Собираю первые 100–200 записей и показываю поля. Вы проверяете, что данные те самые.

  3. 03

    Согласование

    Фиксирую с вами поля, частоту обновления, формат выгрузки и критерий «готово».

  4. 04

    Полный сбор

    Запускаю сбор, настраиваю расписание, журнал и уведомления об ошибках.

  5. 05

    Передача

    Исходники, инструкция, доступы. Показываю, как запускать и где смотреть логи.

Примеры

Похожие работы

Клиентские проекты показываю обезличенно: детали и код разбираю на созвоне.

Сбор карточек с маркетплейсов

Маркетплейсы отдают данные браузеру и блокируют «программные» запросы. Сделал сбор через headless-браузер с реальным профилем, с нормализацией и расписанием.

Результат: Ежедневный отчёт вместо ручного сбора; ошибки видны сразу.

Каталог поставщика: прайс и структура

1452 позиции и 598 карточек: выявил пробелы в данных — 42% без веса, 35% без наименования, собрал фид и выстроил структуру категорий.

Результат: Каталог стал пригоден для выгрузок и органического трафика.

Доски объявлений

Сбор объявлений по фильтрам с защитой от повторного попадания одних и тех же позиций в выборку.

Результат: Данные для анализа рынка вместо ручного просмотра страниц.

Вопросы

Что обычно спрашивают

Это законно?

Собираю общедоступные данные — то, что видит любой посетитель сайта. Не собираю персональные данные, не обхожу авторизацию чужих аккаунтов и учитываю ограничения сайта. По запросу подписываю NDA.

Что будет, когда сайт изменится?

Если сбор упадёт, придёт уведомление; дальше правлю в рамках поддержки. Обычно правка занимает от часа до дня.

Сколько это стоит и сколько ждать?

Разовый сбор — от 9 000 ₽ и от 2 дней. Сбор по расписанию с мониторингом — от 25 000 ₽. Точную цену называю после разведки сайта, до начала работы.

Куда выгружать данные?

Excel, Google Sheets, CSV, PostgreSQL/MySQL/SQLite, ваш API или webhook, сообщение в Telegram. Если у вас уже есть база — пишу прямо в неё.

А капча и блокировки?

Работаю через реальный браузерный профиль и умеренный темп запросов: для сайта это выглядит как обычный посетитель. Если ресурс защищён настолько, что сбор вредит ему, — скажу об этом прямо и предложу другой путь (например, официальный API).

Можно сначала посмотреть, что получится?

Да. Пилот на 100–200 записях входит в работу: вы видите реальные данные и поля до того, как заказан полный сбор.

Обратная связь

Опишите задачу — предложу план, цену и срок

Отвечаю лично, в течение часа в рабочее время. Если задача не моя, скажу прямо и, если смогу, подскажу, к кому обратиться.