Парсинг сайтов конкурентов: что можно собирать и зачем

Мониторинг конкурентов - самая частая задача парсинга и самая недооценённая по сложности: собрать данные легко, сделать их сравнимыми - нет.

Что собирают

Цены. Самый востребованный показатель. И самый капризный: цена часто зависит от региона, авторизации, объёма и действующих акций.

Наличие. Иногда важнее цены: конкурент с нулевым остатком не конкурент.

Ассортимент. Что появилось, что исчезло. Изменения ассортимента часто информативнее статичного среза.

Характеристики. Для сопоставления товаров между площадками.

Акции и условия. Доставка, скидки, комплекты.

Чего собирать не стоит: чужие тексты и фотографии для использования у себя. Это уже не аналитика, а нарушение авторских прав, и последствия здесь не технические.

Как построить мониторинг

Разница между разовым сбором и регулярным мониторингом принципиальная. Второе требует ещё нескольких вещей.

Сопоставление товаров. Главная сложность. У вас артикул, у конкурента другой, названия отличаются, комплектация может не совпадать. Без надёжного сопоставления вы сравниваете разное и делаете неверные выводы.

Практические опоры: штрихкод, если он есть, артикул производителя, точное совпадение бренда и модели. Сопоставление по названию даёт ошибки и требует ручной проверки.

История. Хранить надо не текущее значение, а изменения. Смысл в динамике: как менялась цена, когда товар пропадал.

Фиксация региона. Собранная цена должна сопровождаться условиями сбора: регион, авторизация, дата. Иначе через месяц вы не поймёте, откуда взялось расхождение.

Реакция на пустой результат. Ноль собранных позиций - это сбой, а не «конкурент закрылся». Мониторинг обязан отличать одно от другого и сообщать.

Разумная частота. По скорости изменения данных. Ежечасный сбор там, где цены меняются раз в неделю, создаёт нагрузку и риск блокировки без новой информации.

Что делать с расхождениями

Практическая часть, о которой редко пишут.

Цена зависит от региона. Собирайте с адресами нужных регионов и помечайте результат - см. гид по прокси.

Цена зависит от авторизации. Оптовые цены видны только вошедшим. Здесь начинается зона, где правила площадки нарушаются явно, и решение принимаете вы, понимая последствия.

Товар не тот. При сопоставлении по названию - обычное дело. Разная комплектация, разный объём, разный год.

Данные устарели. Кэш на стороне сайта отдаёт вчерашнюю цену. Проверяется сравнением с ручной проверкой раз в неделю.

Общее правило: любой автоматический мониторинг нужно периодически сверять руками. Десять позиций раз в неделю показывают, работает ли система, лучше, чем любые внутренние проверки.

Граница допустимого

Три вещи, которые стоит соблюдать не только из осторожности:

Нагрузка. Собирайте в темпе, который не мешает чужому сайту работать. Это и вопрос приличия, и способ не привлекать внимания.

Правила площадки. Прочитайте их. Запрет на автоматический сбор есть у большинства, и это определяет, чем вы рискуете.

Содержимое. Собирать факты для анализа - одно, копировать описания и фотографии - другое. Второе не относится к аналитике конкурентов.

Как устроен сбор технически - парсинг на Python. Что делать с защитой от сбора - защита от парсинга. Куда выгружать результат - в Excel. Обзор - гид по парсингу.