Парсинг данных с сайта: как это устроено

Парсинг - это извлечение данных со страниц, предназначенных для человека. Задача выглядит простой ровно до первого запуска на объёме.

Что такое парсинг и что им решают

Практические задачи, которые за этим стоят:

• Мониторинг цен и наличия у конкурентов и поставщиков.
• Сбор каталогов для наполнения своего.
• Аналитика рынка: ассортимент, позиционирование, изменения.
• Наполнение внутренних систем данными из внешних источников.
• Проверка собственных данных на площадках: как выглядят ваши товары.

Общее у всех: данные существуют, но не отдаются удобным способом. Если у источника есть API, парсинг не нужен - работать с API дешевле и надёжнее во всех отношениях.

Браузер против HTTP

Основная развилка, определяющая стоимость и надёжность решения.

HTTP-запросы. Вы запрашиваете страницу и разбираете полученный ответ.

Плюсы: быстро, дёшево по ресурсам, легко распараллеливается. Тысячи страниц в час на обычном сервере.

Минусы: видно только то, что сервер отдал сразу. Если содержимое дорисовывается скриптами, в ответе его не будет.

Браузер. Страница открывается по-настоящему, скрипты выполняются, вы работаете с итоговым результатом.

Плюсы: видно всё, что видит человек. Работают клики, прокрутка, авторизация.

Минусы: в десятки раз медленнее и тяжелее по памяти. Сто одновременных браузеров - это серьёзный сервер.

Практическое правило: сначала проверьте, есть ли данные в исходном ответе. Если есть - браузер не нужен, и решение будет в разы дешевле. Часто данные приходят готовой структурой в фоновом запросе, и достаточно обратиться к нему напрямую.

Инструменты для обоих подходов разобраны отдельно: парсинг на Python и обзор программ.

Что ломает парсеры

Четыре причины, и они требуют разных решений.

Изменилась вёрстка. Самая частая. Селектор указывает на элемент, которого больше нет. Лечится устойчивыми селекторами и явной ошибкой вместо пустого результата: парсер, молча собравший ноль записей, хуже упавшего.

Защита от сбора. Адрес попал под ограничение, появилась проверка. Лечится сменой типа адресов и снижением темпа - см. гид по прокси и решение капчи.

Объём. Работало на сотне страниц, встало на десяти тысячах. Лечится порциями, очередью и сохранением прогресса.

Данные пришли не те. Формат поля изменился, значение стало другого типа, появились дубликаты. Лечится проверкой данных на выходе, а не доверием к источнику.

Отдельно: источник может отдавать разное разным посетителям. Цены и наличие часто зависят от региона, авторизации и истории. Собранные данные могут быть верны и при этом не соответствовать тому, что видит ваш клиент.

Границы закона

Три разные вещи, которые обычно смешивают в одну.

Правила сайта. У большинства площадок в пользовательском соглашении есть запрет на автоматический сбор. Это договорные отношения: последствие - блокировка доступа, а при масштабе - претензии.

Персональные данные. Здесь начинается закон. Сбор контактов физических лиц регулируется, и «данные были в открытом доступе» не является достаточным основанием для их обработки - см. парсинг контактов.

Авторские права. Тексты, фотографии и описания - объекты авторского права. Собрать их для анализа и опубликовать у себя - разные по правовым последствиям действия.

Практическая позиция: факты и цифры собирать безопаснее, чем содержимое; агрегировать безопаснее, чем копировать; для себя безопаснее, чем публиковать. И если задача коммерческая и масштабная, вопрос стоит закрыть с юристом до разработки, а не после первой претензии.

Куда двигаться дальше

• Парсинг сайтов конкурентов - самая частая задача.
• Парсинг на Python - селекторы, ретраи, дедупликация.
• Парсинг товаров и таблиц.
• Выгрузка в Excel.
• Программы для парсинга - если писать код не хочется.
• Защита от парсинга - взгляд с другой стороны.
• Сколько стоит парсинг - из чего складывается цена.
• Парсинг маркетплейсов - отдельный случай со своими особенностями.
• Парсинг контактов - с обязательной оговоркой про закон.

Если задача - получить данные, а не научиться их собирать, см. страницу услуг.