Сколько стоит парсинг сайта: из чего складывается цена

Оценки за одну и ту же на вид задачу различаются в разы, и это обычно не про жадность, а про разное понимание объёма работ.

Что влияет на стоимость

По убыванию влияния:

Защита от сбора. Главный фактор. Сайт без защиты и сайт с проверками - разные задачи. Во втором случае появляются прокси, решение капчи и постоянные расходы, которых в первом нет вовсе.

Браузер или HTTP. Если данные есть в исходном ответе, решение проще и дешевле в разы. Если нужен настоящий браузер, растёт и разработка, и стоимость эксплуатации - см. гид по парсингу.

Разово или регулярно. Разовый сбор должен отработать один раз. Регулярный - переживать изменения вёрстки, сбои и рост объёма. Это работа другого содержания, а не та же с наценкой.

Объём. Тысяча страниц и миллион - разные инженерные задачи: появляются очередь, возобновление, распараллеливание.

Число источников. Каждый сайт - свои селекторы и свои особенности. Плюс, если данные надо сводить, добавляется сопоставление, которое часто дороже самого сбора - см. парсинг товаров.

Требования к данным. «Собрать как есть» и «собрать, привести к единому виду, сопоставить и проверить» - разные задачи, и вторая обычно больше первой.

Авторизация. Сбор из-под входа технически сложнее и юридически рискованнее.

Из чего складывается цена

Разработка. Разовая. Зависит от факторов выше.

Инфраструктура. Сервер, прокси, решение капчи, хранилище. Ежемесячно, и на защищённых сайтах эта часть бывает сопоставима с разработкой.

Обслуживание. Сайты меняются, и парсер требует правок. Это не дефект работы, а свойство задачи: любой парсер однажды сломается, потому что источник изменился.

Обработка данных. Приведение к единому виду, сопоставление, проверки. Часто недооценивается и оказывается основной частью работы.

Почему оценки различаются

Пять причин, по которым две оценки за одну задачу отличаются втрое:

1. Разное понимание надёжности. Скрипт, работающий один раз, и парсер, работающий полгода, - разные вещи.
2. Учтено ли обслуживание. Часть оценок включает только разработку.
3. Учтена ли инфраструктура. Прокси и капча могут быть в цене, а могут оказаться вашей заботой.
4. Учтена ли обработка данных. «Отдам как есть» дешевле, чем «отдам готовое к использованию».
5. Проверялся ли сайт. Оценка без просмотра источника - это гадание: наличие защиты выясняется за пять минут и меняет цену кратно.

Практический вывод: сравнивать надо не цифры, а состав работ. Дешёвая оценка часто означает разовый скрипт без обслуживания, и через месяц вы заказываете работу заново.

Что спросить до заказа

• Что происходит при изменении вёрстки? Входит ли починка в цену и на какой срок.
• Кто платит за прокси и капчу? И сколько это примерно в месяц.
• В каком виде отдаются данные? Файл, база, API, регулярная выгрузка.
• Что с дубликатами и проверкой качества? Или это ваша задача.
• Что будет, если сайт закроет доступ? Ответ «сделаем что-нибудь» означает, что риск на вас.
• Кому принадлежит код? Если исполнитель уходит, останется ли у вас работающее решение.
• Проверялся ли источник? Оценка без этого ненадёжна.

И встречный вопрос, который стоит задать себе: есть ли у источника API или официальная выгрузка. Если есть, задача решается дешевле и надёжнее без всякого парсинга.

Обсудить конкретную задачу и получить оценку - страница услуг. Обзор - гид по парсингу.