Счёт за прокси - это проблема трафика: как я сокращаю байты на запись в парсерах
Резидентные прокси тарифицируются за гигабайт, а большинство парсеров тратит его на картинки, шрифты, трекеры и ретраи. Показываю, как я считаю байты на запись и срезаю трафик на 80-95 процентов в BAS и HTTP-парсерах.
Pavel Duglas
AI Automation & MVP Architect
Многие уверены, что стоимость парсинга зависит от количества страниц. На деле это не так. Если вы сидите на резидентных или мобильных прокси, вы платите за гигабайты. Большая часть этих гигабайт уходит на то, что вам вообще не нужно: баннеры, веб-шрифты, скрипты аналитики, превью видео и один и тот же CSS-бандл, скачанный десять тысяч раз. Я разбирал парсеры, где полезный HTML или JSON с данными занимал меньше 3 процентов оплаченного трафика.
Ниже мой рабочий процесс, которым я эту цифру опускаю. Он подходит для скриптов на Browser Automation Studio, для чистых HTTP-парсеров и для всего, что между ними.
Единственная метрика, которая имеет значение: байты на запись
На время забудьте про «страниц в час». В каждом проекте с парсингом я вывожу на дашборд одну цифру: байты на успешную запись. Это весь трафик через прокси за прогон, поделённый на количество записей, которые прошли проверку качества.
Почему именно на запись, а не на страницу:
- Страница, которая упала и ретраилась три раза, стоит вам в четыре раза больше трафика и даёт одну запись.
- Листинг, с которого вы забираете 40 записей, на порядок дешевле в пересчёте на запись, чем карточка товара с одной.
- Блокировки, капчи и редиректы на логин сжигают байты и не дают ничего.
Как только вы начинаете считать байты на запись, любая оптимизация становится измеримой. Без этой метрики вы работаете наугад.
Как это измерить
Есть три способа, от простого к точному:
- Дашборд провайдера. Заводите отдельного саб-юзера, прогоняете фиксированную пачку, например 500 записей, и смотрите счётчик трафика. Грубо, зато честно: именно за это вам выставят счёт.
- Логирование размера ответов. В HTTP-клиенте пишете в лог размер сжатого тела плюс заголовки для каждого запроса. В браузере собираете transfer size всех сетевых запросов на странице.
- Локальный прокси с записью трафика. Пропускаете тестовый прогон через локальный перехватывающий прокси и смотрите каждый запрос с разбивкой по хостам и типам контента. Именно этот способ показывает, куда утекают деньги.
Третий вариант я всегда делаю один раз в начале проекта. Это 20 минут работы, и обычно после них сразу понятно, что резать.
Куда на самом деле уходит трафик
Типичная современная страница интернет-магазина или доски объявлений, открытая в полноценном браузере, раскладывается примерно так (цифры условные, но близки к тому, что я вижу регулярно):
- Картинки и превью: 40-60 процентов
- JavaScript-бандлы, включая сторонние: 20-30 процентов
- Шрифты: 5-10 процентов
- Аналитика, реклама, тег-менеджеры, виджеты чатов: 5-15 процентов
- HTML-документ или JSON-ответ API с вашими данными: 1-5 процентов
Такая страница через браузер весит 2-5 МБ. Нужные данные могут занимать 40 КБ. При ценах на резидентные прокси эта разница отделяет прибыльный парсер от того, который теряет деньги на каждом клиенте.
Шаг 1: блокируйте всё, что не нужно рендерить
Если без настоящего браузера никак, первая победа - заблокировать ненужные типы ресурсов. В BAS в модуле Network есть действия с масками запросов, которые позволяют запретить URL по шаблону ещё до того, как запрос уйдёт из браузера. Я ставлю их в начале каждого потока, сразу после применения прокси.
Мой стандартный список запретов:
- Картинки:
*.jpg,*.jpeg,*.png,*.webp,*.gif,*.avif,*.svg - Шрифты:
*.woff,*.woff2,*.ttf,*.otf - Медиа:
*.mp4,*.webm,*.m3u8 - Известные сторонние хосты: аналитика, тег-менеджеры, рекламные сети, запись сессий, виджеты чатов
Два предупреждения из практики:
- Не блокируйте вслепую на защищённых сайтах. Некоторые антибот-системы грузят скрипт проверки с CDN-хоста, который выглядит как обычный трекер. Заблокируете его и получите бесконечный цикл челленджа, который сожрёт больше трафика, чем все картинки вместе взятые. Проверяйте список запретов на конкретном сайте до раскатки на все потоки.
- Некоторым сайтам нужны отдельные картинки. Изображения капчи, фото товаров, которые вы реально забираете, или lazy-load, который срабатывает только после загрузки картинки. Для таких путей делайте белый список, а не включайте изображения обратно глобально.
Один этот шаг обычно срезает браузерный трафик на 50-70 процентов.
Шаг 2: перестаньте брать данные через браузер
Гораздо больший выигрыш появляется, когда понимаешь, что браузер часто нужен ровно для одного: получить валидную сессию. Сами данные страница обычно подтягивает из JSON-эндпоинта.
Моя схема:
- Открываю сайт в браузере один раз на сессию. Прохожу проверку, логинюсь, если нужно.
- Смотрю вкладку Network и ищу XHR или fetch-запрос, который возвращает данные. Проще всего искать по ответам название товара или цену, которые видны на экране.
- Переношу cookies и нужные заголовки из браузера в HTTP-клиент.
- Весь дальнейший сбор данных идёт через HTTP-клиент, напрямую в JSON-эндпоинт.
В BAS это удобно, потому что браузер и HTTP-клиент живут в одном скрипте, и cookies можно передать без всякого экспорта. Карточка, которая в браузере стоила 3 МБ, часто превращается в JSON на 15 КБ. Это сокращение в 200 раз на запись, и работает всё заметно быстрее.
Когда сессия протухает или приходит челлендж, откатываетесь в браузер, обновляете её и возвращаетесь на HTTP. Относитесь к браузеру как к фабрике сессий, а не как к читалке страниц.
Шаг 3: уменьшайте каждый запрос
Даже на чистом HTTP есть что ужать.
Всегда запрашивайте сжатие
Отправляйте Accept-Encoding: gzip, deflate, br. HTML и JSON отлично жмутся, часто до 10-20 процентов от исходного размера. Некоторые HTTP-библиотеки не шлют этот заголовок по умолчанию или шлют, но потом вы распаковываете вручную и путаетесь в цифрах. Убедитесь, что клиент его реально отправляет, и меряйте сжатый размер, потому что через прокси проходит именно он.
Просите у API меньше
Многие внутренние API принимают параметры, которые фронтенд не использует. Ищите fields, include, limit, per_page или GraphQL-запросы, которые можно урезать. 100 элементов на страницу вместо 20 сокращают накладные расходы на заголовки и число запросов в 5 раз. Выкинув вложенные объекты, которые вы всё равно не храните, можно уменьшить ответ вдвое.
Используйте условные запросы
Если вы перепарсиваете одни и те же URL по расписанию, большинство из них не меняется. Если сервер отдаёт ETag или Last-Modified, сохраняйте значение вместе с записью. В следующем прогоне отправляйте If-None-Match или If-Modified-Since. Ответ 304 Not Modified весит несколько сотен байт вместо полного тела.
Поддерживают это не все сайты, но статичные листинги, sitemap и многие API за CDN поддерживают. Там, где это работает, это самая дешёвая оптимизация из всех.
Находите новое через sitemap и ленты изменений
Обходить категории, чтобы найти новые товары, дорого. Sitemap с датами lastmod, RSS и эндпоинты с сортировкой «сначала новые» позволяют находить только изменения. Я сравниваю sitemap со своей базой и качаю только новые URL или те, у которых lastmod свежее.
Шаг 4: распределяйте трафик по типам прокси
Не каждому запросу нужен один и тот же прокси. Резидентный трафик дорогой, датацентровый дешёвый или вообще по фиксированному тарифу. Я делю так:
- Резидентные или мобильные: только для запросов, которые сайт реально проверяет: старт сессии, защищённый API, логин.
- Датацентровые или напрямую: публичная статика, которая действительно нужна, картинки, которые вы забираете (часто они лежат на CDN, которому всё равно, какой у вас IP), sitemap на незащищённых хостах.
Фото товара с публичного CDN не нужно гнать через резидентный IP за 5 долларов за гигабайт. Список URL получаете по защищённому каналу, а сами картинки качаете через дешёвый. На проектах с большим количеством изображений одно это решение сэкономило моим клиентам больше, чем все остальные оптимизации вместе.
Шаг 5: перестаньте платить за ошибки
Ретраи - это невидимый трафик. Каждая неудачная попытка, которая скачала полную страницу челленджа или шаблон ошибки на 500 КБ, попадает в счёт.
Что я делаю:
- Определяю ошибку как можно раньше. Проверяю статус и первые байты ответа до чтения всего тела. Если это челлендж, обрываю запрос.
- Ограничиваю число ретраев на URL и при всплеске блокировок притормаживаю весь пул, а не долблю сильнее.
- Считаю байты на запись в разрезе провайдера и гео. Одна плохая подсеть с 40 процентами блокировок может удвоить стоимость записи, и никто этого не заметит.
- Переиспользую сессии. Каждая новая браузерная сессия заново качает все стартовые скрипты. Держите сессию живой столько запросов, сколько сайт терпит.
Пример, близкий к реальности
Вот как обычно выглядит «до и после», когда я прохожусь этим процессом по клиентскому парсеру, в упрощённом виде:
- До: полный браузер, ничего не заблокировано, открывается каждая карточка, ретраи без лимита. Примерно 3,1 МБ на запись.
- После масок запросов: около 1,1 МБ на запись.
- После переноса данных карточки на JSON-эндпоинт: около 40 КБ на запись, с учётом распределённой стоимости браузерных сессий.
- После сжатия, увеличения размера страницы и условных запросов при повторных прогонах: около 9 КБ на запись.
Это уже не тюнинг. Это другая экономика бизнеса. Задача, на которую уходили сотни долларов в месяц на прокси, теперь стоит дешевле бизнес-ланча.
Чек-лист, который я прогоняю на каждом новом парсере
- Записать одну сессию через локальный прокси и разложить трафик по хостам и типам.
- Добавить байты на успешную запись в отчёт о прогоне.
- Заблокировать картинки, шрифты, медиа и сторонние трекеры, потом проверить, что антибот-проверка всё ещё проходит.
- Найти эндпоинт с данными и перенести извлечение в HTTP-клиент.
- Убедиться, что сжатие включено и меряется правильно.
- Максимально увеличить размер страницы, урезать поля, добавить условные запросы.
- Пустить незащищённые ресурсы через дешёвые прокси.
- Обрывать неудачные ответы как можно раньше и ограничить ретраи.
Делайте это до того, как наращивать потоки. Масштабирование расточительного парсера просто делает потери больше и быстрее.
Вопросы и ответы
Можно ли полностью отказаться от браузера и работать только через HTTP?
На незащищённых сайтах часто да. На сайтах с серьёзной антибот-защитой браузер обычно нужен хотя бы для получения сессии и прохождения проверки. Я использую его как фабрику сессий: один раз получаю cookies, дальше собираю данные через HTTP-клиент и возвращаюсь в браузер только когда сессия протухла.
Не вызовет ли блокировка картинок и скриптов подозрений у антибот-систем?
Может, если блокировать вслепую. Некоторые системы проверки грузят свои скрипты с хостов, похожих на трекеры, и без них вы попадёте в бесконечный челлендж. Поэтому список запретов я всегда тестирую на конкретном сайте, а нужные ресурсы добавляю в белый список, вместо того чтобы включать всё обратно.
С какой оптимизации начать, если времени мало?
Сначала 20 минут на запись одной сессии через локальный прокси, чтобы увидеть, куда уходит трафик. Затем маски запросов в браузере, это даёт 50-70 процентов экономии почти без риска. Если есть ещё пара часов, ищите JSON-эндпоинт с данными: перенос сбора на HTTP обычно даёт самый большой выигрыш.
Похожие статьи
Сделаю под ключ
Не хотите собирать сами? Соберу бота на BAS под вашу задачу
Многопоточность, прокси, антидетект-профили и запуск по расписанию. Весь проект и доступы остаются у вас.
от 15 000 ₽ · 3-7 дней
«Павел крутой специалист выполнил парсер за несколько часов. Буду заказывать у Павла еще и еще! Спасибо ему огромное за его профессионализм и оперативность!»