Ротация прокси: когда нужна и когда вредит

Выбор между ротацией и статическим адресом важнее выбора типа прокси, и ошибаются в нём чаще.

Ротация против статики

Статический адрес закреплён за вами. Каждый запрос идёт с одного и того же адреса.

Ротация означает, что адрес меняется: на каждый запрос, по времени или по вашему сигналу.

Липкая сессия - промежуточный режим: адрес закрепляется на несколько минут, потом меняется. Компромисс, закрывающий многошаговые сценарии.

Ключевое, что определяет выбор: что вы делаете - представляете личность или собираете объём.

Аккаунты требуют статики

Логика простая: обычный человек заходит из одного места. Дом, работа, мобильная сеть - набор ограничен и стабилен.

Аккаунт, заходящий каждый день из новой страны, выглядит аномально. Не потому что это запрещено, а потому что так не бывает у обычных пользователей - а именно на обычных пользователей и настроен антифрод.

Практические правила для аккаунтов:

• Один аккаунт - один адрес, постоянно.
• Смена адреса - событие. Если приходится менять, лучше делать это редко и в пределах одного региона.
• Мобильные адреса - исключение. Там смена адреса нормальна, потому что она нормальна и для реальных абонентов - см. мобильные прокси.
• Не делите адрес между аккаунтами, если аккаунты не должны быть связаны.

Самая частая и самая дорогая ошибка: купить ротируемый резидентный пул для аккаунтов, потому что он дешевле выделенных адресов. Аккаунты на таком пуле живут плохо, и экономия оборачивается их потерей.

Парсинг требует ротации

Здесь всё наоборот: личность не важна, важен объём.

Ограничение, с которым вы сталкиваетесь, - число запросов с одного адреса за единицу времени. Ротация распределяет запросы по многим адресам, и лимит перестаёт быть узким местом.

Практические правила для парсинга:

• Частота смены - по результату. Смотрите, при какой нагрузке на адрес начинают появляться ошибки и капчи, и держитесь ниже.
• Липкая сессия для многошаговых сценариев. Если нужно пройти несколько страниц подряд, они должны идти с одного адреса: смена адреса в середине сессии выглядит подозрительнее, чем большое число запросов.
• Не слишком часто. Смена адреса на каждый запрос сама по себе аномальна: обычный пользователь так не делает.
• Учитывайте трафик. Резидентные пулы тарифицируются за трафик, и при большом объёме счёт растёт быстро - см. резидентные против датацентровых.

Как настроить

Что должно быть в логике, независимо от режима:

Повтор при неудаче на другом адресе. Если запрос не прошёл, повторять его с того же адреса обычно бессмысленно.

Отсев плохих адресов. Адрес, стабильно дающий ошибки, надо исключать из пула, а не продолжать использовать.

Ограничение параллельности. Сто одновременных запросов через пять адресов - это двадцать запросов на адрес одновременно, и результат предсказуем.

Паузы. Даже с ротацией слишком быстрый темп заметен по другим признакам.

Логи с указанием адреса. Без них невозможно понять, какой адрес даёт ошибки.

Ошибки, которые стоят денег

1. Ротация для аккаунтов. Самая частая и самая дорогая.
2. Смена адреса в середине сессии. Ломает сценарии, требующие последовательности.
3. Ротация без отсева. Плохие адреса остаются в пуле и портят статистику.
4. Слишком частая смена. Аномалия сама по себе.
5. Ротация вместо устранения причины. Если капча появляется из-за отпечатка браузера, ротация адресов не поможет - см. решение капчи.

Общая картина - гид по прокси.