Защита от парсинга сайта: что работает, а что нет

Взгляд с другой стороны полезен обеим: владельцу сайта он показывает, что имеет смысл делать, а тому, кто собирает данные, - почему одни площадки собираются легко, а другие нет.

Начать стоит с вопроса

Что именно вы защищаете и от кого?

Ответы бывают разные, и меры для них разные:

• Цены от конкурентов. Их всё равно посмотрят руками, и защита лишь удорожает автоматизацию.
• Уникальное содержимое от копирования. Здесь эффективнее правовые меры, чем технические.
• Персональные данные пользователей. Здесь защита обязательна, и это уже не про парсинг, а про безопасность.
• Сервер от нагрузки. Тогда цель - ограничение частоты, а не выявление ботов.

Практически важно: разные цели требуют разных мер, и универсальной защиты не бывает.

Что не работает

Список мер, которые дают ощущение защиты и не дают защиты:

Отключение правой кнопки мыши и выделения. Обходится отключением скриптов и раздражает обычных пользователей.

Запутывание кода на клиенте. Данные всё равно оказываются в браузере, а значит доступны.

Скрытие текста стилями. Текст остаётся в разметке.

Проверка заголовка браузера. Подделывается одной строкой.

Требование выполнения скриптов. Отсекает простые скрипты и не отсекает браузерную автоматизацию, которая сейчас является нормой.

Ловушки для ботов - скрытые ссылки, по которым не ходит человек. Отсекают наивные обходы и создают риск поймать поисковую систему.

Общее у всех: они удорожают обход на минуты и ухудшают сайт для людей и поисковиков навсегда.

Что работает

Ограничение частоты запросов. Базовая и самая эффективная мера. Ограничивает не факт сбора, а его скорость, и делает массовый сбор дорогим по времени.

Авторизация для ценных данных. Оптовые цены и детальные характеристики - за входом. Это меняет юридическую квалификацию: сбор из-под авторизации означает нарушение условий, под которыми аккаунт выдан.

Поведенческий анализ. Скорость переходов, отсутствие обычных для человека действий, маршруты по сайту. Даёт вероятность, а не факт, и поэтому используется вместе с другим.

Наблюдение за аномалиями. Резкий рост запросов на определённые страницы, необычные последовательности, всплеск трафика с новых адресов. Часто полезнее всех технических мер, потому что показывает, что вообще происходит.

Ограничение выдачи. Максимум записей на страницу и на запрос. Не мешает пользователю и заметно удорожает сбор объёма.

Проверки при подозрении, а не для всех. Капча всем подряд - потеря конверсии; капча при аномалии - разумная мера.

Как выбрать уровень

Соразмерность - главный критерий: защита не должна стоить дороже потерь от сбора.

Разумная последовательность:

1. Ограничение частоты. Ничего не стоит и решает половину проблемы.
2. Наблюдение. Понять, кто и что собирает, до того как реагировать.
3. Мягкая реакция. Замедлить подозрительного, а не блокировать.
4. Авторизация для действительно ценного.
5. Проверки при подозрении, а не для всех.

Чего делать не стоит: блокировать по одному признаку. Общий адрес - это ещё и офис, и мобильный оператор, и провайдер. Слишком строгая защита отсекает живых клиентов, а это дороже собранных цен.

И честный вывод: полной защиты не существует. Данные, доступные человеку, доступны и программе. Реалистичная цель - сделать сбор дороже выгоды.

Как это выглядит со стороны сбора - гид по парсингу. Про капчу и её экономику - решение капчи.