Модуль «Сеть» в BAS: cookies, кеш и запросы
Модуль «Сеть» в Browser Automation Studio — управление заголовками, cookies, кешем, масками запросов и загрузками, и захват данных, которые браузер шлёт и получает.
Браузер под капотом постоянно шлёт и принимает трафик, и модуль «Сеть» — это место, где вы берёте его под контроль: заголовки, cookies, кеш, запросы и загрузки между вашим ботом и сервером.
Чем управляет модуль «Сеть»
Он работает с сетевыми параметрами браузера: кеш, cookies, заголовки запросов, маски запросов, статусы запросов, загрузки файлов и всплывающие окна. Вместе они позволяют точно формировать, что браузер отправляет и как обрабатывает то, что приходит обратно.
Cookies — слой сессии
- Сохранить cookies / Загрузить cookies — выгрузить cookies текущей сессии и загрузить их позже, чтобы залогиненному аккаунту не пришлось авторизоваться каждый запуск.
- Загрузить cookies в HTTP-клиент — передать сессию браузера в HTTP-клиент, чтобы быстрые безбраузерные запросы несли ту же авторизацию. Это мост, позволяющий войти браузером, а затем масштабироваться сырыми запросами.
Скорость — маски запросов и кеш
- Отключить запрос (маска) — блокировать конкретные запросы по шаблону, чтобы браузер их не грузил. Отсечение картинок, шрифтов или аналитики ускоряет страницы и облегчает потоки, что складывается на тысячах запусков.
- Разрешить / очистить кеш, очистить сохранённые данные — управлять тем, что браузер держит между действиями, чтобы свежая личность не наследовала устаревший кеш.
Чтение того, что произошло
- Статус запроса / Был ли запрос — проверить, сработал ли конкретный запрос и как завершился, чтобы поток ветвился по реальному сетевому результату, а не гадал.
- Получить последний элемент кеша / Получить элементы кеша — прочитать ответы, которые браузер уже забрал, удобно для извлечения данных из XHR без повторного запроса.
Управление заголовками и шумом
- Установить заголовок — добавить или изменить заголовок запроса, который видит сервер, для токенов авторизации или согласования контента.
- Отключить / разрешить всплывающие окна и загрузки файлов, отключить загрузку файлов — не дать сайтам плодить окна или навязывать загрузки, держа долгие многопоточные запуски чистыми.
Модуль «Сеть» — тихая половина управления браузером: не то, что на странице, а то, что идёт по проводу. Освойте сначала cookies и маски запросов — переиспользование сессии и отсечение балласта окупаются быстрее всего.
Вопросы и ответы
Как сохранить и переиспользовать cookies в BAS?
В модуле «Сеть» есть действия «Сохранить cookies» и «Загрузить cookies», плюс загрузка cookies прямо в HTTP-клиент. Захватите залогиненную сессию один раз и загрузите её позже, чтобы аккаунту не пришлось авторизоваться заново.
Можно ли блокировать картинки, чтобы ускорить бота BAS?
Да. Используйте маски запросов, чтобы отключить конкретные запросы, и браузер никогда не будет грузить тяжёлые ресурсы вроде картинок. Меньше загрузок — быстрее страницы и легче потоки, что важно на масштабе.
Ещё по теме
- Browser Automation Studio: полный практический гидГид
- Создаём первого бота в Browser Automation StudioПошаговый разбор создания первого рабочего бота в BAS — от пустого проекта до процесса, который ходит по страницам, извлекает данные и работает в несколько потоков.
- Настройка прокси в Browser Automation StudioКак правильно настроить прокси в BAS — типы прокси, привязка по потокам, ротация и проверки, которые не дают мультиаккаунт-ботам попасть под бан.
- Поиск элементов в BAS: селекторы, которые не ломаютсяКак работает поиск элементов в Browser Automation Studio — CSS против XPath, почему записанные селекторы ломаются и как писать селекторы, переживающие изменения страницы.