Перейти к содержимому
PD
Browser Automation Studio

Модуль «Сеть» в BAS: cookies, кеш и запросы

Модуль «Сеть» в Browser Automation Studio — управление заголовками, cookies, кешем, масками запросов и загрузками, и захват данных, которые браузер шлёт и получает.

Браузер под капотом постоянно шлёт и принимает трафик, и модуль «Сеть» — это место, где вы берёте его под контроль: заголовки, cookies, кеш, запросы и загрузки между вашим ботом и сервером.

Чем управляет модуль «Сеть»

Он работает с сетевыми параметрами браузера: кеш, cookies, заголовки запросов, маски запросов, статусы запросов, загрузки файлов и всплывающие окна. Вместе они позволяют точно формировать, что браузер отправляет и как обрабатывает то, что приходит обратно.

Cookies — слой сессии

  • Сохранить cookies / Загрузить cookies — выгрузить cookies текущей сессии и загрузить их позже, чтобы залогиненному аккаунту не пришлось авторизоваться каждый запуск.
  • Загрузить cookies в HTTP-клиент — передать сессию браузера в HTTP-клиент, чтобы быстрые безбраузерные запросы несли ту же авторизацию. Это мост, позволяющий войти браузером, а затем масштабироваться сырыми запросами.

Скорость — маски запросов и кеш

  • Отключить запрос (маска) — блокировать конкретные запросы по шаблону, чтобы браузер их не грузил. Отсечение картинок, шрифтов или аналитики ускоряет страницы и облегчает потоки, что складывается на тысячах запусков.
  • Разрешить / очистить кеш, очистить сохранённые данные — управлять тем, что браузер держит между действиями, чтобы свежая личность не наследовала устаревший кеш.

Чтение того, что произошло

  • Статус запроса / Был ли запрос — проверить, сработал ли конкретный запрос и как завершился, чтобы поток ветвился по реальному сетевому результату, а не гадал.
  • Получить последний элемент кеша / Получить элементы кеша — прочитать ответы, которые браузер уже забрал, удобно для извлечения данных из XHR без повторного запроса.

Управление заголовками и шумом

  • Установить заголовок — добавить или изменить заголовок запроса, который видит сервер, для токенов авторизации или согласования контента.
  • Отключить / разрешить всплывающие окна и загрузки файлов, отключить загрузку файлов — не дать сайтам плодить окна или навязывать загрузки, держа долгие многопоточные запуски чистыми.

Модуль «Сеть» — тихая половина управления браузером: не то, что на странице, а то, что идёт по проводу. Освойте сначала cookies и маски запросов — переиспользование сессии и отсечение балласта окупаются быстрее всего.

Вопросы и ответы

Как сохранить и переиспользовать cookies в BAS?

В модуле «Сеть» есть действия «Сохранить cookies» и «Загрузить cookies», плюс загрузка cookies прямо в HTTP-клиент. Захватите залогиненную сессию один раз и загрузите её позже, чтобы аккаунту не пришлось авторизоваться заново.

Можно ли блокировать картинки, чтобы ускорить бота BAS?

Да. Используйте маски запросов, чтобы отключить конкретные запросы, и браузер никогда не будет грузить тяжёлые ресурсы вроде картинок. Меньше загрузок — быстрее страницы и легче потоки, что важно на масштабе.

Ещё по теме

  • #Browser Automation Studio
  • #BAS
  • #Сеть
  • #Cookies
  • #Запросы

Есть идея? Давайте превратим её в работающий продукт.

Пропустите месяцы неопределённости. Получите понятную архитектуру, рабочий MVP и систему, которую можно тестировать, продавать и масштабировать.