Парсинг страниц с XPath в BAS

Когда боту нужно вытащить данные из страницы, инструмент выбора в BAS — XPath. Это один из самых используемых модулей во всём продукте, потому что парсинг — сердце очень многих ботов, а XPath — самый быстрый способ его делать.

Что такое XPath

XPath — это язык запросов к HTML и XML страницам. Вы пишете выражение, указывающее на нужную часть документа, и XPath её возвращает. Он создан для парсинга: вместо рытья в сыром HTML вы адресуете элементы напрямую и вытаскиваете их содержимое.

Действия

• XPath получить html — вернуть HTML найденного элемента.
• XPath получить каждый html — вернуть HTML всех совпавших элементов, для перебора набора.
• XPath получить текст — вернуть текстовое содержимое найденного элемента.
• XPath получить каждый текст — вернуть текст всех совпадений, идеально для списка строк.
• XPath получить атрибут — прочитать атрибут вроде href или src.
• XPath проверить существование — проверить наличие совпадения, чтобы ветвиться при отсутствующем поле.

Конкретный пример

Сборка парсера объявлений — скрапера в стиле Avito — классический случай. Вы открываете объявления в браузере, затем для каждой карточки товара модулем XPath вытаскиваете характеристики, описание и фото. «XPath получить каждый текст» проходит по карточкам, «XPath получить атрибут» забирает URL картинок, а «XPath проверить существование» держит поток живым, когда у карточки нет поля.

XPath в инструментарии парсинга

XPath — для отрисованного HTML/XML, страницы такой, как её видит браузер. Он естественно сочетается с остальным инструментарием данных: находите и кликайте элементы селекторами, парсите ответы API через JSON, очищайте извлечённый текст операциями со строками. Но для большинства задач скрапинга именно в XPath происходит реальное извлечение — освойте его, и парсинг перестанет быть сложной частью.