Парсинг страниц с XPath в BAS

Когда боту нужно вытащить данные из страницы, инструмент выбора в BAS - XPath. Это один из самых используемых модулей во всём продукте, потому что парсинг - сердце очень многих ботов, а XPath - самый быстрый способ его делать.

Что такое XPath

XPath - это язык запросов к HTML и XML страницам. Вы пишете выражение, указывающее на нужную часть документа, и XPath её возвращает. Он создан для парсинга: вместо рытья в сыром HTML вы адресуете элементы напрямую и вытаскиваете их содержимое.

Действия

• XPath получить html - вернуть HTML найденного элемента.
• XPath получить каждый html - вернуть HTML всех совпавших элементов, для перебора набора.
• XPath получить текст - вернуть текстовое содержимое найденного элемента.
• XPath получить каждый текст - вернуть текст всех совпадений, идеально для списка строк.
• XPath получить атрибут - прочитать атрибут вроде href или src.
• XPath проверить существование - проверить наличие совпадения, чтобы ветвиться при отсутствующем поле.

Конкретный пример

Сборка парсера объявлений - скрапера в стиле Avito - классический случай. Вы открываете объявления в браузере, затем для каждой карточки товара модулем XPath вытаскиваете характеристики, описание и фото. «XPath получить каждый текст» проходит по карточкам, «XPath получить атрибут» забирает URL картинок, а «XPath проверить существование» держит поток живым, когда у карточки нет поля.

XPath в инструментарии парсинга

XPath - для отрисованного HTML/XML, страницы такой, как её видит браузер. Он естественно сочетается с остальным инструментарием данных: находите и кликайте элементы селекторами, парсите ответы API через JSON, очищайте извлечённый текст операциями со строками. Но для большинства задач скрапинга именно в XPath происходит реальное извлечение - освойте его, и парсинг перестанет быть сложной частью.