Парсинг HTML для парсинга веб-сайтов на Java

В сфере разработки программного обеспечения возникает необходимость извлекать ценную информацию с веб-сайтов для различных целей . Этот процесс извлечения данных из онлайн-источников широко известен как веб-скрапинг. Программисты Java имеют в своем распоряжении универсальный инструмент для этой задачи: анализаторы HTML.

Настоятельно рекомендуемый анализатор HTML для Java — Jsoup. Он выделяется благодаря удобным селекторам CSS в стиле jQuery и гибкому классу Elements, который позволяет легко выполнять итерации.

Начало работы с Jsoup для парсинга веб-страниц

Давайте углубимся в простой пример, иллюстрирующий парсинг веб-страниц с помощью Jsoup:

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class Test {

    public static void main(String[] args) throws Exception {
        String url = "https://stackoverflow.com/questions/2835505";
        Document document = Jsoup.connect(url).get();

        String question = document.select("#question .post-text").text();
        System.out.println("Question: "   question);

        Elements answerers = document.select("#answers .user-details a");
        for (Element answerer : answerers) {
            System.out.println("Answerer: "   answerer.text());
        }
    }

}

В этом примере мы подключаемся к конкретному вопросу Stack Overflow, анализируем HTML-содержимое и извлекаем текст вопроса, а также имена ответивших.

Настройка вашего Парсинг веб-страниц

Выразительность Jsoup позволяет реализовать широкий спектр сценариев парсинга веб-страниц. Используя селекторы CSS, вы можете настроить таргетинг на определенные элементы или атрибуты на веб-странице. Например, если вы хотите получить название, цену и описание страницы продукта на Best Buy, вы можете использовать следующие селекторы CSS: