Java의 웹 스크래핑을 위한 HTML 구문 분석

소프트웨어 개발 영역에서는 다양한 목적을 위해 웹사이트에서 귀중한 정보를 추출하는 것이 필요해졌습니다. . 온라인 소스에서 데이터를 추출하는 이러한 프로세스를 일반적으로 웹 스크래핑이라고 합니다. Java 프로그래머는 이 작업을 위해 사용할 수 있는 다양한 도구인 HTML 파서를 가지고 있습니다.

Java용으로 강력히 권장되는 HTML 파서 중 하나는 Jsoup입니다. 이는 사용자 친화적인 jQuery와 유사한 CSS 선택기와 간편한 반복을 가능하게 하는 유연한 Elements 클래스 덕분에 탁월합니다.

웹 스크래핑을 위한 Jsoup 시작하기

하자 Jsoup을 사용한 웹 스크래핑을 설명하는 간단한 예를 살펴보세요.

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class Test {

    public static void main(String[] args) throws Exception {
        String url = "https://stackoverflow.com/questions/2835505";
        Document document = Jsoup.connect(url).get();

        String question = document.select("#question .post-text").text();
        System.out.println("Question: "   question);

        Elements answerers = document.select("#answers .user-details a");
        for (Element answerer : answerers) {
            System.out.println("Answerer: "   answerer.text());
        }
    }

}

이 예에서는 특정 Stack Overflow 질문에 연결하고, HTML 콘텐츠를 구문 분석하고, 질문의 텍스트와 답변자의 이름을 추출합니다.

사용자 정의 웹 스크래핑

Jsoup의 표현력은 광범위한 웹 스크래핑 시나리오를 허용합니다. CSS 선택기를 활용하면 웹페이지의 특정 요소나 속성을 타겟팅할 수 있습니다. 예를 들어 Best Buy 제품 페이지의 제목, 가격, 설명을 검색하려면 다음 CSS 선택기를 사용할 수 있습니다.