Java (Jsoup)로 초간단 웹 스크래핑

Source: Dev.to

Jsoup 추가

<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.17.2</version>
</dependency>

최소한의 스크래퍼 만들기

이 예제에서는 페이지의 모든 링크(텍스트와 URL)를 출력합니다:

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;

public class SimpleScraper {
    public static void main(String[] args) throws Exception {
        String url = "https://example.com"; // 여기 값을 변경하세요

        Document doc = Jsoup.connect(url).get();

        for (Element link : doc.select("a[href]")) {
            System.out.println(link.text() + " -> " + link.absUrl("href"));
        }
    }
}

그게 전부입니다! 모델도 없고, JSON도 없으며, 추가 라이브러리도 필요 없습니다.

추가 팁

특정한 것을 원한다면 선택자를 바꾸면 됩니다. 예시:

• 기사 제목: h1, h2, h3
• 제품 카드: .product
• 가격: .price
• ID로 요소 선택: #price

예시: 모든 h2 제목을 출력하기:

for (Element h : doc.select("h2")) {
    System.out.println(h.text());
}

행복한 코딩 되세요!