Java에서 URLConnections용 ​​사용자 에이전트 사용자 정의

Java에서 URLConnection을 사용하여 웹 콘텐츠를 검색할 때 사용자 정의 사용자 에이전트를 설정해야 하는 경우가 많습니다. 정확한 웹사이트 크롤링 및 사용자 시뮬레이션. 그러나 기본 Java 런타임은 사용자 에이전트 문자열에 자체 식별자를 추가하는데, 이는 특정 시나리오에서는 바람직하지 않을 수 있습니다.

쿼리

Java 개발자가 도움을 요청했습니다. 런타임에 추가된 "Java/1.5.0_19" 접미사 없이 사용자 에이전트를 설정할 때. 사용자는 setRequestProperty()를 사용하여 사용자 에이전트를 설정하려고 시도한 방법을 보여주는 코드 조각을 제공했습니다.

솔루션

다행히 Java 1.6.30 이상에서는 setRequestProperty("User-Agent", "")를 통해 사용자 에이전트를 설정하면 추가 Java 런타임 정보가 추가되지 않고도 완벽하게 작동합니다. 이를 입증하기 위해 개발자는 netcat을 사용하여 들어오는 HTTP 요청을 수신하고 사용자 정의 사용자 에이전트가 Java 접미사 없이 성공적으로 전송되었음을 관찰했습니다.

전체 구현

import java.io.IOException;
import java.net.URL;
import java.net.URLConnection;

public class CustomUserAgent {

    public static void main(String[] args) throws IOException {
        URL url = new URL("http://localhost:8080/foobar");
        URLConnection hc = url.openConnection();
        hc.setRequestProperty("User-Agent", "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2");

        System.out.println(hc.getContentType());
    }

}

이 접근 방식을 활용하면 개발자는 원치 않는 Java 관련 추가 없이 Java에서 URLConnections에 대한 사용자 에이전트를 효과적으로 설정할 수 있으므로 웹 스크래핑이나 기타 통신 작업에 대해 원하는 동작을 보장할 수 있습니다.