[java] Apache HttpClient의 성능 최적화 방법은?

16 Nov 2023

java

Apache HttpClient는 Java에서 HTTP 통신을 처리하기 위한 라이브러리로 널리 사용되고 있습니다. 하지만 대량의 요청을 처리할 때 성능 이슈가 발생할 수 있습니다. 이러한 성능 이슈를 해결하고 최적화하기 위해 몇 가지 방법을 살펴보겠습니다.

1. Connection Pooling 사용하기

여러 요청을 처리할 때마다 매번 커넥션을 생성하고 종료하는 것은 비효율적입니다. Apache HttpClient는 커넥션 풀링을 지원하며, 커넥션을 미리 생성하여 재사용함으로써 성능을 향상시킬 수 있습니다. 커넥션 풀을 설정하려면 HttpClient의 PoolingHttpClientConnectionManager를 사용하면 됩니다.

PoolingHttpClientConnectionManager connectionManager = new PoolingHttpClientConnectionManager();
connectionManager.setDefaultMaxPerRoute(10); // 동시에 최대 10개의 커넥션을 사용하도록 설정
connectionManager.setMaxTotal(100); // 전체적으로 최대 100개의 커넥션을 유지하도록 설정

CloseableHttpClient httpClient = HttpClientBuilder.create()
        .setConnectionManager(connectionManager)
        .build();

2. Keep-Alive 타임아웃 설정하기

HTTP 요청 후 서버로부터 응답을 받으면 커넥션을 유지하게 됩니다. 그러나 일정 시간 이상 응답이 없는 경우 커넥션을 중단시키는 것이 좋습니다. 이렇게 중단되지 않은 커넥션들이 쌓이면 성능에 영향을 줄 수 있습니다. HttpClient의 ConnectionKeepAliveStrategy를 사용하여 Keep-Alive 타임아웃을 설정할 수 있습니다.

ConnectionKeepAliveStrategy keepAliveStrategy = (response, context) -> {
    HeaderElementIterator iterator = new BasicHeaderElementIterator(
            response.headerIterator(HTTP.CONN_KEEP_ALIVE));
    while (iterator.hasNext()) {
        HeaderElement element = iterator.nextElement();
        String param = element.getName();
        String value = element.getValue();
        if (value != null && param.equalsIgnoreCase("timeout")) {
            return Long.parseLong(value) * 1000;
        }
    }
    return 5 * 1000; // 기본적으로 5초로 설정
};

CloseableHttpClient httpClient = HttpClientBuilder.create()
        .setKeepAliveStrategy(keepAliveStrategy)
        .build();

3. 멀티스레드 환경 사용하기

Apache HttpClient는 멀티스레드 환경에서 안전하게 사용할 수 있도록 설계되어 있습니다. 여러 요청을 병렬로 처리하기 위해 스레드 풀을 사용하는 것이 좋습니다. 스레드 풀을 사용하려면 HttpClient의 Executor를 설정하면 됩니다.

ExecutorService executorService = Executors.newFixedThreadPool(10); // 동시에 최대 10개의 요청을 처리하는 스레드 풀

CloseableHttpClient httpClient = HttpClientBuilder.create()
        .setExecutor(executorService)
        .build();

4. 응답 데이터 버퍼링 사용하기

기본적으로 HttpClient는 응답 데이터를 메모리에 버퍼링하여 처리합니다. 그러나 대용량의 응답을 다운로드하는 경우에는 메모리가 부족할 수 있습니다. 따라서 응답 데이터를 디스크에 기록하고 메모리 사용량을 최적화할 수 있는 FileDownload 등의 라이브러리를 사용하는 것이 좋습니다.

결론

위에서 소개한 방법들을 사용하여 Apache HttpClient의 성능을 최적화할 수 있습니다. 애플리케이션의 요구사항에 맞게 적절한 설정값을 확인하고 성능 테스트를 진행해보는 것이 좋습니다.

참고: Apache HttpClient Documentation