[파이썬] xgboost에서의 하이퍼파라미터 튜닝

07 Sep 2023

xgboost

하이퍼파라미터 튜닝은 모델의 성능을 최적화하기 위해 중요한 단계입니다. xgboost는 강력한 부스팅 알고리즘인만큼 적절한 하이퍼파라미터 조합을 선택하는 것이 중요합니다.

이 블로그 포스트에서는 xgboost에서의 하이퍼파라미터 튜닝에 대해 알아보겠습니다. Python을 사용하여 xgboost 모델을 구축하고 하이퍼파라미터를 조정하는 방법을 소개합니다.

1. xgboost 라이브러리 설치하기

xgboost를 사용하기 위해 먼저 해당 라이브러리를 설치해야 합니다. 아래 명령을 사용하여 xgboost를 설치하세요.

pip install xgboost

2. 데이터 불러오기

우선 훈련 데이터를 불러와야 합니다. xgboost는 일반적으로 NumPy 배열이나 Pandas DataFrame 형식으로 데이터를 입력으로 받습니다. 아래는 CSV 파일을 사용하여 데이터를 불러오는 예시입니다.

import pandas as pd

# CSV 파일에서 데이터 불러오기
data = pd.read_csv('data.csv')

# 입력 특성과 레이블 분리하기
X = data.drop('label', axis=1)
y = data['label']

3. 모델 구축하기

xgboost 모델을 구축하는 단계입니다. 기본 하이퍼파라미터 값으로 모델을 초기화하고 훈련 데이터로 학습시킬 수 있습니다.

import xgboost as xgb

# 기본 하이퍼파라미터로 모델 초기화하기
model = xgb.XGBRegressor()

# 모델 학습하기
model.fit(X, y)

4. 하이퍼파라미터 튜닝하기

이제 모델의 성능을 더욱 개선하기 위해 하이퍼파라미터를 조정해보겠습니다. xgboost에는 많은 하이퍼파라미터들이 존재하지만, 여기서는 대표적인 몇 가지를 소개하겠습니다.

n_estimators: 부스팅 반복 횟수를 결정합니다.
max_depth: 트리의 최대 깊이를 제한합니다.
learning_rate: 각 부스팅 단계에서 가중치를 얼마나 업데이트할지 결정합니다.

이러한 하이퍼파라미터들을 조정하여 최적의 조합을 찾는데에는 그리드 서치나 랜덤 서치와 같은 방법을 사용할 수 있습니다. 아래는 그리드 서치를 사용하여 하이퍼파라미터를 튜닝하는 예시입니다.

from sklearn.model_selection import GridSearchCV

# 하이퍼파라미터 그리드 정의하기
param_grid = {
    'n_estimators': [100, 200, 300],
    'max_depth': [3, 5, 7],
    'learning_rate': [0.1, 0.01, 0.001]
}

# 그리드 서치 객체 초기화하기
grid_search = GridSearchCV(estimator=model, param_grid=param_grid, cv=3)

# 그리드 서치를 사용하여 최적의 하이퍼파라미터 선택하기
grid_search.fit(X, y)

# 최적의 하이퍼파라미터 출력하기
print(grid_search.best_params_)

5. 모델 평가하기

하이퍼파라미터를 튜닝한 후에는 모델의 성능을 평가해야 합니다. 이를 위해 테스트 데이터를 사용하여 예측을 수행하고 평가 지표를 계산할 수 있습니다.

from sklearn.metrics import mean_squared_error

# 테스트 데이터 불러오기
test_data = pd.read_csv('test_data.csv')

# 입력 특성과 레이블 분리하기
X_test = test_data.drop('label', axis=1)
y_test = test_data['label']

# 최적의 모델로 예측 수행하기
y_pred = grid_search.predict(X_test)

# 평가 지표 계산하기 (예시: 평균 제곱근 오차)
mse = mean_squared_error(y_test, y_pred)
rmse = mse ** 0.5
print("Root Mean Squared Error:", rmse)

이제 xgboost에서의 하이퍼파라미터 튜닝에 대해 알게 되었습니다. 이러한 방법을 사용하여 모델의 성능을 최대한 개선할 수 있습니다. 하이퍼파라미터 튜닝은 반복적인 작업이므로 시간과 노력을 투자해야 합니다. 최적의 조합을 찾기 위해 여러 가지 하이퍼파라미터 조합을 실험하는 것이 중요합니다. 좋은 튜닝 결과를 얻기 위해 노력하고 지속적으로 모델을 개선해보세요.

Happy coding!