Colin's Blog
[파이썬] catboost 모델 평가 및 검증 전략

CatBoost는 기계 학습 알고리즘 중 하나인 그래디언트 부스팅 모델로, 범주형 자료에 대한 자동적인 처리를 지원하며, 높은 예측 성능을 제공합니다. 이런 이유로 CatBoost는 많은 데이터 과학자와 엔지니어들 사이에서 인기를 얻고 있습니다. 하지만 모델의 성능을 평가하고 검증하는 것은 매우 중요합니다.

이 글에서는 CatBoost 모델 평가와 검증을 위한 다양한 전략을 소개하겠습니다.

데이터 분할

모델을 평가하고 검증하기 위해서는 데이터를 적절한 방식으로 분할하는 것이 중요합니다. 전통적으로 데이터는 학습 세트, 검증 세트 및 테스트 세트로 나누어집니다. 학습 세트는 모델을 학습하는 데 사용되고, 검증 세트는 모델의 하이퍼파라미터 튜닝을 위해 사용됩니다. 마지막으로, 테스트 세트는 모델이 잘 일반화되었는지 최종적으로 검증하는 데 사용됩니다.

CatBoost는train_test_split을 사용하여 데이터를 분할할 수 있는 기능을 제공합니다. 아래는 데이터를 학습 세트와 검증 세트로 나누는 예제 코드입니다.

from catboost import train_test_split

X = data.drop('target', axis=1)
y = data['target']

X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, random_state=42)

교차 검증

학습 및 검증 세트만 사용하여 모델을 평가하는 것은 데이터에 대한 신뢰할 수 있는 평가를 제공하지 못할 수 있습니다. 이러한 경우, 교차 검증(cross-validation)을 사용하여 보다 신뢰성 있는 결과를 얻을 수 있습니다.

from catboost import CatBoostClassifier, cv

model = CatBoostClassifier(...)

params = {
    'iterations': 100,
    'depth': 6,
    'learning_rate': 0.1,
    'loss_function': 'Logloss',
    'verbose': False
}

cv_data = cv(
    params=params,
    pool=data_pool,
    fold_count=5,
    shuffle=True,
    seed=42,
    logging_level='Silent'
)

print('폴드 별 Logloss:', cv_data['test-Logloss-mean'])
print('폴드 별 AUC:', cv_data['test-AUC-mean'])

하이퍼파라미터 튜닝

CatBoost는 다양한 하이퍼파라미터를 가지고 있습니다. 이러한 하이퍼파라미터의 조합에 따라 모델의 성능이 달라질 수 있습니다. 예를 들어, 학습률(learning rate)과 트리의 깊이(depth)는 모델 성능에 큰 영향을 미칩니다.

하이퍼파라미터 튜닝은 모델의 성능을 최적화하는 데 도움을 줄 수 있습니다. 일반적으로 그리드 탐색(Grid Search)이나 랜덤 탐색(Random Search)과 같은 방법을 사용하여 최적의 하이퍼파라미터 조합을 찾아냅니다.

from sklearn.model_selection import GridSearchCV

param_grid = {
    'iterations': [100, 200, 300],
    'depth': [4, 6, 8],
    'learning_rate': [0.1, 0.01, 0.001]
}

model = GridSearchCV(CatBoostClassifier(), param_grid, cv=5)

model.fit(X_train, y_train)

print('최적의 하이퍼파라미터:', model.best_params_)
print('최적의 점수:', model.best_score_)

중요한 특성 확인

CatBoost는 모델의 특성 중요도를 계산하여 어떤 특성이 예측에 가장 영향을 주는지 확인할 수 있습니다. 이는 모델을 이해하고 해석하는 데 도움을 줄 수 있습니다.

feature_importance = model.get_feature_importance()

for feature, importance in zip(X.columns, feature_importance):
    print(f'{feature}: {importance}')

요약:

CatBoost 모델의 평가와 검증은 모델의 성능을 신뢰할 수 있게 평가하기 위해 중요합니다. 데이터를 적절하게 분할하고 교차 검증을 수행하여 모델 성능을 평가할 수 있습니다. 또한 하이퍼파라미터 튜닝과 특성 중요도 분석을 통해 모델의 성능을 더욱 향상시킬 수 있습니다.

© 2018 Colin. All rights reserved.