[파이썬] xgboost에서의 스태킹

07 Sep 2023

xgboost

스태킹(Stacking)은 앙상블 학습의 한 종류로, 여러 개의 다른 기계 학습 모델들을 조합하여 더 강력한 예측 모델을 만드는 방법입니다. xgboost는 그 자체로 강력한 학습 알고리즘이지만, 스태킹을 통해 더욱 강력한 예측 모델을 만들 수 있습니다. 이번 블로그에서는 xgboost에서의 스태킹을 소개하고, 파이썬을 사용하여 구현하는 방법을 다룰 것입니다.

스태킹의 개념

스태킹은 다음과 같은 과정으로 이루어집니다:

데이터를 학습 데이터와 검증 데이터로 분할합니다.
첫 번째 레벨의 모델들을 학습 데이터에 대해 학습시킵니다.
학습된 첫 번째 레벨 모델들을 사용하여 검증 데이터에 대한 예측 값을 생성합니다.
이 예측 값을 입력으로 하여 두 번째 레벨의 모델을 학습시킵니다.
최종적으로 학습된 두 번째 레벨 모델을 사용하여 새로운 데이터에 대한 예측을 수행합니다.

스태킹은 여러 모델들의 예측 결과를 결합하여 보다 정확한 예측을 가능하게 합니다. xgboost를 사용하여 첫 번째 레벨의 모델들을 학습하고, xgboost를 다시 사용하여 두 번째 레벨의 모델을 학습시킬 것입니다.

파이썬에서의 스태킹 구현

스태킹을 파이썬에서 구현하기 위해 xgboost 라이브러리를 사용할 것입니다. 먼저 필요한 라이브러리를 임포트합니다:

import xgboost as xgb
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.ensemble import StackingClassifier

데이터를 불러오고 학습 데이터와 검증 데이터로 분할하는 과정은 이전에 설명한 것과 같습니다. 이후 첫 번째 레벨의 xgboost 모델들을 학습시킬 것입니다:

X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, random_state=42)

# 첫 번째 레벨의 xgboost 모델들
model1 = xgb.XGBClassifier(...)
model2 = xgb.XGBClassifier(...)
model3 = xgb.XGBClassifier(...)

model1.fit(X_train, y_train)
model2.fit(X_train, y_train)
model3.fit(X_train, y_train)

각 모델의 학습이 끝나면, 이들을 사용하여 검증 데이터에 대한 예측 값을 생성합니다:

preds_val1 = model1.predict(X_val)
preds_val2 = model2.predict(X_val)
preds_val3 = model3.predict(X_val)

이 예측 값을 입력으로 하여 두 번째 레벨의 xgboost 모델을 학습시킬 수 있습니다:

# 두 번째 레벨의 xgboost 모델
final_model = xgb.XGBClassifier(...)

# 두 번째 레벨의 모델에 대한 입력 특징 생성
X_level2 = np.column_stack((preds_val1, preds_val2, preds_val3))

final_model.fit(X_level2, y_val)

최종적으로 학습된 두 번째 레벨의 xgboost 모델을 사용하여 테스트 데이터에 대한 예측을 수행할 수 있습니다:

preds_test1 = model1.predict(X_test)
preds_test2 = model2.predict(X_test)
preds_test3 = model3.predict(X_test)

# 두 번째 레벨의 모델에 대한 입력 특징 생성
X_test_level2 = np.column_stack((preds_test1, preds_test2, preds_test3))

preds_test_final = final_model.predict(X_test_level2)

스태킹은 일반적으로 여러 개의 모델들을 조합하여 더욱 강력한 예측 모델을 만들기 위해 사용되며, xgboost 역시 스태킹에 사용될 수 있는 강력한 도구입니다. 이를 통해 예측 성능을 더욱 향상시킬 수 있습니다.

이상으로 xgboost에서의 스태킹에 대한 소개와 파이썬을 사용한 구현 방법을 다루었습니다. 스태킹을 사용하여 예측 모델을 보다 강력하게 만들 수 있으니, 앙상블 학습을 공부하고 활용하는 것을 추천합니다.