[파이썬] xgboost에서의 차원 축소 전략

07 Sep 2023

xgboost

차원 축소는 머신러닝 모델에서 많은 변수를 사용할 때 발생하는 차원의 저주 문제를 해결하기 위해 사용되는 기술입니다. xgboost는 강력한 그래디언트 부스팅 트리 알고리즘입니다. 이번 블로그 포스트에서는 xgboost에서의 차원 축소 전략에 대해서 알아보겠습니다.

PCA (Principal Component Analysis)

PCA는 주성분 분석으로 알려진 통계 기법입니다. 이 기법은 주어진 데이터의 분산을 최대한 보존하며 차원을 축소합니다. xgboost의 차원 축소에 PCA를 사용하는 방법은 다음과 같습니다.

import xgboost as xgb
from sklearn.decomposition import PCA
from sklearn.pipeline import make_pipeline

# 데이터를 로드하고 전처리합니다.
X, y = load_data()
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 주성분의 개수를 지정합니다.
n_components = 10

# PCA와 xgboost를 합쳐 파이프라인을 생성합니다.
pca = PCA(n_components=n_components)
xgb_model = xgb.XGBRegressor()
pipeline = make_pipeline(pca, xgb_model)

# 모델을 학습시킵니다.
pipeline.fit(X_scaled, y)

고차원 특성 제거

일부 특성은 예측을 위한 유용한 정보를 제공하지 않을 수 있습니다. 이러한 특성들을 제거하여 차원을 줄일 수 있습니다. xgboost에서는 변수의 중요도를 기반으로 특성을 선택하거나 제거할 수 있습니다. 다음은 변수 선택을 사용하는 예시입니다.

import xgboost as xgb
from sklearn.feature_selection import SelectFromModel

# 데이터를 로드하고 전처리합니다.
X, y = load_data()
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 변수 선택을 위해 xgboost 모델을 학습시킵니다.
xgb_model = xgb.XGBRegressor()
xgb_model.fit(X_scaled, y)

# 변수 선택 방법을 설정합니다.
threshold = "median"
selection_model = SelectFromModel(xgb_model, threshold=threshold)

# 선택된 변수로 데이터를 변환합니다.
X_selected = selection_model.transform(X_scaled)

t-SNE (t-Distributed Stochastic Neighbor Embedding)

t-SNE는 데이터의 고차원 구조를 시각화하기 위해 주로 사용되는 차원 축소 방법입니다. xgboost의 차원 축소에 t-SNE를 사용하는 방법은 다음과 같습니다.

import xgboost as xgb
from sklearn.manifold import TSNE

# 데이터를 로드하고 전처리합니다.
X, y = load_data()
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# t-SNE를 사용하여 차원을 축소합니다.
tsne = TSNE(n_components=2)
X_tsne = tsne.fit_transform(X_scaled)

# xgboost 모델에 t-SNE 결과를 입력합니다.
xgb_model = xgb.XGBRegressor()
xgb_model.fit(X_tsne, y)

차원 축소는 xgboost에서 매우 유용한 기술입니다. 위에서 소개한 메서드들은 각기 다른 접근 방법을 사용하며, 적용할 데이터에 따라 효율적인 방법을 선택할 수 있습니다. 어떤 방법을 선택하든 주어진 데이터의 패턴을 파악하고 모델의 성능을 향상시키는 데 도움이 될 것입니다.

이상으로 xgboost에서의 차원 축소 전략에 대해서 알아보았습니다. 다음 포스트에서는 차원 축소를 통해 얻은 결과를 평가하는 방법에 대해서 다루어 보겠습니다.