[파이썬] lightgbm 클러스터링 및 차원 축소와의 통합

07 Sep 2023

lightgbm

LightGBM은 고성능 그래디언트 부스팅 프레임워크이며, 주로 분류 및 회귀 문제에 사용됩니다. 하지만 LightGBM을 사용하여 데이터의 클러스터링 및 차원 축소를 수행할 수도 있습니다. 이 글에서는 LightGBM을 사용하여 클러스터링과 차원 축소를 수행하는 방법을 알아보겠습니다.

LightGBM을 사용한 클러스터링

LightGBM을 사용하여 클러스터링을 수행하기 위해서는 먼저 데이터를 피처 벡터로 변환해야 합니다. 이후 LightGBM 모델을 학습시킬 때, 클러스터링을 수행하는 손실 함수를 정의하여 사용합니다.

import lightgbm as lgb
import numpy as np

# 데이터 로드
X_train = np.loadtxt("train_data.csv", delimiter=",")
y_train = np.loadtxt("train_labels.csv", delimiter=",")

# 데이터를 피처 벡터로 변환
lgb_train = lgb.Dataset(X_train, label=y_train)

# LightGBM 모델 설정
params = {
    "objective": "kmeans",  # 클러스터링 손실 함수로 kmeans를 사용
    "num_class": 3,  # 클러스터 개수
    "metric": "None"  # 클러스터링에서는 평가 지표를 사용하지 않음
}

# LightGBM 모델 학습
model = lgb.train(
    params,
    lgb_train,
    num_boost_round=100,  # 학습 반복 횟수
    valid_sets=None
)

# 클러스터링 결과 확인
clusters = model.predict(X_train)

위 코드에서는 kmeans를 손실 함수로 사용하여 클러스터링을 수행합니다. num_class 매개변수를 사용하여 클러스터 개수를 지정할 수 있습니다. 학습 후, model.predict() 함수를 사용하여 데이터의 클러스터를 예측할 수 있습니다.

LightGBM을 사용한 차원 축소

LightGBM을 사용한 차원 축소는 피처 중요도를 기반으로 수행됩니다.

import lightgbm as lgb
import numpy as np

# 데이터 로드
X_train = np.loadtxt("train_data.csv", delimiter=",")
y_train = np.loadtxt("train_labels.csv", delimiter=",")

# 데이터를 피처 벡터로 변환
lgb_train = lgb.Dataset(X_train, label=y_train)

# LightGBM 모델 설정
params = {
    "objective": "regression"  # 차원 축소를 위해 회귀 손실 함수를 사용
}

# LightGBM 모델 학습
model = lgb.train(
    params,
    lgb_train,
    num_boost_round=100,  # 학습 반복 횟수
    valid_sets=None
)

# 피처 중요도 확인
feature_importances = model.feature_importance()

위 코드에서는 regression을 손실 함수로 사용하여 차원 축소를 수행합니다. 학습 후, model.feature_importance() 함수를 사용하여 피처의 중요도를 확인할 수 있습니다.

결론

LightGBM은 널리 사용되는 그래디언트 부스팅 알고리즘인데도 불구하고, 클러스터링 및 차원 축소 기능도 제공합니다. 이를 통해 데이터 분석 및 모델링 작업을 통합하여 더 효율적으로 수행할 수 있습니다.