Colin's Blog
[python] scikit-learn을 활용한 특징 선택 기법 선택 기준

scikit-learn은 Python에서 많이 사용되는 머신러닝 라이브러리 중 하나입니다. 이 라이브러리를 활용하여 특징 선택(feature selection)을 수행하는 방법과 어떤 기준을 가지고 선택해야 하는지 알아보겠습니다.

특징 선택이란?

특징 선택은 머신러닝 모델 학습에 사용되는 변수 중에서 가장 중요한 변수들을 선택하는 과정입니다. 이를 통해 학습에 불필요한 변수를 제거하고 모델의 성능을 향상시킬 수 있습니다. 특징 선택은 다음과 같은 이점을 가지고 있습니다:

scikit-learn을 활용한 특징 선택 기법

scikit-learn은 다양한 특징 선택 기법을 제공합니다. 이중 가장 널리 사용되는 기법은 다음과 같습니다:

  1. 일변량 통계 (Univariate Statistical Tests): 각 변수를 개별적으로 평가하여 목표 변수와의 관련성을 측정하는 방식입니다. 예를 들어, 분류 문제인 경우 ANOVA F-value나 chi-squared 값을 계산하여 변수의 중요도를 평가합니다. SelectKBest, SelectPercentile과 같은 함수는 가장 상위의 변수들을 선택할 수 있도록 지원합니다.
from sklearn.feature_selection import SelectKBest, f_classif

selector = SelectKBest(score_func=f_classif, k=10) # top 10 features
selected_features = selector.fit_transform(X, y)
  1. 재귀적 특징 제거 (Recursive Feature Elimination, RFE): 모델을 학습시키고 변수 중요도를 계산한 뒤, 중요도가 낮은 변수를 제거하고 다시 모델을 학습시키는 과정을 반복합니다. 변수의 수가 지정한 값에 도달할 때까지 반복합니다. RFE는 주로 재귀적으로 지원되는 모델(예: SVM, RandomForest)과 함께 사용됩니다.
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression

estimator = LogisticRegression()
selector = RFE(estimator, n_features_to_select=10) # select 10 features
selected_features = selector.fit_transform(X, y)

특징 선택 기준

특징 선택 기준은 어떤 변수를 선택해야 하는지를 결정하는 규칙입니다. 선택 기준은 다음과 같은 요소를 고려해야 합니다:

  1. 변수 관련성: 변수가 목표 변수와 얼마나 관련이 있는지를 평가합니다. 이를 통해 가장 중요한 변수들을 선택할 수 있습니다.
  2. 다중 공선성: 변수들 간에 상관관계가 높을 경우 모델의 성능에 부정적인 영향을 미칠 수 있으므로, 상관 관계가 낮은 변수를 선택하는 것이 좋습니다.
  3. 계산 비용: 변수 선택은 모든 변수들을 평가하는 연산을 필요로 합니다. 따라서 계산 비용을 고려하여 선택 기준을 정해야 합니다.

특징 선택을 위해 scikit-learn은 다양한 평가 지표와 기준을 제공합니다. 예를 들어, ANOVA F-value는 분류 문제에서 변수의 중요도를 평가하기 위해 사용됩니다. SelectKBest와 SelectPercentile 함수는 이러한 평가 지표를 사용하여 상위 변수들을 선택할 수 있도록 지원합니다.

결론

scikit-learn을 활용하여 특징 선택 기법을 적용하는 방법과 선택 기준에 대해 알아보았습니다. 특징 선택은 모델의 성능을 향상시키고 모델을 해석하기 쉽게 만드는데 도움을 주는 중요한 과정입니다. 다양한 특징 선택 기법과 평가 지표를 사용하여 적절한 변수를 선택하도록 노력해야 합니다.

참고 자료:

© 2018 Colin. All rights reserved.