[파이썬][scikit-learn] scikit-learn에서 파이프라인 구축

05 Sep 2023

scikit learn

소개

scikit-learn은 파이썬에서 머신러닝과 데이터 분석을 위한 가장 인기 있는 라이브러리 중 하나입니다. scikit-learn의 파이프라인은 데이터 전처리, 특성 추출, 모델 학습 등의 작업을 한 번에 처리할 수 있는 강력한 도구입니다. 이번 블로그 포스트에서는 scikit-learn을 사용하여 파이프라인을 구축하는 방법을 살펴보겠습니다.

1. 데이터 전처리

파이프라인을 구축하기 전에 데이터 전처리 단계를 수행해야 합니다. scikit-learn은 다양한 데이터 전처리 도구를 제공하므로, 필요한 도구를 선택하여 데이터를 변환할 수 있습니다. 예를 들어, 데이터의 누락된 값을 처리하기 위해 SimpleImputer 클래스를 사용할 수 있습니다.

from sklearn.impute import SimpleImputer

imputer = SimpleImputer(strategy='mean')
X_train = imputer.fit_transform(X_train)
X_test = imputer.transform(X_test)

위 코드에서는 SimpleImputer 클래스를 생성하고, strategy 매개변수를 사용하여 누락된 값을 평균으로 대체하는 전략을 선택했습니다. fit_transform 메서드를 사용하여 학습 데이터에서 누락된 값을 대체하고, transform 메서드를 사용하여 테스트 데이터에서 누락된 값을 대체했습니다.

2. 특성 추출

데이터 전처리 이후에는 특성 추출 단계를 수행할 수 있습니다. scikit-learn은 다양한 특성 추출 기법을 제공하므로, 해당 기법을 선택하여 데이터의 특징을 추출할 수 있습니다. 예를 들어, StandardScaler 클래스를 사용하여 데이터의 특성을 표준화할 수 있습니다.

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

위 코드에서는 StandardScaler 클래스를 생성하고, fit_transform 메서드를 사용하여 학습 데이터를 표준화했습니다. 테스트 데이터는 transform 메서드를 사용하여 표준화했습니다.

3. 모델 학습

데이터 전처리와 특성 추출을 마친 후, 파이프라인의 마지막 단계는 모델 학습입니다. scikit-learn은 다양한 머신러닝 알고리즘을 제공하므로, 해당 알고리즘을 선택하여 모델을 학습할 수 있습니다. 예를 들어, RandomForestClassifier 클래스를 사용하여 랜덤 포레스트 모델을 학습할 수 있습니다.

from sklearn.ensemble import RandomForestClassifier

model = RandomForestClassifier(n_estimators=100)
model.fit(X_train, y_train)

위 코드에서는 RandomForestClassifier 클래스를 생성하고, n_estimators 매개변수를 사용하여 생성할 트리의 개수를 설정했습니다. fit 메서드를 사용하여 학습 데이터를 모델에 적합시켰습니다.

4. 파이프라인 구축

이제 데이터 전처리, 특성 추출, 모델 학습을 모두 수행하는 파이프라인을 구축할 차례입니다. scikit-learn의 Pipeline 클래스를 사용하여 각 단계를 연결할 수 있습니다.

from sklearn.pipeline import Pipeline

pipeline = Pipeline([
    ('imputer', SimpleImputer(strategy='mean')),
    ('scaler', StandardScaler()),
    ('model', RandomForestClassifier(n_estimators=100))
])

pipeline.fit(X_train, y_train)

위 코드에서는 Pipeline 클래스를 생성하고, 리스트로 단계를 정의해 주었습니다. 각 단계는 (이름, 추정기)의 형태로 정의합니다. 이후에는 fit 메서드를 사용하여 전체 파이프라인을 학습합니다.

결론

scikit-learn의 파이프라인을 사용하여 데이터 전처리, 특성 추출, 모델 학습을 한 번에 처리할 수 있습니다. 이를 통해 코드의 재사용성과 모델의 일관성을 개선할 수 있습니다. 파이프라인을 구축하는 과정에서 데이터 전처리와 특성 추출의 순서와 단계를 조절하여 최상의 결과를 얻을 수 있습니다.