[python] 데이터 전처리하기
Python은 데이터 전처리 작업을 수행하는 데 매우 유용한 언어입니다. 데이터 전처리는 데이터 과학 및 기계 학습 작업에서 중요한 부분이며, Python의 다양한 라이브러리를 활용하여 효과적으로 수행할 수 있습니다.
이 블로그 포스트에서는 Python을 사용하여 데이터를 읽고, 정제하고, 변환하는 방법에 대해 알아보겠습니다.
데이터 읽기
Python에서 데이터를 읽는 데 가장 일반적으로 사용되는 라이브러리는 pandas입니다. pandas를 사용하면 CSV, Excel, JSON 등 다양한 형식의 데이터를 읽을 수 있습니다.
import pandas as pd
# CSV 파일 읽기
data = pd.read_csv('data.csv')
# Excel 파일 읽기
data = pd.read_excel('data.xlsx')
# JSON 파일 읽기
data = pd.read_json('data.json')
데이터 정제
의미 없는 데이터, 결측치, 이상치 등을 처리하여 데이터의 질을 향상시킵니다. 다음은 간단한 예시입니다.
# 결측치 처리
data.dropna() # 결측치가 포함된 행 제거
data.fillna(0) # 결측치를 0으로 채우기
# 이상치 처리
Q1 = data['column'].quantile(0.25)
Q3 = data['column'].quantile(0.75)
IQR = Q3 - Q1
data = data[(data['column'] > (Q1 - 1.5 * IQR)) & (data['column'] < (Q3 + 1.5 * IQR))]
데이터 변환
가끔은 데이터의 형식을 변환해야 할 때가 있습니다. 이 때 pandas를 사용하여 데이터를 원하는 형식으로 변환할 수 있습니다.
# 데이터 유형 변환
data['column'] = data['column'].astype(float)
# 범주형 데이터를 더미 변수로 변환
data = pd.get_dummies(data, columns=['category'])
결론
Python을 사용하여 데이터를 읽고, 정제하고, 변환하는 방법에 대해 간략히 살펴보았습니다. 데이터 전처리는 데이터 분석 및 기계 학습 작업의 성공에 매우 중요한 부분이며, Python의 다억란한 라이브러리를 효과적으로 활용하여 데이터를 다룰 수 있습니다.
더 많은 심도 깊은 데이터 전처리 기술에 대해서는 관련 문서 및 온라인 자료를 참고하시기 바랍니다.