[python] 파이썬으로 데이터 수집 및 전처리
데이터는 현대 비즈니스에서 중요한 자산으로 자리 잡았습니다. 데이터를 수집하고 분석하는 것은 비즈니스를 위한 효과적인 전략을 개발하는 데 필수적입니다. 이 블로그에서는 파이썬으로 데이터를 수집하고 전처리하는 방법에 대해 알아보겠습니다.
데이터 수집
웹 스크레이핑
웹 스크레이핑은 BeautifulSoup과 requests 라이브러리를 사용하여 웹 페이지에서 데이터를 추출하는 과정입니다. 다음은 웹 스크레이핑을 활용한 예시 코드입니다.
import requests
from bs4 import BeautifulSoup
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
data = soup.find('div', class_='content').get_text()
API 사용
API를 사용하여 공개된 데이터를 가져올 수도 있습니다. requests 라이브러리를 사용하여 API와 통신할 수 있습니다.
import requests
url = 'https://api.example.com/data'
response = requests.get(url)
data = response.json()
데이터 전처리
결측치 처리
결측치는 데이터 분석 과정에서 문제를 야기할 수 있으므로 적절히 처리해야 합니다. 판다스 라이브러리를 사용하여 결측치를 처리할 수 있습니다.
import pandas as pd
# 데이터프레임 생성
df = pd.DataFrame({'A': [1, 2, None], 'B': [3, None, 5]})
# 결측치 처리
df.fillna(0, inplace=True)
이상치 처리
이상치는 데이터의 정확성을 해치므로 제거하거나 보정해야 합니다. 이상치를 확인하고 처리하는 방법은 다양합니다.
# 이상치 확인
Q1 = df.quantile(0.25)
Q3 = df.quantile(0.75)
IQR = Q3 - Q1
outliers = df[(df < (Q1 - 1.5 * IQR)) | (df > (Q3 + 1.5 * IQR))]
# 이상치 제거
df = df[~((df < (Q1 - 1.5 * IQR)) | (df > (Q3 + 1.5 * IQR)))]
위의 예시 코드는 데이터 수집 및 전처리에 대한 간단한 예시일 뿐이며, 실제 데이터 분석 과정에서는 더 다양하고 복잡한 처리가 필요할 수 있습니다. 파이썬은 데이터 과학 및 분석을 위한 강력한 도구들을 제공하므로 데이터를 효율적으로 다루기 위해 다양한 라이브러리와 기술을 습득하는 것이 중요합니다.
이상적으로, 데이터 수집 및 전처리 과정은 데이터를 분석하기 전에 가장 중요한 단계이므로 신중히 수행되어야 합니다.