[python] 파이썬 BeautifulSoup과 데이터 시각화

04 Dec 2023

python

파이썬은 다양한 라이브러리를 통해 웹 데이터를 수집하고 분석하는 데에 매우 효과적입니다. 그리고 그 중에서도 BeautifulSoup은 웹 스크래핑에 많이 사용되는 라이브러리 중 하나입니다. 이번 포스팅에서는 파이썬 BeautifulSoup을 사용하여 웹 데이터를 수집하고, 이를 데이터 시각화하는 방법에 대해 알아보도록 하겠습니다.

BeautifulSoup 소개

BeautifulSoup은 HTML과 XML 문서에서 데이터를 추출하고 파싱하기 위해 사용되는 파이썬 라이브러리입니다. BeautifulSoup은 웹 페이지의 내용을 쉽게 탐색하고, 필요한 데이터를 가져올 수 있는 강력한 기능을 제공합니다. BeautifulSoup을 사용하면 복잡한 웹 데이터를 간편하게 처리할 수 있습니다.

데이터 수집하기

먼저, 웹 상의 데이터를 수집하기 위해 BeautifulSoup을 사용하는 방법을 알아보겠습니다. BeautifulSoup을 사용하려면 먼저 해당 라이브러리를 설치해야 합니다. 아래의 명령어를 사용하여 설치할 수 있습니다.

pip install beautifulsoup4

설치가 완료되면, BeautifulSoup을 import하여 사용할 수 있습니다. 아래의 예제 코드는 https://www.example.com에서 h1 태그의 내용을 가져오는 예제입니다.

import requests
from bs4 import BeautifulSoup

# 웹 페이지 요청
response = requests.get("https://www.example.com")

# HTML 파싱
soup = BeautifulSoup(response.text, 'html.parser')

# h1 태그 내용 가져오기
h1_tag = soup.find('h1').text

print(h1_tag)

위 코드에서는 requests를 사용하여 웹 페이지의 내용을 가져와서 BeautifulSoup으로 파싱한 후, find 메서드를 사용하여 h1 태그의 내용을 가져옵니다. 이렇게 BeautifulSoup을 사용하여 필요한 데이터를 수집할 수 있습니다.

데이터 시각화하기

데이터를 수집한 후에는 이를 시각화하여 더 쉽게 이해할 수 있도록 할 수 있습니다. 파이썬에서는 다양한 데이터 시각화 라이브러리가 제공되며, 그 중에서도 Matplotlib이 널리 사용됩니다.

아래의 예제 코드는 Matplotlib를 사용하여 웹 데이터를 시각화하는 예제입니다. 웹 페이지에서 제목과 가격 정보를 수집하고, Matplotlib을 사용하여 가격 데이터를 그래프로 출력합니다.

import requests
from bs4 import BeautifulSoup
import matplotlib.pyplot as plt

# 웹 페이지 요청
response = requests.get("https://www.example.com/products")

# HTML 파싱
soup = BeautifulSoup(response.text, 'html.parser')

# 제목과 가격 정보 가져오기
products = soup.findAll('div', {'class': 'product'})

titles = []
prices = []

for product in products:
    title = product.find('h2').text
    price = product.find('span', {'class': 'price'}).text
    titles.append(title)
    prices.append(price)

# 가격 그래프 출력
plt.bar(titles, prices)
plt.xlabel('제품명')
plt.ylabel('가격')
plt.title('제품별 가격')
plt.show()

위 코드에서는 findAll 메서드를 사용하여 웹 페이지에서 원하는 데이터를 모두 가져옵니다. 제목과 가격 정보를 각각 titles와 prices 리스트에 저장한 후, Matplotlib을 사용하여 그래프를 출력합니다.

이렇게 데이터를 수집하고, Matplotlib을 사용하여 그래프를 그리는 것으로 데이터 시각화를 할 수 있습니다.

마치며

이번 포스팅에서는 파이썬 BeautifulSoup을 사용하여 웹 데이터를 수집하고, Matplotlib을 사용하여 데이터를 시각화하는 방법에 대해 알아보았습니다. BeautifulSoup과 Matplotlib은 파이썬의 강력한 라이브러리이며, 이를 잘 활용한다면 다양한 웹 데이터를 수집하고 시각화할 수 있습니다.

추가적인 정보는 다음을 참고하면 도움이 될 것입니다:

Beautiful Soup 공식 문서: https://www.crummy.com/software/BeautifulSoup/
Matplotlib 공식 문서: https://matplotlib.org/
파이썬 웹 스크래핑과 데이터 분석 강의: https://www.inflearn.com/