[python] Beautiful Soup로 웹 페이지에서 특정 폼 데이터 추출하기

30 Nov 2023

python

Beautiful Soup은 웹 스크래핑에 매우 유용한 Python 라이브러리입니다. 이 라이브러리를 사용하여 웹 페이지에서 특정 폼 데이터를 추출하는 방법에 대해 알아보겠습니다.

1. Beautiful Soup 설치하기

먼저 Beautiful Soup을 설치해야 합니다. 아래 명령어를 사용하여 설치할 수 있습니다.

pip install beautifulsoup4

2. 웹 페이지에서 폼 데이터 추출하기

다음은 Beautiful Soup을 사용하여 웹 페이지에서 폼 데이터를 추출하는 예제 코드입니다.

from bs4 import BeautifulSoup
import requests

# 웹 페이지 URL
url = "https://example.com"

# 웹 페이지 요청
response = requests.get(url)

# 웹 페이지 소스코드
html = response.text

# Beautiful Soup 객체 생성
soup = BeautifulSoup(html, "html.parser")

# 폼 선택
form = soup.find("form")

# 폼 필드 추출
fields = form.find_all("input")

# 필드 값 출력
for field in fields:
    field_name = field.get("name")
    field_value = field.get("value")
    print(f"{field_name}: {field_value}")

위 코드는 예시로 https://example.com 웹 페이지에서 폼 필드를 추출하는 코드입니다. 이 코드를 실행하면 폼의 각 필드의 이름과 값이 출력됩니다.

3. 결론

Beautiful Soup을 사용하면 간단하게 웹 페이지에서 폼 데이터를 추출할 수 있습니다. 이를 활용하여 웹 스크래핑 작업을 더욱 효율적으로 할 수 있습니다.

참고 자료

Beautiful Soup 공식 문서: https://www.crummy.com/software/BeautifulSoup/bs4/doc/
Requests 라이브러리 공식 문서: https://docs.python-requests.org/