[파이썬] `requests-html`와 `beautifulsoup4` 비교

06 Sep 2023

requests-html

Python에서 웹 스크래핑을 수행할 때 많은 라이브러리들 중에서 requests-html과 beautifulsoup4는 인기 있는 선택지입니다. 두 라이브러리는 각각 고유한 특징과 기능을 가지고 있으며, 웹 스크래핑 작업에 필요한 다양한 기능을 제공합니다.

requests-html 소개

requests-html은 requests 라이브러리를 기반으로 한 웹 스크래핑 라이브러리입니다. requests-html은 크롤링 및 스크래핑 작업을 위해 HTML 페이지를 렌더링하고 JavaScript를 실행하는 기능을 제공합니다.

beautifulsoup4 소개

beautifulsoup4는 Beautiful Soup 라이브러리의 Python 4 버전입니다. 이 라이브러리는 HTML 및 XML 문서를 파싱하고, 문서 구조를 탐색하고, 데이터를 추출하는 데 사용됩니다.

기능 비교

HTML 렌더링 및 JavaScript 실행

requests-html은 HTML 페이지를 렌더링하고 JavaScript를 실행할 수 있는 기능을 제공합니다. 이는 동적으로 생성된 콘텐츠를 스크랩하는 데 유용합니다. beautifulsoup4는 정적인 HTML 페이지에 대한 파싱 기능만 제공하므로, JavaScript를 실행하지 않습니다.

from requests_html import HTMLSession

session = HTMLSession()
response = session.get('https://example.com')
response.html.render()

# 렌더링된 HTML 내용에 접근 가능
print(response.html.html)

문서 파싱

두 라이브러리는 문서 파싱 기능을 제공하지만 각각의 방식이 다릅니다. requests-html은 CSS 선택자를 사용하여 HTML 요소에 접근하는 API를 제공합니다. beautifulsoup4는 더 유연한 선택기를 제공하여 XPath와 CSS 선택자 둘 다를 사용할 수 있습니다.

# requests-html
from requests_html import HTML
html = '<html><body><h1>Hello, World!</h1></body></html>'
r = HTML(html=html)
print(r.find('h1', first=True).text)  # Output: Hello, World!

# beautifulsoup4
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')
print(soup.select_one('h1').text)  # Output: Hello, World!

데이터 추출

requests-html 및 beautifulsoup4는 모두 쉽게 데이터를 추출할 수 있는 기능을 제공합니다. 그러나 두 라이브러리의 사용법이 약간 다를 수 있습니다.

# requests-html
data = r.find('.container').text

# beautifulsoup4
data = soup.select_one('.container').text

결론

requests-html과 beautifulsoup4는 웹 스크래핑에 많이 사용되는 Python 라이브러리입니다. requests-html은 웹 페이지를 렌더링하고 JavaScript를 실행할 수 있는 기능을 제공합니다. 반면에 beautifulsoup4는 HTML 및 XML 문서를 파싱하고 데이터를 추출하는 데 특화되어 있습니다. 적절한 선택은 사용자의 요구사항과 프로젝트의 특성에 따라 달라질 수 있습니다.