[파이썬] Beautiful Soup 4 웹 페이지의 형식 오류 처리하기

06 Sep 2023

beautiful soup

웹 스크래핑을 할 때, 때로는 Beautiful Soup 4를 사용하여 웹 페이지의 정보를 추출하려고 할 때 형식 오류가 발생할 수 있습니다. 이러한 오류들은 웹 페이지의 HTML 구조가 예상과 다를 때 발생하는데, 이는 웹 페이지의 HTML 구조가 다양할 수 있기 때문입니다. 이 문제를 해결하기 위해, Beautiful Soup 4는 다양한 기능을 제공합니다. 이 포스트에서는 Beautiful Soup 4를 사용하여 웹 페이지의 형식 오류를 처리하는 방법을 알아보겠습니다.

웹 페이지의 형식 오류 확인하기

먼저, Beautiful Soup 4를 사용하여 웹 페이지의 형식 오류를 확인하는 방법을 알아보겠습니다. 아래의 코드는 웹 페이지를 파싱하여 형식 오류를 확인하는 예제입니다.

from bs4 import BeautifulSoup

# 웹 페이지의 HTML 코드
html = "<html><head><title>Example</title></head><body><h1>Hello, world!</h1></body></html>"

# Beautiful Soup를 사용하여 웹 페이지 파싱
soup = BeautifulSoup(html, 'html.parser')

# 형식 오류 확인
if soup.find('html') is None:
    print("HTML 형식 오류")
elif soup.find('head') is None:
    print("head 태그 형식 오류")
elif soup.find('title') is None:
    print("title 태그 형식 오류")
elif soup.find('body') is None:
    print("body 태그 형식 오류")
else:
    print("형식 오류가 없습니다.")

위의 코드에서는 Beautiful Soup 4의 find 메소드를 사용하여 웹 페이지의 태그를 찾고, 태그의 존재 여부를 확인합니다. 만약 태그가 존재하지 않는다면, 해당하는 형식 오류를 출력하게 됩니다.

형식 오류 처리하기

형식 오류를 확인한 후, 이를 처리하는 방법에는 다양한 방법이 있습니다. 일반적으로 오류를 처리하기 위해서는 예외 처리를 사용하는 것이 가장 효과적입니다. 아래의 예제는 예외 처리를 사용하여 형식 오류를 처리하는 예제입니다.

from bs4 import BeautifulSoup

# 웹 페이지의 HTML 코드
html = "<html><head><title>Example</title></head><body><h1>Hello, world!</h1></body></html>"

try:
    # Beautiful Soup를 사용하여 웹 페이지 파싱
    soup = BeautifulSoup(html, 'html.parser')

    # 형식 오류 확인
    if soup.find('html') is None:
        raise Exception("HTML 형식 오류")
    elif soup.find('head') is None:
        raise Exception("head 태그 형식 오류")
    elif soup.find('title') is None:
        raise Exception("title 태그 형식 오류")
    elif soup.find('body') is None:
        raise Exception("body 태그 형식 오류")
   
    # 형식 오류가 없는 경우, 웹 페이지의 정보 추출
    # ...

except Exception as e:
    print("형식 오류 처리:", e)

위의 예제에서는 try-except 문을 사용하여 형식 오류를 처리합니다. 오류가 발생한 경우, raise 문을 사용하여 예외를 발생시키고, except 문에서 예외를 처리합니다. 이를 통해 웹 페이지의 형식 오류를 처리할 수 있습니다.

또 다른 형식 오류 처리 방법으로는 유효성 검사를 수행하는 것이 있습니다. 웹 페이지의 HTML 구조가 항상 일정한 형식을 따른다고 가정할 수 없기 때문에, Beautiful Soup 4는 유효성 검사를 수행하는 기능을 제공합니다. 이를 통해 형식 오류를 처리할 수 있습니다. 아래의 예제는 유효성 검사를 수행하여 형식 오류를 처리하는 예제입니다.

from bs4 import BeautifulSoup

# 웹 페이지의 HTML 코드
html = "<html><head><title>Example</title></head><body><h1>Hello, world!</h1></body></html>"

# Beautiful Soup를 사용하여 웹 페이지 파싱 및 유효성 검사
soup = BeautifulSoup(html, 'html.parser')

# 형식 오류 처리
soup = soup.prettify()

위의 예제에서는 prettify 메소드를 사용하여 웹 페이지의 HTML 코드를 변환합니다. 이 과정에서 유효성 검사를 수행하며, 형식 오류를 자동으로 처리할 수 있습니다.

이처럼 Beautiful Soup 4는 다양한 기능을 제공하여 웹 페이지의 형식 오류를 처리할 수 있습니다. 이를 통해 웹 스크래핑 작업을 보다 효과적으로 수행할 수 있습니다.