[swift] Swift로 웹페이지 스크래핑하기

05 Dec 2023

swift

소개

이번 포스트에서는 Swift를 사용하여 웹페이지 스크래핑을 어떻게 할 수 있는지 살펴보겠습니다. 스크래핑은 웹페이지에서 원하는 데이터를 수집하는 과정을 의미합니다. Swift는 강력한 네트워킹 라이브러리와 HTML 파싱 기능을 제공하기 때문에 웹페이지 스크래핑에 적합한 언어입니다.

스크래핑의 기본 원리

스크래핑을 하기 위해서는 웹페이지의 HTML 소스 코드를 분석해야 합니다. 일반적으로는 네트워크 요청을 통해 웹페이지의 HTML 소스 코드를 얻어온 뒤, 파싱을 통해 필요한 데이터를 추출합니다. Swift에는 네트워킹을 위한 URLSession 클래스와 HTML 파싱을 위한 HTMLString이라는 유용한 기능이 있습니다.

웹페이지 소스 코드 가져오기

아래 예제 코드는 지정된 URL에서 HTML 소스 코드를 가져오는 예제입니다.

import Foundation

guard let url = URL(string: "https://www.example.com") else { return }

let task = URLSession.shared.dataTask(with: url) { (data, response, error) in
    if let error = error {
        print("Error: \(error)")
        return
    }

    if let data = data, let htmlString = String(data: data, encoding: .utf8) {
        // 웹페이지 소스 코드를 가져왔으므로, 이후 작업을 수행합니다.
        // 예를 들어, HTML 파싱을 통해 필요한 데이터를 추출하는 등의 작업을 진행할 수 있습니다.
    }
}

task.resume()

위의 코드에서 URLSession.shared.dataTask(with:completionHandler:) 메소드를 사용하여 지정된 URL에서 데이터를 비동기적으로 로드합니다. 이후, 데이터를 받아서 HTML 소스 코드를 문자열로 변환합니다. 향후에는 이 문자열을 파싱하여 필요한 데이터를 추출할 수 있습니다.

HTML 파싱하기

HTML 파싱은 웹페이지에서 원하는 데이터를 추출하는 과정입니다. Swift에서는 HTMLString이라는 유용한 기능을 사용할 수 있습니다. 아래 예제 코드는 HTMLString을 사용하여 웹페이지의 제목과 본문 내용을 추출하는 예제입니다.

import HTMLString

let htmlString = "<html><head><title>Example</title></head><body><h1>Hello, World!</h1><p>This is an example page.</p></body></html>"

if let doc = try? HTMLDocument(string: htmlString) {
    let title = doc.head?.title?.jsxText
    let body = doc.body?.jsxText

    print("Title: \(title ?? "")")
    print("Body: \(body ?? "")")
}

위의 코드에서는 HTMLString의 HTMLDocument를 사용하여 파싱할 HTML 소스 코드를 전달합니다. 이후, HTMLDocument 객체의 head와 body 속성을 사용하여 원하는 요소를 추출할 수 있습니다. 추출한 요소에서 .jsxText 속성을 사용하여 텍스트를 가져올 수 있습니다.

결론

이번 포스트에서는 Swift를 사용하여 웹페이지 스크래핑을 하는 방법에 대해 알아보았습니다. Swift는 강력한 네트워킹 라이브러리와 HTML 파싱 기능을 제공하기 때문에 웹페이지 스크래핑에 적합한 언어입니다. 스크래핑을 통해 필요한 데이터를 손쉽게 수집할 수 있으므로, 다양한 응용 프로그램에 유용하게 활용할 수 있습니다.

참고 자료: