[python] Flask로 웹 스크래퍼 애플리케이션 개발하는 방법

18 Dec 2023

python

Flask는 Python으로 웹 애플리케이션을 빠르고 쉽게 개발할 수 있도록 도와주는 경량화된 웹 프레임워크입니다. 이번 글에서는 Flask를 사용하여 간단한 웹 스크래퍼 애플리케이션을 만드는 방법을 살펴보겠습니다.

필요한 라이브러리 설치

먼저, Flask를 설치해야 합니다. 아래 명령어를 사용하여 Flask를 설치합니다.

pip install Flask

웹 스크래핑을 위해 BeautifulSoup와 requests 라이브러리도 함께 설치해줍니다.

pip install beautifulsoup4
pip install requests

Flask 애플리케이션 구조

간단한 Flask 애플리케이션은 다음과 같은 구조를 가집니다.

flask_scraper/
    app.py
    templates/
        index.html

코드 작성

app.py

from flask import Flask, render_template
import requests
from bs4 import BeautifulSoup

app = Flask(__name__)

@app.route('/')
def index():
    url = 'https://example.com'  # 스크래핑할 웹 페이지의 URL
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    # 스크래핑 로직 작성

    return render_template('index.html', data=scraped_data)

if __name__ == '__main__':
    app.run()

index.html

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <meta name="viewport" content="width=device-width, initial-scale=1.0">
    <title>Web Scraper</title>
</head>
<body>
    <h1>Web Scraper</h1>
    <!-- 스크래핑한 데이터를 보여주는 부분 -->
</body>
</html>

실행

코드를 작성한 후, 터미널에서 다음 명령어를 실행하여 Flask 애플리케이션을 실행합니다.

python app.py

이제 브라우저에서 http://localhost:5000으로 접속하여 웹 스크래퍼 애플리케이션을 확인할 수 있습니다.

Flask를 사용하여 웹 스크래퍼를 개발하는 방법에 대해 간략하게 살펴보았습니다. Flask를 활용하면 간단한 웹 애플리케이션을 빠르게 개발할 수 있으며, 스크래핑한 데이터를 시각적으로 표현하는 과정도 쉽게 구현할 수 있습니다.

더 많은 기능을 추가하여 웹 스크래퍼 애플리케이션을 발전시켜보세요!