[python] Flask를 이용한 웹 크롤링 구현
이번 포스트에서는 Python의 Flask 웹 프레임워크를 사용하여 간단한 웹 크롤러를 구현하는 방법에 대해 알아보겠습니다.
목차
1. Flask 프로젝트 설정
먼저 Flask를 설치합니다.
pip install Flask
다음으로, 간단한 Flask 앱을 만듭니다. 파일 이름을 app.py로 지정하고 아래 코드를 추가합니다.
from flask import Flask
app = Flask(__name)
@app.route('/')
def index():
return 'Hello, World!'
if __name__ == '__main__':
app.run()
위 코드는 기본적인 Flask 앱을 생성하는 코드입니다. http://localhost:5000으로 접속하면 ‘Hello, World!’가 표시됩니다.
2. 웹 크롤링 코드 작성
이제 웹 크롤러를 작성해봅시다. Python의 BeautifulSoup 라이브러리를 사용하여 웹 페이지를 스크랩하고 내용을 추출합니다. 웹 크롤링 코드를 crawler.py파일에 추가합니다.
from bs4 import BeautifulSoup
import requests
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
# 크롤링 코드 작성
3. Flask 앱으로 웹 페이지 렌더링
이제 Flask 앱과 웹 크롤링 코드를 통합하여 웹 페이지에 크롤링한 내용을 렌더링합니다. app.py 파일을 수정하여 크롤링 결과를 템플릿에 표시하는 방법에 대해 추가합니다.
from flask import Flask, render_template
from crawler import get_data
app = Flask(__name)
@app.route('/')
def index():
data = get_data() # 크롤링한 데이터 가져오기
return render_template('index.html', data=data)
if __name__ == '__main__':
app.run()
4. 결론
이제 당신은 Python Flask 웹 프레임워크를 사용하여 웹 크롤러를 구현하는 방법을 알게 되었습니다. 크롤링한 데이터를 웹 페이지에 표시하여 사용자에게 제공할 수 있습니다. 이를 응용하여 다양한 웹 애플리케이션을 개발해보세요.
이상으로 Flask를 이용한 웹 크롤링 구현에 대한 포스트를 마치도록 하겠습니다. 만약 궁금한 점이 있거나 질문이 있다면 언제든지 물어보세요!
참고 문헌
- Flask 공식 문서: https://flask.palletsprojects.com/
- BeautifulSoup 공식 문서: https://www.crummy.com/software/BeautifulSoup/bs4/doc/