[python] aiohttp를 사용하여 비동기적으로 웹 크롤러 결과를 이메일로 알림 보내기

21 Nov 2023

python

소개

웹 크롤링은 인터넷에서 정보를 수집하고 분석하는 유용한 작업입니다. 하지만 크롤링 작업을 수행하는 동안 사용자에게 결과를 효과적으로 통보하기 위해서는 이메일로 알림을 보내는 것이 유용합니다. 이 문서에서는 Python의 aiohttp 라이브러리를 사용하여 비동기적으로 웹 크롤러 결과를 이메일로 알림을 보내는 방법을 알아보겠습니다.

Aiohttp란?

Aiohttp는 Python으로 작성된 비동기 웹 서버 및 HTTP 클라이언트 라이브러리입니다. aiohttp를 사용하면 비동기적으로 HTTP 요청을 보내고 응답을 처리할 수 있습니다. 이러한 비동기 처리는 웹 크롤링 작업을 보다 효율적으로 처리하는 데 도움이 됩니다.

비동기 웹 크롤링 작업 설정

먼저, aiohttp를 사용하여 비동기 웹 크롤러 작업을 설정하기 위해 다음과 같은 단계를 따라야 합니다.

필요한 패키지를 설치합니다.

pip install aiohttp

async 키워드를 사용하여 비동기 함수를 정의합니다. 아래는 aiohttp를 사용하여 웹 페이지를 크롤링하는 예시입니다.

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    async with aiohttp.ClientSession() as session:
        html = await fetch(session, 'https://example.com')
        print(html)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

크롤링한 결과를 이메일로 알림을 보내기 위해 필요한 SMTP 서버 정보와 이메일 보내는 함수를 설정합니다.

import smtplib
from email.mime.text import MIMEText

def send_email(sender, receiver, subject, message):
    msg = MIMEText(message)
    msg['Subject'] = subject
    msg['From'] = sender
    msg['To'] = receiver

    with smtplib.SMTP('smtp.example.com', 587) as smtp:
        smtp.ehlo()
        smtp.starttls()
        smtp.login('username', 'password')
        smtp.send_message(msg)

비동기 함수 내에서 전송된 결과를 이메일로 보내는 예제 코드를 작성합니다.

async def main():
    async with aiohttp.ClientSession() as session:
        html = await fetch(session, 'https://example.com')
        send_email('sender@example.com', 'receiver@example.com', '웹 크롤링 결과', html)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

결론

이제 Python의 aiohttp를 사용하여 비동기적으로 웹 크롤러 결과를 이메일로 알림을 보내는 방법을 알게 되었습니다. aiohttp는 비동기 작업을 간단하게 처리할 수 있는 강력한 도구이며, 이를 활용하여 웹 크롤링 작업을 보다 효율적으로 수행할 수 있습니다.

더 많은 정보를 원하시면, aiohttp 공식 문서를 참조하십시오.