[python] aiohttp를 사용하여 비동기적으로 웹 크롤러 결과를 Slack으로 전송하기

21 Nov 2023

python

이번에는 비동기적으로 웹 크롤러 결과를 Slack으로 전송하는 방법에 대해 알아보겠습니다. 웹 크롤러는 많은 양의 데이터를 처리하기 때문에 비동기 방식으로 작성하는 것이 성능 면에서 이점이 있습니다.

aiohttp 소개

aiohttp는 Python에서 비동기 웹 서버 및 클라이언트를 구축하기 위한 라이브러리입니다. 이 라이브러리는 Python 3.5 이상에서 사용할 수 있으며, 비동기 작업을 위한 asyncio와 함께 사용됩니다.

Slack API

Slack은 팀 커뮤니케이션을 위한 인기있는 플랫폼입니다. Slack API를 사용하면 다양한 작업을 자동화하고 Slack으로 데이터를 전송할 수 있습니다. Slack API를 사용하기 위해서는 Slack 워크스페이스에서 앱을 생성하고, 액세스 토큰을 발급받아야 합니다.

코드 예시

아래는 aiohttp와 Slack API를 사용하여 웹 크롤러 결과를 Slack으로 전송하는 예시 코드입니다.

import aiohttp
import asyncio
import json

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def send_to_slack(message, webhook_url):
    async with aiohttp.ClientSession() as session:
        payload = {
            "text": message
        }
        async with session.post(webhook_url, data=json.dumps(payload)) as response:
            print(await response.text())

async def main():
    webhook_url = "https://hooks.slack.com/services/your/webhook/url"
    urls = [
        "https://example.com",
        "https://example2.com",
        # add more URLs to crawl
    ]

    async with aiohttp.ClientSession() as session:
        tasks = []
        for url in urls:
            tasks.append(fetch(session, url))
        responses = await asyncio.gather(*tasks)

    for response in responses:
        await send_to_slack(response, webhook_url)

asyncio.run(main())

위의 코드에서는 fetch 함수를 사용하여 웹페이지의 내용을 가져오고, send_to_slack 함수를 사용하여 Slack으로 메시지를 전송합니다. main 함수에서는 fetch 함수를 비동기적으로 실행하고, 결과를 Slack으로 전송하는 작업을 수행합니다.

코드를 실행하기 전에 webhook_url을 실제 유효한 Slack webhook URL로 변경해야 합니다.

결론

aiohttp와 Slack API를 사용하면 비동기적으로 웹 크롤러 결과를 Slack으로 전송할 수 있습니다. 이를 통해 큰 규모의 데이터를 효율적으로 처리하고 팀원들과 즉시 공유할 수 있습니다.