[python] Peewee를 사용한 로그 파일 분석

29 Nov 2023

python

로그 파일은 시스템에서 생성되는 다양한 이벤트 및 정보를 기록하는 데 사용됩니다. 이러한 로그 파일을 분석하고 원하는 정보를 추출하기 위해 데이터베이스를 사용하는 것은 매우 효과적입니다.

Peewee는 Python에서 간단하고 강력한 ORM(Object-Relational Mapping) 도구로서, 로그 파일을 분석하는 용도로 사용할 수 있습니다.

로그 파일 가져오기

먼저, 분석할 로그 파일을 가져와야 합니다. 이 예제에서는 access.log라는 이름의 로그 파일을 사용하겠습니다. Peewee를 사용하여 로그 파일을 가져오기 위해서는 다음과 같은 단계를 따르면 됩니다.

import peewee

# 로그 파일 형식을 정의
access_log_format = peewee.TextField()

# 로그 파일 모델 정의
class AccessLog(peewee.Model):
    log = peewee.TextField()

    class Meta:
        database = peewee.SqliteDatabase('logs.db')

# 로그 파일 데이터베이스 초기화
def initialize_database():
    AccessLog.create_table()

위의 코드에서 우리는 access_log_format이라는 변수로 로그 파일의 형식을 정의하였습니다. 그리고 AccessLog라는 모델을 생성하여 log이라는 필드를 가지고 있습니다. 이 모델은 후에 데이터베이스에 저장될 로그 파일 엔트리를 나타냅니다.

마지막으로, initialize_database 함수를 호출하여 데이터베이스를 초기화합니다. 데이터베이스 파일로 logs.db를 생성하고, AccessLog 모델에 해당하는 테이블을 생성합니다.

로그 파일 읽기

이제 로그 파일을 읽고 Peewee를 사용하여 데이터베이스에 저장하는 코드를 작성해보겠습니다.

# 로그 파일 읽기
def read_log_file(file_name):
    with open(file_name, 'r') as log_file:
        for line in log_file:
            log_entry = AccessLog(log=line.strip())
            log_entry.save()

read_log_file 함수는 파일 이름을 인자로 받아 해당 파일을 읽고, 각 줄마다 AccessLog 모델 객체를 생성하여 데이터베이스에 저장합니다. 이때, strip() 함수를 사용하여 줄바꿈 문자를 제거합니다.

로그 파일 분석

이제 데이터베이스에 저장된 로그 파일을 분석하는 방법을 알아보겠습니다.

# 로그 파일 분석
def analyze_logs():
    # 1. 모든 로그 엔트리 가져오기
    all_logs = AccessLog.select()

    # 2. 원하는 정보 추출하기
    for log in all_logs:
        # 로그 파일의 각 필드는 access_log_format에 따라 파싱 가능
        fields = log.log.split(' ')
        # 필요한 필드 추출
        ip_address = fields[0]
        request_url = fields[6]
        response_code = fields[8]

        # 추출한 정보 사용하여 원하는 작업 수행
        # ...

    # 3. 분석 결과 리포트 출력 및 저장
    # ...

# 실행
if __name__ == "__main__":
    initialize_database()
    read_log_file('access.log')
    analyze_logs()

analyze_logs 함수에서는 다음과 같은 단계를 따릅니다.

데이터베이스에서 모든 로그 엔트리를 가져옵니다.
각 로그 엔트리에서 필요한 정보를 추출합니다. 로그 파일은 access_log_format에 따라 파싱 가능하며, 필요한 필드는 해당 위치에 있는 값으로 추출합니다. 추출한 정보를 사용하여 원하는 작업을 수행합니다.
분석 결과 리포트를 출력하거나 저장합니다.

결론

위에서 설명한 것처럼 Peewee를 사용하여 로그 파일을 분석하는 것은 매우 간편하고 유용합니다. Peewee는 데이터베이스 작업을 추상화하여 개발자가 더 쉽게 로그 파일을 처리할 수 있도록 도와줍니다. 이를 통해 로그 파일의 정보를 효율적으로 활용하여 시스템 상태를 조사하거나 문제를 해결하는 데 도움을 줄 수 있습니다.