[파이썬] 파이썬을 활용한 리눅스 서버 로그 분석 스크립트

04 Sep 2023

python

리눅스 서버의 로그는 시스템의 상태를 모니터링하고 이해하는 데 매우 중요합니다. 로그 파일은 보안 이슈, 성능 문제, 잠재적인 오류와 같은 다양한 정보를 포함하고 있습니다. 하지만 로그 파일은 보통 매우 크고 복잡합니다. 이를 분석하고 필요한 정보를 추출하기 위해서는 파이썬을 사용하여 자동화된 스크립트를 작성하는 것이 유용합니다.

이 글에서는 파이썬을 사용하여 리눅스 서버 로그 파일을 분석하는 간단한 스크립트를 작성하는 방법을 알아보겠습니다.

1. 필요한 라이브러리 가져오기

파이썬에서 로그 파일을 읽고 분석하기 위해 몇 가지 라이브러리가 필요합니다. 주요 라이브러리는 다음과 같습니다.

import re  # 정규 표현식을 사용하여 로그 라인 분석
import datetime  # 날짜 및 시간 형식 변환
import pandas as pd  # 데이터 조작 및 분석

2. 로그 파일 읽기

로그 파일을 파이썬에서 읽기 위해 파일 경로를 지정하고 파일을 엽니다.

log_file = '/var/log/syslog'

with open(log_file, 'r') as file:
    log_data = file.readlines()

3. 로그 데이터 분석

이제 로그 데이터를 분석하는 단계입니다. 예를 들어, 로그 파일에서 특정 패턴을 검색하여 필요한 정보를 추출할 수 있습니다.

pattern = r'(\d{2}:\d{2}:\d{2}) (.+?) (.+?) - (.+)'

log_entries = []
for line in log_data:
    match = re.match(pattern, line)
    if match:
        time_str = match.group(1)
        log_level = match.group(2)
        log_source = match.group(3)
        log_message = match.group(4)
        
        log_time = datetime.datetime.strptime(time_str, '%H:%M:%S')
        
        entry = {'Time': log_time, 'Level': log_level, 'Source': log_source, 'Message': log_message}
        log_entries.append(entry)

4. 데이터 분석 및 시각화

이제 추출한 로그 데이터를 분석하고 시각화하여 유용한 정보를 얻을 수 있습니다. 이를 위해 pandas 라이브러리를 사용하겠습니다.

df = pd.DataFrame(log_entries)

# 로그 레벨 별로 카운트
level_counts = df['Level'].value_counts()

# 시간대별 로그 발생 빈도
hourly_counts = df['Time'].dt.hour.value_counts()

# 로그 메시지 포함 단어 분석
word_counts = df['Message'].str.split().explode().value_counts()

5. 결과 출력

분석한 결과를 출력해 봅시다.

print('로그 레벨 별 카운트:\n', level_counts)
print('시간대별 로그 발생 빈도:\n', hourly_counts)
print('로그 메시지 포함 단어 분석:\n', word_counts)

이렇게 파이썬을 사용하여 리눅스 서버 로그를 분석하는 스크립트를 작성할 수 있습니다. 이를 활용하면 로그 파일에서 필요한 정보를 추출하고 시각화하여 서버 상태를 쉽게 파악할 수 있습니다.