[리눅스] 모니터링 알람 설정

21 Dec 2023

리눅스

리눅스 시스템에서 감시 및 모니터링을 수행하는 동안 성능 문제나 장애 상황 발생 시 팀 멤버들에게 신속하게 알릴 수 있는 알람 설정이 중요합니다.

모니터링 알람을 설정하기 위해 Prometheus와 Grafana를 사용하는 방법이 효과적입니다. 이 두 가지 도구는 서버 성능 및 운영 상태에 대한 실시간 데이터를 제공하고, 임계값을 초과할 경우 알람을 트리거하도록 구성할 수 있습니다.

Prometheus 및 Grafana 설치와 구성

먼저, Prometheus를 설치하고 설정합니다. prometheus.yml 파일을 수정하여 감시할 대상을 정의하고, 알람 규칙을 설정할 수 있습니다.

global:
  scrape_interval: 15s
  evaluation_interval: 15s

rule_files:
  - "alert.rules"

scrape_configs:
  - job_name: 'node'
    static_configs:
      - targets: ['localhost:9100']

이어서 Grafana를 설치하고 Prometheus를 데이터 원본으로 추가합니다. 그런 다음 Grafana 대시보드를 통해 시스템 성능 또는 운영 상태에 대한 시각적인 표현을 생성합니다.

알람 규칙 설정

alert.rules 파일을 생성하여 알람 규칙을 정의합니다. 예를 들어, CPU 사용률이 90%를 초과한 경우 알람을 트리거하도록 설정할 수 있습니다.

groups:
- name: example
  rules:
  - alert: HighCPUUsage
    expr: node_cpu_seconds_total / ignoring(cpu) node_cpu_seconds_total > 0.9
    for: 1m
    labels:
      severity: critical
    annotations:
      summary: "High CPU usage detected"
      description: "CPU usage is above 90% for 1 minute."

알람 통지 설정

마지막으로 Alertmanager를 사용하여 알람을 메일, Slack 등을 통해 팀 멤버들에게 통지할 수 있습니다.

global:
  resolve_timeout: 5m

route:
  group_by: ['severity']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 3h
  receiver: 'team-notifications'

receivers:
- name: 'team-notifications'
  email_configs:
  - to: 'team@example.com'
    from: 'alertmanager@example.com'
    smarthost: 'smtp.example.com:587'
    auth_username: 'user'
    auth_identity: 'alertmanager@example.com'
    auth_password: 'password'

위의 설정을 통해 시스템 성능 및 상태에 대한 알람을 설정하고, 팀 멤버들에게 즉각적으로 알릴 수 있습니다.

참고 문헌:

Prometheus 공식 문서: https://prometheus.io/docs/
Grafana 공식 문서: https://grafana.com/docs/
Alertmanager 공식 문서: https://prometheus.io/docs/alerting/alertmanager/

이러한 시스템 모니터링 및 알람 설정을 통해 신속하게 대응하여 시스템 장애 및 성능 문제를 최소화할 수 있습니다.