Colin's Blog
[shell] Shell 스크립트 모니터링과 장애 상황 대응 방안

대부분의 시스템은 Shell 스크립트로 구성된 자동화된 작업을 실행합니다. 하지만 실제 운영에서는 이러한 스크립트의 장애 상황에 대한 대비책이 필요합니다. 따라서 스크립트의 모니터링 및 장애 대응을 위한 방안에 대해 알아보겠습니다.

모니터링

Shell 스크립트의 실행 상태와 출력물을 모니터링하는 것은 중요합니다. 이를 위해 크게 두 가지 방법이 있습니다.

1. 로깅

스크립트 실행 중 상세한 로그를 작성하여 추후 분석하고 문제를 파악하는 데 도움이 됩니다. echo 나 logger 등을 사용하여 로그를 남기는 것이 일반적입니다.

#!/bin/bash
LOG_FILE="script.log"
echo "Starting script" >> $LOG_FILE
# 실행 내용...
echo "Script completed" >> $LOG_FILE

2. 모니터링 도구 활용

시스템의 리소스나 로그 파일의 변경 등을 모니터링하는 도구를 사용하여 스크립트의 실행 상태를 실시간으로 확인할 수 있습니다.

장애 대응

스크립트의 장애 상황에 대비하여 적절한 조치를 취할 수 있어야 합니다.

1. 경고 및 알림

스크립트가 문제를 감지하면 경고 메시지를 보내거나 이메일 등을 통해 알림을 전송하는 것이 중요합니다. mail 나 sendmail 명령어를 사용하여 경고 알림을 보낼 수 있습니다.

#!/bin/bash
# 장애 감지
if [ condition ]; then
  echo "Error: something went wrong" | mail -s "Script Error" admin@example.com
fi

2. 자동 재시도 및 복구

장애가 발생했을 때 스크립트가 자동으로 재시도하거나 복구 작업을 수행할 수 있도록 설계하는 것이 좋습니다. 이를 위해 sleep 명령어와 함께 재시도 횟수를 제한하거나, 복구 작업을 추가하는 것이 일반적입니다.

#!/bin/bash
# 장애 발생 시 자동 재시도
MAX_RETRIES=3
retries=0
while [[ $retries -lt $MAX_RETRIES ]]; do
  # 스크립트의 실행 내용
  if [ $? -eq 0 ]; then
    break
  else
    sleep 5
    retries=$((retries+1))
  fi
done

결론

Shell 스크립트의 모니터링과 장애 대응은 시스템 안정성을 유지하는 데 중요한 역할을 합니다. 로깅, 모니터링 도구의 활용, 경고 및 알림, 그리고 자동 재시도 및 복구 작업은 이러한 대응에 도움을 줄 수 있는 방안입니다. 올바른 안정성 확보를 위해 이러한 방법을 적용하는 것이 필요합니다.

참고 문헌:

© 2018 Colin. All rights reserved.