원격지 일본 IDC에서 운영하는 물리 서버가 OS 동결이나 커널 락업으로 무응답 상태에 빠졌을 때, IPMI Watchdog과 Linux 커널 모듈을 연동하여 시스템을 자동으로 재부팅하고 복구하는 기술적 절차를 안내합니다.
해외 리전에 위치한 물리 서버를 원격으로 운영할 때 가장 까다로운 장애 상황 중 하나는 서버의 운영체제(OS)가 완전히 정지하여 원격 접속(SSH)은 물론 통신 자체가 불가능해지는 커널 락업(Kernel Lockup) 및 시스템 동결(Hang) 현상입니다. 현장에 운용 인력이 바로 투입되기 어려운 환경에서는 엔지니어가 장애를 인지하고 Out-of-Band(IPMI/iLO/iDRAC) 콘솔에 접속하여 전원 리셋을 수행하기까지 수십 분 이상의 서비스 중단 시간이 발생할 수 있습니다.
이러한 원격지 인프라 관리의 한계를 극복하기 위해 물리 서버의 하드웨어 타이머인 Hardware Watchdog과 IPMI(Intelligent Platform Management Interface)를 연동하는 제어 체계가 활용됩니다. OS 커널이 주기적으로 하드웨어 타이머를 갱신(Ping)하고, 지정된 시간 동안 응답이 없으면 BMC(Baseboard Management Controller)가 하드웨어 차원에서 서버를 강제 재부팅하도록 설정함으로써 관제 인력의 개입 없이도 초동 조치를 자동화할 수 있습니다.
일본 IDC 원격 서버 운영 중 발생하는 무응답 장애와 자동 복구의 필요성
물리 서버 운영 중 메모리 고갈, 드라이버 버그, 커널 소프트 락업 또는 하드웨어 버스 에러 등으로 인해 시스템이 완전히 멈추는 상황이 발생할 수 있습니다. 가상화 환경이나 퍼블릭 클라우드의 경우 하이퍼바이저 수준에서 이상 상태를 감지하여 VM을 재시작하는 메커니즘이 존재하지만, 베어메탈 물리 서버는 OS 커널이 정지하면 스스로 상태를 복구하지 못합니다.
한국 본사에서 일본 데이터센터의 서버 인프라를 운영하는 구조에서는 장애 발생 시 다음과 같은 과제가 수반됩니다.
- 접속 불가 상태 인지 지연: 단순 핑(Ping) 미응답 장애 알림을 수신한 후 엔지니어가 원인 파악 및 IPMI 콘솔 접근을 시도하기까지 물리적 시간이 소요됩니다.
- 원격 제어 명령 실패 위험: OS 수준의 소프트웨어 셧다운 명령이 작동하지 않으므로 전원 리셋 명령(Cold Reset)을 수동으로 내보내야 합니다.
- 장애 복구 목표 시간(RTO) 증가: 수동 대응 절차에 의존할수록 야간이나 휴일 장애 대응 시간이 길어질 가능성이 존재합니다.
따라서 물리 서버 자원을 활용할 때는 IPMI 기반 하드웨어 워치독(Hardware Watchdog)을 하드웨어 레이어와 OS 커널 레이어 사이에 구성하여, OS 무응답 상태를 시스템 스스로 판단하고 재부팅을 유도하는 방안을 고려해야 합니다.
Hardware Watchdog과 IPMI Watchdog Timer의 작동 원리
IPMI Watchdog은 서버 메인보드의 BMC에 내장된 독립적인 하드웨어 카운트다운 타이머를 기반으로 동작합니다. 운영체제 내에서 동작하는 워치독 데몬(Watchdog Daemon)은 일정 주기마다 BMC 타이머를 초기화(Keep-alive)하는 신호를 전송합니다.
정상적인 상황에서는 타이머 카운트다운이 0에 도달하기 전에 OS가 타이머를 다시 연장하므로 아무런 동작도 일어나지 않습니다. 하지만 커널이 멈추거나 프로세스 스케줄링이 완전히 정지되면 OS가 BMC로 타이머 갱신 신호를 보내지 못하게 됩니다. 카운트다운이 0에 도달하면 BMC는 설정된 조치(Hard Reset, Power Cycle, Power Off 등)를 하드웨어 수준에서 직접 실행합니다.
주요 조치 단계는 다음과 같이 나뉩니다.
- Pre-Timeout Interrupt: 카운트다운이 만료되기 직전, NMI(Non-Maskable Interrupt)나 SMI를 발생시켜 커널 덤프(Crash Dump)를 남기도록 시도합니다.
- Timeout Action: 카운트다운이 0이 되는 순간 실행할 동작으로, 실무 환경에서는 통상 Hard Reset 또는 Power Cycle을 지정합니다.
Linux OS 내 ipmi_watchdog 커널 모듈 및 대몬 설정 절차
Linux 환경에서 IPMI Watchdog을 활성화하기 위해서는 커널 드라이버 모듈을 로드하고 관련 파라미터를 튜닝해야 합니다.
1. IPMI 커널 모듈 로드 및 파라미터 설정
IPMI 장치 제어를 위한 기본 모듈인 ipmi_devintf, ipmi_si, ipmi_msghandler와 함께 ipmi_watchdog 모듈을 로드합니다.
/etc/modprobe.d/ipmi_watchdog.conf 파일에 아래와 같이 모듈 모드를 정의합니다.
options ipmi_watchdog action=reset timeout=60 pretimeout=10 preaction=pre_nmi panic_action=reset
각 파라미터의 의미는 다음과 같습니다.
- action=reset: 타이머 만료 시 하드웨어 콜드 리셋을 수행합니다.
- timeout=60: 타임아웃 주기를 60초로 설정합니다. 운영 환경에 따라 적절한 주기를 선택할 수 있습니다.
- pretimeout=10: 타임아웃 10초 전에 비상 인터럽트를 발생시킵니다.
- panic_action=reset: 커널 패닉 발생 시 하드웨어 리셋을 유도합니다.
2. 시스템 부팅 시 모듈 자동 로드 구성
/etc/modules-load.d/ipmi_watchdog.conf 파일에 모듈명을 추가하여 부팅 과정에서 자동 활성화되도록 설정합니다.
ipmi_msghandler
ipmi_si
ipmi_devintf
ipmi_watchdog
3. Watchdog 서비스 데몬 설치 및 튜닝
커널 모듈이 로드된 후, periodic keep-alive 패킷을 BMC로 전달할 워치독 서비스 데몬(watchdog 패키지)을 설치하고 /etc/watchdog.conf 설정을 조정합니다.
watchdog-device = /dev/watchdog
watchdog-timeout = 60
realtime = yes
priority = 1
설정 완료 후 systemctl enable --now watchdog 명령을 통해 서비스를 활성화합니다.
Watchdog 동작 검증 및 커널 커밋 지연 테스트 절차
Watchdog 체계를 상용 환경에 적용하기 전에는 검증 환경에서 실제로 OS 락업 상황을 모의 실험하여 하드웨어 재부팅이 정상적으로 일어나는지 검증해야 합니다.
주요 검증 절차는 다음과 같습니다.
- IPMI 센서 및 타이머 상태 확인:
ipmitool mc watchdog get명령을 실행하여 현재 Watchdog Timer가 활성화(Started) 상태인지, Timeout Action이 Reset으로 지정되어 있는지 점검합니다. - Watchdog 데몬 비정상 정지 테스트: 워치독 데몬 프로세스만 강제 종료(SIGKILL)했을 때 systemd에 의해 즉시 재시작되는지 또는 타임아웃 후 재부팅되는지 확인합니다.
- Kernel SysRq 모의 락업 테스트: Linux SysRq 기능을 활용하여 의도적으로 커널 소프트 락업 또는 패닉을 유발합니다. (
echo c > /proc/sysrq-trigger또는echo b > /proc/sysrq-trigger) - BMC 로그(SEL) 검증: 재부팅 완료 후 IPMI System Event Log(
ipmitool sel list)를 확인하여 Watchdog Timer Expiration 항목이 기록되었는지 검증합니다.
실무 적용 체크리스트 및 HARU IDC 물리 서버 운용 관점
안정적인 물리 서버 운용을 위해 Watchdog 구축 시 점검해야 할 요소들을 표로 정리하였습니다.
| 구분 | 점검 항목 | 권장 설정 및 실무 가이드 | 비고 |
|---|---|---|---|
| 하드웨어/BMC | IPMI Firmware & BMC 통신 상태 | BMC 펌웨어를 최신화하고 Dedicated Management Port 구성 확인 | IPMI 접근 경로 이중화 |
| 커널 모듈 | ipmi_watchdog 로드 여부 | 부팅 시 모듈 자동 로드 및 /dev/watchdog 디바이스 생성 검증 |
OS 업데이트 후 모듈 재확인 |
| 타임아웃 주기 | Timeout 값 설정 (초) | 시스템 워크로드에 맞춰 너무 짧지 않게(예: 30초~120초) 산정 | I/O 부하 시 오작동 방지 |
| 이벤트 로그 | IPMI SEL(System Event Log) 모니터링 | Watchdog 트리거 발생 시 Logrotate 및 외부 Syslog 서버로 이관 | 장애 원인 사후 분석용 |
| OOB 접속 | Out-of-Band 네트워크 독립성 | 서비스 망과 분리된 별도 OOB 전용 VLAN 배치 | 보안성 확보 및 망 분리 |
HARU IDC의 전용서버 호스팅 인프라 환경에서는 고품질의 IDC 네트워크 및 Out-of-Band 원격 제어 환경을 기반으로 이러한 하드웨어 레벨의 자동 복구 메커니즘을 원활하게 탑재할 수 있도록 지원합니다. 현지 기술 인력의 직주 접근성 및 네트워크 관제 체계와 더불어, 하드웨어 Watchdog 설정을 적용해 둠으로써 무응답 장애 발생 시 서비스 중단 시간을 최소화할 수 있습니다.
무응답 장애 예방을 위한 물리 서버 워치독 운영 요약
해외 IDC에서 베어메탈 물리 서버를 운영하는 것은 뛰어난 단독 컴퓨팅 성능과 자원 독립성을 제공하지만, 소프트 락업이나 커널 파닉스 발생 시 즉각적인 현장 조치가 어렵다는 실무적 제약이 수반됩니다. IPMI Hardware Watchdog과 OS 커널 모듈을 올바르게 연동하면 다음과 같은 운용 이점을 얻을 수 있습니다.
- 관리자의 수동 전원 개입 없이 무응답 물리 서버의 자동 하드웨어 리셋 달성
- NMI 및 Pre-timeout 기능을 연동하여 장애 시점의 커널 덤프 및 로그 수집 가능성 확보
- 원격 운영 인프라의 장애 복구 목표 시간(RTO) 단축 및 시스템 가용성 향상
시스템 환경과 애플리케이션 특성에 맞춰 타이머 수치를 적절히 조정하고 사전 테스트 절차를 거친다면, 원격지 데이터센터 운영 시 물리 서버 인프라의 기술적 신뢰도를 크게 높일 수 있습니다.
기업용 VPN 구성이 필요하신가요?
고정 IP, 관리자 접근 제한, 원격 업무 환경에 맞는 VPN 구성을 안내해드립니다.