가용성/2025년 12월 7일부터 11일까지의 사고

2025-12-07 07:00부터 2025-12-11 02:00까지 · 그 달의 가용성

12월 7일 07시부터 11일 02시까지 91시간 동안 사이트가 응답하지 않았습니다. 원인은 확인하지 못했습니다. 돌아올 때 배포나 설정 변경은 없었고, 손으로 재시작했거나 저절로 풀린 것으로 보입니다.

남아 있는 기록으로 확인되는 사실은 다음과 같습니다.

• 서버 자체는 살아 있었습니다. EC2 상태 검사는 한 번도 실패하지 않았고 재시작도 없었습니다.
• 사고 직전 몇 시간 동안 앱 서버의 CPU 사용률이 75%로 고정돼 있었고, CPU 크레딧 잔액은 0이었습니다. 사고 9시간 뒤 40%로, 이틀 뒤 12%로 떨어졌고 들어오는 트래픽도 3분의 1로 줄었습니다. 서버는 멀쩡한데 응용 프로그램이 응답을 멈춘 모양입니다.
• 복구 시점에 배포나 설정 변경 기록이 없습니다. 손으로 재시작했거나 저절로 풀린 것으로 보입니다.
• 그 시점의 로그는 보존 기간이 지나 남아 있지 않습니다. 앞으로 로그를 더 오래 남기는 일은 femiwiki#555에서 다룹니다.