[경험] 시스템에 불이 확, 나는 왁
가을이었다… 시작은 슬랙의 모니터링 메세지로부터… 때는 22년 10월 27일 저녁 6시, 퇴근 후 한잔 할 생각에 신나있었다. 룰루 랄라 퇴근 준비를 하며 슬랙을 돌아보다, 배치 모니터링 채널에 쌓인 오류 알림들을 확인했다. 시작은 오후 4시부터였으며, 배치 작업은 내가 확인한 6시까지 단한번의 성공 없이 모두 실패했다. 가장 최근에 배치관련 코드 수정을 했던 나의 등에 식은땀이 흘렀다. 슬랙의 에러메세지는 502 코드 외에 도움이 되는 정보는 없었다. 배치 서버는 상품 검색과 관련해 주요한 기능을 담당하기에, 바로 CTO님을 호출했다....