220927 디비 쪽 실수로 인해 사이트 먹통 15분 이상

갑자기 홈페이지 접속이 15분 이상 안됐다.

업무 진행이 불가함은 물론이고 회원들 접속까지 안되는 상황으로 정말 비상상황이었다.

멘붕이 와서 디비 작업자님, 개발자님, 카페 24에 모두 연락을 했고 씨지아이몰에도 해야하나 말아야 하나 하고 있는 중, 

카페 24에서 답을 주었다. 

 

디비 작업자님은 현재 지금 어떤 변화를 준 것이 없다. 운영에서 쿼리 하나 돌려본 게 있긴 한데 그건 아닌 것 같다고 했고,

개발자님은 당연히 지금 작업 하시는 것이 없으므로... 일단 디비쪽에서 돌려본 쿼리가 뭔지 확인해보라고 했다.

카페 24에서는 아래와 같은 답을 주었다.

 

 

안녕하세요.카페24 호스팅센터입니다.
 

서버 확인 시 아래와 같은 쿼리로 인하여 테이블이 locked 상태가 지속되어 사이트가 정상적으로 동작하지 못했던 것으로 확인됩니다.
부득이하게 해당 쿼리를 중단한 상태이며, 현재는 사이트 접근이 가능한 상태이오니 해당 쿼리에 대하여 먼저 검토를 해보셔야 할 것으로 보이니 이용에 참고를 부탁드리겠습니다

 

개발자님의 조언으로 어떤 시점에 lock 이 되었고, 최근에 디비 업데이트가 된 내용이 있다면 받아볼 수 있는지 물어봤다.

그에 대한 답변이 왔다.

안녕하세요.카페24 호스팅센터입니다.

정확한 시점을 확인하기 어려우나 (ip주소)  host 에서 실행된 쿼리로 영향을 받은 것으로 확인됩니다.
문의하신 시점에 processlist 를 캡춰한 부분이입니다.  이용하시는 DB에 추가적인 인덱스 추가는 하지 않은 상태이니 이점 참고를 부탁드립니다.

두둥. 확인해보니 디비 작업자님의 ip 주소였다.

이 부분을 메일로 다시 드리니 운영에서 돌렸던 쿼리가 종료된 줄 알았는데 아니어서 그게 계속 돌아가고 있었다고 죄송하다고 했다.

운영은 특히나 주의 조심해달라고 완곡하지만 강하게 말씀드렸다.

 

충격. 경력이 오래된 분도 내가 보기에도 이런 종류의 실수를 하다니.. (사실 신뢰도 무척 하락..)

그리고 약속한 기간보다 작업 기간이 더 필요하다고 양해를 구하셔서 그렇게 하기로 했다.

 

뭐랄까 ㅠㅠ 

함께 하시는 개발자님도 경력이 오래된 분이지만 간혹 개발 내용 반영을 일부 빼먹으시거나 하는 일이 있긴 한데

디비 쪽도 당연히 그럴 수 있다는 생각이 들면서도, 또 이번 디비 튜닝을 통해 개선을 많이 기대했기 때문에

이런 큰 문제가 생기니 마상....

 

이 와중에 내가 할 수 있는건 문제를 확인하고, 여기저기 문제를 확인해서 '해결해달라고' 해야 하는 부분이다보니 

무력감과 답답함도 느낀다. 개발 인력이 바로 같은 사무실에 있었다면 정말 좋았을텐데 하는 (소용없는) 아쉬움도 들고..

휴. 이번 튜닝이 무사히 진행되길.