최근 마이그레이션 작업을 진행하면서 원인 불명의 기이한 정체 현상을 경험했다. 마이그레이션 스크립트는 아무 에러 없이 잘 구동되는 것처럼 보이는데, 이상하게도 이미지누락으로 남은 37건의 데이터가 며칠이 지나도 절대 줄어들지 않고 제자리를 지키고 있었던 것이다. 스크립트 실행 로그를 아무리 뜯어봐도 특별한 예외 처리에 걸린 흔적이 보이지 않아, 결국 시스템의 내부 로직을 처음부터 끝까지 역추적해 보기로 했다.
왜 37건의 이미지누락은 요지부동이었을까?
가장 먼저 구글 앱스 스크립트(GAS) 기반으로 작성된 마이그레이션 스크립트 파일인 Code_ITStory_Migration.gs의 내부를 꼼꼼하게 열어보았다. 핵심 처리 로직을 관장하는 runMigration() 함수를 분석한 결과, 큐(Queue) 처리 구조 자체에 치명적인 설계 결함이 있음을 발견할 수 있었다. 기존 로직은 대기중인 신규 작업이 단 하나라도 남아있으면 기존에 실패했던 이미지누락 건은 아예 스캔 단계에서조차 스킵해 버리는 기이한 구조였다.
즉, 신규 대기중 풀이 완전히 바닥나서 비워질 때까지 기존 실패 건들은 계속 큐의 맨 뒤로 밀리기만 하는 기아 현상이 발생하고 있었던 것이다. 대기 상태의 데이터는 실시간 혹은 주기적으로 계속 쌓이기 때문에, 결과적으로 37건의 이미지누락 항목들은 재처리될 기회를 영영 얻지 못하고 영원히 뒤로 밀리는 구조적인 문제를 겪고 있었다.
수동 처리 대신 자동화 큐 설계 우선순위 뒤집기
이 문제를 인지하고 가장 먼저 떠올린 대안은 재시도 횟수 상한선을 둔 뒤, 이를 초과하면 수동확인필요 상태로 상태값을 바꾸어 대기열에서 제외하는 방식이었다. 하지만 이는 사용자의 요구 사항과 맞지 않았다. 사용자는 수동 개입 과정을 원치 않았으며, 끝까지 자동 재시도를 유지하면서도 누락된 이미지들이 빠르게 복구되기를 강력히 원했다. 결국 상한 도달 시 수동으로 전환하는 로직을 추가하는 방법은 배제하기로 결정했다.
내가 택한 최종 해결책은 자동 재시도 기능을 완벽히 보존하면서 오직 행 탐색의 순서만 완전히 바꾸는 것이었다. 수정 작업은 단순하지만 강력했다. Code_ITStory_Migration.gs에서 수행하는 행 탐색의 우선순위를 이미지누락 상태에서 대기중 상태 순서로 완전히 뒤바꿔 주었다.
이렇게 설계 구조를 변경하면 매 실행 단계마다 스크립트가 가장 먼저 이미지누락 건을 찾아내어 처리한다. 실패했던 건이 전부 깔끔하게 해결되어 제로가 되기 전까지는 신규 대기중 건으로 넘어가지 않는다. 오로지 실패한 이미지누락 항목이 더 이상 남아있지 않을 때만 순차적으로 다음 신규 대기중 건을 처리하도록 흐름을 엄격하게 통제했다.
검증과 실전 적용 결과
코드 수정을 완료한 후, 운영 환경에 반영하기 전에 반드시 문법 오류를 사전 검증해야 했다. 로컬 터미널을 열고 node --check 명령어를 실행해 수정한 스크립트 코드에 문법적 에러가 없는지 꼼꼼하게 더블체크를 수행했다. 검증 결과 아무런 이상이 없음을 통과하고 마침내 운영 환경의 마이그레이션 스크립트에 업데이트된 코드를 적용해 보았다.
수정 사항이 배포되자마자 놀라운 변화가 생겼다. 그토록 오랜 시간 동안 요지부동이던 37건의 이미지누락 상태가 순식간에 차례대로 재처리되더니 마침내 완전히 제로가 되었다. 별도의 재시도 횟수 상한 설정이나 수동 확인 프로세스 같은 무거운 보완 로직을 일절 얹지 않고도, 오직 큐 내부의 탐색 우선순위 순서만 바꾸어 처리 지연 병목 현상을 완벽히 뿌리뽑은 것이다.
큐 설계 시 실패 항목 우선 처리의 중요성
이번 경험은 자동화 큐 설계에 있어서 작업 처리 순서가 미치는 파급효과가 얼마나 지대할 수 있는지 뼈저리게 가르쳐 주었다. 무조건 새로 들어온 대기 상태의 작업만 먼저 처리하도록 설계하면, 한 번 실패해서 걸려 넘어진 작업들은 영원히 재시도조차 받지 못하고 뒤로 밀려 대규모 병목 현상과 밀림 누적을 초래하게 된다.
따라서 자동화 시스템을 구축할 때는 언제나 실패 항목을 최우선으로 먼저 털어내는 선처리 구조를 고민해야 한다. 이번에 성공적으로 적용한 GAS 재시도 큐 우선순위 설계 기법은 향후 내가 구축하게 될 수많은 스케줄러 기반의 마이그레이션 스크립트 설계 작업에서도 변함없는 핵심 원칙이 될 것 같다.