최근 블로그와 외부 채널을 연동하여 자동화 시스템을 구축하던 중 황당한 현상을 목격했다. Pinterest RSS 중복 발행 문제를 들여다보다가, KidStory 채널에 발행된 글 개수가 이상하다는 것을 눈치챘다. 분명 원본 블로그에는 총 53개의 글이 존재하고 있었는데, Pinterest에는 고작 27개만 등록되어 있었던 것이다.
나머지 26개의 글은 도대체 어디로 증발한 것일까? 이리저리 코드를 뜯어보고 로그를 분석하는 과정에서, 자동화 파이프라인의 뼈아픈 맹점을 발견하게 되었다.
범인은 Blogger 피드의 itemsPerPage 제한
원인은 생각보다 허탈한 곳에 있었다. 내가 사용 중인 Blogger 공개 피드의 기본 페이지 크기가 25개로 고정되어 있었기 때문이다. API 응답을 직접 확인해 보니 'itemsPerPage: 25'라는 명확한 제한 장벽이 세워져 있었다.
그동안 작동하던 RSS 자동게시 시스템은 항상 '최근 25개'라는 좁은 창문으로만 블로그를 바라보고 있었다. 결국 25번째보다 더 오래된 글들은 애초에 감지조차 되지 않았던 것이다. 이것이 바로 원인 모를 RSS 자동게시 커버리지 누락의 실체였다.
대량 발행 스팸 위험을 피해 우회하기
가장 쉬운 해결책은 피드 요청 주소 뒤에 'max-results' 파라미터를 붙여 한 번에 모든 글을 노출시키는 것이었다. 하지만 이 방법은 검토 끝에 제외해야 했다. 신규 계정에서 갑자기 수십 개의 글을 한 번에 쏟아내듯 발행하면, 플랫폼 필터링 시스템에 의해 대량 발행 스팸 계정으로 오인받아 차단될 위험이 크기 때문이다.
안전하면서도 확실한 방법이 필요했다. 그래서 나는 Blogger JSON 피드의 페이지네이션을 활용해, 누락된 26번부터 53번까지의 글 28건에 대한 데이터를 직접 전량 수집하기로 했다. 수집한 데이터는 각 글의 제목, 이미지 주소, 링크, 그리고 최초 발행일 정보였다.
백필 스케줄링으로 안전하게 채워넣기
수집한 28건의 데이터를 기반으로 정교한 백필 CSV 파일을 생성했다. 하루에 한꺼번에 밀어 넣는 대신, 플랫폼에 가해질 충격을 줄이기 위해 분산 처리를 설계했다. 구체적으로는 하루에 딱 3건씩만 순차적으로 발행되도록 일정을 조율했다.
이 백필 스케줄링 계획에 맞춰 7월 28일부터 8월 6일까지 약 열흘에 걸쳐 글들이 자연스럽게 채워지도록 연동을 마쳤다. 한 번에 와르르 등록되는 스팸 필터링 위험을 완벽히 피하면서도, 누락되었던 과거의 글들을 안전하게 모두 복구해 낼 수 있었다.
이번 경험을 통해, 공개 피드나 API를 활용한 자동화 파이프라인에서 '일부만 처리되고 나머지는 조용히 누락되는' 버그를 방지하려면 totalResults 대조 검증이 필수라는 소중한 교훈을 얻었다. 앞으로 설계할 연동 파이프라인에는 실제 처리 개수와 전체 개수를 항상 교차 검증하는 로직을 기본으로 얹어야겠다.