최근 작성한 글을 SNS 플랫폼으로 자동 전송하는 자동발행 파이프라인을 점검하던 중 이상한 현상을 발견했다. IssueLog와 KidStory 관련 포스팅이 Threads에 업로드될 때 간헐적으로 이미지가 빠진 채 링크 가드로만 노출되는 문제였다.
처음에는 단순히 일시적인 네트워크 오류라고 생각했으나, 발생 빈도가 늘어나면서 자동발행 로직 내부를 직접 디버깅해 보기로 했다.
og:image 크롤링 의존의 한계와 문제 파악
기존 코드의 postToThreads() 함수를 분석해 보니 게시글을 보낼 때 media_type을 TEXT로 지정하고 link_attachment 항목에 URL만 넘겨주는 구조였다. 이 방식은 og:image 크롤링 의존도가 커서 Threads 크롤러가 해당 페이지의 Open Graph 태그를 정상적으로 긁어와야만 이미지가 표시된다.
크롤러 동작과 이미지 URL을 추적한 결과 메인 원인을 찾을 수 있었다. og:image에 설정된 주소가 구글 드라이브의 비공식 프리뷰 엔드포인트였고, 크롤러 봇 트래픽이 발생할 때 간헐적으로 403 Forbidden 에러가 반환되고 있었다.
이를 해결하기 위해 1차로 og:image 태그를 직접 파싱 및 검증한 후 Threads API media_type IMAGE 형태로 이미지를 직접 넘기도록 코드를 수정했다. 봇의 스크랩 결과에 맡기지 않고 이미지 주소를 직접 전달하면 누락 현상이 사라질 것으로 기대했다.
배포 직후 만난 UrlFetchApp 429 대응과 2차 난관
그러나 수정 코드를 배포하자마자 예상치 못한 2차 문제가 연이어 발생했다. 게시글의 원본 페이지를 다시 가져와 파싱하는 과정에서 연속적인 요청이 들어가자 UrlFetchApp 429 대응 한계에 부딪힌 것이다.
Too Many Requests 에러가 발생하면서 페이지 재fetch 자체가 실패했고, 결과적으로 자동발행 프로세스 전체가 멈춰버리는 상황이 되었다. og:image 크롤링 의존 방식을 피하려다가 또 다른 네트워크 호출 병목을 만든 셈이었다.
추가적인 HTTP 요청을 계속 보내는 방식은 API 호출 제한이나 할당량 문제에 매우 취약하다는 점을 깨닫고 구조 자체를 다시 돌아보게 되었다.
Blogger API 이미지 URL 재사용을 통한 최적화
해결책은 아주 가까운 곳에 있었다. 자동발행 파이프라인의 시작점인 Blogger API 응답 객체를 다시 확인해 보니, 이미 처리된 데이터 안에 images 필드가 기본적으로 포함되어 있었다.
불필요한 외부 웹페이지 Fetch 작업을 전부 제거하고 Blogger API 이미지 URL 재사용 방식으로 전환했다. 이미 메모리에 들어와 있는 API 응답 데이터를 그대로 활용하여 Threads API media_type IMAGE 요청 파라미터에 넘겨주었다.
추가적인 네트워크 요청이 없어지면서 자연스럽게 UrlFetchApp 429 대응 걱정도 사라졌다. 결과적으로 Threads 자동발행 시 이미지가 깔끔하게 포함되어 올려지는 것을 확인할 수 있었다.
결론 및 느낀 점
이번 디버깅과 개선을 통해 외부 크롤러나 추가 네트워크 요청에 의존하기보다 이미 확보한 API 데이터를 활용하는 것이 훨씬 안전하다는 교훈을 얻었다. 불필요한 Fetch 호출을 줄이는 것만으로도 시스템 안정성을 크게 높일 수 있었다.
혹시 유사한 자동발행 시스템을 구축하면서 이미지 노출 실패나 호출 제한 문제를 겪고 있다면, 별도 파싱 대신 기존 API 응답값을 적극 재활용해 직접 이미지 파라미터를 넘겨주는 구조를 검토해 보길 추천한다.