path
Jin's Lab
코드로 실험하고 기록하는 개발 일지 · J.Lab

Jin's Lab

코드로 실험하고 기록하는 개발 일지. 커리어와 삶의 방향을 탐색하며 기록하는 공간입니다

api-integration

Apps Script 6분 실행 제한 우회하는 큐 패턴 배치 처리 기법

J.Lab ·
목차

    최근 블로그의 이미지 정책을 본문 내 대표 이미지 1장만 사용하는 방식으로 대대적으로 수정하기로 마음먹었다. 하지만 이미 발행된 기존의 수많은 글 속 이미지들을 일일이 수작업으로 교체하는 것은 상상만 해도 눈앞이 캄캄해지는 작업이었다.

    단순한 단순 노동을 피하기 위해 자동화 코드를 짜서 일괄 처리하려 했으나, 구글 플랫폼 특유의 강력한 제약 조건이 발목을 잡았다. 이 글에서는 내가 직접 삽질을 거듭하며 어떻게 이 제한 사항을 극복하고 자동 교체 작업을 성공적으로 완료했는지 그 과정을 공유해 본다.

    수작업에서 Pollinations 이미지 생성 자동화로

    예전에는 글에 필요한 이미지들을 미리 제작하여 GitHub 레포지토리에 수작업으로 업로드한 뒤 꺼내 쓰는 구조를 채택하고 있었다. 이 방식은 사전에 준비해 둔 38장의 한정된 이미지 템플릿(KIDSTORY_HERO_SLUGS) 안에서만 교체해야 한다는 치명적인 한계가 존재했다.

    새로운 정책을 원활하게 적용하기 위해, 이번에는 글 제목에서 프롬프트를 동적으로 추출하는 generateHeroPromptFromTitle 함수를 새로 개발했다. 여기에 Pollinations 이미지 생성 API를 실시간 연동하는 replaceKidStoryImagesWithPollinations 함수를 덧붙여 사전 이미지 준비가 전혀 필요 없는 완전히 독립적이고 자기지속적인 시스템을 완성했다.

    큐 데이터베이스와 데이터 블록의 이동을 표현한 네이비 및 실버 톤의 아이소메트릭 일러스트

    이제 글 제목만 넘겨주면 그에 알맞은 고유한 대표 이미지가 즉석에서 뚝딱 만들어져 본문에 삽입되는 환상적인 구조가 펼쳐질 차례였다. 하지만 코드를 기분 좋게 실행하자마자 예상치 못한 복병이 나를 기다리고 있었다.

    동작하자마자 마주친 Apps Script 6분 실행 제한

    야심 차게 개발한 통합 실행 코드를 전체 발행 글에 적용하여 작동시키는 순간, 익숙하지만 마주하고 싶지 않았던 에러 메시지가 화면을 가득 채웠다. 바로 일반 Gmail 계정 기준으로 단 6분이라는 시간 제약을 가지는 Apps Script 6분 실행 제한 정책 때문이었다.

    수십 개에서 수백 개에 달하는 기존 포스트를 돌면서 실시간으로 이미지를 생성하고 본문 내용을 가공하여 다시 저장하는 과정은 6분 안에 끝내기에 턱없이 무겁고 버거운 작업이었다. 한 번에 모든 데이터를 해결하려고 덤볐던 무식한 첫 시도는 처참한 타임아웃 실패로 끝이 났다.

    6분 시간 제한과 타임아웃 경고를 모던하게 형상화한 디지털 일러스트

    중간에 실행이 멈춰버리니 어떤 글까지 이미지가 교체되었고 어떤 글이 누락되었인지 상태를 파악하기도 너무나 난감했다. 이대로는 도저히 전체 작업을 완료할 수 없겠다는 직감이 들어 아키텍처 자체를 완전히 새로 구성해야 했다.

    돌파구: 큐 패턴 기반의 GAS 배치 처리 구현

    플랫폼의 물리적인 제약을 극복하기 위해 머리를 맞댄 끝에 찾아낸 해결책은 큐 패턴을 적용한 효율적인 GAS 배치 처리 아키텍처였다. 한 번에 욕심내어 가동하지 않고, 전체 교체 대상 목록을 안전하게 임시 보관할 큐를 빌드한 뒤 소량씩 끊어서 처리하는 방식이다.

    작업은 확실한 안정성을 담보하기 위해 철저하게 세 단계의 흐름으로 진행했다. 첫 번째 단계는 testPollinationsHeroOnePost 함수를 사용해 단 1개의 글만 먼저 샘플링 테스트하는 것이었다. 본문 코드는 건드리지 않고 Pollinations를 통해 정상적으로 이미지가 생성되고 유효한 URL이 떨어지는지 안전하게 사전 검증을 마쳤다.

    두 번째 단계에서는 buildKidStoryPolliQueue 함수를 돌려 전체 교체 대상 글 목록을 정교하게 분석한 후 작업 대기 큐 테이블에 모두 밀어 넣었다. 마지막 세 번째 단계로 replaceKidStoryImagesWithPollinations 함수를 루프로 실행해 한 번 돌 때마다 큐에서 딱 4개씩만 꺼내 배치 처리를 실행했다.

    작업 큐와 반복 실행 흐름을 나타낸 깔끔한 배치 처리 시스템 아키텍처 다이어그램

    여기서 핵심은 배치 처리 중 알 수 없는 원인으로 이미지 생성이나 갱신에 실패한 항목이 발생하면, 이를 완전히 버리지 않고 큐의 맨 뒤로 다시 밀어 넣는 재시도 로직을 탑재한 것이다. 덕분에 다음 실행 주기에서 누락 없이 안전하게 재처리가 시도되었고, 큐가 완전히 제로가 될 때까지 무한 반복 구동하여 수백 개의 발행글을 안전하게 교체할 수 있었다.

    플랫폼 한계를 해결하고 느낀 점

    결과적으로 단 한 건의 유실이나 오류 기록 없이 모든 구형 포스트들의 대표 이미지를 최신 트렌드에 맞게 완전 자동으로 교체하는 데 성공했다. 과거 수작업으로 38장을 쩔쩔매며 올리던 시절과 비교해 보면 놀라운 생산성의 향상이다.

    아무리 까다로운 클라우드 환경의 6분 실행 제한이라도 적절한 대기열 설계와 복원력을 갖춘 큐 아키텍처를 조합하면 얼마든지 돌파할 수 있다는 소중한 교훈을 얻었다. 나처럼 무거운 데이터 마이그레이션 작업으로 인해 시간 제한 에러를 마주하고 좌절한 다른 개발자분들에게 이 방식이 좋은 영감이 되기를 바란다.

    api-integration batch-processing google-apps-script pollinations-ai queue-pattern
    ← 이전 글
    최근 게시물
    다음 글 →
    이전 게시물
    ≡ 글 목록으로
    소개
    path
    J.Lab

    커리어와 삶의 방향을 탐색하며
    기록하는 공간입니다

    카테고리
    403 Forbidden Error 1 429 Error 1 Ad Exchange 1 Ad Layout Guide 1 ad-slot 1 adsense 2 AdSense 2 AdSense Bot Detection 1 AdSense CTR 1 AdSense Display Issue 1 adsense-optimization 1 AI Automation 1 AI Image Generation 1 ai-automation 2 ai-book-writing 1 ai-image-generation 1 AI-Prompting 1 ai-side-hustle 1 ai-workflow 1 ai-writing 1 AIAutomation 1 AIBlogAutomation 1 AICodeLog 1 AIContentGeneration 1 AIImageGeneration 1 AIWritingErrors 1 API Automation 2 API Retry Design 1 api-automation 1 API-Deprecation 1 api-error 1 api-fallback 1 api-integration 2 api-pagination 1 api-retry-strategy 1 api-troubleshooting 1 APIDebugging 1 APIError 1 APIErrorHandling 1 APIIntegration 3 APIQuotaOptimization 1 APITokenRenewal 1 apps-script-trigger 1 AppsScript 1 appsScriptAutomation 1 AutomatedBlogging 1 automation 5 Automation 4 Automation Queue 1 Automation Scheduler 1 Automation Troubleshooting 1 automation-error 1 automation-script 1 AutomationBug 1 AutomationTroubleshooting 1 Backoff Algorithm 1 Base64 Image 1 Base64Encoding 1 batch-processing 1 BatchProcessing 1 Blog Optimization 2 blog-automation 4 blog-customization 2 blog-migration 4 blog-monetization 1 Blog-Sorting 1 blog-strategy 1 blog-theme-customization 1 blog-workflow 1 blogautomation 1 BlogAutomation 4 Blogger 13 Blogger API 2 Blogger Automation 2 Blogger SEO 1 blogger-api 4 blogger-automation 1 blogger-customization 1 blogger-error-400 1 blogger-labels 1 blogger-seo 1 blogger-theme 1 blogger-theme-debug 1 blogger-tips 1 Blogger-Tips 1 blogger-xml 1 BloggerAPI 7 BloggerAutomation 1 BloggerBypath 1 BloggerCustomization 2 BloggerFavicon 1 BloggerPermalink 1 BloggerTemplate 1 BloggerTemplateEditing 1 BloggerTheme 3 BloggerThemeCustomization 1 BloggerXMLStructure 1 Blogging-Automation 1 BloggingTools 1 BlogQuality 1 BlogSpot 1 Bug Fix 1 bug-fix 1 bug-hunting 1 BWidgetBIncludable 1 card-overlay-css 1 CardClickHandler 1 career-advice 1 CDATA 1 checklist-template 1 clamping-text 1 Claude 1 claude-ai 3 claude-code 2 ClaudeChat 1 ClaudeCode 1 CLIPTokenLimit 1 CloudflareWorkersAI 1 CNAME 1 Code Cleanup 1 Code Integration 1 code-refactoring 1 codelog 1 CodeLog 1 codeRefactoring 1 CodeStack 1 coding-log 2 comment-classification 1 config-pattern 1 Content Strategy 1 Content-Marketing 1 content-monetization 1 content-strategy 1 content-writing 1 contentsequencing 1 ContentStrategy 1 context-management 1 cost-reduction 1 CSS 1 css-axis-rotation 1 css-bug-fix 1 CSS-Debugging 1 css-fix 1 css-flexbox 1 css-layout 3 css-logo 1 css-print 1 css-troubleshooting 1 CSSLayout 1 CSSOverlay 1 Custom Domain 1 custom-theme 1 data-backfill 1 data-parsing 1 data-synchronization 1 data-validation 1 DatabaseDesign 1 DataMigration 1 DataRecovery 1 DataValidation 1 DateInjection 1 debugging 2 Debugging 5 Debugging Log 1 DebuggingLog 1 derived-state 1 detail-page-design 1 dev-journey 2 dev-log 1 Developer-Blog 1 developer-career 1 DeveloperJourney 2 DevJourney 1 DevLog 1 digital-creator 1 digital-products 2 display-none-seo 1 DOM-Inspection 1 dom-manipulation 1 Domain Migration 1 DomainMigration 1 DOMAutomation 1 duplicate-content 1 dynamic-menu 1 ebook-marketing 2 ebook-planning 1 ebook-publishing 5 editing-tips 1 Error Handling 2 error-handling 1 Error-Handling 1 ErrorHandling 2 EventDispatch 1 Execution Timeout 1 ExecutionLimit 1 exponential-backoff 1 FactChecking 1 FallbackSystem 1 FaviconEmbedding 1 Feed-API 1 filesystem 1 Flat Illustration 1 flux-model 1 FluxModel 1 FreeAIImage 1 frontend 1 Frontend 1 frontend-developer 1 frontend-layout 1 frontend-tips 1 FrontEndDev 1 FrontendTips 1 GAS 1 GAS Blogger API 1 GAS Refactoring 1 GAS Trigger 1 gas-automation 2 gas-optimization 1 gas-trigger 1 GASTimeout 1 gasTriggerManagement 1 GCP Project Linkage 1 Gemini 1 Gemini API 2 gemini-api 1 GeminiAPI 3 GeminiPrompt 1 GeminiPromptEngineering 1 getBoundingClientRect 1 github-raw-url 1 GmailRestrictions 1 Google AdSense 1 Google Apps Script 12 Google Discover 1 google-apps-script 8 Google-Apps-Script 1 google-blogger 1 googleAppsScript 1 GoogleAppsScript 12 googlesapps-script 1 GoogleSearchConsole 1 grep 1 hero-image 1 hero-image-validation 1 HTML Fix 1 HTMLCSS 1 HTMLWidgetBlogger 1 http-429 1 HuggingFace 1 HuggingFaceAPI 1 ico-generator 1 Image Optimization 1 image-automation 2 image-generation 1 image-hosting 1 image-optimization 1 image-processing 1 image-upload 1 ImageGeneration 2 ImageIntegrity 1 ImageOptimization 1 In-App Browser 1 invalid-argument 1 javascript 4 JavaScript 4 javascript-automation 1 javascript-toc 1 JavaScriptDevLog 1 JavaScriptInjection 1 jlab-codelog 1 JLabDevLog 1 json-schema 1 label-length-limit 1 lead-magnet 1 legacy-code 1 LinkedIn-API 2 LinkedIn-OAuth 1 LinkHub 1 linux 1 markdown 1 meta-description 1 MetaTags 1 Migration 1 Migration Script 1 mobile-friendly 1 Mobile-Web 1 monetization 1 Monitoring Automation 1 MultilingualSEO 1 NakedDomain 1 Negative Prompt 1 node-js 1 nodejs-automation 1 noindex-tag 1 Notion API 1 notion-api 3 notion-database 2 notion-gas-integration 1 notion-setup 1 notion-template 1 NotionAPI 3 NotionAutomation 1 notionintegration 1 NotionIntegration 1 OAuth Scope 1 OpenGraph 1 padding-overlap 1 pagination 1 payload-validation 1 pdf-generation 1 pdf-publishing 1 pdf-selling 1 permalink-management 1 PersonaDesign 1 pil-image-processing 1 Pinterest 2 PinterestAutomation 1 PipelineFix 1 playwright 1 Pollinations 1 Pollinations Flux 1 pollinations-ai 1 pollinations-api 2 PollinationsAI 1 PositionAbsolute 1 post-queue 1 productivity-tools 1 Prompt Design 1 Prompt Engineering 1 prompt-engineering 3 Prompt-Engineering 1 prompt-validation 1 PromptEngineering 3 Publishing Flow 1 publishorder 1 python-favicon 1 python-markdown 1 python-pil 2 python-scripting 1 Queue Design 1 queue-pattern 1 queue-stuck 1 RandomDelay 1 rate-limiting 1 react 1 React 1 Refactoring 1 Resource Exhausted 1 responsive-ads 1 responsive-design 4 ResponsiveCSS 1 ResponsiveDesign 1 retrospective 1 rfc3339 2 Robots Meta Tag 1 RSS Feed 1 rss-feed 1 RSSProxy 2 SAXParseException 1 Script Authorization 1 scriptNotFound 1 SDXL 1 Search Engine Optimization 2 Search-Engine-Optimization 1 SearchConsole 1 Self Rescheduling Trigger 1 SEO 2 SEO Tips 1 seo-optimization 5 SEO-Optimization 1 SEOOptimization 2 seriesmanagement 1 serverless-automation 1 sessionstart-hook 1 shell-script 1 Side Ad Duplication 1 side-income 1 side-project 1 SidebarLinks 1 SNSMarketing 1 Social-Media-Automation 2 SocialSharing 1 state-management 1 StaticWebPage 1 sub-agent 1 SVG Icon 1 svg-mask 1 SVGIcon 1 Synchronization 1 table-of-contents 1 tech-blogging 1 TechJournal 1 TechVibe 1 Template 1 TextSanitization 1 threads-api 2 Threads-API-Comparison 1 ThreadsAPI 3 time-driven-trigger 1 Tistory 2 tistory-customization 1 tistory-migration 1 tistory-skin 1 tistory-theming 1 tistory-tips 1 TOC Ad Placement 1 token-optimization 1 TranslationAPI 1 transparent-favicon 1 triggerCleanup 1 troubleshooting 2 Troubleshooting 2 typesetting 1 ui-optimization 1 unzip 1 URL Slug 1 UrlFetchApp 1 usememo 1 UTF8Encoding 1 vanilla-js 1 Web Development 2 Web Publishing 2 Web Security 1 web-development 7 Web-Development 2 web-development-log 1 web-development-tips 1 web-layout 1 Web-Layout 1 web-performance 1 web-publisher 1 web-scraping 1 WebAccessibility 1 WebAutomation 1 WebDebugging 1 WebDesign 2 WebDevelopment 10 WebDevelopmentTips 1 WebDevJourney 1 WebMigration 1 windows 1 windows-task-scheduler 2 WorkAutomation 1 workflow-automation 1 WorkflowAutomation 1 writing-process 1 XHTML 1 XMLCustomization 1 XMLParser 1 XMLSpecialCharacters 1 XMLTheme 1 z-index-issue 1 zip 1
    인기 글
    GAS에서 Blogger API 403 오류 완전 정복 — appsscript.json 스코프와 GCP 프로젝트 연결
    GAS에서 Blogger API 403 오류 완전 정복 — appsscript.json 스코프와 GCP 프로젝트 연결
    GAS 트리거 방치했다가 오류 폭탄 맞은 이야기 — 함수명 바꿀 때 트리거도 꼭 같이 정리하세요
    GAS 트리거 방치했다가 오류 폭탄 맞은 이야기 — 함수명 바꿀 때 트리거도 꼭 같이 정리하세요
    Notion API page_size 함정 — 우선순위 항목이 조회에서 빠지는 이유와 해결법
    Notion API page_size 함정 — 우선순위 항목이 조회에서 빠지는 이유와 해결법
    다른 블로그
    IssueLog
    IssueLog
    issuelog.jinbytes.com
    KidStory
    KidStory
    kidstory.jinbytes.com
    IT Story
    IT Story
    jinbytes.com
    이야기하는 밤
    이야기하는 밤
    story.jinbytes.com
    [eBook] 개발자로 살아간다는 것
    [eBook] 개발자로 살아간다는 것
    유료 전자책
    [eBook] FE 실무 디테일
    [eBook] FE 실무 디테일
    유료 전자책
    [미니북] FE 실무 디테일
    [미니북] FE 실무 디테일
    무료 미니북
    © Jin's Lab · J.Lab · All Rights Reserved
    jinbytes.com · Powered by Blogger