path
Jin's Lab
코드로 실험하고 기록하는 개발 일지 · J.Lab

Jin's Lab

코드로 실험하고 기록하는 개발 일지. 커리어와 삶의 방향을 탐색하며 기록하는 공간입니다

api-pagination

RSS 자동게시 커버리지 누락, 절반의 글이 사라진 원인과 해결법

J.Lab ·
목차

    최근 블로그와 외부 채널을 연동하여 자동화 시스템을 구축하던 중 황당한 현상을 목격했다. Pinterest RSS 중복 발행 문제를 들여다보다가, KidStory 채널에 발행된 글 개수가 이상하다는 것을 눈치챘다. 분명 원본 블로그에는 총 53개의 글이 존재하고 있었는데, Pinterest에는 고작 27개만 등록되어 있었던 것이다.

    나머지 26개의 글은 도대체 어디로 증발한 것일까? 이리저리 코드를 뜯어보고 로그를 분석하는 과정에서, 자동화 파이프라인의 뼈아픈 맹점을 발견하게 되었다.

    범인은 Blogger 피드의 itemsPerPage 제한

    원인은 생각보다 허탈한 곳에 있었다. 내가 사용 중인 Blogger 공개 피드의 기본 페이지 크기가 25개로 고정되어 있었기 때문이다. API 응답을 직접 확인해 보니 'itemsPerPage: 25'라는 명확한 제한 장벽이 세워져 있었다.

    Blogger API의 itemsPerPage 제한으로 인해 일부 데이터만 전송되는 현상을 나타낸 일러스트

    그동안 작동하던 RSS 자동게시 시스템은 항상 '최근 25개'라는 좁은 창문으로만 블로그를 바라보고 있었다. 결국 25번째보다 더 오래된 글들은 애초에 감지조차 되지 않았던 것이다. 이것이 바로 원인 모를 RSS 자동게시 커버리지 누락의 실체였다.

    대량 발행 스팸 위험을 피해 우회하기

    가장 쉬운 해결책은 피드 요청 주소 뒤에 'max-results' 파라미터를 붙여 한 번에 모든 글을 노출시키는 것이었다. 하지만 이 방법은 검토 끝에 제외해야 했다. 신규 계정에서 갑자기 수십 개의 글을 한 번에 쏟아내듯 발행하면, 플랫폼 필터링 시스템에 의해 대량 발행 스팸 계정으로 오인받아 차단될 위험이 크기 때문이다.

    신규 계정 대량 발행 스팸 필터링 위험을 경고하는 보안 실드와 데이터베이스 일러스트

    안전하면서도 확실한 방법이 필요했다. 그래서 나는 Blogger JSON 피드의 페이지네이션을 활용해, 누락된 26번부터 53번까지의 글 28건에 대한 데이터를 직접 전량 수집하기로 했다. 수집한 데이터는 각 글의 제목, 이미지 주소, 링크, 그리고 최초 발행일 정보였다.

    백필 스케줄링으로 안전하게 채워넣기

    수집한 28건의 데이터를 기반으로 정교한 백필 CSV 파일을 생성했다. 하루에 한꺼번에 밀어 넣는 대신, 플랫폼에 가해질 충격을 줄이기 위해 분산 처리를 설계했다. 구체적으로는 하루에 딱 3건씩만 순차적으로 발행되도록 일정을 조율했다.

    누락된 데이터를 날짜별로 분산하여 순차 발행하는 백필 스케줄링 일러스트

    이 백필 스케줄링 계획에 맞춰 7월 28일부터 8월 6일까지 약 열흘에 걸쳐 글들이 자연스럽게 채워지도록 연동을 마쳤다. 한 번에 와르르 등록되는 스팸 필터링 위험을 완벽히 피하면서도, 누락되었던 과거의 글들을 안전하게 모두 복구해 낼 수 있었다.

    이번 경험을 통해, 공개 피드나 API를 활용한 자동화 파이프라인에서 '일부만 처리되고 나머지는 조용히 누락되는' 버그를 방지하려면 totalResults 대조 검증이 필수라는 소중한 교훈을 얻었다. 앞으로 설계할 연동 파이프라인에는 실제 처리 개수와 전체 개수를 항상 교차 검증하는 로직을 기본으로 얹어야겠다.

    api-pagination automation-error blogger-api data-backfill data-validation rss-feed
    ← 이전 글
    최근 게시물
    다음 글 →
    이전 게시물
    ≡ 글 목록으로
    소개
    path
    J.Lab

    커리어와 삶의 방향을 탐색하며
    기록하는 공간입니다

    카테고리
    403 Forbidden Error 1 429 Error 1 Ad Exchange 1 Ad Layout Guide 1 ad-slot 1 adsense 2 AdSense 2 AdSense Bot Detection 1 AdSense CTR 1 AdSense Display Issue 1 adsense-optimization 1 AI Automation 1 AI Image Generation 1 ai-automation 2 ai-book-writing 1 ai-image-generation 1 AI-Prompting 1 ai-side-hustle 1 ai-workflow 1 ai-writing 1 AIAutomation 1 AIBlogAutomation 1 AICodeLog 1 AIContentGeneration 1 AIImageGeneration 1 AIWritingErrors 1 API Automation 2 API Retry Design 1 api-automation 1 API-Deprecation 1 api-error 1 api-fallback 1 api-integration 2 api-pagination 1 api-retry-strategy 1 api-troubleshooting 1 APIDebugging 1 APIError 1 APIErrorHandling 1 APIIntegration 3 APIQuotaOptimization 1 APITokenRenewal 1 apps-script-trigger 1 AppsScript 1 appsScriptAutomation 1 AutomatedBlogging 1 automation 5 Automation 4 Automation Queue 1 Automation Scheduler 1 Automation Troubleshooting 1 automation-error 1 automation-script 1 AutomationBug 1 AutomationTroubleshooting 1 Backoff Algorithm 1 Base64 Image 1 Base64Encoding 1 batch-processing 1 BatchProcessing 1 Blog Optimization 2 blog-automation 4 blog-customization 2 blog-migration 4 blog-monetization 1 Blog-Sorting 1 blog-strategy 1 blog-theme-customization 1 blog-workflow 1 blogautomation 1 BlogAutomation 4 Blogger 13 Blogger API 2 Blogger Automation 2 Blogger SEO 1 blogger-api 4 blogger-automation 1 blogger-customization 1 blogger-error-400 1 blogger-labels 1 blogger-seo 1 blogger-theme 1 blogger-theme-debug 1 blogger-tips 1 Blogger-Tips 1 blogger-xml 1 BloggerAPI 7 BloggerAutomation 1 BloggerBypath 1 BloggerCustomization 2 BloggerFavicon 1 BloggerPermalink 1 BloggerTemplate 1 BloggerTemplateEditing 1 BloggerTheme 3 BloggerThemeCustomization 1 BloggerXMLStructure 1 Blogging-Automation 1 BloggingTools 1 BlogQuality 1 BlogSpot 1 Bug Fix 1 bug-fix 1 bug-hunting 1 BWidgetBIncludable 1 card-overlay-css 1 CardClickHandler 1 career-advice 1 CDATA 1 checklist-template 1 clamping-text 1 Claude 1 claude-ai 3 claude-code 2 ClaudeChat 1 ClaudeCode 1 CLIPTokenLimit 1 CloudflareWorkersAI 1 CNAME 1 Code Cleanup 1 Code Integration 1 code-refactoring 1 codelog 1 CodeLog 1 codeRefactoring 1 CodeStack 1 coding-log 2 comment-classification 1 config-pattern 1 Content Strategy 1 Content-Marketing 1 content-monetization 1 content-strategy 1 content-writing 1 contentsequencing 1 ContentStrategy 1 context-management 1 cost-reduction 1 CSS 1 css-axis-rotation 1 css-bug-fix 1 CSS-Debugging 1 css-fix 1 css-flexbox 1 css-layout 3 css-logo 1 css-print 1 css-troubleshooting 1 CSSLayout 1 CSSOverlay 1 Custom Domain 1 custom-theme 1 data-backfill 1 data-parsing 1 data-synchronization 1 data-validation 1 DatabaseDesign 1 DataMigration 1 DataRecovery 1 DataValidation 1 DateInjection 1 debugging 2 Debugging 5 Debugging Log 1 DebuggingLog 1 derived-state 1 detail-page-design 1 dev-journey 2 dev-log 1 Developer-Blog 1 developer-career 1 DeveloperJourney 2 DevJourney 1 DevLog 1 digital-creator 1 digital-products 2 display-none-seo 1 DOM-Inspection 1 dom-manipulation 1 Domain Migration 1 DomainMigration 1 DOMAutomation 1 duplicate-content 1 dynamic-menu 1 ebook-marketing 2 ebook-planning 1 ebook-publishing 5 editing-tips 1 Error Handling 2 error-handling 1 Error-Handling 1 ErrorHandling 2 EventDispatch 1 Execution Timeout 1 ExecutionLimit 1 exponential-backoff 1 FactChecking 1 FallbackSystem 1 FaviconEmbedding 1 Feed-API 1 filesystem 1 Flat Illustration 1 flux-model 1 FluxModel 1 FreeAIImage 1 frontend 1 Frontend 1 frontend-developer 1 frontend-layout 1 frontend-tips 1 FrontEndDev 1 FrontendTips 1 GAS 1 GAS Blogger API 1 GAS Refactoring 1 GAS Trigger 1 gas-automation 2 gas-optimization 1 gas-trigger 1 GASTimeout 1 gasTriggerManagement 1 GCP Project Linkage 1 Gemini 1 Gemini API 2 gemini-api 1 GeminiAPI 3 GeminiPrompt 1 GeminiPromptEngineering 1 getBoundingClientRect 1 github-raw-url 1 GmailRestrictions 1 Google AdSense 1 Google Apps Script 12 Google Discover 1 google-apps-script 8 Google-Apps-Script 1 google-blogger 1 googleAppsScript 1 GoogleAppsScript 12 googlesapps-script 1 GoogleSearchConsole 1 grep 1 hero-image 1 hero-image-validation 1 HTML Fix 1 HTMLCSS 1 HTMLWidgetBlogger 1 http-429 1 HuggingFace 1 HuggingFaceAPI 1 ico-generator 1 Image Optimization 1 image-automation 2 image-generation 1 image-hosting 1 image-optimization 1 image-processing 1 image-upload 1 ImageGeneration 2 ImageIntegrity 1 ImageOptimization 1 In-App Browser 1 invalid-argument 1 javascript 4 JavaScript 4 javascript-automation 1 javascript-toc 1 JavaScriptDevLog 1 JavaScriptInjection 1 jlab-codelog 1 JLabDevLog 1 json-schema 1 label-length-limit 1 lead-magnet 1 legacy-code 1 LinkedIn-API 2 LinkedIn-OAuth 1 LinkHub 1 linux 1 markdown 1 meta-description 1 MetaTags 1 Migration 1 Migration Script 1 mobile-friendly 1 Mobile-Web 1 monetization 1 Monitoring Automation 1 MultilingualSEO 1 NakedDomain 1 Negative Prompt 1 node-js 1 nodejs-automation 1 noindex-tag 1 Notion API 1 notion-api 3 notion-database 2 notion-gas-integration 1 notion-setup 1 notion-template 1 NotionAPI 3 NotionAutomation 1 notionintegration 1 NotionIntegration 1 OAuth Scope 1 OpenGraph 1 padding-overlap 1 pagination 1 payload-validation 1 pdf-generation 1 pdf-publishing 1 pdf-selling 1 permalink-management 1 PersonaDesign 1 pil-image-processing 1 Pinterest 2 PinterestAutomation 1 PipelineFix 1 playwright 1 Pollinations 1 Pollinations Flux 1 pollinations-ai 1 pollinations-api 2 PollinationsAI 1 PositionAbsolute 1 post-queue 1 productivity-tools 1 Prompt Design 1 Prompt Engineering 1 prompt-engineering 3 Prompt-Engineering 1 prompt-validation 1 PromptEngineering 3 Publishing Flow 1 publishorder 1 python-favicon 1 python-markdown 1 python-pil 2 python-scripting 1 Queue Design 1 queue-pattern 1 queue-stuck 1 RandomDelay 1 rate-limiting 1 react 1 React 1 Refactoring 1 Resource Exhausted 1 responsive-ads 1 responsive-design 4 ResponsiveCSS 1 ResponsiveDesign 1 retrospective 1 rfc3339 2 Robots Meta Tag 1 RSS Feed 1 rss-feed 1 RSSProxy 2 SAXParseException 1 Script Authorization 1 scriptNotFound 1 SDXL 1 Search Engine Optimization 2 Search-Engine-Optimization 1 SearchConsole 1 Self Rescheduling Trigger 1 SEO 2 SEO Tips 1 seo-optimization 5 SEO-Optimization 1 SEOOptimization 2 seriesmanagement 1 serverless-automation 1 sessionstart-hook 1 shell-script 1 Side Ad Duplication 1 side-income 1 side-project 1 SidebarLinks 1 SNSMarketing 1 Social-Media-Automation 2 SocialSharing 1 state-management 1 StaticWebPage 1 sub-agent 1 SVG Icon 1 svg-mask 1 SVGIcon 1 Synchronization 1 table-of-contents 1 tech-blogging 1 TechJournal 1 TechVibe 1 Template 1 TextSanitization 1 threads-api 2 Threads-API-Comparison 1 ThreadsAPI 3 time-driven-trigger 1 Tistory 2 tistory-customization 1 tistory-migration 1 tistory-skin 1 tistory-theming 1 tistory-tips 1 TOC Ad Placement 1 token-optimization 1 TranslationAPI 1 transparent-favicon 1 triggerCleanup 1 troubleshooting 2 Troubleshooting 2 typesetting 1 ui-optimization 1 unzip 1 URL Slug 1 UrlFetchApp 1 usememo 1 UTF8Encoding 1 vanilla-js 1 Web Development 2 Web Publishing 2 Web Security 1 web-development 7 Web-Development 2 web-development-log 1 web-development-tips 1 web-layout 1 Web-Layout 1 web-performance 1 web-publisher 1 web-scraping 1 WebAccessibility 1 WebAutomation 1 WebDebugging 1 WebDesign 2 WebDevelopment 10 WebDevelopmentTips 1 WebDevJourney 1 WebMigration 1 windows 1 windows-task-scheduler 2 WorkAutomation 1 workflow-automation 1 WorkflowAutomation 1 writing-process 1 XHTML 1 XMLCustomization 1 XMLParser 1 XMLSpecialCharacters 1 XMLTheme 1 z-index-issue 1 zip 1
    인기 글
    GAS에서 Blogger API 403 오류 완전 정복 — appsscript.json 스코프와 GCP 프로젝트 연결
    GAS에서 Blogger API 403 오류 완전 정복 — appsscript.json 스코프와 GCP 프로젝트 연결
    GAS 트리거 방치했다가 오류 폭탄 맞은 이야기 — 함수명 바꿀 때 트리거도 꼭 같이 정리하세요
    GAS 트리거 방치했다가 오류 폭탄 맞은 이야기 — 함수명 바꿀 때 트리거도 꼭 같이 정리하세요
    Notion API page_size 함정 — 우선순위 항목이 조회에서 빠지는 이유와 해결법
    Notion API page_size 함정 — 우선순위 항목이 조회에서 빠지는 이유와 해결법
    다른 블로그
    IssueLog
    IssueLog
    issuelog.jinbytes.com
    KidStory
    KidStory
    kidstory.jinbytes.com
    IT Story
    IT Story
    jinbytes.com
    이야기하는 밤
    이야기하는 밤
    story.jinbytes.com
    [eBook] 개발자로 살아간다는 것
    [eBook] 개발자로 살아간다는 것
    유료 전자책
    [eBook] FE 실무 디테일
    [eBook] FE 실무 디테일
    유료 전자책
    [미니북] FE 실무 디테일
    [미니북] FE 실무 디테일
    무료 미니북
    © Jin's Lab · J.Lab · All Rights Reserved
    jinbytes.com · Powered by Blogger