Tech Collection

다양한 기술 블로그를 크롤링해 ChatGPT로 자동 요약·분류하는 라이브 프로덕트로, 메모리 캐싱 최적화로 TPS 15배와 응답 시간 12배 개선을 달성했습니다.

직접 기획하고 출시해 운영 중인 제품입니다. 기술 범위와 운영 방식을 판단하는 근거로 봐주세요.

프로젝트 개요

Tech Collection은 Puppeteer 크롤러로 기술 블로그 글을 수집하고, Spring Boot 백엔드에서 OpenAI API를 활용해 요약·분류한 뒤 큐레이션 콘텐츠로 제공하는 서비스입니다. 핫 경로의 DB와 LLM 왕복을 메모리 캐싱으로 제거해 TPS를 20에서 300으로 높이고 응답 시간을 6초에서 0.5초로 줄였습니다.

실제 화면

여러 기술 블로그 글을 수집해 요약·분류 결과를 카드로 제공한 초기 제품 화면

수집 데이터가 저장·이벤트 처리·요약을 거쳐 서빙되는 초기 파이프라인 구성

캐시 적용 버전의 Cloud Run 부하 테스트에서 요청·응답 추이를 기록한 그래프

주요 도전 과제

산발적인 기술 블로그에서 필요한 정보를 찾는 비용 절감
긴 기술 글을 자동 요약하고 카테고리화
핫 요청 경로에서 LLM 호출 비용과 지연 제어
Spring Boot와 Node.js 크롤러를 결합한 파이프라인 운영

주요 성과

수집, 요약, 분류, 서빙으로 이어지는 자동화 파이프라인 구축
TPS를 20에서 300으로 개선
응답 시간을 6초에서 0.5초로 단축
GCP Cloud Run과 Eventarc 기반 이벤트 드리븐 구조 배포

사용 기술

Spring Boot 3PuppeteerOpenAI APIMySQLGCP Cloud RunCloud StorageEventarc