프로젝트 개요
Tech Collection은 Puppeteer 크롤러로 기술 블로그 글을 수집하고, Spring Boot 백엔드에서 OpenAI API를 활용해 요약·분류한 뒤 큐레이션 콘텐츠로 제공하는 서비스입니다. 핫 경로의 DB와 LLM 왕복을 메모리 캐싱으로 제거해 TPS를 20에서 300으로 높이고 응답 시간을 6초에서 0.5초로 줄였습니다.
주요 도전 과제
- 산발적인 기술 블로그에서 필요한 정보를 찾는 비용 절감
- 긴 기술 글을 자동 요약하고 카테고리화
- 핫 요청 경로에서 LLM 호출 비용과 지연 제어
- Spring Boot와 Node.js 크롤러를 결합한 파이프라인 운영
주요 성과
- 수집, 요약, 분류, 서빙으로 이어지는 자동화 파이프라인 구축
- TPS를 20에서 300으로 개선
- 응답 시간을 6초에서 0.5초로 단축
- GCP Cloud Run과 Eventarc 기반 이벤트 드리븐 구조 배포
사용 기술
Spring Boot 3PuppeteerOpenAI APIMySQLGCP Cloud RunCloud StorageEventarc