제공 범위
- Selenium·Puppeteer 기반 동적 페이지 수집
- 수집 상태, 실패 원인, 재시도 큐 관리
- 대용량 파일 저장소와 메타데이터 분리
- 운영 로그, 수집 리포트, 관리자 확인 흐름
서비스 목록으로
Service
웹 크롤링·데이터 수집 시스템
동적 페이지, 대용량 파일, 장시간 실행 작업을 처리하는 데이터 수집 파이프라인을 구축합니다.
단순 스크래핑을 넘어 재시도, 이어받기, 상태 추적, 저장소 분리, 운영 모니터링까지 설계합니다.
기대 성과
- 이질적인 사이트 구조에 대응
- 장시간 수집 작업의 안정성 확보
- 수집 데이터 누락과 중복을 줄이는 운영 구조 마련
주요 기술
PythonSeleniumPuppeteerMySQLData Pipeline
관련 프로젝트
납품 완료
채증 시스템 크롤러
2개월간 약 19TB 동영상 데이터 수집
고객사 납품발주처가 있는 계약 건
채증 시스템 크롤러
AI 불법 콘텐츠 판별용 학습 데이터를 위해 2개월간 약 19TB 동영상을 수집한 대용량 크롤링 파이프라인입니다.
검증된 결과
2개월간 약 19TB 동영상 데이터 수집
PythonSeleniumMySQLGitData Pipeline
상태: 납품 완료
자체 프로덕트직접 기획·출시·운영
Tech Collection
다양한 기술 블로그를 크롤링해 ChatGPT로 자동 요약·분류하는 라이브 프로덕트로, 메모리 캐싱 최적화로 TPS 15배와 응답 시간 12배 개선을 달성했습니다.
검증된 결과
수집, 요약, 분류, 서빙으로 이어지는 자동화 파이프라인 구축
Spring Boot 3PuppeteerOpenAI APIMySQLGCP Cloud RunCloud Storage+1
