제공 범위
- Selenium·Puppeteer 기반 동적 페이지 수집
- 수집 상태, 실패 원인, 재시도 큐 관리
- 대용량 파일 저장소와 메타데이터 분리
- 운영 로그, 수집 리포트, 관리자 확인 흐름
서비스 목록으로
Service
웹 크롤링·데이터 수집 시스템
동적 페이지, 대용량 파일, 장시간 실행 작업을 처리하는 데이터 수집 파이프라인을 구축합니다.
단순 스크래핑을 넘어 재시도, 이어받기, 상태 추적, 저장소 분리, 운영 모니터링까지 설계합니다.
기대 성과
- 이질적인 사이트 구조에 대응
- 장시간 수집 작업의 안정성 확보
- 수집 데이터 누락과 중복을 줄이는 운영 구조 마련
주요 기술
PythonSeleniumPuppeteerMySQLData Pipeline
관련 프로젝트
납품 완료
Evidence Collection Crawler
Evidence Collection Crawler
AI 불법 콘텐츠 판별용 학습 데이터를 위해 2개월간 약 19TB 동영상을 수집한 대용량 크롤링 파이프라인입니다.
검증된 결과
2개월간 약 19TB 동영상 데이터 수집
PythonSeleniumMySQLGitData Pipeline
상태: 납품 완료
운영 중
Tech Collection
Tech Collection
다양한 기술 블로그를 크롤링해 ChatGPT로 자동 요약·분류하는 라이브 프로덕트로, 메모리 캐싱 최적화로 TPS 15배와 응답 시간 12배 개선을 달성했습니다.
검증된 결과
수집, 요약, 분류, 서빙으로 이어지는 자동화 파이프라인 구축
Spring Boot 3PuppeteerOpenAI APIMySQLGCP Cloud RunCloud Storage+1
MVNO Hub Renewal
알뜰폰허브 서비스 리뉴얼, 통신사업자 주문 연동 API, 주문 상태별 카카오 알림톡 연동을 납품하고 Oracle 쿼리를 32배 개선한 공공 SI 프로젝트입니다.
검증된 결과
외부 통신사업자 대상 실시간 주문 연동 API 납품
JavaSpringOracleRESTful APIKakao AlimTalkGit