Scraping 이란 — 크롤링·스크래핑·파싱 개념과 장단점 정리
목차
핵심 개념 정리
| 용어 | 정의 |
|---|---|
| 크롤링 (Crawling) | 크롤러(자동화 프로그램)가 여러 웹 페이지를 탐색하며 자료를 수집·분류하는 과정 |
| 스크래핑 (Scraping) | 웹 사이트의 내용을 HTTP로 추출하여 원하는 형태로 가공하는 기술. 크롤링도 스크래핑의 일종 |
| 파싱 (Parsing) | 수집한 HTML 소스 등에서 원하는 데이터를 특정 패턴으로 추출해 의미 있는 구조(트리)로 변환하는 과정 |
스크래핑의 장점
- 자동화 — 여러 사이트에서 대용량 데이터를 간단하고 빠르게 추출 가능. 기존 수동 방식 대비 시간·노력 대폭 절감
- 비용 효율성 — 웹 스크래핑 API 등을 활용해 예산 친화적으로 운영 가능
- 투자 대비 데이터 확보 — 적은 투자로 많은 양의 데이터를 확보하여 최대한 활용 가능
- 속도 및 정확도 — 수동 작업 대비 속도와 정확도가 모두 높음
- 효과적인 데이터 관리 — 다양한 사이트에서 원하는 데이터를 선별적으로 수집 가능
스크래핑의 단점
- 웹사이트 변경 및 보호 정책 — HTML 구조가 바뀌면 크롤러가 손상되므로 정기적인 유지 보수 필요. 사이트 자체적으로 스크래핑을 차단하는 경우도 있음
- 학습 곡선 — 스크래핑 방법이 하나가 아니며(시각적 도구, API, 프레임워크 등), 어떤 방법을 쓰든 스스로 학습이 필요
스크래핑 활용 예시
- 마이데이터 API — 대출비교 서비스를 위한 API를 핀테크 기업(핀다 등)에 제공
- 소셜 미디어(SNS) 분석 — 인플루언서 트윗 내용, 좋아요·댓글 수가 많은 게시물 분석으로 인기 주제 파악
- 최저가 비교 사이트 (다나와, 네이버쇼핑) — 동일 제품의 쇼핑몰별 가격 비교 및 후기 수집으로 소비자 니즈 파악