# \#web-crawling **URL:** https://discuss.pytorch.kr/tag/web-crawling/7340.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [WaterCrawl: 웹 콘텐츠를 LLM이 바로 쓰는 데이터로 바꾸는 셀프호스트 크롤링 플랫폼](https://discuss.pytorch.kr/t/watercrawl-llm/10854)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 22, 2026, 11:30오후 UTC](https://discuss.pytorch.kr/t/watercrawl-llm/10854 "2026-06-22T23:30:32Z")
WaterCrawl 소개 LLM 기반 애플리케이션을 만들 때 가장 번거로운 단계 중 하나는 웹에 흩어진 정보를 모델이 읽을 수 있는 형태로 정리하는 일입니다. 일반적인 HTML 페이지에는 내비게이션 바, 광고, 푸터, 사이드바처럼 본문과 무관한 요소가 섞여 있어, 그대로 모델에 넣으면 토큰만 낭비하고 답변 품질도 떨어집니다. 직접 스크래퍼를 짜더라도 크롤링 깊이 제어, 속도 제한, 비동기 처리, 결과 저장 같은 운영 문제를 매번 다시 풀어야 합니다. WaterCrawl은 이 과정을 하나의 플랫폼으로 묶어 웹 페이지를 크롤링하고 본문만 추출해 LLM이 바로 쓸 수 있는 데이터로 변환합니다. Python, Django, Scrapy, Celery를 기반으로 동작하며, 크롤링·검색·사이트맵 생성을 REST API 하나로 제공합니다. 추출 결과는 불필요한 태그를 걷어낸 본문 텍스트나 Markdown 형태로 받을 수 있어, 검색 인덱스 구축이나 RAG 파이프라인의 입력으로 그대로 연결됩니다. WaterCrawl의 또 다른 축은 셀프호스트(self-hosted) 구조입니다. Docker Compose로 직접 띄울 수 있어 크롤링 대상과 결과 데이터를 외부 SaaS에 맡기지 않고 자체 인프라 안에서 관리할 수 있습니다. 여기에 Python, Node.js, Go, PHP용 클라이언트 SDK와 Dify, N8N 같은 AI/자동화 플랫폼 연동을 함께 제공해, 기존 워크플로우에 크롤링 단계를 끼워 넣기 쉽게 설계되어 있습니다. WaterCrawl의 크롤링 파이프라인 WaterCrawl의 동작은 크게 네 단계로 이어집니다. 대상 URL을 지정하면, 설정된 범위 안에서 페이지를 크롤링하고, 본문을 추출한 뒤, 정제된 데이터로 출력합니다. 아래 그림은 이 흐름을 한눈에 정리한 것입니다. 먼저 크롤링 단계에서는 시작 URL에서 관련 링크를 따라가되, 크롤링 깊이와 페이지 수 한도를 지정해 범위를 통제할 수 있습니다. 특정 도메인과 경로로 대상을 제한하고, 내장된 속도…