# \#data-extraction
**URL:** https://discuss.pytorch.kr/tag/data-extraction/8243.md
[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)
---
## [AutoScraper: 예시 하나로 스크래핑 규칙을 학습하는 파이썬 웹 스크래퍼](https://discuss.pytorch.kr/t/autoscraper/11409)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [7월 28, 2026, 11:30오전 UTC](https://discuss.pytorch.kr/t/autoscraper/11409 "2026-07-28T11:30:44Z")
AutoScraper 소개 웹 페이지에서 원하는 데이터를 긁어오려면 보통 CSS 선택자나 XPath를 직접 찾아 코드에 박아야 합니다. 페이지 구조가 조금만 바뀌어도 선택자를 다시 손봐야 하고, 사이트마다 규칙을 새로 작성해야 하는 번거로움이 있습니다. 간단한 목록 하나를 뽑는 데도 개발자가 HTML을 열어 태그 경로를 분석하는 시간이 적지 않게 듭니다. AutoScraper는 이 과정을 뒤집어, 사람이 선택자를 지정하는 대신 원하는 결과의 예시를 주면 스크래핑 규칙을 스스로 학습하는 파이썬 라이브러리입니다. URL이나 HTML 콘텐츠와 함께 뽑고 싶은 값의 목록(wanted\_list) 을 넘기면, AutoScraper가 그 값들이 페이지 어디에 어떤 형태로 있는지 규칙을 찾아내고 비슷한 요소들을 반환합니다. 값은 텍스트, URL, 그 밖의 HTML 태그 값 무엇이든 될 수 있습니다. 한 번 학습한 스크래퍼 객체는 새로운 URL에 그대로 재사용할 수 있습니다. 즉, 예시 페이지 한 번으로 규칙을 만든 뒤 같은 구조의 다른 페이지들에서 동일한 위치의 데이터를 계속 뽑아낼 수 있습니다. 가볍고 빠른 것을 지향하며 파이썬 3과 호환됩니다. AutoScraper의 동작 방식 AutoScraper의 핵심은 "선택자를 쓰지 않고 예시로 학습한다"는 점입니다. 아래 그림은 예시 값 하나가 어떻게 전체 결과 목록으로 이어지는지 보여줍니다. 동작은 크게 두 갈래로 나뉩니다. get\_result\_similar 는 예시와 비슷한 요소를 모두 찾아 반환하고, get\_result\_exact 는 예시와 정확히 같은 위치의 요소를 반환합니다. 예를 들어 목록 페이지에서 제목 하나를 예시로 주면 비슷한 제목 전체를 얻을 수 있고, 상세 페이지에서 특정 값(가격 등) 을 예시로 주면 다른 페이지의 같은 위치 값을 정확히 가져올 수 있습니다. 여러 값을 wanted\_list에 함께 넣으면 get\_result\_exact 가 목록에 넣은 순서 그대로 데이터를 반환합니다. Au…
---
## [BigSet: 문장 하나로 웹에서 검증된 데이터셋을 만들고 자동으로 갱신하는 에이전트 도구](https://discuss.pytorch.kr/t/bigset/11225)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [7월 13, 2026, 5:30오전 UTC](https://discuss.pytorch.kr/t/bigset/11225 "2026-07-13T05:30:25Z")
BigSet 소개 BigSet은 원하는 데이터를 평범한 문장으로 설명하면, 자율 에이전트가 살아 있는 웹을 조사해 검증된 구조화 데이터셋으로 만들어 주는 도구입니다. 예를 들어 "현재 엔지니어를 채용 중인 YC 회사와 그 회사의 펀딩 단계, 위치, 열려 있는 채용 공고 수" 같은 문장을 입력하면, 스키마를 자동으로 추론하고 개체를 조사·검증·중복 제거한 뒤 표 형태로 돌려줍니다. 웹에는 가격, 회사, 채용, 연구, 재고 같은 거의 모든 데이터가 수백만 페이지에 흩어져 있습니다. 스크래핑 프레임워크, 검색 API, 특정 사이트용 액터, 리드 생성 플랫폼처럼 이 문제의 일부를 잘 푸는 도구는 많지만, 여러 범주를 가로지르는 데이터가 필요해지는 순간에는 검색·추출·스키마 설계·중복 제거·검증에 최신 상태 유지를 위한 크론 작업까지 매번 직접 엮어야 합니다. 개발사 TinyFish는 BigSet이 바로 이 간극을 메운다고 설명합니다. 문장 하나가 들어가면 검증된 구조화 데이터가 나오고, 정해 둔 주기로 갱신됩니다. 한 가지 분명히 해 둘 점은, BigSet이 실험 단계(experimental) 프로젝트라는 것입니다. 개발팀은 잘 동작할 때도 있지만 거친 부분이 있을 수 있고, 공개된 상태로 빠르게 개발하며 기능이 깨지고 바뀔 수 있다고 밝히고 있습니다. BigSet은 TinyFish의 API 위에서 동작합니다. BigSet의 동작 방식 BigSet의 파이프라인은 여섯 단계로 이뤄집니다. 문장으로 설명: 원하는 데이터셋을 모호하든 구체적이든 평범한 영어(또는 자연어) 문장으로 적습니다. 스키마 추론: AI가 열 이름, 타입, 기본 키, 그리고 웹에서 어디를 봐야 하는지를 추론합니다. 오케스트레이터 에이전트: 웹 검색으로 데이터셋을 채울 개체(entity)를 찾아냅니다. 서브 에이전트 병렬 조사: 서브 에이전트들이 병렬로 퍼져 각자 하나의 개체를 조사해 실제 데이터를 가져오고, 검증한 행 하나를 표에 삽입합니다. 구조화 표: 결과를 UI에서 열람하고 …
---
## [WaterCrawl: 웹 콘텐츠를 LLM이 바로 쓰는 데이터로 바꾸는 셀프호스트 크롤링 플랫폼](https://discuss.pytorch.kr/t/watercrawl-llm/10854)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [6월 22, 2026, 11:30오후 UTC](https://discuss.pytorch.kr/t/watercrawl-llm/10854 "2026-06-22T23:30:32Z")
WaterCrawl 소개 LLM 기반 애플리케이션을 만들 때 가장 번거로운 단계 중 하나는 웹에 흩어진 정보를 모델이 읽을 수 있는 형태로 정리하는 일입니다. 일반적인 HTML 페이지에는 내비게이션 바, 광고, 푸터, 사이드바처럼 본문과 무관한 요소가 섞여 있어, 그대로 모델에 넣으면 토큰만 낭비하고 답변 품질도 떨어집니다. 직접 스크래퍼를 짜더라도 크롤링 깊이 제어, 속도 제한, 비동기 처리, 결과 저장 같은 운영 문제를 매번 다시 풀어야 합니다. WaterCrawl은 이 과정을 하나의 플랫폼으로 묶어 웹 페이지를 크롤링하고 본문만 추출해 LLM이 바로 쓸 수 있는 데이터로 변환합니다. Python, Django, Scrapy, Celery를 기반으로 동작하며, 크롤링·검색·사이트맵 생성을 REST API 하나로 제공합니다. 추출 결과는 불필요한 태그를 걷어낸 본문 텍스트나 Markdown 형태로 받을 수 있어, 검색 인덱스 구축이나 RAG 파이프라인의 입력으로 그대로 연결됩니다. WaterCrawl의 또 다른 축은 셀프호스트(self-hosted) 구조입니다. Docker Compose로 직접 띄울 수 있어 크롤링 대상과 결과 데이터를 외부 SaaS에 맡기지 않고 자체 인프라 안에서 관리할 수 있습니다. 여기에 Python, Node.js, Go, PHP용 클라이언트 SDK와 Dify, N8N 같은 AI/자동화 플랫폼 연동을 함께 제공해, 기존 워크플로우에 크롤링 단계를 끼워 넣기 쉽게 설계되어 있습니다. WaterCrawl의 크롤링 파이프라인 WaterCrawl의 동작은 크게 네 단계로 이어집니다. 대상 URL을 지정하면, 설정된 범위 안에서 페이지를 크롤링하고, 본문을 추출한 뒤, 정제된 데이터로 출력합니다. 아래 그림은 이 흐름을 한눈에 정리한 것입니다. 먼저 크롤링 단계에서는 시작 URL에서 관련 링크를 따라가되, 크롤링 깊이와 페이지 수 한도를 지정해 범위를 통제할 수 있습니다. 특정 도메인과 경로로 대상을 제한하고, 내장된 속도…