BigSet: 문장 하나로 웹에서 검증된 데이터셋을 만들고 자동으로 갱신하는 에이전트 도구

9bow · 7월 13, 2026, 5:30오전

BigSet 소개

BigSet은 원하는 데이터를 평범한 문장으로 설명하면, 자율 에이전트가 살아 있는 웹을 조사해 검증된 구조화 데이터셋으로 만들어 주는 도구입니다. 예를 들어 "현재 엔지니어를 채용 중인 YC 회사와 그 회사의 펀딩 단계, 위치, 열려 있는 채용 공고 수" 같은 문장을 입력하면, 스키마를 자동으로 추론하고 개체를 조사·검증·중복 제거한 뒤 표 형태로 돌려줍니다.

웹에는 가격, 회사, 채용, 연구, 재고 같은 거의 모든 데이터가 수백만 페이지에 흩어져 있습니다. 스크래핑 프레임워크, 검색 API, 특정 사이트용 액터, 리드 생성 플랫폼처럼 이 문제의 일부를 잘 푸는 도구는 많지만, 여러 범주를 가로지르는 데이터가 필요해지는 순간에는 검색·추출·스키마 설계·중복 제거·검증에 최신 상태 유지를 위한 크론 작업까지 매번 직접 엮어야 합니다. 개발사 TinyFish는 BigSet이 바로 이 간극을 메운다고 설명합니다. 문장 하나가 들어가면 검증된 구조화 데이터가 나오고, 정해 둔 주기로 갱신됩니다.

한 가지 분명히 해 둘 점은, BigSet이 실험 단계(experimental) 프로젝트라는 것입니다. 개발팀은 잘 동작할 때도 있지만 거친 부분이 있을 수 있고, 공개된 상태로 빠르게 개발하며 기능이 깨지고 바뀔 수 있다고 밝히고 있습니다. BigSet은 TinyFish의 API 위에서 동작합니다.

BigSet의 동작 방식

BigSet의 파이프라인은 여섯 단계로 이뤄집니다.

문장으로 설명: 원하는 데이터셋을 모호하든 구체적이든 평범한 영어(또는 자연어) 문장으로 적습니다.
스키마 추론: AI가 열 이름, 타입, 기본 키, 그리고 웹에서 어디를 봐야 하는지를 추론합니다.
오케스트레이터 에이전트: 웹 검색으로 데이터셋을 채울 개체(entity)를 찾아냅니다.
서브 에이전트 병렬 조사: 서브 에이전트들이 병렬로 퍼져 각자 하나의 개체를 조사해 실제 데이터를 가져오고, 검증한 행 하나를 표에 삽입합니다.
구조화 표: 결과를 UI에서 열람하고 CSV나 XLSX로 내보냅니다.
주기적 자동 갱신: 갱신 주기를 설정하면 에이전트가 그 주기에 맞춰 다시 실행되어 데이터셋을 최신 상태로 유지합니다.

BigSet 설치 및 사용법

로컬 실행에는 npm이 포함된 Node.js 22 이상이 필요하고 Docker는 필요하지 않습니다.

npm install --global @adamexu/bigset
bigset

bigset 명령은 로컬 릴리스를 내려받아 백엔드와 프런트엔드, 로컬 자격 증명 브릿지를 띄운 뒤 앱 URL을 출력합니다. 브라우저에서 127.0.0.1:3500 을 열면 됩니다. 첫 실행 시 설정 화면에서 두 서비스를 연결하는데, 웹 검색과 페이지 가져오기를 담당하는 TinyFish와 스키마 추론·에이전트의 LLM 호출을 담당하는 OpenRouter입니다. 로컬 API 키는 운영체제 키체인에 저장됩니다.

bigset 이 실행 중이고 설정이 끝나면 터미널에서 바로 데이터셋을 만들 수 있습니다. 이 명령들은 Codex나 Claude Code 같은 에이전트도 그대로 사용할 수 있습니다.

# 생성 후 채우기가 끝날 때까지 기다렸다가 CSV로 내보내기
bigset create "fintech startups in the bay area" --rows 10 --wait --csv fintech.csv

bigset list                       # 데이터셋 목록
bigset status <datasetId>         # 상태 확인
bigset export <datasetId> --csv out.csv

--cadence manual|30m|6h|12h|daily|weekly 로 갱신 주기를 지정할 수 있습니다.

BigSet을 시작하기 전에 알아둘 점

개발팀은 사용 전에 알아 두면 좋은 점들을 솔직하게 정리해 두었습니다.

실험 단계라 스키마 추론이 항상 완벽하지는 않고, 주제에 따라 잘 되는 정도가 다릅니다.
데이터셋 생성에는 보통 2~5분이 걸립니다. 에이전트가 실제로 검색하고 페이지를 가져와 데이터를 검증하는 작업을 수행하기 때문입니다.
공개된 웹 데이터가 있는 주제에서 가장 잘 동작합니다. 로그인이나 페이월 뒤에 있는 데이터는 현재로서는 다룰 수 없습니다.
현재 데이터셋은 열람과 CSV/XLSX 내보내기가 가능하지만 질의(query)는 되지 않습니다. SQL 질의 지원은 로드맵에 올라 있습니다.

기술적으로 BigSet은 데이터 수집에 TinyFish의 Search·Fetch·Browser API를, AI 오케스트레이션에 Mastra 워크플로우와 Vercel AI SDK, OpenRouter를 통한 Claude Sonnet(스키마 추론과 채우기 에이전트)을 사용하며, 데이터베이스로는 자체 호스팅 Convex를 씁니다.

BigSet의 라이선스

BigSet은 AGPL-3.0 라이선스로 공개되어 있습니다. AGPL은 강한 카피레프트 라이선스로, 수정한 버전을 네트워크 서비스 형태로 제공하는 경우에도 이용자에게 해당 소스 코드를 공개해야 합니다.

BigSet 데모 영상

BigSet 프로젝트 GitHub 저장소

더 읽어보기

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다.

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~