# \#full-text-search

**URL:** https://discuss.pytorch.kr/tag/full-text-search/8164.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [Leviathan: 대용량 티켓과 로그를 grep 대신 수백 토큰의 검색 결과로 에이전트에 건네는 로컬 인덱서](https://discuss.pytorch.kr/t/leviathan-grep/12138)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [10월 10, 2026, 2:30오전 UTC](https://discuss.pytorch.kr/t/leviathan-grep/12138 "2026-10-10T02:30:10Z")

</div>

핵심 요약 Leviathan은 JSONL, CSV, SQLite 같은 레코드를 SQLite 검색 인덱스 파일 하나로 만드는 Rust 단일 바이너리입니다. 에이전트는 질문마다 순위가 매겨진 결과 카드 몇 장만 받습니다. 개발자가 공개한 합성 데이터 벤치마크(100만 건)에서 질문당 에이전트 컨텍스트에 들어간 토큰은 중앙값 436개였고, 가장 나은 grep 전략은 107,122개였습니다. 셸을 쓸 수 있는 코딩 에이전트는 CLI와 스킬 파일로 바로 쓸 수 있고, 읽기 전용 MCP 서버도 선택적으로 제공합니다. 검색은 임베딩 없는 BM25 어휘 검색이고, 한국어는 조사가 붙은 낱말을 별개 토큰으로 다루므로 데이터 전처리나 질의 표현에 신경 써야 합니다. Leviathan 소개 고객 지원 티켓, 설비 정비 기록, 장애 로그처럼 한 대상에 기록이 수천 건씩 쌓이는 데이터에 코딩 에이전트를 연결하면, 에이전트는 보통 grep으로 해당 고객이나 장비의 이력을 추출해 통째로 읽습니다. 이력이 짧을 때는 이 방법으로 충분합니다. 데이터가 커지면 한 번의 질문에 수만에서 수십만 토큰이 컨텍스트로 들어가고, 에이전트 셸이 도구 출력을 일정 길이에서 자르면 답이 담긴 레코드가 잘린 뒤쪽에 남습니다. 질문에 쓰인 낱말과 기록에 적힌 낱말이 다르거나 "완료", "조치함" 같은 형식적인 기록이 대부분을 차지하면 키워드 grep만으로는 의미 있는 레코드를 골라내기도 어렵습니다. 이번에 소개하는 Leviathan은 이런 레코드를 한 번 색인해 두고, 에이전트가 질문할 때마다 관련 레코드 몇 건만 짧은 카드로 돌려주는 로컬 검색 도구입니다. Leviathan은 원본을 매번 읽는 대신 SQLite FTS5 전문 검색(Full-Text Search) 인덱스를 미리 만들어 두는 접근을 택했습니다. 사용자는 레코드의 ID, 제목, 본문, 그룹, 날짜, 필터 필드를 매핑해 둡니다. 여기서 그룹은 고객, 장비, 호스트처럼 사람들이 이름으로 묻는 대상입니다. 그러면 에이전트는 -g acme 처…

---

## [Zvec: 앱에 직접 내장되는 프로세스 내(In-Process) 벡터 데이터베이스](https://discuss.pytorch.kr/t/zvec-in-process/10749)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [6월 18, 2026, 11:30오전 UTC](https://discuss.pytorch.kr/t/zvec-in-process/10749 "2026-06-18T11:30:02Z")

</div>

Zvec 소개 Zvec은 애플리케이션 프로세스 안에서 직접 동작하는 인프로세스(in-process) 벡터 데이터베이스입니다. 별도의 서버를 띄우거나 복잡한 설정을 거치지 않고, 코드가 실행되는 곳이라면 노트북, 서버, CLI 도구, 엣지 장비 어디에서든 그대로 유사도 검색(similarity search)을 수행할 수 있습니다. Alibaba 그룹 내부에서 운영에 쓰이며 다듬어진 프로젝트로, 저지연(low-latency)과 확장성을 동시에 노립니다. 벡터 검색만 제공하는 도구와 달리 Zvec은 조밀(dense) 벡터와 희소(sparse) 벡터를 모두 지원하고, 전문 검색(Full-Text Search)과 스칼라 필터를 하나의 질의로 묶는 하이브리드 검색(hybrid search)을 제공합니다. 인덱스도 메모리에 올리는 방식부터 디스크에 두는 방식까지 데이터 규모에 맞춰 고를 수 있어, 작은 실험용 컬렉션부터 대규모 데이터셋까지 같은 라이브러리로 다룹니다. 2026년 6월 12일 공개된 v0.5.0에서는 네이티브 전문 검색과 디스크 기반 DiskANN 인덱스, Go와 Rust SDK, 시각화 도구인 Zvec Studio가 추가됐습니다. 본 게시물에서는 Zvec의 인프로세스 구조와 하이브리드 검색, 인덱스 선택지, 그리고 설치와 기본 사용법을 정리합니다. Zvec의 인프로세스 구조와 동작 방식 Zvec은 라이브러리 형태로 애플리케이션에 직접 링크되어, 데이터베이스가 별도 프로세스가 아니라 애플리케이션 프로세스 안에서 함께 돕니다. 이 구조에서는 네트워크 왕복 없이 함수 호출만으로 검색이 끝나며, 설치한 다음 몇 줄의 코드로 컬렉션을 만들고 곧바로 질의할 수 있습니다. 운영해야 할 서버나 데몬이 없으므로 배포 구성이 단순해진다는 점이 인프로세스 방식의 핵심 이점입니다. 저장 측면에서는 쓰기 전 로그(Write-Ahead Logging, WAL)로 영속성을 보장해, 프로세스가 비정상 종료되거나 전원이 꺼지는 상황에서도 기록한 데이터가 사라지지 않습니다. …
