# \#yek **URL:** https://discuss.pytorch.kr/tag/yek/4340.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [yek: Rust 기반 LLM 데이터 처리 도구](https://discuss.pytorch.kr/t/yek-rust-llm/5926)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [1월 20, 2025, 2:00오후 UTC](https://discuss.pytorch.kr/t/yek-rust-llm/5926 "2025-01-20T14:00:42Z")
yek 소개 yek은 빠르고 효율적인 방식으로 프로젝트의 텍스트 기반 파일을 처리하여 대규모 언어 모델(LLM)이 쉽게 소비할 수 있도록 데이터를 구조화하고 직렬화하는 도구입니다. Rust로 작성되어 빠른 속도와 높은 안정성을 제공하며, 특히 파일 우선순위를 지정하고 .gitignore를 활용하여 불필요한 파일을 건너뛸 수 있는 기능이 돋보입니다. yek은 주로 다음과 같은 작업을 자동화할 수 있는 CLI 도구입니다: 프로젝트 내 텍스트 파일을 처리하고, 원하는 크기나 토큰 개수로 청크(Chunk)로 나눕니다. .gitignore 규칙 및 Git 히스토리를 활용하여 중요한 파일만 선택적으로 처리합니다. 결과 데이터를 임시 디렉토리에 저장하거나 스트리밍 방식으로 출력합니다. Rust 기반으로 작성된 만큼 성능이 뛰어나며, 특히 대규모 파일이 있는 프로젝트에서도 빠른 처리 속도를 보장합니다. 기본적으로 프로젝트의 모든 파일을 10MB 단위로 나누어 LLM이 쉽게 처리할 수 있는 형태로 제공합니다. LLM 학습 및 추론 워크플로우에서 yek은 데이터 준비 시간을 획기적으로 단축할 수 있습니다. 또한, yek은 비슷한 도구인 Repomix와 비교해 최대 230배 빠른 성능을 자랑합니다. Rust의 병렬 처리와 효율적인 I/O 작업을 통해 속도 면에서 큰 장점을 보유하고 있습니다. 특히 다음과 같은 기능에서 차별화됩니다: .gitignore 및 Git 히스토리를 활용한 우선순위 처리. 기본적으로 바이너리 파일 및 대용량 파일을 무시. 사용자 지정 가능성이 높은 설정 파일(yek.toml) 제공. yek의 주요 기능 파일 우선순위 지정: Git 기록 및 사용자 정의 규칙을 기반으로 더 중요한 파일을 마지막에 출력하여 LLM의 집중도를 높임. 청크 크기 조절: 기본 10MB 크기, 최대 토큰 수 등을 지정 가능. 스트리밍 출력 지원: 파이프를 통해 다른 명령어로 결과를 전달 가능. 다중 디렉토리 처리:…