# \#chunking

**URL:** https://discuss.pytorch.kr/tag/chunking/2372.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [Adaptive Chunking: RAG 문서마다 최적의 청킹 전략을 자동 선택하는 프레임워크](https://discuss.pytorch.kr/t/adaptive-chunking-rag/10478)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [6월 2, 2026, 6:30오전 UTC](https://discuss.pytorch.kr/t/adaptive-chunking-rag/10478 "2026-06-02T06:30:26Z")

</div>

Adaptive Chunking 소개 방대한 문서 더미에서 필요한 한 문장을 찾아야 한다고 상상해 봅시다. 똑같은 내용이라도 문서를 어떤 단위로 잘라 정리해 두었느냐에 따라, 원하는 정보를 찾는 속도와 정확도는 완전히 달라집니다. 잘 정리된 목차와 색인이 있는 책에서는 한 페이지를 펼치면 답이 나오지만, 단락이 어중간하게 끊긴 책에서는 같은 정보가 여기저기 흩어져 있어 결국 헤매게 됩니다. 이 글에서 다루는 논문은 검색 증강 생성(Retrieval-Augmented Generation, RAG)에서 의외로 과소평가되어 온 청킹(Chunking) 단계를 정면으로 다룹니다. 청킹이란 문서를 색인과 검색을 위해 더 작은 단위로 잘라내는 작업을 말합니다. 논문의 핵심 주장은 단순합니다. 모든 문서에 똑같은 청킹 방식을 적용하는 "만능 해법(one-size-fits-all)"은 존재하지 않으며, 문서마다 가장 적합한 청킹 전략이 다르다는 것입니다. 컨설팅과 데이터 사이언스 기업 Ekimetrics 의 Paulo Roberto de Moura Junior, Jean Lelong, Annabelle Blangero 는 청킹 품질을 직접 측정하는 5가지 내재적 지표를 제안하고, 이 지표로 문서별 최적 방법을 자동 선택하는 Adaptive Chunking 프레임워크를 선보입니다. 이 연구는 자연어 처리 학회인 LREC 2026 에 채택된 논문 "Adaptive Chunking: Optimizing Chunking-Method Selection for RAG" 으로 발표되었으며, 공식 구현체가 함께 공개되어 있습니다. 본 게시물에서는 Adaptive Chunking이 풀려는 문제와 동작 방식, 다섯 가지 평가 지표, 두 가지 새로운 청커, 논문에 보고된 벤치마크 결과, 그리고 설치 및 사용법까지 차례로 정리합니다. 배경: 청킹은 RAG의 숨은 병목 RAG는 외부 지식 기반에서 관련 정보를 검색(retrieval)하고, 이를 맥락으로 삼아 대형 언어 모델(Large L…

---

## [BetterHTMLChunking: HTML 문서의 DOM구조를 유지하며 분할하는 Python 라이브러리](https://discuss.pytorch.kr/t/betterhtmlchunking-html-dom-python/6130)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [2월 16, 2025, 4:00오전 UTC](https://discuss.pytorch.kr/t/betterhtmlchunking-html-dom-python/6130 "2025-02-16T04:00:39Z")

</div>

BetterHTMLChunking 소개 HTML 문서를 다룰 때, 특정 크기의 청크로 나누는 것은 검색, 분석, 요약 등에 매우 유용합니다. 기존에는 주로 텍스트 기반 혹은 토큰 기반으로 일정 길이만큼 잘라내는 방식이 많이 사용되었습니다. 하지만 이 방식은 문서의 구조적 정보를 무시하기 때문에, 문맥을 고려한 정밀한 정보 추출이 어려운 한계가 있을 수 있습니다. 따라서, HTML 문서와 같이 계층적 구조를 갖는 문서에 대한 LLM 기반 검색이나 QA 시스템을 구축할 때는 단순한 텍스트 기반이 아니라 HTML의 계층 구조를 유지한 채 분할하는 방법이 필요합니다. BetterHTMLChunking 라이브러리는 바로 이러한 용도로 개발된 라이브러리로, 기존의 단순한 텍스트 분할 방식과 달리, HTML의 DOM 구조를 유지하면서 청크(Chunk)를 생성하는 기능을 제공합니다. 즉, DOM 트리 분석을 통해 최적의 분할 지점을 찾아 HTML 문서를 구조적 관계를 유지한 채 여러 청크들로 나눌 수 있습니다. BetterHTMLChunking를 사용하여 얻을 수 있는 이점은 다음과 같습니다: 제목과 본문이 함께 유지되며, 논리적 구성을 깨지 않고 분할 가능 특정 태그(\<script\>, \<style\> 등)를 필터링하여 불필요한 내용 제거 가능 HTML과 텍스트 버전의 청크를 동시에 생성 가능 HTML 문서에서 어떤 부분이 어느 청크에 포함되었는지 정확히 추적 가능 (XPath 기반) BetterHTMLChunking 라이브러리를 사용하여 크롤링(Crawling)한 HTML을 의미 있는 단위로 나누어 처리하거나, 불필요한 부분을 제외한 가독성 높은 데이터를 추출하는데 사용할 수 있습니다. 이를 통해 LLM에 입력으로 제공되는 정보를 최적화하여 보다 나은 성능의 청크 기반 요약, 검색, QA 시스템을 구축할 수 있습니다. BetterHTMLChunking의 주요 기능 DOM 기반 문서 표현: HTML을 트리 구조로 변환하여 문서 계층을 분석 청크 크기 설정: 텍스트…

---

## [Chonkie, RAG 및 LLM을 위한 경량 텍스트 분할 라이브러리](https://discuss.pytorch.kr/t/chonkie-rag-llm/5473)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [11월 13, 2024, 11:04오전 UTC](https://discuss.pytorch.kr/t/chonkie-rag-llm/5473 "2024-11-13T11:04:21Z")

</div>

Chonkie 소개 Chonkie는 검색-증강 생성(RAG, Retrieval-Augmented Generation) 시스템을 위한 청킹 라이브러리로, 텍스트를 빠르고 효율적으로 분할하여 대규모 언어 모델(LLM, Large Language Model)이나 자연어 처리(NLP, Natural Language Processing) 작업에 최적화된 구조를 제공합니다. 사용하기 간편하고 빠르며, 가볍게 설계된 텍스트 분할(Chunking, 청킹) 라이브러리 Chonkie의 주요 특징은 다음과 같습니다: 다양한 청킹 기능 제공: 청킹 작업에 필요한 대부분의 기능을 지원합니다. 간편한 사용법: 설치 후 바로 사용할 수 있어 사용자에게 친숙합니다. 고속 처리: 청킹 속도가 매우 빨라 대규모 데이터 처리에 적합합니다. 광범위한 지원: GPT, TikToken 등 다양한 토크나이저(tokenizer)와 호환됩니다. 경량성: 불필요한 종속성이 없으며 라이브러리 자체가 매우 가볍습니다. 마스코트: 귀여운 피그미 하마 캐릭터를 마스코트로 사용해 친숙함을 더합니다. 이러한 특징들로 인해 Chonkie는 기능이 지나치게 많은 기존 라이브러리나 기능이 부족한 대안과 비교하여 적절한 균형을 제공합니다. Chonkie 설치 Chonkie는 pip 패키지 관리자를 통해 간단하게 설치할 수 있으며, Token Chunker, Word Chunker, Sentence Chunker, Semantic Chunker 및 SDPM(Semantic Double-Pass Merge) Chunker와 같은 다양한 청커(chunker) 옵션을 선택할 수 있습니다. 최소한의 설치가 가능하며, 모든 청커를 설치하는 all 옵션도 있지만 추천하지 않습니다. 개별적인 청커 설치에 대한 자세한 내용은 GitHub의 공식 문서를 참고하세요: pip install chonkie 지원하는 분할 방식 Chonkie는 다양한 청킹 방식들을 지원하여 사용자 요구에 맞는 텍스트 분할이 가능하게 합니다. 주요 …

---

## [대규모 언어 모델을 위한 검색-증강 생성(RAG) 기술 현황 - 1/2편](https://discuss.pytorch.kr/t/rag-1-2/3135)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 9\
**마지막 업데이트:** [6월 3, 2024, 1:37오후 UTC](https://discuss.pytorch.kr/t/rag-1-2/3135 "2024-06-03T13:37:24Z")

</div>

PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 12/18~24의 주요 ML 논문에 소개된 RAG 기술에 대한 서베이 논문을 정리해보았습니다. LLM의 활용이 늘어나며, RAG에 대한 연구들 또한 계속되고 있습니다. 1부에서는 RAG 기술의 패러다임들을, 2부에서는 주요 구성요소들에 대해서 알아보겠습니다. 1부: RAG에 대한 간단한 소개와 함께 주요 패러다임들과 각 세부 기술, 방법론들에 대한 소개 :point\_left: 2부: RAG의 구성 요소들에 대한 소개와 고려해야 할 주요 주제들과 방법론들에 대한 소개 번외편: 서베이 논문 발표 자료 및 참고 논문/코드 검색-증강 생성(RAG) 기술 소개 대규모 언어 모델(LLM)은 뛰어난 능력을 보이지만, 실제 사용을 위해서는 환각이나 느린 지식의 업데이트, 답변의 투명성 부족 등과 같은 문제들을 극복해야 합니다. RAG(Retrieval-Augmented Generation)는 이러한 문제를 해결하기 위해 제안된 기술입니다. RAG는 대규모 언어 모델(LLM)에서 질문에 대한 답변이나 텍스트를 생성하기 전에 광범위한 문서 집합에서 관련 정보를 검색하고, 이를 이용하여 응답을 생성하는 방법입니다. 이는 LLM의 기존 문제점인 지식의 시대에 뒤떨어짐, 특정 영역에 대한 지식 부족, 그리고 응답의 투명성 부족을 해결하는 데 중점을 두고 있습니다. 이러한 RAG는 답변의 정확도를 크게 향상시키고, 특히 지식 집약적인 작업에서 모델의 환각을 줄이는 데 도움이 됩니다. 사용자가 출처를 인용하여 답변의 정확성을 검증할 수 있으며, 이는 모델 출력에 대한 신뢰를 증가시킵니다. 또한, 지식 업데이트와 특정 분야의 지식 도입에도 용이합니다. RAG 외에 파인튜닝(fine-tuning)을 사용하여 대규모 언어 모델이 특정 지식에 집중하도록 할 수 있습니다. 하지만 이러한 파인튜닝은 실시간으로 업데이트되는 정보를 반영하는데 시간이 걸리며, …
