# \#llamaindex **URL:** https://discuss.pytorch.kr/tag/llamaindex/589.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [LiteParse: 로컬에서 PDF와 문서를 빠르고 가볍게 파싱하는 오픈소스 도구](https://discuss.pytorch.kr/t/liteparse-pdf/10524)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 20, 2026, 9:30오전 UTC](https://discuss.pytorch.kr/t/liteparse-pdf/10524 "2026-06-20T09:30:10Z")
LiteParse 소개 문서를 LLM이나 RAG 파이프라인에 넣으려면, 먼저 PDF 같은 원본을 깨끗한 텍스트와 구조로 바꾸는 파싱 단계가 필요합니다. 이때 많은 파싱 도구가 클라우드 API나 별도의 LLM 기능에 의존하는데, LiteParse는 그런 의존성 없이 "fast and light" 만을 목표로 삼은 독립형 오픈소스 PDF 파싱 도구입니다. 모든 처리가 내 컴퓨터에서 로컬로 이뤄집니다. LiteParse는 PDFium을 이용해 텍스트의 공간 정보를 살린 파싱(spatial text parsing)을 수행하며, 각 텍스트에 바운딩 박스(bounding box) 좌표를 함께 제공합니다. 즉, 어떤 글자가 페이지의 어느 위치에 있었는지까지 보존하기 때문에, 표나 다단 레이아웃처럼 위치가 의미를 갖는 문서에서 유용합니다. 이 프로젝트는 LlamaIndex(run-llama)가 공개했습니다. 다만 제작팀은 한계도 분명히 밝히고 있습니다. 밀집된 표, 다단 레이아웃, 차트, 손글씨, 스캔 PDF처럼 복잡한 문서에서는 로컬 파싱의 한계에 부딪힐 수 있으며, 이런 경우에는 클라우드 기반 상용 서비스인 LlamaParse가 더 나은 결과를 준다고 안내합니다. LiteParse는 어디까지나 가볍고 빠른 로컬 파싱에 초점을 맞춘 도구입니다. LiteParse의 처리 구조 LiteParse는 PDF뿐 아니라 DOCX, XLSX, PPTX, 이미지를 입력으로 받습니다. PDF가 아닌 포맷은 먼저 LibreOffice나 ImageMagick으로 변환한 뒤, PDFium으로 텍스트를 추출합니다. 이어 필요한 영역에만 선택적으로 OCR을 적용하고, 네이티브 텍스트와 OCR 결과를 병합한 다음, 그리드 투영(grid projection)으로 공간 레이아웃을 재구성합니다. 이 과정의 결과는 텍스트와 바운딩 박스가 담긴 구조화 JSON, 레이아웃이 보존된 평문 텍스트, 그리고 페이지 스크린샷의 세 가지 형태로 출력됩니다. 코어는 Rust로 작성되어 있고, Node.… --- ## [SemTools: Rust 기반 문서 파싱 및 시맨틱 검색 CLI 도구 (feat. LlamaIndex)](https://discuss.pytorch.kr/t/semtools-rust-cli-feat-llamaindex/7636)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 2, 2025, 4:00오전 UTC](https://discuss.pytorch.kr/t/semtools-rust-cli-feat-llamaindex/7636 "2025-09-02T04:00:36Z")
LlamaIndex의 SemTools 소개 SemTools는 LlamaIndex가 최근 공개한 Rust 기반의 고성능 CLI(Command Line Interface) 도구 모음으로, \*\*문서 파싱(Document Parsing)과 시맨틱 검색(Semantic Search)\*\*을 빠르고 안정적으로 수행할 수 있도록 설계되었습니다. 이 프로젝트는 개발자가 PDF, DOCX, PPTX 같은 다양한 문서 형식을 손쉽게 Markdown 형태로 변환하고, 변환된 데이터를 벡터 데이터베이스 없이도 로컬에서 효율적으로 검색할 수 있도록 돕습니다. 특히 Rust의 성능과 안전성을 기반으로 병렬 처리 및 에러 핸들링을 지원하여 대규모 문서 작업 환경에서도 안정적으로 활용할 수 있습니다. SemTools의 핵심 기능으로는 parse와 search 두 가지가 있습니다. parse는 LlamaIndex의 LlamaParse API를 기본 백엔드로 활용하여 문서를 Markdown으로 변환하며, search는 model2vec 기반 다국어 임베딩을 활용해 코사인 유사도(cosine similarity)를 계산하여 의미 기반 검색을 수행합니다. 검색 과정은 완전히 로컬에서 처리되므로 민감한 데이터 환경에서도 안전하게 사용할 수 있다는 장점이 있습니다. SemTools가 주목받는 이유는 기존 워크플로우에서 흔히 사용되는 grep, cat 같은 Linux 명령어들과 자연스럽게 파이프라인으로 연결할 수 있기 때문입니다. 즉, 개발자는 기존의 터미널 환경을 크게 바꾸지 않고도 더 강력한 문서 처리 및 검색 기능을 사용할 수 있으며, 검색 결과를 원하는 형식으로 가공해 자동화된 데이터 처리 파이프라인을 구성할 수 있습니다. 시맨틱 검색 및 문서 파싱 분야에는 여러 솔루션이 존재합니다. 예를 들어, 벡터 검색을 지원하는 FAISS, Weaviate, Pinecone 같은 벡터 데이터베이스는 대규모 임베딩 검색에 최적화되어 있지만, 별도의 서버 인프라와 관리 비용이 필요합니다. 반면 Se… --- ## [LlamaIndex, 에이전트 시스템(Agentic System)을 위한 경량 프레임워크 Workflows 1.0 발표](https://discuss.pytorch.kr/t/llamaindex-agentic-system-workflows-1-0/7265)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 16, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/llamaindex-agentic-system-workflows-1-0/7265 "2025-07-16T03:30:47Z")
Workflows 1.0 소개 최근 몇 년간 대규모 언어 모델(LLM)의 발전과 함께, ‘에이전트 기반 시스템’의 개념이 점점 더 중요한 기술 트렌드로 자리잡고 있습니다. 단순한 프롬프트 응답을 넘어, 여러 단계의 작업을 처리하고, 외부 API와 상호작용하며, 상황에 따라 합리적인 판단을 내리는 ‘AI 에이전트’들이 실제 업무 자동화 및 사용자 지원에 활용되고 있기 때문입니다. 하지만 이러한 에이전트 시스템을 구현하는 데 있어 가장 큰 과제는 바로 복잡한 흐름 제어, 상태 관리, 그리고 시스템 간의 오케스트레이션입니다. 이러한 요구를 해결하기 위해 LlamaIndex 팀이 개발한 Workflows 1.0은 경량화된 에이전트 시스템 구축을 위한 프레임워크로, 복잡한 멀티스텝 AI 프로세스를 손쉽게 정의하고 제어할 수 있는 구조를 제공합니다. Workflows 프레임워크는 Python과 Typescript를 모두 지원하며, 처음에는 llama\_index의 일부로 시작했으나, 이번 정식 릴리스를 통해 독립적인 패키지로 분리되어 제공되고 있습니다. LlamaIndex Workflows는 단순한 태스크 시퀀싱을 넘어서 비동기(event-driven) 구조와 상태 기반 흐름 제어를 지원함으로써, 사용자 맞춤형 AI 파이프라인, 문서 처리, 고객 응대 자동화, 멀티모달 애플리케이션 등 다양한 사용 사례에 대응할 수 있는 유연함을 갖추고 있습니다. Workflows는 기존 LLM 기반 애플리케이션 프레임워크와 비교했을 때 몇 가지 뚜렷한 차별점을 갖습니다. 예를 들어 LangChain과 같은 시스템은 다양한 체인과 프롬프트 템플릿, 에이전트 실행기 등을 포함하지만, 그 복잡성과 강한 프레임워크 종속성으로 인해 오히려 확장성과 관리에 어려움을 주는 경우가 있습니다. 반면, Workflows는 매우 경량화된 구조로 설계되어 있으며, LlamaIndex에 종속되지 않으면서도 완전한 에이전트 오케스트레이션 기능을 제공합니다. 또한, Pydantic 기반의 타입 안전성,… --- ## [Chonkie, RAG 및 LLM을 위한 경량 텍스트 분할 라이브러리](https://discuss.pytorch.kr/t/chonkie-rag-llm/5473)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [11월 13, 2024, 11:04오전 UTC](https://discuss.pytorch.kr/t/chonkie-rag-llm/5473 "2024-11-13T11:04:21Z")
Chonkie 소개 Chonkie는 검색-증강 생성(RAG, Retrieval-Augmented Generation) 시스템을 위한 청킹 라이브러리로, 텍스트를 빠르고 효율적으로 분할하여 대규모 언어 모델(LLM, Large Language Model)이나 자연어 처리(NLP, Natural Language Processing) 작업에 최적화된 구조를 제공합니다. 사용하기 간편하고 빠르며, 가볍게 설계된 텍스트 분할(Chunking, 청킹) 라이브러리 Chonkie의 주요 특징은 다음과 같습니다: 다양한 청킹 기능 제공: 청킹 작업에 필요한 대부분의 기능을 지원합니다. 간편한 사용법: 설치 후 바로 사용할 수 있어 사용자에게 친숙합니다. 고속 처리: 청킹 속도가 매우 빨라 대규모 데이터 처리에 적합합니다. 광범위한 지원: GPT, TikToken 등 다양한 토크나이저(tokenizer)와 호환됩니다. 경량성: 불필요한 종속성이 없으며 라이브러리 자체가 매우 가볍습니다. 마스코트: 귀여운 피그미 하마 캐릭터를 마스코트로 사용해 친숙함을 더합니다. 이러한 특징들로 인해 Chonkie는 기능이 지나치게 많은 기존 라이브러리나 기능이 부족한 대안과 비교하여 적절한 균형을 제공합니다. Chonkie 설치 Chonkie는 pip 패키지 관리자를 통해 간단하게 설치할 수 있으며, Token Chunker, Word Chunker, Sentence Chunker, Semantic Chunker 및 SDPM(Semantic Double-Pass Merge) Chunker와 같은 다양한 청커(chunker) 옵션을 선택할 수 있습니다. 최소한의 설치가 가능하며, 모든 청커를 설치하는 all 옵션도 있지만 추천하지 않습니다. 개별적인 청커 설치에 대한 자세한 내용은 GitHub의 공식 문서를 참고하세요: pip install chonkie 지원하는 분할 방식 Chonkie는 다양한 청킹 방식들을 지원하여 사용자 요구에 맞는 텍스트 분할이 가능하게 합니다. 주요 … --- ## [llama-agents, 멀티 에이전트 시스템 구축을 위한 비동기 프레임워크(async framework)](https://discuss.pytorch.kr/t/llama-agents-async-framework/4723)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 1, 2024, 9:34오전 UTC](https://discuss.pytorch.kr/t/llama-agents-async-framework/4723 "2024-07-01T09:34:41Z")
llama-agents 소개 llama-agents는 멀티 에이전트 시스템(MAS, Multi-Agents System)을 구축, 개발 및 배포를 위한 비동기 프레임워크입니다. llama-agents 프레임워크를 사용하여 복잡한 에이전트 기반 시스템을 간단하게 구축할 수 있으며, 멀티 에이전트들 간의 통신, 분산 도구 실행, 인간 개입 등을 포함한 다양한 기능을 제공하여 개발자들이 보다 효율적으로 작업을 수행할 수 있도록 돕습니다. llama-agents는 각 에이전트를 끝없이 들어오는 작업을 처리하는 각각의 서비스(service)로 간주합니다. 각 에이전트는 메시지 큐(message queue)에서 처리할 메시지를 가져오거나 집어넣습니다. 이러한 시스템의 최상단에는 컨트롤 플레인(control plane)이 있습니다. 컨트롤 플레인은 진행 중인 작업을 추적하고, 네트워크에 있는 서비스를 관리하며, 오케스트레이터(orchestrator)를 사용하여 다음 작업을 처리할 서비스를 결정합니다. llama-agents와 비슷한 다른 프레임워크로는 Ray와 Celery가 있습니다. Ray는 분산 컴퓨팅을 위한 파이썬 기반 프레임워크로, 대규모 병렬 및 분산 애플리케이션을 쉽게 구축할 수 있습니다. Celery는 비동기 작업 큐를 지원하는 분산 시스템으로, 주로 백그라운드 작업 처리에 사용됩니다. llama-agents는 이들과 달리 멀티 에이전트 시스템에 특화되어 있으며, 에이전트 간의 통신과 분산 도구 실행에 중점을 둡니다. 주요 기능 비동기 처리: llama-agents는 비동기 우선 프레임워크로, 높은 처리량과 확장성을 제공합니다. 멀티 에이전트 시스템: 각 에이전트를 서비스로 간주하며, 메시지 큐를 통해 에이전트 간의 통신을 지원합니다. 제어 평면(control plane): 진행 중인 작업을 추적하고, 작업의 다음 단계를 처리할 서비스를 결정합니다. 오케스트레이터(orchestrator): 작업을 처리할 서비스를 결정하고, 서비스… --- ## [\[GN\] LlamaIndex, LlamaCloud 와 LlamaParse 공개](https://discuss.pytorch.kr/t/gn-llamaindex-llamacloud-llamaparse/3585)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [2월 22, 2024, 10:05오전 UTC](https://discuss.pytorch.kr/t/gn-llamaindex-llamacloud-llamaparse/3585 "2024-02-22T10:05:47Z")
GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 LlamaCloud: 새로운 세대의 관리형 파싱, 수집, 검색 서비스. LLM과 RAG 애플리케이션에 프로덕션급 Context-Augmentation을 제공하기 위해 설계됨 LlamaParse: 표/그림 같은 객체가 포함된 복잡한 문서를 파싱하기 위한 기술. LlamaIndex 와 통합하여 복잡하고 반구조화된 문서에 대한 검색을 구축할 수 있게 함 관리형 수집 및 검색 API: 데이터를 쉽게 로드, 처리, 저장하고 어떤 언어에서든 사용할 수 있는 API를 제공. LlamaHub와 LlamaParse 및 통합된 데이터 저장소를 기반으로 동작 RAG는 데이터의 질에 달려 있음 LLM의 핵심은 구조화되지 않은 데이터 소스에 대한 지식 검색, 종합, 추출, 계획의 자동화임 이를 위해 데이터를 로드, 처리, 임베딩하고 벡터 데이터베이스로 로드하는 새로운 데이터 스택 Retrieval-Augmented Generation (RAG)이 등장 RAG 스택은 기존 ETL 스택과 다르며, LLM 시스템의 정확성에 직접적인 영향을 미침 시작은 쉽지만 프로덕션급 RAG를 구축하는 것은 어려움 만족할 만한 결과를 생성하지 않음 조정할 매개변수의 수가 너무 많음 PDF는 서식이 지저분해서 특히나 문제임 지속적으로 업데이트 되는 데이터의 동기화는 매우 어려움 LlamaCloud와 LlamaParse는 RAG 애플리케이션을 더 빠르게 프로덕션에 투입하기 위해 데이터 파이프라인으로 구축됨 LlamaParse LlamaParse는 복잡한 PDF 문서에 내장된 표와 차트를 RAG로 해석할 수 있게 하는 최첨단 파서임 기존의 접근 방식으로는 불가능했던 복잡한 문서에 대한 질문에 답할 수 있게 함 관리형 수집 및 검색 API LlamaCloud의 다른 주요 제품으로, 성능이 좋은 … --- ## [대규모 언어 모델을 위한 검색-증강 생성(RAG) 기술 현황 - 2/2편](https://discuss.pytorch.kr/t/rag-2-2/3160)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [1월 3, 2024, 7:04오전 UTC](https://discuss.pytorch.kr/t/rag-2-2/3160 "2024-01-03T07:04:16Z")
PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 12/18~24의 주요 ML 논문에 소개된 RAG 기술에 대한 서베이 논문을 정리해보았습니다. LLM의 활용이 늘어나며, RAG에 대한 연구들 또한 계속되고 있습니다. 1부에서는 RAG 기술의 패러다임들을, 2부에서는 주요 구성요소들에 대해서 알아보겠습니다. 1부: RAG에 대한 간단한 소개와 함께 주요 패러다임들과 각 세부 기술, 방법론들에 대한 소개 2부: RAG의 구성 요소들에 대한 소개와 고려해야 할 주요 주제들과 방법론들에 대한 소개 :backhand\_index\_pointing\_left: 번외편: 서베이 논문 발표 자료 및 참고 논문/코드 :warning: hoxy... RAG 기술 현황 1편을 읽고 오셨나요? 아직 읽지 않으셨다면 1편부터 읽으시는 것을 추천드립니다! RAG 기술의 주요 구성 요소: 개요 2편에서는 검색-증강 생성(RAG: Retrieval-Augmented Generation)의 주요한 3가지 요소들에 대해서 알아봅니다. 즉, RAG의 이름을 구성하고 있는 검색기(Retriever)와 생성기(Generator), 그리고 증강 방법(Augmentation Method)들을 하나씩 살펴봅니다. 또한, 각 구성 요소별로 어떠한 점들을 고려해야 하는지와, 해당 주제들에 대한 방법론들을 소개합니다. RAG 기술의 주요 구성 요소: 검색기(Retriever) 검색기(Retriever)는 RAG라는 약어의 맨 앞 글자인 R을 나타내고 있을 정도로 시스템에서 중요한 정보 탐색 역할을 합니다. 검색기는 대규모 데이터 집합에서 관련 정보를 찾아내어 텍스트 생성을 위한 데이터들을 준비하는 작업을 합니다​​. 이러한 검색기는 LLM의 일반적인 지식과 현재, 맥락적으로 정확한 정보의 필요성 사이의 간격을 메우는 데 사용됩니다. 이는 실시간 데이터, 특정 분야 전문 지식 또는 사실 확인이 필요한 시나리오에서 특히 중요합니다​​… --- ## [PyTorchKR이 정리한 오늘의 주요 AI/ML 소식들 @ 2023-12-14: SMERF, MagicAnimate, GenAI GitHub 저장소 등](https://discuss.pytorch.kr/t/pytorchkr-ai-ml-2023-12-14-smerf-magicanimate-genai-github/3039)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [12월 14, 2023, 4:16오전 UTC](https://discuss.pytorch.kr/t/pytorchkr-ai-ml-2023-12-14-smerf-magicanimate-genai-github/3039 "2023-12-14T04:16:35Z")
파이토치 한국 사용자 모임이 한땀한땀 정리한 오늘의 주요 AI/ML 소식들을 전해드립니다. SMERF: 실시간 대규모 장면 탐색을 위한 새로운 방사선 필드 뷰 합성 접근법 SMERF(Streamable Memory Efficient Radiance Fields)는 거의 사진과 같은 장면을 실시간으로 합성하여 렌더링할 수 있는 기술입니다. SMERF는 대규모 장면(최대 300m² 면적)에서 실시간 방법 중 최고의 정확도를 달성하며, 계층적 모델 분할 체계와 증류 훈련 전략을 기반으로 합니다. 이 접근법은 웹 브라우저 내에서 전체 6도의 자유(6DOF) 탐색을 가능하게 하며, 스마트폰과 노트북 등 다양한 기기에서 실시간으로 렌더링할 수 있습니다​ 더 읽어보기 프로젝트 홈페이지: https://smerf-3d.github.io/ 논문: \[2312.07541\] SMERF: Streamable Memory Efficient Radiance Fields for Real-Time Large-Scene Exploration 영상: https://youtu.be/zhO8iUBpnCc 데모: SMERF 관련 태그: 3d 3dstyle-diffusion MagicAnimate: 디퓨전 모델을 사용한 일관된 애니메이션 생성 틱톡을 운영하는 ByteDance가 싱가포르 대학교 연구진과 함께 연구/공개한 MagicAnimate는 디퓨전 모델을 사용하여 시간적으로 일관된 인간 이미지 애니메이션을 생성하는 프로젝트입니다. 이 프로젝트는 이미지에 기반한 인간의 움직임을 자연스럽게 애니메이션화하는 데 초점을 맞추고 있습니다. 더 읽어보기 모델 다운로드: zcxu-eric/MagicAnimate · Hugging Face GitHub 저장소: GitHub - magic-research/magic-animate: \[CVPR 2024\] Official repository for "MagicAnimate: Temporally Consis… --- ## [\[TLDR\] 오늘의 AI 뉴스, 2023-06-13: 영국, 파운데이션 모델에 조기 접근🇬🇧, LLM의 편향성 해독 🚩, 개인 데이터 어시스턴트 🧑‍💻](https://discuss.pytorch.kr/t/tldr-ai-2023-06-13-llm/1806)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 14, 2023, 2:22오전 UTC](https://discuss.pytorch.kr/t/tldr-ai-2023-06-13-llm/1806 "2023-06-14T02:22:43Z")
파이토치 한국 사용자 모임에서는 TLDR 뉴스레터의 승인을 받아 AI 소식을 DeepL로 번역하여 전합니다. :star\_struck: 더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으신가요? 지금 파이토치 한국어 커뮤니티에 방문해주세요! :robot: :rocket: 주요 뉴스 & 신규 출시 소식 / Headlines & Launches 워드프레스, 블로그 글을 작성해주는 AI 도구 출시 / WordPress Has A New AI Tool That Will Write Blog Posts For You (2 minute read) 워드프레스에서 제트팩 AI라는 새로운 AI 글쓰기 도구를 출시했습니다. 이 도구는 블로그 글, 소셜 미디어 글 및 기타 유형의 콘텐츠를 생성하는 데 사용할 수 있습니다. 젯팩 AI는 OpenAI에서 개발한 대규모 언어 모델인 GPT-3로 구동됩니다. 이 도구는 아직 베타 버전이지만 사람들이 웹사이트를 위한 콘텐츠를 더 쉽게 만들 수 있는 잠재력을 가지고 있습니다. WordPress has released a new AI writing tool called Jetpack AI. The tool can be used to generate blog posts, social media posts, and other types of content. Jetpack AI is powered by GPT-3, a large language model developed by OpenAI. The tool is still in beta, but it has the potential to make it easier for people to create content for their websites. AI 거인들, 영국에 안전 연구용 모델에 대한 조기 접근 제공 / AI Giants To Give UK Early Access To Models For Safety Research (4 minute read) OpenAI, 구글 딥…