# \#llm-in-production **URL:** https://discuss.pytorch.kr/tag/llm-in-production/613.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [에이전트 워크플로우를 LLM 가중치로 컴파일하는 지하 에이전트(Subterranean Agent)에 대한 연구](https://discuss.pytorch.kr/t/llm-subterranean-agent/10501)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 4, 2026, 9:30오전 UTC](https://discuss.pytorch.kr/t/llm-subterranean-agent/10501 "2026-06-04T09:30:29Z")
Subterranean Agent 소개 복잡한 업무 매뉴얼을 처음 배우는 신입 직원을 떠올려 봅시다. 처음에는 매 단계마다 두꺼운 매뉴얼을 펼쳐 "이 상황에서는 다음에 무엇을 해야 하지?"를 확인하며 일을 처리합니다. 하지만 몇 달이 지나 같은 절차를 수백 번 반복하고 나면, 더 이상 매뉴얼을 들춰보지 않습니다. 절차가 머릿속에 체화되어 고객과 자연스럽게 대화하면서도 정해진 흐름을 자연스럽게 따라가게 됩니다. 이 논문은 LLM 기반 에이전트에서도 똑같은 일을 할 수 있는지 묻습니다. 즉, 매 턴마다 외부 오케스트레이터가 절차를 주입하는 대신, 업무 절차 자체를 작은 모델의 가중치(weights)에 컴파일(compile)해서 모델이 절차를 체화한 채 사용자와 직접 대화하게 만들 수 있는지를 실증적으로 검증합니다. 저자들은 이렇게 절차가 가중치 속으로 숨어들어간 에이전트를 지하 에이전트(Subterranean Agent) 라고 부릅니다. 논문은 멜버른 대학교(University of Melbourne) 등에 소속된 Simon Dennis 연구팀이 작성했으며, 여행 예약, Zoom 기술 지원, 보험 청구라는 세 가지 실제 업무 도메인에서 이 접근법을 검증합니다. 에이전트 오케스트레이션의 시대, 그리고 그 청구서 최근 몇 년간 LLM 에이전트 프레임워크는 폭발적으로 성장했습니다. LangGraph, CrewAI, Google ADK, OpenAI Agents SDK, Semantic Kernel, Strands, LlamaIndex를 모두 합치면 GitHub 스타가 290{,}000 개를 넘습니다. 이 프레임워크들은 세부 구현은 달라도 한 가지 공통된 패턴을 공유합니다. 바로 LLM 위에 외부 오케스트레이터(orchestrator)를 두고, 매 턴마다 지시문을 주입하고 다음 행동을 라우팅(routing)하는 구조입니다. 그런데 이 연구팀의 선행 연구(Dennis et al., 2026a)는 흥미로운 사실을 보였습니다. 정해진 절차를 따르는 작업(proced… --- ## [\[GN⁺\] Anthropic과 OpenAI가 제품-시장 적합성을 찾았다고 생각한다](https://discuss.pytorch.kr/t/gn-anthropic-openai/10425)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 29, 2026, 12:30오후 UTC](https://discuss.pytorch.kr/t/gn-anthropic-openai/10425 "2026-05-29T12:30:04Z")
Anthropic과 OpenAI가 제품-시장 적합성을 찾았다고 생각한다 글 소개 Anthropic과 OpenAI의 코딩 및 범용 에이전트는 소비자 구독보다 엔터프라이즈 사용량 과금에서 더 큰 매출 가능성을 드러냄 Claude Code와 Codex 헤비 유저는 월 $200 구독으로 API 기준 $2,180.16어치 토큰을 쓰지만, 기업 고객은 비슷한 할인에서 제외됨 2026년 4월 두 회사는 Codex와 Claude Code/Cowork의 Enterprise 비용을 공개 API 가격에 맞추고 더 비싼 프런티어 모델도 출시함 OpenAI 채용 공고 703개 중 229개, Anthropic 390개 중 105개가 엔터프라이즈 영업과 지원 성격으로 분류돼 직접 판매 전환이 뚜렷함 Uber와 Microsoft의 비용 논란은 AI 실패보다 고객이 부담을 느끼면서도 쓰는 가격 적정성 신호로 해석 가능함 엔터프라이즈 고객이 API 가격을 내기 시작함 Anthropic의 월 $100 Max 플랜과 OpenAI의 월 $100 Pro 플랜은 코딩 에이전트 헤비 유저에게 매우 유리한 가격임 ccusage로 최근 30일 사용량을 API 토큰 가격으로 환산하면 Anthropic Claude Code는 $1,199.79, OpenAI Codex는 $980.37에 해당함 합산하면 $2,180.16어치 토큰을 $200에 사용한 셈 하루 종일 에이전트를 돌리는 수준이 아닌 "상당히 많이 쓰는 사용자" 기준에서도 큰 차이가 발생함 기업이 에이전트를 대규모로 쓰면 비슷한 할인을 받을 것이라는 가정은 맞지 않았음 Anthropic은 최근 6개월 사이 Enterprise 플랜을 기존 "일반적인 근무일에 충분한 사용량 포함" 구조에서 좌석당 월 $20 + 사용량 API 과금 구조로 바꾼 것으로 보임 2025년 8월에는 "Claude seats include enough usage for a typical workday"라고 안내함 The Information 보도는 2026년 4월… --- ## [\[GN⁺\] Claude, 프로그래밍 방식 사용을 "월간 크레딧" 구조로 변경](https://discuss.pytorch.kr/t/gn-claude/10224)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 16, 2026, 12:30오후 UTC](https://discuss.pytorch.kr/t/gn-claude/10224 "2026-05-16T12:30:12Z")
"Claude, 프로그래밍 방식 사용을 "월간 크레딧" 구조로 변경" 글 소개 6월 15일부터 Claude 유료 플랜 사용자는 Agent SDK 등 프로그램 방식 사용량에 쓸 월간 전용 크레딧을 청구할 수 있음 대상은 Claude Agent SDK, claude -p, Claude Code GitHub Actions, Agent SDK 기반 서드파티 앱임 SDK와 claude -p 사용량은 더 이상 Claude Code 및 채팅 구독 한도와 공유되지 않고 별도 예산에서 차감됨 기존 구독 한도는 바뀌지 않으며 대화형 사용에 예약되고, 월간 크레딧은 청구 후 자동 적용됨 크레딧 소진 뒤 usage credits를 켜면 API 요금으로 계속 사용 가능하고, 꺼져 있으면 재설정까지 중지됨 프로그램 방식 사용량 크레딧 기존에는 Claude Agent SDK와 claude -p 사용량이 Claude Code 및 채팅 구독 사용 한도를 공유했지만, 6월 15일부터 프로그램 방식 사용량은 별도 예산에서 차감됨 전용 크레딧이 적용 대상 Claude Agent SDK를 활용한 자체 프로젝트(Python 또는 TypeScript) Claude Code의 claude -p 명령어(비대화형 모드) Claude Code GitHub Actions 통합 Agent SDK를 통해 Claude 구독으로 인증하는 서드파티 앱 크레딧 미적용 대상 터미널이나 IDE에서의 대화형 Claude Code 웹, 데스크톱, 모바일 앱에서의 Claude 대화 Claude Cowork extra usage에서 차감되는 기타 기능 구독 한도 자체는 바뀌지 않으며, 이제 대화형 사용을 위해 예약됨 크레딧 작동 방식 크레딧은 1인 단위 귀속(per-user) 이며, 팀원 간 공유, 풀링, 이전 불가 빌링 주기 시작 시 리셋되며, 미사용 월간 크레딧은 다음 주기로 이월되지 않음 1회 옵트인(opt-in) 으로 청구하면 이후 매 주기마다 자동 갱신 Agent SDK 사용 시 월… --- ## [Laminae: 원시(raw) LLM과 프로덕션 AI를 연결하는 모듈형 Rust SDK](https://discuss.pytorch.kr/t/laminae-raw-llm-ai-rust-sdk/9201)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [3월 13, 2026, 3:30오전 UTC](https://discuss.pytorch.kr/t/laminae-raw-llm-ai-rust-sdk/9201 "2026-03-13T03:30:58Z")
Laminae 소개 최근 대규모 언어 모델(LLM)의 발전으로 다양한 AI 애플리케이션이 쏟아져 나오고 있지만, API를 통해 제공되는 원시(Raw) LLM을 실제 서비스 환경에 바로 투입하기에는 여러 현실적인 장벽이 존재합니다. 모델의 응답은 종종 일관성이 부족하거나 예측이 불가능하며, 때로는 시스템의 보안이나 윤리적 경계를 넘어서는 위험한 출력을 생성하기도 합니다. 소프트웨어 엔지니어들은 이러한 문제를 해결하기 위해 복잡한 프롬프트 엔지니어링에 의존하거나, 외부 방어벽을 직접 구현하느라 많은 시간과 리소스를 소모해 왔습니다. 이러한 배경 속에서, 단순한 텍스트 생성을 넘어 AI의 인지 과정을 제어하고 안전한 프로덕션 환경을 보장하기 위한 중간 계층 도구의 필요성이 크게 대두되었습니다. Orellius에서 개발한 Laminae는 바로 이러한 '날 것 그대로의 LLM'과 '프로덕션 AI' 사이의 누락된 계층(The Missing Layer)을 채워주기 위해 탄생한 강력한 모듈형 Rust SDK입니다. 라틴어로 '층(Layers)'을 의미하는 프로젝트 이름처럼, Laminae는 AI 애플리케이션에 성격(Personality), 안전성(Safety), 레드티밍(Red-teaming), 그리고 프로세스 샌드박싱 기능을 겹겹이 쌓아 올릴 수 있도록 돕습니다. 개발자는 제공되는 각 계층을 독립적인 기능으로 사용하거나, 이들을 모두 결합하여 하나의 완벽한 풀스택 인지 제어 시스템으로 구성할 수 있습니다. 특히 Laminae는 고성능과 메모리 안전성을 자랑하는 Rust 언어로 작성되어, 대규모 트래픽이 발생하는 프로덕션 환경에서도 지연 시간을 최소화하고 안정적인 처리를 보장합니다. 또한 심리학적 개념을 차용한 독창적인 다중 에이전트(Multi-Agent) 아키텍처를 통해 AI의 사고를 모듈화했습니다. 사용자의 글쓰기 스타일을 섬세하게 학습하거나, 지속적인 피드백을 통해 AI 스스로 지침을 개선하는 등 엔터프라이즈 레벨에서 요구되는 고도화된 기능들을 여러 크레… --- ## [\[GN\] AI를 비용 낭비 없이 운영하기 위한 실전 통합 모범 사례](https://discuss.pytorch.kr/t/gn-ai/8549)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [12월 29, 2025, 9:30오전 UTC](https://discuss.pytorch.kr/t/gn-ai/8549 "2025-12-29T09:30:42Z")
글 소개 LLM과 AI 플랫폼을 프로덕션 환경에서 안정적으로 운영하기 위해, 변화에 대응하는 구조 중심 설계 방식이 필요함 모델과 API 변경에 대비해 모든 AI 호출을 서비스로 분리하고, 2중 실행 기반 마이그레이션 패턴을 적용함 OpenAI의 Flex 서비스 티어를 활용하면 동일한 모델과 데이터 품질로 50% 비용 절감 가능 반복되는 데이터는 프롬프트 앞부분에 배치해 캐시 토큰 활용 효율을 극대화하여 비용의 10%만 지불 과도한 비용 발생을 막기 위해 Rate Limiting과 Circuit Breaker를 백엔드에 필수적으로 구축 변화에 대비한 AI 통합 전략 AI 모델과 API는 지속적으로 변경되며, 현재 작동하는 방식이 언제든 실패할 수 있음 개별 도구나 모델을 따라가는 대신, 변화에 적응 가능한 시스템 설계가 핵심임 AI 활용의 목표는 최신 기술 추종이 아니라 안정적 운영과 비용 통제임 마이그레이션 패턴 (The Migration Pattern) 모든 AI API 호출을 서비스로 추출하여 연결, 프롬프트 구성, 특정 프롬프트를 내부적으로 처리 이 서비스들은 영구 마이그레이션 가능 상태(permanent migratability) 로 운영되어 항상 최신 버전과 모델 또는 이전에 사용하던 버전을 사용 가능 GPT 4.1에서 GPT-5로 마이그레이션할 때 문제 발생 경험 GPT 4.1용으로 완벽하게 만들어진 프롬프트가 GPT-5에서 JSON 키를 누락하는 등 신뢰성 저하 GPT-5는 단순 JSON 포맷 대신 구조화된 JSON 스키마(structured JSON schemas) 사용을 지향 키와 가능한 값을 정의하고 프롬프트에서 채우는 방식 설명 필요 마이그레이션 전략 구현 특정 기간 동안 또는 테스트/스테이징 환경에서 구버전 프롬프트와 구모델, 신버전 프롬프트와 신모델을 동시 실행 완전히 다른 데이터 구조와 API 호출도 가능(OpenAI는 chat-style API에서 response-style API로 전환 권장) 양쪽 결과를 … --- ## [Any-LLM: 하나의 API로 다양한 LLM을 제어하는 통합 프레임워크 (feat.Mozilla AI)](https://discuss.pytorch.kr/t/any-llm-api-llm-feat-mozilla-ai/8181)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [11월 12, 2025, 9:30오전 UTC](https://discuss.pytorch.kr/t/any-llm-api-llm-feat-mozilla-ai/8181 "2025-11-12T09:30:15Z")
Any-LLM 프로젝트 소개 인공지능 개발 환경은 빠르게 변화하고 있습니다. 매달 새로운 대형 언어 모델(LLM)이 등장하고, 각 모델은 자신만의 SDK, 엔드포인트, 매개변수 체계를 가집니다. 이러한 다양성은 풍부한 선택지를 제공하지만, 동시에 개발자에게는 유지보수의 복잡성과 공급자 종속성이라는 새로운 부담을 안겨줍니다. Mozilla AI가 개발한 any-llm은 이러한 문제를 해결하기 위해 시작한 프로젝트입니다. 즉, Any-LLM은 “하나의 API로 어떤 모델이든 실행한다(Run Any LLM from One API)”라는 단순하면서도 강력한 비전을 구현하는 것을 목표로 합니다. OpenAI, Anthropic, Mistral, Claude, Ollama, Llama.cpp 등 다양한 모델을 동일한 코드 한 줄로 호출할 수 있도록 설계되었으며, 클라우드와 로컬 환경을 모두 지원합니다. Mozilla AI의 철학과 any-llm의 탄생 배경 any-llm은 Mozilla AI가 제시하는 “투명하고 상호운용 가능한(open and interoperable) AI 생태계”라는 비전의 중심에 있습니다. 오늘날 LLM 시장은 급속히 성장하며, 각 공급자가 독자적인 방식으로 API를 설계하고 있습니다. OpenAI의 Chat Completions API가 사실상의 표준처럼 자리 잡았지만, 실제로는 세부 구현이 제공자마다 달라 완벽한 호환이 어렵습니다. 개발자들은 매번 새로운 SDK를 학습하고, 매개변수와 응답 포맷을 재정의해야 했습니다. Mozilla AI는 이러한 단절을 해소하기 위해, 공통 인터페이스를 기반으로 모든 LLM을 연결하는 통합 SDK를 만들었습니다. 따라서 any-llm은 처음부터 “프록시 서버 없이 직접 연결되는 설계”를 목표로 했습니다. 이를 통해 추가적인 인프라 비용이나 지연(latency)을 최소화하면서, 공급자의 공식 SDK를 그대로 활용해 호환성과 안정성을 확보했습니다. 이를 통해 any-llm은 단순한 래퍼(wrapper… --- ## [Dynamo: NVIDIA가 공개한 고성능 AI 추론 프레임워크](https://discuss.pytorch.kr/t/dynamo-nvidia-ai/6592)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [3월 20, 2025, 5:30오전 UTC](https://discuss.pytorch.kr/t/dynamo-nvidia-ai/6592 "2025-03-20T05:30:54Z")
Dynamo 소개 NVIDIA가 공개한 Dynamo는 멀티 노드 분산 환경에서 생성형 AI 및 추론 모델을 고성능으로 서빙하기 위한 프레임워크입니다. 기존 LLM 서빙 방식과 차별화된 GPU 활용 전략과 고속 데이터 전송, LLM-aware 요청 라우팅, KV 캐시 최적화 등의 기능을 제공합니다. Dynamo는 Rust와 Python으로 개발된 오픈소스 추론 프레임워크로, LLM 모델을 고효율로 서빙할 수 있도록 설계되었습니다. 특히 TensorRT-LLM, vLLM, SGLang 등의 다양한 추론 엔진을 지원한다는 점에서 유연성과 확장성이 뛰어난 솔루션입니다. 다음과 같은 핵심 기능을 제공합니다: 분리된 Prefill & Decode 추론: GPU 사용률을 극대화하고 지연 시간을 줄입니다. 동적 GPU 스케줄링: 수요 변동에 맞춰 최적의 성능을 유지합니다. LLM-aware 요청 라우팅: 불필요한 KV 캐시 재계산을 방지하여 속도를 향상합니다. 고속 데이터 전송(NIXL 활용): 추론 응답 시간을 최소화합니다. KV 캐시 오프로딩: 여러 메모리 계층을 활용하여 시스템 처리량을 증가시킵니다. 이번에 공개한 Dynamo와 기존 LLM 서빙 프레임워크의 주요 특징들을 비교하면 다음과 같습니다: 비교 항목 Dynamo vLLM TensorRT-LLM 추론 엔진 지원 :white\_check\_mark: 다양한 엔진(TRT-LLM, vLLM 등) :white\_check\_mark: vLLM 전용 :white\_check\_mark: TensorRT-LLM 전용 멀티 노드 지원 :white\_check\_mark: 가능 :prohibited: 단일 노드 :white\_check\_mark: 가능 KV 캐시 최적화 :white\_check\_mark: 지원 :white\_check\_mark: 지원 :white\_check\_mark: 지원 GPU 스케줄링 :white\_check\_mark: 동적 스케줄링 :prohibited: 정적… --- ## [Humbug: 여러 모델을 사용할 수 있는 AI 중심의 오픈소스 개발 도구](https://discuss.pytorch.kr/t/humbug-ai/5945)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [1월 22, 2025, 10:00오전 UTC](https://discuss.pytorch.kr/t/humbug-ai/5945 "2025-01-22T10:00:23Z")
Humbug 소개 Humbug은 다양한 AI 서비스들과 상호작용할 수 있는 GUI 기반 애플리케이션으로, 소프트웨어 개발을 더욱 효율적으로 지원하기 위해 만들어졌습니다. 사용자 친화적인 탭 인터페이스를 통해 여러 AI 모델과의 대화를 동시에 관리하고, 파일 편집을 지원하며, 플랫폼 간 일관된 사용자 경험을 제공합니다. 이 소프트웨어는 IDE 스타일의 파일 편집 환경에서 개발 작업을 한곳에서 수행할 수 있도록 하면서도 AI와의 통합을 중점으로 두고 설계되었으며, 자체적으로도 AI가 개발에 기여하는 점이 독특합니다. Humbug는 현대 소프트웨어 개발의 어려움을 해결하기 위해 AI를 중심으로 설계되었습니다. 다양한 AI 어시스턴트를 활용하여 제품 기능을 정의하고, 주요 기능을 개발하며 테스트 코드를 작성하는 등의 작업을 수행할 수 있어, 개발자는 창의적으로 개발 작업에만 집중하며 생산성을 향상시킬 수 있습니다. Humbug와 관련한 더 자세한 정보는 개발사인 m6r.ai의 YouTube 채널에서 확인할 수 있습니다. Humbug의 주요 기능 IDE 스타일의 다중 탭 인터페이스 여러 AI 대화 세션 및 텍스트 파일을 동시에 관리 가능. 탭 간 드래그 앤 드롭 지원. 다양한 열 레이아웃으로 탭 구성 가능. 다양한 AI 모델과의 상호작용 OpenAI, Google Gemini, Anthropic, Ollama와 같은 모델 지원. 실시간 스트리밍 응답 및 모델 설정 옵션 제공. m6r.ai의 Metaphor 언어를 활용한 AI 통합 지원. 사용자 친화적 UI 및 파일 편집 다양한 언어(C, Python, TypeScript 등) 구문 강조 표시. 자동 백업 및 커서 위치 추적 기능. 대화 이력 저장 및 Markdown 스타일 코드 형식화. Mindspace 관리 프로젝트별 환경 설정 및 상태 저장. 사용자가 설정한 탭 크기, 폰트 크기, 자동 백업 등의 세부 설정 관리. 라이선스 Humbug는 Apache-2.0 라이선스로 공개된 오픈소… --- ## [Moonlight: 연구자들을 위한 논문 AI PDF 뷰어](https://discuss.pytorch.kr/t/moonlight-ai-pdf/5823)
**Author:** [@taehee](https://discuss.pytorch.kr/u/taehee)\ **댓글:** 0\ **마지막 업데이트:** [1월 9, 2025, 12:40오후 UTC](https://discuss.pytorch.kr/t/moonlight-ai-pdf/5823 "2025-01-09T12:40:31Z")
Moonlight 소개 Moonlight: AI Colleague for Research Papers Moonlight는 연구자들이 논문을 더 쉽게 탐색하고 분석할 수 있도록 도와주는 AI 기반 PDF 뷰어로, 쏟아지는 논문들 속에서 연구자들이 논문을 보다 효과적으로 다룰 수 있도록 지원합니다. GPT 와 같은 AI 기술을 학술 논문을 읽는 흐름에 직접적으로 적용하여 논문의 생소하거나 어려운 부분에 대한 실시간 설명을 제공하며, 대화형 AI 동료와 함께 개념을 구체화하거나 내용을 요약할 수 있도록 돕습니다. 또한, 실시간 번역으로 언어 장벽을 허물고, 논문을 읽는 도중 인용된 논문의 초록, 저자, 인용 수 등을 즉시 확인할 수 있는 스마트 인용 기능으로 연구 생산성을 높여주고자 합니다. Moonlight 의 주요 특징 및 기능 텍스트 및 이미지 설명 (Explanation) Moonlight 를 통해 논문 속 복잡한 개념들에 대해 설명을 생성할 수 있습니다. 논문을 읽는 도중 설명이 필요한 부분을 선택 후 설명 버튼을 클릭하면 앞뒤 맥락을 고려한 설명이 제공됩니다. 텍스트 설명: 하이라이트한 텍스트에 대해 설명을 생성할 수 있습니다. 설명에 대해 추가적인 질문도 할 수 있어 대화를 나누며 보다 구체적으로 이해를 할 수 있도록 합니다. 이미지 설명: 그래프, 테이블, 수식 등에 마우스 호버 시 bounding box 로 인식되어 one-click 으로 설명 요청이 가능합니다. 수식 설명 시 설명창에 있는 수식 블록을 클릭 함으로서 수식 LaTeX 복사가 가능합니다. 수학 공식들이 많은 ML 분들에게 특히나 유용하기를 기대합니다. 스마트 인용 카드 (Smart Citation) Moonlight 로 보는 PDF 논문 안에서 인용된 참고 문헌을 논문 안에서 바로 확인할 수 있습니다. 제목, 저자, 초록 등을 통해 현 논문과의 연관성을 빠르게 파악할 수 있고, 관련 논문의 요약도 함께 확인이 가능합니다. 번역 기능 (Transl… --- ## [Semantic Reader: AI를 활용한 논문 읽기 도구 (feat. AI2)](https://discuss.pytorch.kr/t/semantic-reader-ai-feat-ai2/5326)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 2\ **마지막 업데이트:** [10월 23, 2024, 11:16오전 UTC](https://discuss.pytorch.kr/t/semantic-reader-ai-feat-ai2/5326 "2024-10-23T11:16:52Z")
Semantic Reader 소개 Semantic Reader는 인공지능(AI) 기술을 기반으로 한 학술 논문 읽기 애플리케이션으로, 기존의 논문 읽기 경험을 크게 개선하는 것을 목표로 합니다. 연구자들이 논문을 읽을 때 경험하는 주요 문제점, 예를 들어, 인용 논문을 확인하기 위해 반복적으로 논문을 왔다 갔다 하거나, PDF 파일이 모바일 및 보조기술과 잘 호환되지 않는 문제를 해결합니다. Semantic Reader는 이러한 문제를 해결하기 위해 논문의 구조를 이해하고, Semantic Scholar의 방대한 학술 데이터베이스와 통합하여 문맥에 맞춘 상세 정보를 실시간으로 제공하는 기능을 갖추고 있습니다. Semantic Reader의 주요 기능 인용 카드(Citation Card) 및 개인화된 인용 Semantic Reader는 논문 내 인용을 쉽게 확인할 수 있도록 돕는 인용 카드(Citation Cards) 기능을 제공합니다. 이 기능을 통해 사용자는 논문을 읽는 도중 인용된 논문을 클릭하면 해당 논문의 요약 정보와 함께 바로 확인할 수 있습니다. 특히 TLDR(Too Long Didn't Read) 요약이 포함된 간결한 정보도 제공되며, 읽는 중에 다른 인용된 논문으로 빠르게 이동할 수 있는 구조를 제공합니다. 또한, Semantic Reader는 연구자의 개인화된 인용(Personalized In-line Citations) 기능을 지원합니다. 사용자가 저장한 논문이나 자신의 연구 활동과 관련된 논문은 색상으로 구분되어 표시되며, 이를 통해 연구자는 더 중요한 논문을 우선적으로 탐색할 수 있습니다. 이 기능은 데스크톱 환경에서 제공되며, 사용자의 라이브러리와 연동됩니다. 목차 및 저장 기능 논문 내에서 빠르게 탐색할 수 있도록 목차(Table of Contents) 기능이 제공되며, 이를 통해 논문의 특정 섹션으로 손쉽게 이동할 수 있습니다. 또한 라이브러리에 저장(Save to Library) 기능을 통해 읽고 있… --- ## [\[2024/08/19 ~ 08/25\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week)](https://discuss.pytorch.kr/t/2024-08-19-08-25-ml-top-ml-papers-of-the-week/5097)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 26, 2024, 3:48오전 UTC](https://discuss.pytorch.kr/t/2024-08-19-08-25-ml-top-ml-papers-of-the-week/5097 "2024-08-26T03:48:26Z")
\[2024/08/19 ~ 08/25\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week) PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 이번 주에 선정된 논문들에서는 특히 대형 언어 모델(LLM)에 관한 연구가 두드러지게 나타났다는 것을 확인할 수 있습니다. "LLM Pruning and Distillation in Practice", "Enhancing Robustness in LLMs", "Controllable Text Generation for LLMs", 그리고 "Challenges and Responses in the Practice of LLMs" 등 여러 논문이 LLM의 성능 향상, 실용적 적용, 그리고 안정성 증진 등을 다루고 있습니다. 또한, "Language Modeling on Tabular Data"와 같은 논문을 통해 LLM의 응용 분야가 다양한 영역으로 확대되고 있음을 볼 수 있습니다. 이와 같은 트렌드는 대형 언어 모델이 자연어 처리(NLP) 분야에서 매우 중요한 연구 주제로 떠올랐음을 반영합니다. LLM은 복잡한 언어 구조를 이해하고 생성할 수 있는 능력을 가지고 있어, 텍스트 생성, 번역, 문서 요약 등 다양한 응용 프로그램에서 광범위하게 사용되고 있습니다. 이들 모델의 성능을 더욱 정교하게 하고, 효율적으로 운영하며, 보다 안정적으로 만들기 위한 다양한 접근법들이 계속해서 연구되고 있습니다. 또한, 이번 주에는 그래프 관련 연구도 눈에 띄게 나타났습니다. "A Comprehensive Overview of GraphRAG Methods"는 대표적으로 그래프 기반의 검색 및 수정 생성 방법에 관한 포괄적인 개요를 제공하고 있습니다. 이는 그래프 신경망(GNN)과 관련된 연구가 지속적으로 활발히 진행되고 있음을 나타냅니다. 그래프 구조는 데이터 간의 관계를 효과적으로 표현할 수 있어, 추천 시스템, 생물정보학, 소셜 네트워크 분석 등 다… --- ## [\[GN⁺\] Postgres.new: AI 인터페이스를 갖춘 브라우저 내 Postgres](https://discuss.pytorch.kr/t/gn-postgres-new-ai-postgres/5038)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 14, 2024, 3:50오전 UTC](https://discuss.pytorch.kr/t/gn-postgres-new-ai-postgres/5038 "2024-08-14T03:50:33Z")
Postgres.new 소개 브라우저에서 직접 실행되는 Postgres 샌드박스로, AI 지원을 제공 무제한의 Postgres 데이터베이스를 즉시 생성 가능(곧 S3에도 배포 가능해짐) 각 데이터베이스는 대형 언어 모델(LLM)과 페어링되어 다양한 흥미로운 사용 사례를 제공함: CSV 파일 드래그 앤 드롭으로 테이블 생성 보고서 생성 및 내보내기 차트 생성 데이터베이스 다이어그램 작성 모든 작업은 브라우저 내에서 로컬로 수행됨 사용 데모 CSV 파일을 빠르게 쿼리하고 시각화하고 싶을 때 ChatGPT를 사용해 SQL을 작성하고 실제 데이터베이스에서 실행해 보고 싶을 때 새로운 프로젝트를 계획하고 데이터베이스 설계를 AI에게 맡기고 싶을 때 작동 방식 모든 쿼리는 브라우저 내에서 실행됨 PGlite 덕분에 가능해짐. Postgres의 WASM 버전으로, 브라우저에서 직접 실행 가능함 개발 동기 AI 기반 개발: Postgres와 AI의 상호작용을 재구상함 Postgres 샌드박싱: 브라우저에서 빠르고 일회성으로 실행 가능 저렴한 데이터베이스: 저렴한 비용으로 많은 데이터베이스를 제공할 수 있는 잠재력 기능 및 작동 방식 AI 어시스턴트 PGlite와 GPT-4o를 페어링하여 데이터베이스에 대한 완전한 권한을 부여함. AI가 여러 작업을 연속적으로 수행할 수 있어 더 인간적인 느낌을 줌. CSV 가져오기 및 내보내기 CSV 파일을 드래그 앤 드롭하여 자동으로 테이블 생성. AI가 CSV의 헤더와 샘플 행을 분석하여 데이터 유형을 결정함. SQL 오류가 발생하면 AI가 자체적으로 수정 시도. 차트 "chart"라는 단어를 메시지에 추가하면 AI가 적절한 쿼리를 실행하고 차트를 생성함. Chart.js를 사용하여 차트를 렌더링함. ER 다이어그램 및 마이그레이션 AI가 CREATE 및 ALTER 문을 생성하여 실제 데이터베이스에서 ER 다이어그램을 생성함. 브라우저 호환 버전의 postgres-… --- ## [\[GN⁺\] RouteLLM - LLM 라우터 서빙 및 평가를 위한 프레임워크](https://discuss.pytorch.kr/t/gn-routellm-llm/4809)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 12, 2024, 3:46오전 UTC](https://discuss.pytorch.kr/t/gn-routellm-llm/4809 "2024-07-12T03:46:09Z")
RouteLLM은 LMSys와 Anyscale이 협력하여 개발한 LLM 라우터 serving 및 평가를 위한 프레임워크 핵심 기능: OpenAI 클라이언트를 대체하여 간단한 쿼리를 저렴한 모델로 라우팅 학습된 라우터 제공, 새로운 라우터 확장 및 벤치마크에서 라우터 성능 비교 등 모델 지원 GPT-4와 Mixtral 8x7B 외에도 strong-model과 weak-model 인수를 수정하여 다양한 모델 조합 사용 가능 LiteLLM을 활용해 다양한 오픈소스 및 closed 모델에서 chat completions 지원 OpenAI 호환 엔드포인트도 사용 가능 다양한 모델 제공업체의 API 키 설정 방법 제공 개발 동기 비용과 기능이 다양한 LLM을 배포할 때 고품질 응답을 위해 가장 강력한 모델을 사용하면 비용이 많이 들고, 저렴한 모델을 사용하면 품질이 낮아질 수 있음 LLM 라우팅은 간단한 쿼리를 저렴한 모델로 보내 비용을 절감하면서 품질을 유지하는 솔루션 제공 각 요청에는 비용-품질 tradeoff를 결정하는 cost threshold가 연관됨 서버 RouteLLM은 다양한 라우팅 전략에 따라 요청을 라우팅하기 위한 경량 OpenAI 호환 서버 제공 --routers로 사용 가능한 라우터 목록 지정, --config로 라우터 설정 파일 경로 지정 대부분의 경우 강력하고 가벼운 mf 라우터 사용 권장 클라이언트는 model 필드에 라우터 이름과 threshold를 지정하여 요청 Threshold 보정 라우팅에 사용되는 threshold는 비용-품질 tradeoff를 제어함 라우터 유형과 받는 쿼리에 따라 의미 있는 threshold 범위가 다르므로, 샘플 쿼리와 강한 모델로 보낼 쿼리 비율을 사용해 보정하는 것이 좋음 기본적으로 Chatbot Arena 데이터셋을 기반으로 threshold 보정 지원 실제 수신하는 쿼리 유형과 유사한 데이터셋에서 보정하는 것이 좋음 평가 RouteLLM은 벤치마크에서 다양한 라우팅 전략의 성능… --- ## [AI 알리바이(AI Alibis): LLM 및 멀티 에이전트 기반의 텍스트 기반 추리 게임](https://discuss.pytorch.kr/t/ai-ai-alibis-llm/4807)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 12, 2024, 12:33오전 UTC](https://discuss.pytorch.kr/t/ai-ai-alibis-llm/4807 "2024-07-12T00:33:17Z")
'AI 알리바이' 추리 게임 소개 'AI Alibis'는 대규모 언어 모델(LLM) 기반의 여러 에이전트들과 서로 상호작용하며 펼쳐지는 추리 게임입니다. 플레이어는 게임 내 다양한 캐릭터의 역할을 맡아 사건의 진상을 파악해야 합니다. 각 캐릭터는 독자적인 배경 이야기와 목표를 가지고 있으며, 이를 통해 사건의 전말을 풀어나가야 합니다. 이 게임은 Anthropic의 API를 활용하여 AI 캐릭터들이 더욱 자연스럽고 현실적인 대화를 나누도록 설계되었습니다. 'AI 알리바이' 추리 게임은 온라인에서 직접 체험해볼 수도 있고, 직접 자신의 서버에 설치하고 API 키를 입력하여 자체적으로 실행할 수도 있습니다. 개발자가 전체 코드를 GitHub 저장소에 공개하여, 누구나 게임의 스토리와 캐릭터의 정보를 확인하고 이를 확장하여 다른 장르의 게임을 만들어보거나 다양한 AI 모델의 응용 가능성을 실험해볼 수도 있습니다. 주요 특징 Anthropic API 통합: AI 캐릭터들이 자연스럽고 인간다운 대화를 할 수 있도록 지원. 멀티 에이전트 시스템: 각 캐릭터가 독립적으로 사고하고 행동하여 게임의 몰입도를 높임. 사용자 정의 가능한 설정: API 키 입력 및 서버 설정을 통해 게임 환경을 개인 맞춤형으로 구성 가능. :game\_die: AI 알리바이 게임 해보기 :github: AI 알리바이 GitHub 저장소 AI 알리바이 게임 정보 확인 전체 스토리 및 캐릭터 정보 (JSON): ai-murder-mystery-hackathon/web/src/characters.json at main · ironman5366/ai-murder-mystery-hackathon · GitHub 프롬프트 및 접근 방식 등(Python): ai-murder-mystery-hackathon/api/ai.py at main · ironman5366/ai-murder-mystery-hackathon · GitHub 이 글은 GPT 모델로 정… --- ## [OpenPipe, MoA 기법 활용하여 25배 낮은 가격으로 GPT-4 성능을 뛰어넘는 모델 제공](https://discuss.pytorch.kr/t/openpipe-moa-25-gpt-4/4668)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 21, 2024, 7:06오전 UTC](https://discuss.pytorch.kr/t/openpipe-moa-25-gpt-4/4668 "2024-06-21T07:06:22Z")
들어가며 :pytorch::kr: OpenPipe라는 기업에서 MoA(Mixture-of-Agents, 에이전트 혼합 기법), LLM 성능을 향상시키기 위한 새로운 기법 을 활용하여 GPT-4를 능가하는 비용 효율적 AI를 제공하고 있습니다. 이에 대한 블로그 글을 통해 MoA 기법이 동작하는 방식을 더 자세히 살펴볼 수 있을 것 같아 소개합니다. :smiley: 소개 에이전트 혼합 기법(MoA, Mixture-of-Agents)은 훨씬 저렴한 비용으로 GPT-4와 같은 단일 대규모 언어 모델(LLM)을 능가하는 성능을 보이는 새로운 기법입니다. OpenPipe는 이 새로운 모델을 개발하여 다양한 에이전트를 조합함으로써 성능을 극대화했습니다. 이 모델은 특히 대규모 데이터 처리가 필요한 상황에서 뛰어난 효율성을 자랑합니다. GPT-4와 비교했을 때, 이러한 MoA(Mixture-of-Agents) 기법을 활용한 모델의 운영 비용은 1/25에 불과합니다. 이는 AI 모델을 운영하는데 드는 막대한 비용을 줄일 수 있으며, 다양한 에이전트(LLM)들을 조합하여 각 에이전트의 강점을 극대화할 수 있습니다. 주요 특징 비용 효율성: 운영 비용이 GPT-4의 1/25로, 경제적 부담을 크게 줄일 수 있습니다. 다양한 에이전트 조합: 각 에이전트의 강점을 활용하여 성능을 극대화합니다. 확장성: 다양한 분야에 적용 가능하며, 특히 대규모 데이터 처리에 강점을 보입니다. MoA 모델 디자인 OpenPipe의 MoA 모델은 3개의 프롬프트 체인에 의해 최종 결과를 생성합니다: 프롬프트 1: 선택된 기본 모델(GPT-4, GPT-4 Turbo, GPT-4o)을 사용하여 n=3으로 설정하고 temperature 매개변수를 높은 값으로 입력하여 3개의 후보 완성을 병렬로 생성합니다. 이는 출력의 다양성을 촉진합니다. 프롬프트 2: 다시 기본 모델을 호출하여 원래 입력과 함께 프롬프트 1에서 생성된 3개의 후보 답변들을 전달합니다. 그런 다음 LLM은 후보 완… --- ## [TokenCost: LLM 애플리케이션을 위한 사용 토큰 계산 및 비용 추정 도구](https://discuss.pytorch.kr/t/tokencost-llm/4656)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 18, 2024, 12:35오후 UTC](https://discuss.pytorch.kr/t/tokencost-llm/4656 "2024-06-18T12:35:08Z")
TokenCost: LLM 애플리케이션을 위한 사용 토큰 계산 및 비용 추정을 위한 프로젝트 소개 TokenCost는 LLM 응용 프로그램에서 사용되는 토큰의 수를 계산하고, 이를 바탕으로 비용(USD 기준)을 추정해주는 도구입니다. 주요 기능으로는 토큰 카운팅, 최신 가격 정보 추적, 간편한 통합 등이 있습니다. 개발자는 이를 통해 간단한 함수 호출만으로 프롬프트나 컴플리션의 비용을 계산할 수 있습니다. 예를 들어, OpenAI의 gpt-3.5-turbo 모델을 사용할 때의 프롬프트와 컴플리션의 비용을 계산하는 코드를 작성할 수 있습니다. 이 도구는 LLM을 사용하는 개발자에게 매우 유용하며, 비용 절감과 효율적인 자원 관리를 가능하게 합니다. 다른 유사한 도구로는 OpenAI의 자체 토큰 카운터나 다양한 LLM 라이브러리에서 제공하는 기본적인 토큰 카운팅 기능이 있습니다. 그러나 TokenCost는 이러한 기능을 보다 직관적이고 사용하기 쉽게 제공합니다. 또한 최신 가격 정보를 자동으로 업데이트하여 항상 정확한 비용을 계산할 수 있습니다. 주요 기능 LLM 가격 추적: 주요 LLM 제공자의 최신 모델과 가격 변동을 추적합니다. 토큰 카운팅: OpenAI 요청 전에 프롬프트 토큰을 정확하게 계산합니다. 간편한 통합: 단일 함수 호출로 프롬프트나 컴플리션의 비용을 계산할 수 있습니다. 사용법 TokenCost를 설치하고 사용하는 방법은 매우 간단합니다. 다음은 기본적인 설치 및 사용 예제입니다. # 먼저, pip를 사용하여 tokencost 패키지를 설치합니다. pip install tokencost 비용 계산 예시 OpenAI 요청에서 프롬프트와 컴플리션의 비용을 계산하는 예제 코드입니다: from tokencost import calculate\_prompt\_cost, calculate\_completion\_cost model = "gpt-3.5-turbo" prompt = \[{ "role": "user", "content… --- ## [Paddler, llama.cpp 서버 최적화를 위한 오픈소스 로드 밸런서](https://discuss.pytorch.kr/t/paddler-llama-cpp/4641)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 14, 2024, 2:58오후 UTC](https://discuss.pytorch.kr/t/paddler-llama-cpp/4641 "2024-06-14T14:58:13Z")
Paddler, llama.cpp 서버 최적화를 위한 오픈소스 로드 밸런서 소개 Paddler는 llama.cpp 서버를 위해 설계된 상태 유지형 로드 밸런서 및 리버스 프록시입니다. 기존의 라운드 로빈이나 최소 연결 수와 같은 전략은 llama.cpp 서버에는 효과적이지 않습니다. Paddler는 각 서버의 사용 가능한 슬롯을 인지하여 요청을 효율적으로 분배하고, 에이전트를 통해 개별 서버의 상태를 모니터링하여 최적의 성능을 제공합니다. 또한, 서버의 동적 추가/제거를 지원해 자동 스케일링 도구와의 통합이 가능합니다. 기존의 로드 밸런서들이 요청을 단순히 분배하는 것과 달리, Paddler는 각 서버의 상태와 가용 슬롯을 고려해 요청을 분배합니다. 이는 서버 리소스의 최적화와 더불어 서버 장애 발생 시 빠르게 대처할 수 있는 장점을 제공합니다. 예를 들어, NGINX나 HAProxy와 같은 전통적인 로드 밸런서들은 이러한 세부적인 상태 관리를 제공하지 않습니다. 주요 특징 상태 유지형 로드 밸런싱: 각 서버의 가용 슬롯을 인지하여 효율적인 요청 분배 서버 상태 모니터링: 에이전트를 통해 각 서버의 상태를 실시간으로 모니터링 동적 서버 관리: 서버의 동적 추가/제거 지원 자동 스케일링 지원: AWS 등 클라우드 제공자의 자동 스케일링 도구와 통합 가능 사용 방법 설치 Paddler를 설치하려면, 최신 릴리스를 releases page에서 다운로드 하거나, 직접 빌드할 수 있습니다. 빌드에는 go\>=1.21과 nodejs가 필요합니다. $ git clone git@github.com:distantmagic/paddler.git $ cd paddler $ pushd ./management $ make esbuild # dashboard front-end $ popd $ go build -o paddler 에이전트 실행 에이전트는 llama.cpp 인스턴스와 같은 호스트에 설치되어야 합니다. ./paddler agent \\ … --- ## [LlamaNet: 1~2줄의 코드 변환만으로 OpenAI 기반 애플리케이션을 llama.cpp 기반 로컬 모델로 쉽게 변경 가능한 라이브러리](https://discuss.pytorch.kr/t/llamanet-1-2-openai-llama-cpp/4623)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 12, 2024, 11:44오후 UTC](https://discuss.pytorch.kr/t/llamanet-1-2-openai-llama-cpp/4623 "2024-06-12T23:44:25Z")
LlamaNet: 1~2줄의 코드 변환만으로 OpenAI 기반 애플리케이션을 llama.cpp 기반 모델로 쉽게 변경 가능한 라이브러리 소개 라마넷(Llamanet)은 OpenAI 기반의 앱을 llama.cpp 앱으로 단 한 줄의 코드만으로 전환할 수 있는 오픈소스 라이브러리/도구입니다. (모델도 변경해야 하므로 2줄) 별도의 설정 없이 그리고 서드파티 의존성 없이 작동하므로, 아무것도 몰라도 OpenAI API를 사용하는 것처럼 로컬 모델로 바로 변경하여 사용할 수 있습니다. LlamaNet이 해결하고자 하는 문제들은 다음과 같습니다: OpenAI API 기반의 LLM 앱을 로컬 LLM으로 즉시 포팅하고 싶으신가요? 앱 사용자가 서드파티 LLM 앱이나 서버를 다운로드할 필요 없이 앱을 사용하게 하고 싶으신가요? 서드파티 시스템에 의존하지 않고 앱 자체에서 LLM 관리를 처리하고 싶으신가요? LlamaNet은 상대적으로 가벼운 코드베이스를 가지고 있어, 설치와 실행이 용이하며, 최신 GPU 아키텍처에 최적화되어, 대규모 데이터셋을 빠르게 처리할 수 있습니다. 또한, 직관적인 인터페이스를 제공하여, 사용자가 쉽게 설정을 변경하고 조작할 수 있습니다. 주요 특징 LlamaNet의 주요 특징은 다음과 같습니다: 효율적인 데이터 처리: 대규모 데이터셋을 효과적으로 처리할 수 있는 기능을 제공합니다. GPU 가속 지원: 최신 GPU를 활용하여 빠른 연산 속도를 자랑합니다. 직관적인 설정: 사용자가 쉽게 설정을 변경하고 커스터마이징할 수 있는 환경을 제공합니다. 오픈 소스: 누구나 자유롭게 접근하고 수정할 수 있는 오픈 소스 프로젝트입니다. 다음의 환경에서 동일한 API를 제공합니다: Javascript Python CLI 주요 기능 서드파티 LLM 없이 앱 배포: 라마넷은 LLM을 네이티브하게 제공하는 독립된 라이브러리/CL… --- ## [\[GN\] 1년 동안 LLM과 함께 구축하며 배운 점](https://discuss.pytorch.kr/t/gn-1-llm/4609)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 11, 2024, 10:16오전 UTC](https://discuss.pytorch.kr/t/gn-1-llm/4609 "2024-06-11T10:16:38Z")
1년 동안 LLM과 함께 구축하며 배운 점 대규모 언어 모델(LLM)을 사용한 개발이 흥미로운 시기임 지난 1년 동안 LLM이 실제 애플리케이션에 "충분히 좋은" 수준이 되었으며, 매년 더 좋아지고 저렴해지고 있음 소셜 미디어의 데모와 함께, 2025년까지 AI에 약 2000억 달러가 투자될 것으로 추정됨 업체들의 API로 인해 LLM이 더 접근하기 쉬워져, ML 엔지니어와 과학자뿐만 아니라 모두가 제품에 인텔리젠스를 구축할 수 있게 됨 AI로 구축하는 진입 장벽은 낮아졌지만, 데모 이상으로 효과적인 제품과 시스템을 만드는 것은 여전히 어려움 우리는 지난 1년 동안 구축해 왔으며, 그 과정에서 많은 어려움을 발견했음 우리의 실수를 피하고 더 빠르게 반복할 수 있도록 우리가 배운 내용을 공유하고자 함 이 글은 세 부분으로 구성됨: Tactical(전술적): 프롬프팅, RAG, 워크플로우 엔지니어링, 평가 및 모니터링을 위한 몇 가지 실천 사항 LLM으로 구축하는 실무자나 주말 프로젝트를 진행하는 사람들을 위해 작성됨 Operational(운영적): 제품 출시의 조직적, 일상적 관심사와 효과적인 팀 구축 방법 지속 가능하고 안정적으로 배포하려는 제품/기술 리더를 위한 내용 Strategic(전략적): "PMF 전에 GPU 없음", "모델이 아닌 시스템에 집중" 등의 의견을 담은 장기적이고 큰 그림 관점과 반복하는 방법 창업자와 경영진을 염두에 두고 작성됨 이 가이드는 LLM을 사용하여 성공적인 제품을 구축하기 위한 실용적인 안내서가 되는 것을 목표로 함 우리 자신의 경험에서 비롯되었으며 업계 전반의 사례를 제시함 \[전술: LLM 사용의 핵심\] 이 섹션에서는 새로 등장하는 LLM 스택의 핵심 구성 요소에 대한 모범 사례를 공유함 품질과 신뢰성을 높이기 위한 프롬프팅 팁, 출력을 평가하기 위한 전략, 그라운딩을 개선하기 위한 검색 증강 생성 아이디어 등이 포함됨 또한 휴먼 인 더 루프 워… --- ## [대규모 언어 모델을 위한 검색-증강 생성(RAG) 기술 현황 - 1/2편](https://discuss.pytorch.kr/t/rag-1-2/3135)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 9\ **마지막 업데이트:** [6월 3, 2024, 1:37오후 UTC](https://discuss.pytorch.kr/t/rag-1-2/3135 "2024-06-03T13:37:24Z")
PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 12/18~24의 주요 ML 논문에 소개된 RAG 기술에 대한 서베이 논문을 정리해보았습니다. LLM의 활용이 늘어나며, RAG에 대한 연구들 또한 계속되고 있습니다. 1부에서는 RAG 기술의 패러다임들을, 2부에서는 주요 구성요소들에 대해서 알아보겠습니다. 1부: RAG에 대한 간단한 소개와 함께 주요 패러다임들과 각 세부 기술, 방법론들에 대한 소개 :point\_left: 2부: RAG의 구성 요소들에 대한 소개와 고려해야 할 주요 주제들과 방법론들에 대한 소개 번외편: 서베이 논문 발표 자료 및 참고 논문/코드 검색-증강 생성(RAG) 기술 소개 대규모 언어 모델(LLM)은 뛰어난 능력을 보이지만, 실제 사용을 위해서는 환각이나 느린 지식의 업데이트, 답변의 투명성 부족 등과 같은 문제들을 극복해야 합니다. RAG(Retrieval-Augmented Generation)는 이러한 문제를 해결하기 위해 제안된 기술입니다. RAG는 대규모 언어 모델(LLM)에서 질문에 대한 답변이나 텍스트를 생성하기 전에 광범위한 문서 집합에서 관련 정보를 검색하고, 이를 이용하여 응답을 생성하는 방법입니다. 이는 LLM의 기존 문제점인 지식의 시대에 뒤떨어짐, 특정 영역에 대한 지식 부족, 그리고 응답의 투명성 부족을 해결하는 데 중점을 두고 있습니다. 이러한 RAG는 답변의 정확도를 크게 향상시키고, 특히 지식 집약적인 작업에서 모델의 환각을 줄이는 데 도움이 됩니다. 사용자가 출처를 인용하여 답변의 정확성을 검증할 수 있으며, 이는 모델 출력에 대한 신뢰를 증가시킵니다. 또한, 지식 업데이트와 특정 분야의 지식 도입에도 용이합니다. RAG 외에 파인튜닝(fine-tuning)을 사용하여 대규모 언어 모델이 특정 지식에 집중하도록 할 수 있습니다. 하지만 이러한 파인튜닝은 실시간으로 업데이트되는 정보를 반영하는데 시간이 걸리며, … --- ## [구조화된 출력에서 환각 현상을 줄이기 위한 RAG (feat. ServiceNow)](https://discuss.pytorch.kr/t/rag-feat-servicenow/4472)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 25, 2024, 7:51오전 UTC](https://discuss.pytorch.kr/t/rag-feat-servicenow/4472 "2024-05-25T07:51:54Z")
구조화된 출력에서 환각 현상을 줄이기 위한 RAG (feat. ServiceNow) 들어가며 :pytorch::kr: 이번에 살펴볼 논문은 LLM을 사용하여 사용자의 자연어 입력을 기반으로 JSON과 같은 구조화된 출력을 제공할 때 RAG를 사용하여 환각(Hallucination) 현상을 감소시키는 방법에 대한 연구입니다. 이 연구는 디지털 워크플로우 자동화 및 클라우드 기반 서비스 관리 솔루션을 제공하는 ServiceNow에서 진행 및 공개하였습니다. 이러한 접근 방식을 통해 워크플로우 생성 시품질을 향상시킬 뿐만 아니라 성능을 저하시키지 않으면서 더 작고 자원이 적게 소모되는 모델을 배포할 수 있게 되는데요, 아마도 ServiceNow 내부에 적용이 되었거나 적용되지 않을까 싶습니다. 다른 곳들에서도 참고할만한 연구인 것 같아 가져와봤습니다. :smiley: 논문 소개 대규모 언어 모델(LLM, Large Language Model)은 자연어를 코드나 SQL 쿼리 같은 구조화된 출력으로 변환하는 다양한 응용 프로그램에서 혁신을 가져왔습니다. 그러나 이러한 모델은 종종 환각 문제를 겪으며, 부정확하거나 존재하지 않는 출력을 생성합니다. 이 논문은 RAG를 통합하여 이 문제를 완화하고 자연어 입력에서 워크플로우를 생성하는 시스템을 소개합니다. 주요 기여로는 구조화된 작업에 대한 RAG 적용, 성능 저하 없이 모델 크기 감소, 그리고 도메인 외 설정에 대한 일반화 향상이 있습니다. 하지만 자연어 입력에서 워크플로우와 같은 구조화된 출력을 생성할 때 주로 발생하는 문제는 바로 LLM의 환각(Hallucination) 현상입니다. 환각은 특히 정확성이 중요한 기업용 애플리케이션에서 신뢰할 수 없고 사용하기 어려운 결과를 초래할 수 있습니다. 이 문제를 해결하는 것은 복잡한 작업의 신뢰할 수 있고 효율적인 자동화를 보장하여 생성형 AI를 기업 현장에 적용할 수 있도록 합니다. 즉, 이러한 문제는 대규모 언어 모델을 사용한 기업의 생산성 향상과 직결되며, … --- ## [2024년 LLM 모델 개발 트렌드 관련 영상 \[영어/유튜브\]](https://discuss.pytorch.kr/t/2024-llm/3890)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 3\ **마지막 업데이트:** [5월 22, 2024, 12:37오후 UTC](https://discuss.pytorch.kr/t/2024-llm/3890 "2024-05-22T12:37:14Z")
little guide라는 제목과는 다르게 방대한 내용을 품고 있는 이 영상은 LLM을 학습시키기 위한 데이터의 준비부터 학습 기법, 그리고 평가 방법 등을 다루고 있습니다. (GPT 모델이 정리해준) 대략적인 내용들은 다음과 같습니다: :books: 데이터 준비(Data Preparation): 다양성과 커버리지를 극대화하는 동시에 품질을 보장하는 데 초점을 맞춰야하는, LLM 학습의 어두운 과학(data science) 부분입니다. :mag: 평가 기법(Evaluation Techniques): 모델이 다양한 지표에서 우수한 성능을 발휘하도록 하기 위한 철저한 평가 방법의 중요성에 대해 설명합니다. :bulb: 효율적인 트레이닝 기법(Efficient Training Techniques): 데이터의 준비와 품질에 중점을 두되, LLM을 보다 효율적으로 훈련하는 기법에 대해 논의합니다. :globe\_with\_meridians: 현실과 과장(Reality vs. Hype): 현실적으로 달성 가능한 것과 종종 과장된 것을 강조하면서 LLM 개발 과정을 이해하기 쉽게 설명하는 것을 목표로 합니다. :chart\_with\_upwards\_trend: 데이터 세트의 영향력(Influence of Datasets): 데이터 세트가 아키텍처 세부 사항보다 모델의 동작에 더 큰 영향을 미친다는 점을 강조합니다. :test\_tube: 데이터 품질 및 다양성(Data Quality and Diversity): 효과적으로 LLM을 학습하기 위해서는 고품질의 다양한 데이터 세트가 필요하다는 것은 반복되는 주제입니다. :wrench: 아키텍처 및 하이퍼파라미터(Architecture and Hyperparameters): 핵심은 아니지만 모델 훈련에서 아키텍처와 하이퍼파라미터의 역할에 대해서도 다룹니다. :open\_book: 사례 연구 및 예시(Case Studies and Examples): 성공적인 모델과 기법에 대한 참조를 … --- ## [LLM 상용화 시, 비용을 낮추면서 성능 향상을 위한 3가지 전략 (feat. FrugalGPT by Portkey)](https://discuss.pytorch.kr/t/llm-3-feat-frugalgpt-by-portkey/4273)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 4, 2024, 8:40오전 UTC](https://discuss.pytorch.kr/t/llm-3-feat-frugalgpt-by-portkey/4273 "2024-05-04T08:40:12Z")
FrugalGPT 구현을 통해 얻은, LLM 비용을 줄이면서 성능을 향상시키기 위한 노력들 (feat. FrugalGPT by Portkey) 개요 LLM을 서비스에 접목하려는 시도들이 늘어나며, 점차 많은 기업들이 LLM Application들을 상용 환경(Production)에 구축하고 있습니다. 이러한 상황 속에서 Portkey에서 지난 4월 말 공개한 글은 FrugalGPT의 사례를 통해 LLM 비용을 줄이면서 성능을 향상시키는 방법에 대해 적고 있습니다. 어떠한 내용들을 다루고 있는지 함께 살펴보시죠. :smiley: :warning: 아래 내용은 GPT 모델을 통해 요약한 것으로, 원문을 읽기 전 필요한 내용이 있는지 등을 살펴보시는데 사용해주세요. 더 풍부한 사례와 코드, 내용들은 원문을 통해 참고해주시기를 부탁드립니다. 들어가기 전에 FrugalGPT 소개 먼저 FrugalGPT에 대해서 살펴보겠습니다. FrugalGPT는 대규모 언어 모델(LLM)을 보다 효율적으로 사용하는 데 필요한 다양한 기술을 제공하는 것을 목표로 하는 프로젝트로, 스탠포드 대학의 Future Data 시스템 연구소에서 개발한 프레임워크입니다. 이 프로젝트는 비용을 절감하면서도 품질을 유지하는 방법에 초점을 맞추고 있으며, 구체적인 기술과 방법론을 제공하여 개발자들이 자원을 효율적으로 사용할 수 있도록 지원합니다. 이러한 배경으로, LLM의 접근성을 높이고, 더 넓은 범위의 응용 프로그램 개발을 가능하게 하는 것이 이 프로젝트의 주된 목적입니다. FrugalGPT에 관련하여서는 학술적 논문(FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance) 및 트위터에 올렸던 소개 글을 통해 살펴볼 수 있습니다. Portkey 소개 이번에 소개하는 글( :star: Implementing FrugalGPT: Reducing LLM Costs & Improving Pe… --- ## [OpenLIT: OpenTelemetry 기반 생성형 AI 및 LLM 모니터링 도구](https://discuss.pytorch.kr/t/openlit-opentelemetry-ai-llm/4267)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 2, 2024, 10:40오후 UTC](https://discuss.pytorch.kr/t/openlit-opentelemetry-ai-llm/4267 "2024-05-02T22:40:07Z")
OpenLIT: OpenTelemetry 기반 생성형 AI 및 LLM 모니터링 도구 소개 OpenTelemetry를 기반으로 한 GenAI 및 LLM 애플리케이션 관측 도구인 OpenLIT는 개발자들이 GenAI 프로젝트에 관측 기능을 쉽게 통합할 수 있도록 설계되었습니다. 단 한 줄의 코드만으로도 통합이 가능해, 사용이 매우 간편합니다. 이 도구는 OpenAI와 HuggingFace와 같은 인기 있는 LLM 라이브러리뿐만 아니라 ChromaDB와 같은 벡터 데이터베이스와의 통합을 원활하게 지원합니다. 이 글에서는 OpenLIT의 핵심 기능과 설치 방법, 그리고 사용법에 대해 자세히 알아보겠습니다. OpenLIT은 LLM(Large Language Models) 응용 프로그램의 성능과 신뢰성을 향상시키는 데 필요한 중요한 통찰력을 제공하는 GenAI 및 LLM 응용 프로그램 관측 도구입니다. 이 도구는 OpenTelemetry 커뮤니티의 Semantic Conventions을 따르며 관측의 최신 표준과 일치하도록 지속적으로 업데이트됩니다. OpenLIT은 벤더 중립적인 SDK를 제공함으로써 Grafana Tempo와 같은 다양한 텔레메트리 백엔드와의 호환성을 보장하며, 이는 다른 관측 도구들이 특정 벤더에 종속되어 있는 것과 대비됩니다. 주요 기능 OpenTelemetry 네이티브 지원: OpenLIT은 자연스러운 확장처럼 느껴지도록 프로젝트에 통합됩니다. 세분화된 사용 통찰력 제공: 스테이징 또는 프로덕션 환경별, 또는 응용 프로그램별로 메트릭을 세분화하여 LLM 응용 프로그램의 성능과 비용을 평가할 수 있습니다. 벤더 중립적 SDK: OpenLIT의 SDK는 백엔드 벤더와 관계없이 사용할 수 있으며, 다양한 텔레메트리 백엔드와의 호환성 문제를 걱정할 필요가 없습니다. 사용 방법 OpenLIT 배포 레포지토리의 루트 디렉터리에서 다음 명령을 실행하여 OpenLIT을 배포합니다: # Docker를 사용한 배포 docker-compose up -… --- ## [AI에 관심이 있는 개발자라면 Embedding(임베딩)부터 시작해보세요! 😉](https://discuss.pytorch.kr/t/ai-embedding/4107)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 18, 2024, 6:27오전 UTC](https://discuss.pytorch.kr/t/ai-embedding/4107 "2024-04-18T06:27:29Z")
:pytorch:PyTorchKR:kr: 최근 AI와 관련된 앱 개발에 관심이 있는 개발자라면, 벡터 임베딩(vector embeddings)이 좋은 출발점이 될 수 있습니다. 임베딩은 텍스트나 이미지와 같은 비정형 데이터를 압축한 숫자의 배열로, 검색과 추천 등에 사용할 수 있습니다. HackerNews에 소개된 이 글에서는 벡터 임베딩을 사용하여 어떻게 검색 경험을 향상시킬 수 있는지, 그리고 어떠한 기술 스택을 선택했는지 등을 설명하고 있습니다. 소개 임베딩은 검색 및 추천 시스템에서 유사성을 측정하는 데 유용합니다. 예를 들어, 영어가 아닌 일본어나 프랑스어와 같은 다양한 언어의 입력에도 효과적으로 반응할 수 있습니다. 특히, 이 글에서는 PostgreSQL 확장 기능인 Pgvector를 사용하여 임베딩을 저장하고 조회하는 방법을 소개합니다. Pgvector는 기존의 SQL 로직과 임베딩 작업을 결합할 수 있는 강력한 도구로, 별도의 서비스 추가 없이도 데이터베이스 내에서 임베딩을 관리할 수 있습니다. 저자는 임베딩 활용을 위해 사용 가능한 다양한 도구들의 옵션 중, 몇 가지 옵션들을 선택하고 설명하고 있습니다. 저자가 강조하는 요점은 다음과 같습니다: 벡터 임베딩은 임의의 입력과 보유하고 있는 데이터들 사이의 유사성을 측정하는데 주로 사용됩니다. 이러한 유사성은 검색 및 추천에 적합하며, 서로 다른 언어들 사이에서도 동작합니다. PostgreSQL의 확장 기능인 Pgvector을 활용하여 임베딩 검색과 비즈니스 로직을 통합합니다. 이는 벡터 데이터베이스가 가장 빠르지는 않지만, 여러 데이터 소스간 결과를 비교할 필요 없이 단일 시스템에서 관리할 수 있는 이점을 제공합니다. LLM과는 다르게, 임베딩 작업은 (우리가 그동안 다뤄왔던) 일반적인 결정론적 코드처럼 느껴집니다. 벡터 임베딩 모델: OpenAI의 임베딩 모델을 사용하여 텍스트 입력에서 벡터 임베딩을 출력으로 전환합니다. 이는 다양한 검색 쿼리에 대해 코사인 유… --- ## [상용 수준의 LLM 애플리케이션 구축하기 (무료/영어/온라인)](https://discuss.pytorch.kr/t/llm/3671)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 2\ **마지막 업데이트:** [3월 5, 2024, 12:42오후 UTC](https://discuss.pytorch.kr/t/llm/3671 "2024-03-05T12:42:26Z")
상용 수준의 LLM 애플리케이션 구축하기 (Building Production-Grade LLM Apps) 소개 DeepLearning.AI, Pinecone, 그리고 Truera가 함께 진행하는 Webinar로, 프로토타입을 넘어서, 기업에서 사용 가능한 상용 수준의 LLM 애플리케이션을 어떻게 구축하는지에 대해서 설명한다고 합니다. 주요 내용은 다음과 같다고 합니다: Enterprise급 AI 모델과 애플리케이션을 만들기 위해서는 무엇이 필요할까요? 현재 스택에서의 부족한 점과 효과적인 방법을 알아봅니다. 애플리케이션을 신속하게 평가하고 반복적으로 개선하여 상용 수준이 되었는지를 확신하려면, 무엇이 필요할까요? 애플리케이션이 환각 현상을 일으키거나, 잘못되거나 위험한 답변을 생성했을 때 어떻게 신속하게 알 수 있을까요? 애플리케이션을 모니터링하고, 문제가 생겼을 때 인지하고, 빠르게 정상화할 수 있는 방법을 알아보세요. What do you need to create enterprise-ready AI models and apps? Your current stack might have some gaps in it. Here’s what’s working. What do you need to evaluate and iterate on apps quickly, so that you can gain confidence that your app is ready for production? Rapid response - what happens when an app generates a hallucinatory or irrelevant or unsafe response? How to monitor, recognize when your app is in trouble and quickly get it back on the rails. 세부 정보 진행 일시: 한국시간 3월 8일(금) 오전 3~4시 (Friday, March 8 · 3 - 4am KST… --- ## [\[GN\] Menlo Ventures가 공개한 최신 AI 스택 : 기업용 AI의 미래를 위한 설계 원칙](https://discuss.pytorch.kr/t/gn-menlo-ventures-ai-ai/3398)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [1월 31, 2024, 12:11오전 UTC](https://discuss.pytorch.kr/t/gn-menlo-ventures-ai-ai/3398 "2024-01-31T00:11:39Z")
GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 Menlo Ventures에서 작성하여 공개한 글로, 작년 11월에 공개했던 기업용 AI 현황 보고서의 후속 글입니다. 또한, 이 글에 소개된 AI 회사들 중 일부는 Menlo Ventures가 투자한 회사입니다. 최신 AI 스택의 정의 계층 1 : 컴퓨트 및 기초 모델 - 기초 모델 자체와 모델을 훈련, 미세 조정, 최적화 및 배포하기 위한 인프라를 포함 계층 2 : 데이터 - LLM을 기업 데이터 시스템 내의 적절한 컨텍스트에 연결하는 인프라를 포함하며, 데이터 전처리, ETL 및 데이터 파이프라인, 벡터 데이터베이스, 메타데이터 저장소, 컨텍스트 캐시 등의 핵심 구성 요소를 포함 계층 3 : 배포 - 개발자가 AI 애플리케이션을 관리하고 조정하는 데 도움이 되는 도구를 포함. 에이전트 프레임워크, 프롬프트 관리, 모델 라우팅 및 조정 계층 4 : 관찰 가능성 - LLM의 실행 시간 동작을 모니터링하고 위협으로부터 보호하는 솔루션을 포함 새로운 AI 성숙도 곡선 현대 AI 스택을 정의하는 시장 구조와 기술은 빠르게 진화하고 있으며, 주요 구성 요소와 리더들이 이미 등장함 LLM 이전에는 ML 개발이 선형적이고 '모델 중심'이었으나, LLM은 '제품 중심'으로 전환하여 ML 전문 지식이 없는 팀도 AI를 제품에 통합할 수 있게 함 AI 스택이 성숙함에 따라 개발 팀은 기업 또는 고객 특정 데이터를 통해 AI 경험을 맞춤화하려고 함 AI 성숙도 곡선 1단계: Closed-source models only 비공개 모델만 2023년 초에는 비용과 엔지니어링 노력이 주로 기초 모델 자체에 집중하고 그 위에 간단한 커스터마이제이션(프롬프트 엔지니어링 / few-shot learning 등의 학습)만 있었음 OpenAI 및 Anthropic 과 같은 주요 비공개 소스 모델 제공업… --- ## [RadixAttention과 SGLang을 활용한 LLM 프로그래밍 혁신 (feat. LMSYS)](https://discuss.pytorch.kr/t/radixattention-sglang-llm-feat-lmsys/3318)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [1월 20, 2024, 3:08오후 UTC](https://discuss.pytorch.kr/t/radixattention-sglang-llm-feat-lmsys/3318 "2024-01-20T15:08:38Z")
PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 이번 글에서는 LLM을 사용하는데 있어 효율성을 높이기 위한 시도 중 하나인 SGLang과 RadixAttention에 대해서 소개하려고 합니다. 복잡한 LLM 작업을 더 빠르고 효율적으로 수행할 수 있도록 하는 시도 중 하나로, 다양한 활용 사례에 적용하여 기존보다 최대 5배 높은 처리가 가능한 것으로 보입니다. SGLang과 RadixAttention이 각각 어떠한 기술들이고, 속도 및 효율성 향상을 위해 어떻게 접근하고 있는지 같이 한 번 살펴보시죠 :thinking: 이 글은 GPT 모델로 정리한 것으로, 잘못된 부분이 있을 수 있으니 글 아래쪽의 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs: SGLang과 RadixAttention 소개 SGLang(Structured Generation Language for LLMs)은 LLM를 위해 만들어진 언어로, 파이썬에 내장된 도메인 특화 언어로, 백엔드 런타임 시스템과 프론트엔드 언어를 공동 설계함으로써 LLM과의 상호 작용을 향상시켜 더 빠르고 더 쉽게 제어하는 것을 목표로 합니다. 이 언어는 프롬프트 기술, 제어 흐름, 다중 모달성, 디코딩 제약 조건 및 외부 상호 작용을 쉽게 표현할 수 있으며, SGLang의 함수는 인터프리터 모드 또는 컴파일러 모드로 실행될 수 있으며, 다양한 백엔드에서 실행될 수 있습니다. RadixAttention은 LLM 호출 시, 자동적이고 및 효율적인 KV 캐시 재사용을 위한 기술입니다. 이는 다양한 KV 캐시 재사용 패턴을 자동으로 수용할 수 있게 함으로써, 복잡한 LLM 프로그램의 실행을 개선합니다. 이 기술은 Radix Tree 구조를 사용하여 효율적인 접두사 검색, 삽입 및 제거를 가능하게 합니다. SGLang의 주요 기능 프롬프트 및 생성 관리 SGLang은 대규모 언어 모델… --- ## [\[GN⁺\] 스마트 홈 제어를 위한 완전 로컬 LLM 음성 비서 구축하기](https://discuss.pytorch.kr/t/gn-llm/3281)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [1월 15, 2024, 8:39오전 UTC](https://discuss.pytorch.kr/t/gn-llm/3281 "2024-01-15T08:39:35Z")
GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 Siri와 Google 어시스턴트를 사용한 경험이 있음. 이들은 기기를 제어할 수 있지만, 커스터마이징이 불가능하고 클라우드 서비스에 의존함. 새로운 것을 배우고자 하며, 삶에서 사용할 수 있는 멋진 것을 원함. 새로운 어시스턴트는 빈정대고 비꼬는 성격을 가지길 원함. 모든 것이 로컬에서 실행되기를 원함. 예외 없이. 커피 머신이 국가의 반대편 서버와 대화할 이유가 없음. 기본적인 "불 켜기" 기능 이상을 원함. 미래에 새로운 기능을 추가할 수 있기를 바람. 아키텍처 방화벽, NIPS, VLAN 라우팅을 위해 Protectli Vault VP2420 사용. 인터넷에 HomeAssistant를 노출시켜 VPN 없이 원격으로 사용할 수 있도록 함. 이를 위해 극단적인 보안 조치를 취함. 저렴한 가격에 2.5기가를 얻기 위해 TRENDnet TEG-3102WS 관리형 스위치 선택. eBay에서 대부분의 부품을 구매하여 가능한 저렴하게 조립한 컴퓨터에 RTX 4060Ti 두 개 사용. LLM에 대량의 컨텍스트를 공급하는 데 필요한 VRAM이 중요함. HomeAssistant(와 WAF)를 실행하기 위해 Minisforum UM690 사용. Raspberry Pi 4도 가능하지만, 많은 서비스를 실행하고 Whisper가 CPU에 상당한 요구를 함. 이더넷 케이블의 거대한 혼란. 추론 엔진 HomeAssistant 외부에서도 사용할 수 있는 범용 LLM을 원하기 때문에 vLLM을 선택함. 매우 빠르며, 동시에 여러 클라이언트에 서비스를 제공할 수 있는 유일한 엔진임. OpenAI 호환 API 서버를 지원하여 생활을 훨씬 쉽게 만듦. VRAM 대 성능의 트레이드오프가 완벽하게 맞는 Mistral AI의 Mixtral 모델을 선택함. 모델 양자화 전체 fp32 모델을 실행할 수 없기 때문에 양자화된 … --- ## [메두사: 여러 디코딩 헤더를 사용한 대규모 언어 모델 추론 가속화 프레임워크 (Medusa: Simple Framework for Accelerating LLM Generation with Multiple Decoding Heads)](https://discuss.pytorch.kr/t/medusa-simple-framework-for-accelerating-llm-generation-with-multiple-decoding-heads/3115)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [12월 26, 2023, 11:28오후 UTC](https://discuss.pytorch.kr/t/medusa-simple-framework-for-accelerating-llm-generation-with-multiple-decoding-heads/3115 "2023-12-26T23:28:52Z")
PyTorchKR:fire::kr: :speech\_balloon: 최근 LLM 추론을 빠르게 하려는 다양한 시도들 중 하나를 발견하여 공유드립니다. :hugs: 이 글은 GPT 모델로 자동 요약한 설명으로, 잘못된 내용이 있을 수 있으니 원문을 참고해주세요! :smile: 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다! :bowing\_man: 메두사: 여러 디코딩 헤더를 사용한 대규모 언어 모델 추론 가속화 프레임워크 (Medusa: Simple Framework for Accelerating LLM Generation with Multiple Decoding Heads) 소개 대규모 언어 모델(LLM)의 비용을 통제하면서 텍스트 생성 속도를 높이는 것은 쉽지 않은 문제입니다. 이러한 텍스트 생성은 메모리 바운드가 주요한 문제로, 지연 시간의 대부분은 메모리 트랜잭션에서 발생하며 연산 그 자체에서 발생하지는 않습니다. 메두사는 한 번에 다음 번 토큰뿐만 아니라 여러번 이후의 토큰 후보들을 생성한 다음 이를 검증하는 방식으로 모델을 추가 학습합니다. 지연 시간을 줄일 수 있지만 시스템의 복잡성과 샘플링의 비효율성과 같은 문제들을 해결해야 합니다. 메두사 프레임워크 구조 기존 대규모 언어 모델(LLM)의 구조를 변경하지 않고 메두사(Medusa) 프레임워크를 적용할 수 있습니다. 메두사 프레임워크는 기존 모델은 그대로 두고, 새로운 요소들을 추가하기만 합니다. 예를 들어, 원래 모델에 '메두사 헤드'라고 불리는 추가 디코딩 헤드를 추가하여 한 번에 여러 토큰을 생성하는 방식입니다. 메두사 프레임워크의 구조는 아래와 같습니다: 메두사 헤드(Medusa Heads) 이는 원래의 언어 모델 구조에 추가되는 새로운 디코딩 헤드입니다. 각 메두사 헤드는 다음에 올 토큰들을 동시에 예측하는 기능을 합니다. 헤드들은 원래 모델과 함께 훈련되며, 원래 모델은 훈련 중 고정됩니다​​. 트리-기반 어텐션(Tree-Ba… [다음 페이지](https://discuss.pytorch.kr/tag/llm-in-production/613.md?match_all_tags=true&page=1&tags%5B%5D=llm-in-production)