# \#ollama **URL:** https://discuss.pytorch.kr/tag/ollama/1022.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [llmfit: 로컬 LLM 모델을 내려받기 전, 내 하드웨어에서의 생성 속도(tok/s)가 얼마 정도일지 추정하는 도구](https://discuss.pytorch.kr/t/llmfit-llm-tok-s/11922)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 16, 2026, 3:00오전 UTC](https://discuss.pytorch.kr/t/llmfit-llm-tok-s/11922 "2026-09-16T03:00:55Z")
llmfit 소개 로컬에서 대규모 언어 모델(Large Language Model, LLM)을 직접 실행해 보려는 사람이 가장 먼저 부딪히는 질문은 내 컴퓨터에서 어떤 모델이 실제로 실행 가능한지에 대한 것입니다. 모델 크기(파라미터 수)와 양자화(Quantization) 포맷, 컨텍스트 길이, GPU의 VRAM과 시스템 RAM 등, 여러가지 요구 조건과 제약들을 따져봐야 하기 때문에 모델 카드만 보고 메모리 요구량을 짐작하기가 쉽지 않습니다. 그래서 수 GB짜리 GGUF 파일을 먼저 내려받아 실행해 본 뒤에야 메모리가 모자라거나 초당 토큰 수가 쓸 만한 수준이 아니라는 사실을 알게 되는 경우도 흔하게 발생합니다. 사용해보려고 하는 후보 모델이 늘어날수록 이러한 시행착오의 횟수도 함께 늘어나고, 어느 양자화 단계까지 내려가야 메모리에 들어가는지는 결국 하나씩 다운로드 받아 실행하며 확인하게 됩니다. 이번에 소개하는 llmfit은 이러한 확인 작업을 줄이는 것을 목표로 하는 프로젝트로, 지금 사용하는 컴퓨터에서 어떤 모델이 얼마나 빠르게 토큰을 생성(tok/s)할 수 있을지를 추정하는 터미널 도구입니다. llmfit은 실행하는 즉시 CPU 코어 수와 시스템 RAM, GPU와 VRAM, 가속 백엔드 등을 자동으로 확인한 다음, 내장 카탈로그에 담긴 수백 개 모델을 품질과 속도, 적합도, 컨텍스트라는 네 가지 기준으로 점수를 매겨 표로 정리합니다. 각 행에는 그 모델이 지금 이 컴퓨터에서 어떤 양자화로 실행 가능한지, 예상 속도가 몇 tok/s인지, 메모리를 몇 퍼센트나 쓰는지가 함께 표시됩니다. 여기에 더해 llmfit은 그 속도 숫자가 공식으로 계산한 추정치인지 누군가 같은 하드웨어에서 실제로 측정한 값인지를 등급으로 구분해 표시합니다. 실제로 측정한 처리량과 공식으로 계산한 값이 모두 tok/s라는 같은 단위로 표시되기 때문입니다. llmfit은 Rust로 작성하였으며, 실행 모드 시 의존성이 필요 없는 가벼운 대화형 터미널 UI(TUI)를 기본… --- ## [Rocketnotes: 내 문서에 질문하고 제텔카스텐 수집함을 AI가 정리하는 오픈소스 마크다운 노트 앱](https://discuss.pytorch.kr/t/rocketnotes-ai/11754)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 30, 2026, 2:30오전 UTC](https://discuss.pytorch.kr/t/rocketnotes-ai/11754 "2026-08-30T02:30:29Z")
Rocketnotes 소개 개발자가 몇 년에 걸쳐 쌓은 메모는 대개 두 가지 문제를 동시에 갖습니다. 첫째로 문서가 늘어날수록 필요한 내용이 어느 문서에 있었는지 기억나지 않고, 키워드가 정확히 일치하지 않으면 검색으로도 찾히지 않습니다. 둘째로 회의 중이나 이동 중에 남긴 짧은 메모 조각들이 어디에도 속하지 못한 채 쌓입니다. 나중에 제자리를 찾아 주려면 결국 사람이 문서를 하나씩 열어 보며 어디에 붙일지 판단해야 하는데, 그 작업이 밀리면서 메모 더미가 그대로 방치됩니다. Rocketnotes는 이 두 문제를 노트 앱 안에서 처리하려는 오픈소스 프로젝트입니다. 자신이 쌓은 문서를 대상으로 자연어 질문을 던져 답을 받을 수 있고, 의미 기반 검색으로 표현이 달라도 관련 문서를 찾아냅니다. 그리고 제텔카스텐(Zettelkasten) 수집함에 넣어 둔 메모 조각을 AI 에이전트가 분석해 가장 관련 있는 기존 문서 안으로 옮겨 넣습니다. Rocketnotes를 만든 Fynn Flügge는 LangChain, LangGraph, S3 Vectors, ChromaDB, sentence-transformers, Ollama를 이용해 이 프로젝트를 만들었다고 밝히고 있습니다. 프런트엔드는 Angular와 TypeScript, Electron으로, 백엔드는 Go와 Python으로 구성되어 있습니다. Rocketnotes를 쓰는 세 가지 방법 Rocketnotes가 다른 자체 호스팅 노트 앱과 다른 점은 실행 형태를 세 가지로 열어 두었다는 점입니다. 저자가 운영하는 무료 호스팅 인스턴스를 그대로 쓸 수도 있고, 같은 코드를 자신의 컴퓨터에서 완전히 로컬로 실행할 수도 있습니다. 주요 항목별로 세 방법의 차이는 다음과 같습니다: 실행 방법 데이터 위치 AI 처리 준비 작업 호스팅 웹 앱과 Electron 앱 저자가 운영하는 AWS OpenAI, Anthropic, Together AI 모델 무료 가입 Docker 로컬 실행 내 컴퓨터 O… --- ## [ai-knowledge-graph: 비정형 텍스트에서 지식 그래프를 뽑아 시각화하는 파이썬 도구](https://discuss.pytorch.kr/t/ai-knowledge-graph/11583)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 11, 2026, 3:30오전 UTC](https://discuss.pytorch.kr/t/ai-knowledge-graph/11583 "2026-08-11T03:30:32Z")
ai-knowledge-graph 소개 사내 위키나 회의록, 조사 보고서처럼 쌓여만 가는 문서 더미에서 "무엇이 무엇과 어떻게 연결되어 있는가"를 알아내려면 결국 사람이 읽어야 합니다. LLM에게 문서를 통째로 던져 요약을 받는 방법도 있지만, 요약은 다시 문장이라 관계를 눈으로 따라가기 어렵습니다. ai-knowledge-graph 는 그 중간 형태를 만듭니다. 비정형 텍스트를 입력받아 LLM으로 주어-서술어-목적어(Subject-Predicate-Object, SPO) 형태의 트리플을 뽑아내고, 그 관계망을 브라우저에서 돌려볼 수 있는 그래프로 그려 주는 파이썬 도구입니다. 문서에서 트리플을 뽑는 일 자체는 어렵지 않습니다. 문제는 그다음입니다. 문서를 청크로 나눠 처리하면 같은 대상이 청크마다 다른 이름으로 잡히고, 서로 이어져야 할 부분이 끊긴 섬으로 남습니다. ai-knowledge-graph는 이 지점을 추가 패스 로 해결합니다. 1차 추출 뒤에 엔티티 표준화 패스를 돌려 "AI", "artificial intelligence", "AI system" 처럼 같은 개념을 가리키는 표기를 하나로 모으고, 3차 관계 추론 패스에서 끊어진 커뮤니티 사이를 이어 줍니다. 두 패스 모두 설정에서 끌 수 있어서 LLM 호출량을 줄이고 싶으면 1차 추출만 쓸 수도 있습니다. 만든 사람은 Robert McDermott입니다. 특정 모델에 묶여 있지 않다는 점도 특징입니다. OpenAI 호환 API 엔드포인트라면 무엇이든 붙일 수 있어서 Ollama나 LM Studio로 노트북 안에서 끝낼 수도 있고, vLLM이나 LiteLLM을 거쳐 AWS Bedrock, Azure OpenAI, Anthropic 같은 서비스로 보낼 수도 있습니다. 이 글에서는 세 번의 패스가 실제로 무엇을 바꾸는지, 설정과 실행은 어떻게 하는지, 그리고 어떤 상황에 맞고 어떤 상황에는 부족한지를 정리합니다. 단일 추출 방식의 한계와 ai-knowledge-graph의 3단 처리 문서를… --- ## [Knowledge-Graph: 로컬 LLM을 사용하여 PDF와 같은 텍스트 뭉치를 지식 그래프(KG)로 변환하는 오픈소스 프로젝트](https://discuss.pytorch.kr/t/knowledge-graph-llm-pdf-kg/11448)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 29, 2026, 5:30오전 UTC](https://discuss.pytorch.kr/t/knowledge-graph-llm-pdf-kg/11448 "2026-07-29T05:30:33Z")
knowledge\_graph 소개 knowledge\_graph는 PDF 같은 텍스트 뭉치를 읽어 그 안의 개념과 개념 사이의 관계를 뽑아내고, 이를 노드와 엣지로 이뤄진 지식 그래프(Knowledge Graph)로 만드는 오픈소스 프로젝트입니다. 위 헤더 이미지는 이 저장소의 코드로 생성한 실제 그래프이고, 브라우저에서 직접 탐색할 수 있는 형태 로도 공개되어 있습니다. 이 프로젝트가 겨냥하는 최종 용도는 그래프 기반 검색 증강 생성(Graph Retrieval Augmented Generation, GRAG)입니다. 벡터 데이터베이스를 검색기로 삼는 기존 RAG 대신 그래프를 검색기로 써서 문서와 대화하는 방식으로, 저자는 이쪽이 텍스트를 훨씬 깊게 다룰 수 있는 접근이라고 설명합니다. 그래프가 만들어지고 나면 노드의 중심성(centrality)을 계산해 어떤 개념이 그 문헌에서 중요한지 따져 보거나, 커뮤니티를 계산해 개념을 묶어 보거나, 언뜻 무관해 보이는 개념 사이의 연결을 확인하는 식으로도 활용할 수 있습니다. 구현 측면에서 이 저장소는 모든 구성 요소를 로컬에 두는 방식을 택했습니다. 저자는 비용을 아끼기 위해 GPT를 쓰지 않는(no-GPT) 접근을 골랐고, 개념 추출에는 시스템 프롬프트를 잘 따르는 Mistral 7B OpenOrca를 사용합니다. 모델은 Ollama로 로컬에 띄우기 때문에 그래프 생성 자체에는 API 호출 비용이 들지 않습니다. knowledge\_graph가 추출하는 것은 개체가 아니라 개념 이 프로젝트는 개체명 인식(NER) 모델로 개체(entity)를 뽑는 대신, LLM으로 개념(concept) 을 추출합니다. 저자는 그 차이를 예시로 구분합니다. "Bangalore" 는 개체이고 "Pleasant weather in Bangalore" 는 개념이며, 경험상 개념 쪽이 더 의미 있는 지식 그래프를 만든다는 것입니다. 엣지를 정의하는 방식도 단순합니다. 서로 가까이 등장한 개념은 관련이 있다고 가정하고, 두 개념이… --- ## [MiroFish-Offline: 문서 하나로 여론을 시뮬레이션하는 완전 로컬 멀티 에이전트 엔진](https://discuss.pytorch.kr/t/mirofish-offline/10708)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 15, 2026, 12:30오전 UTC](https://discuss.pytorch.kr/t/mirofish-offline/10708 "2026-06-15T00:30:08Z")
MiroFish-Offline 소개 새 정책 초안이나 보도자료, 실적 보고서를 내보내기 전에 "사람들이 어떻게 반응할까"를 미리 가늠해 보고 싶을 때가 있습니다. MiroFish-Offline 은 이 질문을 시뮬레이션으로 풀어 보는 멀티 에이전트 군집 지능(swarm intelligence) 엔진으로, 문서 한 편을 올리면 저마다 성격이 다른 수백 명의 AI 에이전트를 만들어 소셜 미디어에서의 여론 반응을 시간 단위로 모사합니다. 게시물과 논쟁, 의견 변화가 시간이 지나며 어떻게 번지는지를 관찰할 수 있습니다. MiroFish-Offline의 가장 큰 특징은 이름 그대로 완전 로컬(fully local) 이라는 점입니다. 이 프로젝트는 원본 MiroFish를 포크한 것인데, 원본은 중국어 UI에 그래프 메모리로 Zep Cloud, LLM으로 DashScope API를 쓰는 등 클라우드 서비스에 의존했습니다. 이 포크는 UI를 영어로 옮기고(1,000개 이상의 문자열 번역), 그래프 메모리를 Neo4j 커뮤니티 에디션으로, LLM을 로컬 Ollama로 바꿔 클라우드 의존성을 없앴습니다. 그 결과 문서도, 시뮬레이션 데이터도 사용자의 기기 밖으로 나가지 않습니다. 기술적으로는 Python 백엔드에 Neo4j와 Ollama 로컬 스택을 결합한 구조입니다. 업로드한 문서에서 엔티티와 관계를 추출해 지식 그래프를 만들고, 그 위에 개성을 가진 에이전트들을 올려 상호작용을 돌린 뒤, 결과를 구조화된 분석 보고서로 정리합니다. 본 게시물에서는 MiroFish-Offline의 5단계 시뮬레이션 워크플로우, 클라우드를 걷어낸 로컬 스택, 내부 아키텍처, 그리고 설치·실행 방법을 정리합니다. MiroFish-Offline의 5단계 시뮬레이션 워크플로우 MiroFish-Offline은 문서 한 편을 다섯 단계를 거쳐 여론 시뮬레이션으로 바꿉니다. 첫 단계인 그래프 구축(Graph Build) 에서는 문서에서 인물, 기업, 사건 같은 엔티티와 그 관계를 추출해 Neo4j… --- ## [Free Claude Code: 다양한 LLM 제공자를 Claude Code 프록시로 묶는 오픈소스 게이트웨이](https://discuss.pytorch.kr/t/free-claude-code-llm-claude-code/10324)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 25, 2026, 12:30오전 UTC](https://discuss.pytorch.kr/t/free-claude-code-llm-claude-code/10324 "2026-05-25T00:30:14Z")
Free Claude Code 소개 Claude Code 같은 코딩 어시스턴트를 일상적으로 쓰다 보면 한 가지 한계에 자주 부딪힙니다. 클라이언트 자체는 훌륭하지만 백엔드 모델 선택지가 Anthropic API에 묶여 있어, 무료 크레딧을 제공하는 다른 추론 서비스나 로컬에 깔아둔 양자화 모델을 끌어다 쓰는 것이 쉽지 않다는 점입니다. Free Claude Code는 바로 이 지점에 끼어드는 프록시(proxy)입니다. Claude Code, VS Code 확장, JetBrains ACP, 그리고 옵션 챗봇이 보내는 Anthropic Messages API 트래픽을 가로채서, 사용자가 지정한 다른 제공자(provider)로 그대로 흘려보냅니다. 클라이언트 입장에서는 여전히 Anthropic API와 대화하고 있다고 믿지만, 실제 응답은 NVIDIA NIM이나 OpenRouter, 로컬 Ollama에서 나옵니다. Free Claude Code는 Python 3.14 기반의 FastAPI 애플리케이션으로, /v1/messages, /v1/messages/count\_tokens, /v1/models 같은 Anthropic 호환 엔드포인트를 그대로 노출합니다. 이 위에 모델 라우팅(routing) 계층이 얹혀 있어서, Claude Code가 요청한 Opus, Sonnet, Haiku 같은 모델 이름을 환경 변수 MODEL\_OPUS, MODEL\_SONNET, MODEL\_HAIKU, MODEL 에 매핑된 실제 제공자 모델로 치환합니다. 결과적으로 한 프로젝트에서는 비싼 모델을 Anthropic으로, 다른 프로젝트에서는 무료 NVIDIA NIM 모델로 라우팅하는 식의 분리 운용이 가능해집니다. Free Claude Code의 주요 기능 Free Claude Code는 단순한 API 우회 도구가 아니라, Claude Code의 프로토콜 호환성을 유지하면서 백엔드를 자유롭게 갈아끼울 수 있도록 설계된 게이트웨이입니다. 다중 제공자(Provider) 지원:… --- ## [SmallCode: 7B~20B 소형 로컬 LLM에 맞춰 설계된 터미널 코딩 에이전트](https://discuss.pytorch.kr/t/smallcode-7b-20b-llm/10281)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 20, 2026, 3:30오전 UTC](https://discuss.pytorch.kr/t/smallcode-7b-20b-llm/10281 "2026-05-20T03:30:02Z")
SmallCode 소개 SmallCode는 20B 파라미터 이하의 소형 로컬 LLM에서 실용적인 코딩 작업을 끌어내는 데 초점을 둔 터미널 네이티브 코딩 에이전트입니다. OpenCode나 Claude Code 같은 도구가 프런티어 모델(Frontier model) 의 128K 이상 컨텍스트와 안정적인 도구 호출(tool calling)을 전제로 만들어진 것과 달리, SmallCode는 처음부터 7B~20B 모델이 동작하는 소비자용 하드웨어에서 어떻게 안정적인 작업을 뽑아낼지를 고민한 결과물입니다. LM Studio, Ollama, 그리고 OpenAI 호환 API를 띄울 수 있는 모든 로컬 LLM 서버와 함께 동작하며, 네트워크 호출 없이 완전히 로컬에서 돌릴 수 있다는 점이 특징입니다. 소형 모델에는 일반적으로 잘 알려진 약점이 있습니다. 컨텍스트가 좁아 큰 파일을 그대로 적재할 수 없고, 도구 호출 JSON이 자주 어긋나며, 한 번의 추론에서 여러 단계를 정확히 풀어내기 어렵습니다. SmallCode는 이러한 제약을 모델을 바꿔서 해결하는 대신 주변 인프라 로 보정합니다. 컨텍스트 예산을 자동으로 관리해 절대 윈도우를 넘기지 않고, 도구 호출은 JSON·YAML·XML·Hermes·일반 텍스트 등 어떤 형식으로 와도 받아들이는 관대한 파서로 해석합니다. 복잡한 작업은 TODO 파일 기반으로 잘게 분해해서 한 단계씩 실행하고, 파일은 전체를 다시 쓰는 대신 검색-치환(patch) 방식으로 수정합니다. 본 게시물에서는 SmallCode가 소형 LLM을 위해 어떤 설계 선택을 했는지, 그리고 설치와 기본 사용법은 어떤지 정리합니다. SmallCode는 자체 의존성으로 BoneScript 와 budget-aware-mcp 를 함께 묶어 배포합니다. BoneScript는 단일 .bone 파일을 라우트, 인증, 데이터베이스, 이벤트, 마이그레이션, SDK, 관리 패널, Docker, CI까지 갖춘 풀스택 백엔드 프로젝트로 컴파일하는 DSL이고, 소형 모델이 8… --- ## [OpenClaude Portable: USB에서 바로 실행하는, 7개 LLM 제공자를 지원하는 휴대용 코딩 에이전트](https://discuss.pytorch.kr/t/openclaude-portable-usb-7-llm/10091)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 13, 2026, 6:30오전 UTC](https://discuss.pytorch.kr/t/openclaude-portable-usb-7-llm/10091 "2026-05-13T06:30:21Z")
OpenClaude Portable 소개 OpenClaude Portable 은 USB 드라이브나 임의의 폴더에서 그대로 실행되는, 설치가 필요 없는 휴대용 AI 코딩 에이전트입니다. 오픈소스 OpenClaude 엔진을 기반으로 동작하며, 자체 포함된 Node.js 런타임, 시스템 프롬프트를 가공하는 로컬 프록시, 웹 기반 대시보드를 한 폴더 안에 묶어 두기 때문에 호스트 시스템에 어떤 파일도 남기지 않습니다. 학교 컴퓨터처럼 설치 권한이 없는 환경, 회사 보안 정책으로 임의 설치가 제한된 PC, 여러 머신을 오가는 작업 환경 등에서 코딩 에이전트를 그대로 가져갈 수 있도록 설계된 것이 특징입니다. OpenClaude Portable 프로젝트가 지향하는 핵심 가치는 "어디서나 실행되지만 어디에도 흔적을 남기지 않는다(zero footprint)"입니다. XDG\_CONFIG\_HOME, XDG\_DATA\_HOME, CLAUDE\_CONFIG\_DIR 같은 환경 변수를 모두 프로젝트 내부의 data/ 폴더로 리다이렉트하기 때문에 OS 의 사용자 디렉토리에 설정 파일이 흩어지지 않습니다. API 키, 세션 기록, 로컬 모델 가중치, 프록시 로그까지 전부 USB 드라이브 한 폴더 안에 모이며, USB 를 빼면 모든 흔적이 함께 사라집니다. LLM 측면에서는 NVIDIA NIM, DeepSeek, OpenRouter, Google Gemini, Anthropic Claude, OpenAI, Ollama 까지 7 종의 제공자를 한 인터페이스로 묶어 줍니다. 인터넷이 가능한 환경에서는 클라우드 API 를 사용하다가, 오프라인 또는 보안이 엄격한 환경에서는 Ollama 의 로컬 모델로 즉시 전환할 수 있습니다. 이름이 OpenClaude 이지만 Anthropic 의 공식 Claude Code 와는 별개의 프로젝트이며, 이름은 기반 엔진인 오픈소스 OpenClaude 를 따른 것입니다. OpenClaude Portable의 핵심 기능 OpenCla… --- ## [\[GN⁺\] Gemma 4를 Codex CLI에서 로컬 모델로 실행하기](https://discuss.pytorch.kr/t/gn-gemma-4-codex-cli/9760)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 17, 2026, 9:30오전 UTC](https://discuss.pytorch.kr/t/gn-gemma-4-codex-cli/9760 "2026-04-17T09:30:08Z")
Gemma 4를 Codex CLI에서 로컬 모델로 실행하기 글 소개 Gemma 4를 클라우드 대신 로컬 Codex CLI 환경에서 실행해 도구 호출 성능과 안정성을 검증한 사례로, GPT-5.4 대비 비용/프라이버시 이점을 확인 Mac(M4 Pro) 24GB 에서 26B MoE 와 NVIDIA GB10 128GB 에서 31B Dense 로 각각 llama.cpp와 Ollama를 사용해 동일한 코드 생성 작업을 수행, 설정 차이에 따른 성능을 비교 도구 호출 성공률이 6.6%에서 86.4%로 향상되어 로컬 모델의 실용 가능성이 입증되었으며, GB10 환경에서는 완전한 코드 생성을 달성 Mac은 5.1배 빠른 토큰 생성 속도를 보였으나, 메모리 제약과 양자화 설정으로 인해 반복 시도가 필요했고, GB10은 느리지만 첫 시도에 성공 결과적으로 로컬 모델도 실무 수준 코드 생성이 가능하며, 프라이버시 중심의 로컬 처리와 복잡 작업의 클라우드 전환을 병행하는 하이브리드 접근을 추천 로컬 모델 전환 동기 비용 문제로, Codex CLI를 하루 여러 세션, 때로는 병렬로 실행하면서 API 비용이 누적 프라이버시 요구로, 일부 코드베이스는 외부 서버로 전송되면 안 됨 안정성 확보 필요로, 클라우드 API는 스로틀링, 장애, 가격 변경 리스크 존재 이전에 로컬 모델을 시도하지 않은 이유는 도구 호출(tool calling) 불가 때문이었으며, Codex CLI의 핵심 가치는 모델이 파일 읽기, 코드 작성, 테스트 실행, 패치 적용을 수행하는 데 있음 이전 Gemma 세대는 tau2-bench 함수 호출 벤치마크에서 6.6%(100번 중 93번 실패)였으나, Gemma 4 31B는 86.4% 로 도약하여 테스트 가치가 생김 Mac 설정 과정 Ollama로 시작했으나, v0.20.3에서 Gemma 4의 도구 호출 응답이 tool\_calls 배열 대신 reasoning output으로 잘못 라우팅되는 스트리밍 버그 발생 Apple Silicon에서 Gemma 4 사… --- ## [Mini-Coding-Agent: AI 코딩 에이전트의 6가지 핵심 구성 요소를 설명하는 최소 구현체 (feat. Sebastian Raschka)](https://discuss.pytorch.kr/t/mini-coding-agent-ai-6-feat-sebastian-raschka/9638)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 16, 2026, 9:30오후 UTC](https://discuss.pytorch.kr/t/mini-coding-agent-ai-6-feat-sebastian-raschka/9638 "2026-04-16T21:30:47Z")
Mini-Coding-Agent 프로젝트 소개 Claude Code, Cursor, Windsurf와 같은 AI 코딩 에이전트(coding agent)들이 어떻게 동작하는지 궁금했던 적이 있으신가요? 이 도구들은 단순히 LLM에게 코드를 물어보는 것을 넘어, 저장소 구조를 파악하고, 파일을 읽고 쓰며, 커맨드를 실행하고, 이전 작업 컨텍스트를 이어받는 복잡한 에이전트 루프(agent loop)를 구현합니다. Mini-Coding-Agent는 이러한 AI 코딩 에이전트의 핵심 구성 요소를 가능한 한 간결하고 읽기 쉬운 Python 코드로 구현한 교육용 프로젝트입니다. 이 프로젝트는 PyTorch 생태계의 ML 교육 자료 및 최근 여러 최신 LLM들의 구조를 시각화한 'LLM 아키텍처 갤러리' 프로젝트로 잘 알려진 Sebastian Raschka가 공개하였으며, 별도의 외부 Python 라이브러리 의존성 없이 표준 라이브러리만으로 동작하는 것이 특징입니다. Mini-Coding-Agent 프로젝트의 의의는 "어떻게 만드는가"보다 "왜 이렇게 설계되었는가"를 이해하는 데 있습니다. 프로덕션 수준의 견고함보다 가독성(readability)을 우선시하여, AI 에이전트를 처음 접하는 개발자도 코드를 읽으면서 각 컴포넌트의 역할과 상호작용을 직관적으로 이해할 수 있습니다. Ollama를 모델 백엔드로 활용하기 때문에 OpenAI API 키 없이도 로컬에서 완전히 실행 가능하며, 기본 모델로는 qwen3.5:4b를 사용합니다. 현재 GitHub 저장소는 474개의 스타와 92개의 포크를 기록 중입니다. Mini-Coding-Agent의 6가지 핵심 구성 요소 Mini-Coding-Agent의 가장 큰 교육적 가치는 AI 코딩 에이전트를 구성하는 6가지 핵심 아키텍처 패턴을 명확하게 분리하여 구현한 점입니다. Sebastian Raschka는 자신의 블로그에서 이 6가지 요소가 실제 코딩 에이전트들이 공통으로 채택하는 설계 원칙임을 설명합니다: 1. … --- ## [\[GN⁺\] 월 $20 스택으로 월매출 $10K 회사를 여러 개 운영하는 법](https://discuss.pytorch.kr/t/gn-20-10k/9731)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 14, 2026, 12:30오후 UTC](https://discuss.pytorch.kr/t/gn-20-10k/9731 "2026-04-14T12:30:17Z")
'월 $20 스택으로 월매출 $10K 회사를 여러 개 운영하는 법' 글 소개 단일 VPS, Go 언어, SQLite, 로컬 GPU를 활용해 월 20달러 이하의 인프라 비용으로 MRR 1만 달러 이상의 SaaS 회사를 복수 운영하는 부트스트래핑 전략 AWS나 복잡한 클라우드 오케스트레이션 대신 5~10달러짜리 VPS 한 대로 모든 서비스를 운영하며, 인프라 관리가 아닌 요청 처리에 집중 백엔드 언어로 Go를 선택해 의존성 관리 없이 단일 바이너리로 컴파일 후 서버에 배포하는 극도로 단순한 배포 프로세스 확보 로컬 GPU(RTX 3090)에서 VLLM을 실행해 AI 배치 처리 비용을 제로로 만들고, 사용자 대면 기능에만 OpenRouter를 통해 프론티어 모델 사용 벤처 캐피털 없이도 비용을 거의 제로로 유지하면 사실상 무한한 런웨이를 확보할 수 있으며, 제품-시장 적합성을 찾는 데 충분한 시간 확보 가능 린(Lean) 서버 운영 전략 2026년 웹 앱 출시의 일반적 방식은 AWS에서 EKS 클러스터, RDS 인스턴스, NAT Gateway를 프로비저닝하는 것이며, 이 경우 사용자 한 명 없이도 월 300달러 이상 지출 발생 대안으로 Linode 또는 DigitalOcean에서 월 5~10달러짜리 VPS를 임대해 단일 서버로 운영 1GB RAM도 적절히 활용하면 충분하며, 여유가 필요하면 swapfile 사용 서버가 하나이면 로그 위치, 크래시 원인, 재시작 방법을 정확히 파악 가능 AWS 대신 VPS를 선택하는 이유는 예측 가능한 비용과 단순한 아키텍처 유지 Go 언어를 선택하는 이유 Python이나 Ruby는 인터프리터 부팅과 gunicorn 워커 관리만으로 RAM의 절반을 소모 Go는 웹 작업에서 훨씬 뛰어난 성능을 제공하고, 엄격한 타입 시스템을 갖추며, 2026년 기준 LLM이 추론하기 매우 쉬운 언어 Go의 핵심 장점은 배포 프로세스의 단순성: 전체 애플리케이션을 단일 정적 링크 바이너리로 컴파일해 노트북에서 빌드 후 scp로 서버에 전… --- ## [LLM Checker: 하드웨어 맞춤형 로컬 LLM 추천 및 구동 최적화 CLI 도구](https://discuss.pytorch.kr/t/llm-checker-llm-cli/9114)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [3월 4, 2026, 3:30오전 UTC](https://discuss.pytorch.kr/t/llm-checker-llm-cli/9114 "2026-03-04T03:30:02Z")
LLM Checker 소개 오픈소스 거대 언어 모델이 지속적으로 발전함에 따라, 많은 개발자와 연구자들이 데이터를 로컬 환경에서 안전하게 처리하기 위해 개인용 디바이스에서 모델을 직접 구동하려는 시도를 이어가고 있습니다. 그러나 사용자마다 보유한 하드웨어의 메모리 용량과 그래픽 처리 장치의 성능이 제각각이기 때문에, 자신의 시스템 환경에서 원활하게 구동할 수 있는 최적의 모델 크기와 매개변수 수를 파악하는 것은 상당히 까다로운 문제로 작용해 왔습니다. 이러한 배경에서 등장한 LLM Checker는 사용자의 하드웨어 사양을 정밀하게 스캔하고 분석하여, 현재 시스템에서 가장 안정적으로 실행할 수 있는 대규모 언어 모델과 소형 언어 모델을 정확하게 추천해 주는 지능형 명령줄 인터페이스 도구입니다. 기존의 로컬 모델 구동 플랫폼이나 하드웨어 벤치마크 도구들은 사용자가 직접 모델의 요구 사양을 확인하고 자신의 시스템 자원과 대조해야 하는 수동적인 방식을 취했습니다. 반면 LLM Checker 는 하드웨어 계층 감지 기능과 실제 파일 크기 기반의 정적 데이터베이스를 결합하여, 다운로드 이전에 호환성을 수치화된 점수로 미리 예측한다는 점에서 뚜렷한 차별성을 갖습니다. 이전 버전에서는 단순한 호환성 여부만 제공했으나, 최근 업데이트를 통해 다중 모델 추천 및 대안 모델 제시 기능이 추가되었고 플랫폼 간의 형평성 문제까지 개선되어 윈도우와 맥OS 환경 모두에서 일관된 모델 추천 결과를 얻을 수 있게 되었습니다. 즉, LLM Checker는 단순히 모델의 목록을 나열하는 것에 그치지 않고, 로컬 인공지능 모델 구동의 핵심 플랫폼인 Ollama 와 긴밀하게 통합되어 작동합니다. 시스템에 이미 설치된 모델과 새로 설치해야 할 모델을 지능적으로 구분하여 보여주며, 복잡한 설정 없이도 사용자가 즉시 최적의 인공지능 환경을 구축할 수 있도록 돕습니다. 또한 최신 버전에서는 모델의 용도와 하드웨어의 활용도를 종합적으로 평가하는 다중 목표 채점 알고리즘을 도입하여, 고사양 시스템에… --- ## [ReRAG: 관계 기반 접근 제어(ReBAC)를 통합한 안전한 RAG 시스템](https://discuss.pytorch.kr/t/rerag-rebac-rag/7933)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 11, 2025, 9:00오전 UTC](https://discuss.pytorch.kr/t/rerag-rebac-rag/7933 "2025-10-11T09:00:31Z")
ReRAG 소개 ReRAG은 Retrieval-Augmented Generation (RAG) 시스템에 관계 기반 접근 제어(ReBAC, Relationship-Based Access Control) 를 결합한 새로운 형태의 LLM 기반 데이터 접근 프레임워크입니다. 기존 RAG 시스템은 대형 언어 모델(LLM)이 외부 문서에서 정보를 검색하고 이를 응답에 활용할 수 있게 하지만, 다중 사용자 환경에서는 보안과 권한 관리 측면에서 한계가 있습니다. 예를 들어, 한 사용자가 접근할 수 없는 문서의 내용이 다른 사용자의 질문을 통해 우연히 노출될 수 있는 ‘데이터 누출’ 문제가 발생할 수 있습니다. ReRAG은 이런 문제를 Ory Keto(Google Zanzibar 기반의 오픈소스 ReBAC 시스템)와 Ollama(로컬에서 실행 가능한 LLM 플랫폼)를 활용해 해결합니다. 즉, 단순히 문서를 검색해 LLM에게 넘기기 전에 사용자 권한을 검증하고 필터링하는 계층을 삽입함으로써, LLM이 오직 접근이 허용된 데이터만을 학습 맥락(Context)에 포함하도록 설계되어 있습니다. ReRAG 프로젝트는 단순한 예시나 데모 수준이 아니라, 실제 기업 환경에서도 RAG 시스템의 보안성을 강화할 수 있는 ‘권한 인식(permission-aware)’ RAG 아키텍처의 표준 레퍼런스 구현체입니다. 기존 RAG 시스템은 사용자 요청에 맞는 문서를 검색하고, 그 결과를 LLM 프롬프트에 삽입하여 응답을 생성합니다. 문제는 이 과정에서 모든 검색 결과가 단일 사용자 권한을 고려하지 않은 채 전달된다는 점입니다. 예를 들어, “환불 금액이 얼마였나?”라는 질문에 대해, 한 사용자는 자신이 접근할 수 없는 다른 고객의 데이터까지 응답으로 받을 수 있습니다. ReRAG은 이 구조를 다음과 같이 변경합니다: 사용자가 요청을 보낼 때, 시스템은 Ory Keto를 통해 사용자의 권한을 검증합니다. 검색 단계에서 sqlite-vec을 이용해 빠른 벡터 검색을 수행하되,… --- ## [apples2oranges: On-Device를 위한 소규모 언어 모델(SLM) 성능 비교 및 하드웨어 텔레메트리(Hardware Telemetry) 도구](https://discuss.pytorch.kr/t/apples2oranges-on-device-slm-hardware-telemetry/7873)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 1, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/apples2oranges-on-device-slm-hardware-telemetry/7873 "2025-10-01T03:30:01Z")
apples2oranges 소개 최근 AI 개발 환경에서 점점 더 많은 관심을 받는 주제 중 하나가 바로 ‘온디바이스(On-Device) AI’입니다. 클라우드 서버에 의존하지 않고, 개인용 PC나 모바일 기기에서 직접 모델을 실행하는 방식은 개인정보 보호, 네트워크 의존성 감소, 그리고 응답 속도 향상이라는 장점을 가집니다. 이러한 흐름 속에서 \*\*bitlyte.ai\*\*에서 공개한 apples2oranges 프로젝트는 소규모 언어 모델(Small Language Models, SLM)을 다양한 On-Device 하드웨어 환경에서 손쉽게 비교하고 분석할 수 있도록 만들어진 오픈소스 도구입니다. 이 도구는 단순히 모델을 실행하는 것에 그치지 않고, 실시간 하드웨어 텔레메트리 데이터(전력 사용량, CPU/GPU 온도, 메모리 활용률 등) 및 추론 성능 데이터(토큰 생성 속도, 첫 토큰 지연시간 등) 를 시각화하여 제공합니다. 즉, 특정 모델이 어떤 환경에서 효율적으로 동작하는지, 모델 양자화(Quantization)에 따른 성능-품질 트레이드오프가 어떤지 체계적으로 확인할 수 있습니다. :warning: 주의:warning:: apples2oranges는 아직 초기 단계의 프로젝트이며, 완성도가 높은 엔터프라이즈급 도구라기보다는 커뮤니티 중심의 실험적인 플레이그라운드에 가깝습니다. 하지만 바로 그렇기 때문에 학생, 취미 개발자, 그리고 실무 개발자 모두가 자유롭게 참여하여 기능을 확장하고, 다양한 하드웨어-모델 조합을 검증할 수 있는 장을 제공합니다. 많은 분들이 이미 Ollama 같은 도구를 통해 로컬 환경에서 LLM을 실행해본 경험이 있을 것입니다. Ollama는 간단한 설치와 모델 실행을 제공하지만, apples2oranges는 비교와 분석이라는 점에서 차별화됩니다. Ollama가 “모델 실행” 자체에 초점을 맞췄다면, apples2oranges는 모델 A와 B를 나란히 실행해 응답 품질과 속도를 직접 비교하고, 동시에 하드웨어 리소스 사용량… --- ## [Clara: Chat UI 이상의, 로컬에서 실행 가능한 AI 슈퍼스택](https://discuss.pytorch.kr/t/clara-chat-ui-ai/7001)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 26, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/clara-chat-ui-ai/7001 "2025-05-26T03:30:50Z")
Clara 소개 Clara는 완전한 로컬 환경에서 실행되는 AI 도구 모음으로, Ollama 기반의 LLM 챗, 에이전트 빌더, 이미지 생성, 자동화 워크플로우 등을 하나의 플랫폼 안에서 제공합니다. 특히, 클라우드 의존도 없이 강력한 기능을 구현할 수 있기 때문에, 개인 정보 보호와 오프라인 환경에서의 AI 워크플로우 구축을 선호하는 개발자나 연구자에게 매우 유용할 것으로 보입니다. Clara는 단순한 프론트엔드 챗 UI가 아닙니다. Ollama로 구동되는 LLM 채팅, 시각적 앱 빌더, 에이전트 템플릿 시스템, Stable Diffusion 이미지 생성기, 그리고 n8n 스타일의 워크플로우 자동화까지 제공하는 완전한 로컬 AI 슈퍼스택입니다. 기본적으로 모든 기능이 로컬에서 실행되므로, API 키나 외부 클라우드 서비스 없이도 완전한 AI 어시스턴트 및 자동화 환경을 구축할 수 있습니다. React + Electron + Python으로 구성된 하이브리드 구조 덕분에 웹/데스크탑 양쪽에서 모두 실행 가능하며, 다양한 기능이 하나의 통합된 인터페이스에서 제공되는 것이 큰 장점입니다. Clara와 기존의 OpenWebUI, LibreChat의 주요 기능들을 비교하면 다음과 같습니다: 기능 ClaraVerse OpenWebUI LibreChat 완전한 로컬 실행 :white\_check\_mark: :white\_check\_mark: :white\_check\_mark: 시각적 앱 빌더 :white\_check\_mark: :cross\_mark: :cross\_mark: n8n 스타일 자동화 통합 :white\_check\_mark: :cross\_mark: :cross\_mark: OpenInterpreter 지원 :white\_check\_mark: :cross\_mark: :cross\_mark: 파일 관리자 및 위젯 시스템 :white\_check\_mark: :cross\_mark: … --- ## [AG-UI: 사용자와 에이전트의 상호작용을 위한 프로토콜 (feat. CopilotKit)](https://discuss.pytorch.kr/t/ag-ui-feat-copilotkit/6952)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 15, 2025, 1:30오후 UTC](https://discuss.pytorch.kr/t/ag-ui-feat-copilotkit/6952 "2025-05-15T13:30:29Z")
AG-UI 소개 AI 에이전트를 실제 서비스에 도입하려면 백엔드뿐 아니라 프론트엔드와의 연결 방식도 매우 중요합니다. 많은 에이전트 프레임워크가 등장하고 있지만, 이들을 UI와 자연스럽게 통합하는 표준화된 방식은 부족한 것이 현실입니다. CopilotKit이 새롭게 공개한 AG-UI (Agent-User Interaction Protocol) 는 이러한 문제를 해결하기 위해 탄생했습니다. 다양한 에이전트 백엔드와 프론트엔드 프레임워크를 단일 이벤트 스트림으로 연결하여, 진정한 실시간 사용자-에이전트 상호작용을 가능하게 해줍니다. AG-UI는 실시간 메시지 스트리밍, 도구 호출의 시각화, 상태 변화의 동기화, 다중 에이전트 지원 등 사용자 중심 에이전트 인터페이스 구축에 필요한 요소를 모두 갖춘 강력한 오픈 프로토콜입니다. AG-UI는 HTTP 또는 선택적인 바이너리 채널을 통해 프론트엔드와 백엔드 간에 단일 JSON 이벤트 스트림을 교환하는 오픈소스 프로토콜입니다. 이 스트림은 다양한 이벤트(텍스트 메시지, 도구 실행 시작, 상태 변화 등)를 시간 순서대로 전달함으로써 사용자 인터페이스가 실시간으로 반응할 수 있게 합니다. 기존의 에이전트 시스템은 주로 백엔드 자동화에 집중해 왔고, 사용자와의 실시간 상호작용이 필요한 UI 통합은 매번 별도의 구현이 필요했습니다. 반면 AG-UI는 이런 반복 작업을 줄이고, 일관된 사용자 경험을 보장하는 구조를 제공합니다. 또한 AG-UI는 OpenAI, LangGraph, Ollama, CrewAI, Mastra 등 주요 백엔드 시스템과 통합이 가능하며, CopilotKit의 React 컴포넌트와도 자연스럽게 호환됩니다. AG-UI의 주요 기능 단일 POST + 스트리밍 수신 구조: 클라이언트는 agent endpoint에 POST 요청을 보내고, 서버는 스트리밍 방식으로 다양한 이벤트를 전달합니다. 표준화된 이벤트 타입: TEXT\_MESSAGE\_CONTENT, TOOL\_CALL\_START, STATE… --- ## [Ollama Deep Researcher: Local LLM을 활용한 Web Research Assistant (feat. LangChain)](https://discuss.pytorch.kr/t/ollama-deep-researcher-local-llm-web-research-assistant-feat-langchain/5991)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [1월 28, 2025, 9:30오전 UTC](https://discuss.pytorch.kr/t/ollama-deep-researcher-local-llm-web-research-assistant-feat-langchain/5991 "2025-01-28T09:30:09Z")
Ollama Deep Researcher 소개 Ollama Deep Researcher는 LangChain에서 개발 및 공개한 프로젝트로, 로컬 LLM(Local Language Model)을 활용한 웹 리서치 어시스턴트(Web Research Assistant)입니다. 즉, 사용자가 입력한 연구 주제에 대해서 체계적으로 검색 후, 웹 문서 검색 결과를 요약하여 지식 격차를 분석한 뒤, 이를 보완하는 새로운 질의(Query)를 만들어 반복적으로 요약을 개선해 나갑니다. Ollama Deep Researcher는 깔끔한 마크다운 형식의 리서치 요약문과 모든 참조 링크를 포함하는 리포트를 제공합니다. 이 도구는 완전 로컬에서 실행되기 때문에 보안과 개인정보 보호가 중요한 환경에서도 사용할 수 있습니다. 특히, Ollama 플랫폼에서 제공하는 LLM을 사용하며, 다음과 같은 작업을 수행합니다: 사용자 입력 주제를 기반으로 검색 쿼리 생성 검색 엔진을 활용해 관련 자료를 수집 자료를 요약하고 지식 격차를 분석 부족한 정보를 보완하기 위한 새로운 검색 쿼리 생성 설정된 반복 횟수 동안 요약을 계속 개선 Ollama Deep Researcher와 주요 유사 프로젝트들과의 비교해보면 다음과 같이 살펴볼 수 있습니다: IterDRAG: Ollama Deep Researcher는 논문 IterDRAG의 아이디어에서 영감을 받았습니다. IterDRAG는 검색 쿼리를 여러 하위 쿼리로 나누고, 각 쿼리에 대해 문서를 검색한 후 점진적으로 답을 구축합니다. Ollama Deep Researcher도 유사하게 작동하지만, 로컬 LLM을 활용하여 데이터 보안 측면에서 더욱 강력한 옵션을 제공합니다. LangChain의 기존 Graph 기반 도구: Ollama Deep Researcher는 LangChain의 LangGraph를 활용하며, LangGraph의 직관적인 UI와 시각화 기능이 강점입니다. 영상 튜토리얼 :tv: Overview of O… --- ## [AI Code Reviewer: Ollma 모델 기반 코드 리뷰, 버그 수정 등 코드 품질 향상을 위한 AI 기반 코드 분석 도구](https://discuss.pytorch.kr/t/ai-code-reviewer-ollma-ai/5973)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [1월 25, 2025, 11:00오후 UTC](https://discuss.pytorch.kr/t/ai-code-reviewer-ollma-ai/5973 "2025-01-25T23:00:02Z")
AI 코드 리뷰어(AI Code Reviewer) 프로젝트 소개 AI Code Reviewer는 코드 품질 향상을 목표로 한 AI 기반 코드 분석 도구로, 다양한 프로그래밍 언어에 대해 코드 리뷰 및 버그 수정, 성능 향상, 보안 문제 해결 등의 실질적인 피드백을 제공하는 것을 목표로 하고 있습니다. 이 도구는 다음과 같은 문제를 해결하는 데 도움을 줍니다: 코드 내 잠재적 버그 탐지 애플리케이션 성능 개선 보안 취약점 발견 및 해결 특히, Java와 Ollama 기반으로 작동하기 때문에 다양한 AI 모델과 통합하여 사용할 수 있는 것이 장점입니다. 또한 설치 후 터미널에서 간단히 명령어를 실행해 결과를 바로 확인할 수 있다는 점이 큰 장점입니다. AI Code Reviewer 프로젝트는 기존의 정적 분석 도구(SonarQube, Checkmarx)와는 달리, AI Code Reviewer는 다음과 같은 장점을 가지고 있습니다: 다양한 AI 모델 지원: Ollama를 통해 gemma2, llama3.1, qwen2.5-coder 등의 최신 AI 모델을 사용할 수 있습니다. 터미널 기반 간편 실행: 단순한 명령어로 코드를 리뷰할 수 있어 복잡한 설정 과정 없이 바로 사용 가능합니다. 다양한 언어 지원: 여러 프로그래밍 언어를 분석할 수 있어 프로젝트 유형에 구애받지 않습니다. 라이선스 AI Code Reviewer 프로젝트는 MIT 라이선스로 공개 및 배포되고 있습니다. :github: AI Code Reviewer 저장소 https://github.com/larrydiamond/AICodeReviewer 이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs: :pytorch:파이토치 한국 사용자 모임… --- ## [Open WebUI👋, 오프라인 및 Local LLM 등을 위한 오픈소스 AI 플랫폼](https://discuss.pytorch.kr/t/open-webui-local-llm-ai/5964)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [1월 23, 2025, 9:00오후 UTC](https://discuss.pytorch.kr/t/open-webui-local-llm-ai/5964 "2025-01-23T21:00:47Z")
Open WebUI 소개 Open WebUI는 사용자가 완전히 오프라인 상태에서도 AI 환경을 구축하고 활용할 수 있도록 설계된 확장 가능한 오픈소스 AI 플랫폼입니다. 이 플랫폼은 Ollama 및 OpenAI API와 호환되는 모델 실행 환경을 제공하며, RAG(Retrieval-Augmented Generation) 기능을 통해 문서와의 상호작용이 가능합니다. 특히 Docker와 Kubernetes를 사용하여 간단히 설치 및 실행할 수 있고, Markdown과 LaTeX 지원을 통해 더욱 직관적인 LLM 상호작용 환경을 제공합니다. 웹 기반이지만 PWA(Progressive Web App)를 지원하여 모바일에서도 네이티브 애플리케이션처럼 작동합니다. 오픈소스 프로젝트로, GitHub에서 코드 및 상세 문서를 확인할 수 있습니다. Open WebUI의 주요 기능 :rocket: 손쉬운 설치: Docker 또는 Kubernetes(kubectl, kustomize, helm)를 사용하여 손쉽게 설치할 수 있습니다. :ollama 및 :cuda 태그가 지정된 이미지를 모두 지원하여 번거로움 없는 경험을 제공합니다. :handshake: Ollama/OpenAI API 통합: Ollama 모델과 함께 OpenAI 호환 API를 손쉽게 통합하여 다양한 대화를 구현할 수 있습니다. OpenAI API URL을 LMStudio, GroqCloud, Mistral, OpenRouter 등과 연결할 수 있도록 사용자 정의할 수 있습니다. :shield: 세부적인 권한 설정 및 사용자 그룹 관리: 관리자가 세부적인 사용자 역할 및 권한을 생성할 수 있어 안전한 사용자 환경을 보장합니다. 이러한 세분화는 보안을 강화할 뿐만 아니라 사용자 경험을 맞춤화하여 사용자 소속감과 책임감을 증진합니다. :mobile\_phone: 반응형 디자인: 데스크톱 PC, 노트북 및 모바일 기기에서 매끄러운 사용자 경험을 제공합니다. :mobile\_phone: … --- ## [vim-ollama: vim에서 AI 코드 자동완성 지원 플러그인](https://discuss.pytorch.kr/t/vim-ollama-vim-ai/5741)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [1월 2, 2025, 1:42오전 UTC](https://discuss.pytorch.kr/t/vim-ollama-vim-ai/5741 "2025-01-02T01:42:59Z")
vim-ollama 소개 vim-ollama는 vim에서 ollama 백엔드로 사용해 Copilot과 유사한 코드 자동완성을 지원하는 플러그인입니다. Ollama는 로컬 LLM(대규모 언어 모델)을 사용하여 프라이버시를 지키면서도 강력한 AI 기반 코드 자동완성을 로컬에서 제공하여 사용자의 데이터를 외부로 전송하지 않아도 됩니다. Vim 사용자들에게 코드 자동완성 기능은 생산성을 극대화하는 데 중요한 역할을 합니다. 그러나 많은 자동완성 플러그인이 NeoVim을 요구하거나 클라우드 기반 서비스를 사용하여 데이터 프라이버시 문제를 일으킬 수 있습니다. 이 플러그인은 NeoVim이 아닌 Vim 사용자를 위해 설계되었습니다. 많은 LLM 기반 플러그인이 NeoVim에 의존하는 반면, vim-ollama는 터미널 Vim 사용자들을 위한 대안을 제공합니다. Llama3, Codellama, Deepseek-coder-v2와 같은 다양한 모델과 호환되며, 코드 작성, 코드 리뷰, 그리고 상호작용적인 AI 채팅 기능을 제공합니다. vim-ollama와 유사한 기능을 제공하는 Copilot.vim과 비교하면 다음과 같습니다: 기능 vim-ollama Copilot.vim 클라우드 의존성 없음 (로컬 실행) 필수 (Microsoft 클라우드 서비스 필요) 지원 플랫폼 Vim 전용 Vim 및 NeoVim 모델 선택 가능 여부 가능 (다양한 LLM 지원) 불가능 (Copilot 고정) 프라이버시 완전한 데이터 프라이버시 보장 데이터 전송 필요 vim-ollama의 주요 기능 AI 기반 코드 자동완성: 코드 작성 시 “ghost text” 형태로 자동완성 제안 대화형 AI 채팅: 코드 리뷰 및 상호작용을 위한 채팅 지원 NeoVim 의존성 없음: Vim에서만 동작 다양한 LLM 지원: Codellama, Deepseek-coder-v2 등과 호환 라이선스 vim-ollama 프로젝트는 GPL-3.0 License로 배… --- ## [MyOllama, 자신의 ollama와 연동 가능한 오픈소스 모바일 클라이언트 (feat. Billy Park님)](https://discuss.pytorch.kr/t/myollama-ollama-feat-billy-park/5585)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [11월 28, 2024, 3:21오전 UTC](https://discuss.pytorch.kr/t/myollama-ollama-feat-billy-park/5585 "2024-11-28T03:21:49Z")
MyOllama 소개 MyOllama는 Ollama 프로그램이 설치된 컴퓨터와 연결하여 다양한 대규모 언어 모델(LLM)과 상호작용할 수 있는 모바일 클라이언트 앱입니다. Ollama는 로컬 머신에서 LLM을 실행할 수 있는 오픈소스 소프트웨어로, 개발자 Billy Park님이 개발 및 공개한 MyOllama를 통해 Ollama의 기능을 간편하고 (개인의 컴퓨터에서 LLM을 실행하므로) 별도의 사용료 없이 LLM을 모바일에서 사용할 수 있습니다. iOS / Android App을 직접 빌드할 수 있는 환경이 갖춰져있다면 MyOllama GitHub 저장소에서 소스코드를 받아 직접 빌드할 수 있으며, 그렇지 않다면 Apple App Store에 공개된 Ollama App을 다운로드 받아 사용할 수 있습니다. MyOllama의 주요 기능 원격 LLM 접속: IP 주소를 통해 Ollama 호스트에 연결 커스텀 프롬프트: 사용자 정의 Instruction 설정 지원 다양한 오픈 소스 LLM 지원 (Llama, Gemma, Qwen, Mistral 등) 사용자 정의 Instruction 설정 가능 이미지 인식 기능 지원 (해당 기능을 지원하는 모델에 한함) 직관적인 채팅 형식의 UI 대화 기록: 채팅 세션 저장 및 관리 iOS와 Android 지원 한국어, English, 日本語를 지원 사용 시 주의사항 MyOllama를 사용하기 위해서는 인터넷을 통한 접근이 가능한 곳에 Ollama가 설치 및 설정되어 있어야 합니다. 이러한 Ollama 호스트 설정 및 관리는 사용자 책임입니다. 보안 설정에 유의해주세요. 라이선스 MyOllama는 GPL-3.0 라이선스에 따라 공개되어 있습니다. :github: MyOllama GitHub 저장소 (한국어 README) :apple: MyOllama App Store 이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 … --- ## [Ollama, Llama 3.2 Vision 모델 추가 및 사용 가능](https://discuss.pytorch.kr/t/ollama-llama-3-2-vision/5452)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [11월 9, 2024, 4:51오전 UTC](https://discuss.pytorch.kr/t/ollama-llama-3-2-vision/5452 "2024-11-09T04:51:16Z")
Ollama의 Llama 3.2 Vision 모델 추가 소개 Local LLM 도구인 Ollama에 Llama 3.2 Vision 모델이 추가되었습니다. 11B와 90B 모델 모두 추가되었으며, Meta에서 공개한 것과 동일하게 영어와 독일어, 프랑스어, 이탈리아어, 포르투칼어, 힌디어, 스페인어, 타이(Thai)어의 8개 언어를 지원합니다. Llama 3.2 Vision 11B 모델 사용을 위해서는 최소 8GB의 VRAM이, 90B 모델 사용을 위해서는 최소 64GB의 VRAM이 필요합니다. https://github.com/user-attachments/assets/82e25d0d-921c-4900-b78f-589c1bb86968 Ollama에서 Llama 3.2 Vision 모델을 사용하기 위해서는 다음과 같은 명령어를 실행하시면 됩니다(Ollama가 설치되어 있어야 합니다.): # Llama 3.2 Vision 11B 모델 실행 시 ollama run llama3.2-vision # Llama 3.2 Vision 90B 모델 실행 시 ollama run llama3.2-vision:90b 프롬프트에 이미지를 추가하기 위해서는 이미지를 터미널에 Drag&Drop을 하거나, (Linux에서) 이미지의 경로를 추가하면 됩니다. 사용 예시 손글씨 인식 / Handwriting 광학 글자 인식 (OCR, Optical Character Recognition) 차트 및 표 / Charts & tables 이미지 기반 질문&답변 / Image Q&A Python / Javascript Library 사용 방법 Python Library Ollama Python library를 사용하는 방법은 다음과 같습니다: import ollama response = ollama.chat( model='llama3.2-vision', messages=\[{ 'role': 'user', 'conte… --- ## [\[GN⁺\] ChatGPT는 잊어라: 연구자들이 이제 노트북에서 소형 AI를 실행하는 이유 (feat. Nature)](https://discuss.pytorch.kr/t/gn-chatgpt-ai-feat-nature/5238)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 23, 2024, 9:35오후 UTC](https://discuss.pytorch.kr/t/gn-chatgpt-ai-feat-nature/5238 "2024-09-23T21:35:04Z")
소개 인공지능(AI) 모델은 일반적으로 온라인에서 사용되지만, 여러 공개 도구들이 이를 변화시키고 있음 생체정보과학자 Chris Thorpe는 AI 도구인 대형 언어 모델(LLM)을 사용하여 면역 시스템 단백질인 주요 조직 적합성 복합체(MHC) 분자의 데이터베이스인 histo.fyi를 읽기 쉬운 요약으로 변환함 Thorpe는 ChatGPT와 같은 웹 기반 LLM 대신 랩탑에서 AI를 구동함 LLM의 최근 트렌드 조직에서 '오픈 가중치' 버전의 LLM을 제작하여 사용자가 충분한 컴퓨팅 능력만 있다면 로컬에서 다운로드하여 실행할 수 있도록 함 기술 기업에서는 소비자용 하드웨어에서 실행할 수 있는 축소 버전을 제작하고 있으며, 이는 이전의 대형 모델의 성능과 필적함 연구자들이 로컬 모델을 사용하는 이유 비용 절감 환자나 기업의 기밀 보호 재현성 보장 컴퓨터가 빨라지고 모델이 효율적이 됨에 따라 사람들은 점점 더 랩톱이나 모바일 기기에서 AI를 구동하게 될 것임 최근 공개된 소형 오픈 가중치 모델 예시 Google DeepMind, Meta, Allen Institute for Artificial Intelligence 등에서 수십억 개의 매개변수를 포함하는 모델을 공개함 Microsoft는 Phi-1, Phi-1.5, Phi-2, Phi-3, Phi-3.5 등의 소형 언어 모델을 공개하였으며, 이 중 일부는 이미지도 처리할 수 있음 Microsoft의 생성형 AI 부사장인 Sébastien Bubeck은 Phi-3의 성능을 훈련 데이터 세트에 기인한다고 설명함 맞춤형 애플리케이션 개발 연구자들은 이러한 도구를 기반으로 맞춤형 애플리케이션을 개발할 수 있음 중국의 Alibaba는 Qwen이라는 모델을 구축하였으며, 뉴햄프셔 주의 생체의학 과학자는 이를 과학 데이터로 미세 조정하여 Turbcat-72b를 만들었음 프라이버시 보호 로컬 모델의 또 다른 장점은 프라이버시 보호임 개인 식별 정보를 상용 서비스에 전송하는 것은 데이터 보호 규정에 위배될 … --- ## [AI 프로젝트를 빠르게 할 수 있게 돕는 Self-hosted AI Starter Kit 프로젝트 (feat. n8n.io)](https://discuss.pytorch.kr/t/ai-self-hosted-ai-starter-kit-feat-n8n-io/5100)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 26, 2024, 1:18오후 UTC](https://discuss.pytorch.kr/t/ai-self-hosted-ai-starter-kit-feat-n8n-io/5100 "2024-08-26T13:18:01Z")
프로젝트 소개 Low-Code 플랫폼 n8n.io에서 오픈소스로 공개 및 제공하는 셀프 호스팅 AI 스타터 키트(Self-hosted AI Starter Kit)는 로컬에서 AI 워크플로우를 구축할 수 있는 도커 컴포즈 템플릿입니다. 이 키트는 n8n 플랫폼과 Ollama, Qdrant, PostgreSQL 같은 다양한 AI 관련 도구들을 포함하고 있어, 로우코드 환경에서 손쉽게 AI 프로젝트를 시작할 수 있습니다. 특히 이 키트는 데이터를 외부로 유출하지 않고도 PDF 요약, 슬랙 봇, 금융 문서 분석 등 다양한 AI 에이전트를 구축할 수 있는 기능을 제공합니다. 셀프 호스팅 AI 스타터 키트는 로우코드 플랫폼인 n8n을 중심으로, 최신 로컬 LLM을 실행할 수 있는 Ollama, 고성능 벡터 저장소 Qdrant, 그리고 대용량 데이터를 안정적으로 처리할 수 있는 PostgreSQL을 포함하고 있습니다. 이러한 구성 요소들은 각각의 강점을 바탕으로 통합되어 있으며, 기존의 상용 AI 플랫폼과 비교해도 뒤처지지 않는 성능을 제공합니다. 사용법 설명 영상 및 추천 자료 AI agents for developers: from theory to practice with n8n Tutorial: Build an AI workflow in n8n Langchain Concepts in n8n Demonstration of key differences between agents and chains What are vector databases? 추가 AI 템플릿 n8n의 AI 템플릿 갤러리에서 다양한 AI 워크플로우 아이디어를 확인할 수 있습니다. 각 워크플로우에서 "Use workflow" 버튼을 선택하면 로컬 n8n 인스턴스에 워크플로우가 자동으로 가져와집니다. Tax Code Assistant Breakdown Documents into Study Notes with MistralAI and Qdrant Financial… --- ## [ollama, 도구 호출 기능(tool support) 추가](https://discuss.pytorch.kr/t/ollama-tool-support/5072)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 20, 2024, 10:04오후 UTC](https://discuss.pytorch.kr/t/ollama-tool-support/5072 "2024-08-20T22:04:34Z")
ollama의 tool support 기능 소개 Ollama는 이제 Llama 3.1과 같은 인기 모델과 함께 도구 호출을 지원합니다. 이를 통해 모델이 주어진 프롬프트에 대해 알고 있는 도구를 사용하여 더 복잡한 작업을 수행하거나 외부 세계와 상호작용할 수 있습니다. 예를 들어, 다음과 같은 도구들을 사용할 수 있습니다: 함수와 API 호출(Functions and APIs) 웹 브라우징 (Web browsing) 코드 해석기 (Code interpreter) 기타 다양한 도구들 https://github.com/user-attachments/assets/aea4d7c1-f1be-41fd-9077-023d37a9d052 도구 호출 예시 도구 호출을 활성화하려면 Ollama의 API에서 tools 필드를 통해 사용 가능한 도구 목록을 제공해야 합니다. 아래는 예시 코드입니다: import ollama response = ollama.chat( model='llama3.1', messages=\[{'role': 'user', 'content': 'What is the weather in Toronto?'}\], tools=\[{ 'type': 'function', 'function': { 'name': 'get\_current\_weather', 'description': 'Get the current weather for a city', 'parameters': { 'type': 'object', 'properties': { 'city': { 'type': 'string', 'description': 'The name of the city', … --- ## [june, 로컬에서 실행되는 음성 비서 (ollama w/ Llama-3 + OpenAI Whisper + Coqui TTS)](https://discuss.pytorch.kr/t/june-ollama-w-llama-3-openai-whisper-coqui-tts/4691)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 25, 2024, 9:03오전 UTC](https://discuss.pytorch.kr/t/june-ollama-w-llama-3-openai-whisper-coqui-tts/4691 "2024-06-25T09:03:58Z")
june, 로컬에서 실행되는 음성 비서(Voice Assistant) 소개 june은 Ollama와 Whisper, Corqui TTS를 결합하여 사용자 컴퓨터(로컬, local)에서 실행되도록 구현한 음성 비서입니다. Ollama를 사용하여 사용자 컴퓨터에서 대규모 언어 모델(LLM)을 실행하고, 이 LLM을 중심으로 OpenAI의 Whisper는 사용자의 음성을 인식(STT, Speech-to-Text)하여 LLM에 전달합니다. LLM의 답변은 Coqui TTS Toolkit을 사용하여 음성으로 변환하여 출력합니다. june은 개인 정보 보호가 필요한 환경에서 음성 비서를 사용할 수 있는 유연한 솔루션을 제공합니다. 외부 서버에 데이터를 전송하지 않고 로컬에서 모든 작업을 처리하여 프라이버시를 보장합니다. 또한, 입/출력을 음성 대신 텍스트로 대체할 수 있어, 다양한 상호작용 모드를 지원하여 사용자의 편의성을 극대화합니다. 주요 특징 텍스트 입력/출력: 텍스트로 명령을 입력하고 텍스트로 응답을 받습니다. 음성 입력/텍스트 출력: 마이크를 사용해 음성으로 명령을 입력하고 텍스트로 응답을 받습니다. 텍스트 입력/오디오 출력: 텍스트로 명령을 입력하고 텍스트와 음성으로 응답을 받습니다. 음성 입력/오디오 출력(기본): 마이크로 음성을 입력하고 텍스트와 음성으로 응답을 받습니다. 기본 모델 구성 및 변경 기본 모델 구성 설정은 Ollama의 llama3:8b-instruct-q4\_0 모델을 기본으로 사용하며, 음성 인식 모델은 openai/whisper-small.en을, 음성 합성 모델은 tts\_models/en/ljspeech/glow-tts 을 사용합니다. 또한, JSON 파일을 사용해 아래와 같이 기본 모델 구성을 변경할 수도 있습니다. 이에 대한 자세한 내용은 README 문서의 Customization 섹션을 참고해주세요. { "llm": { "disable\_chat\_history": false,… --- ## [BTB(Blue-text Bot), 로컬에서 실행되는 채팅 기록을 기억(memory)하고 관리할 수 있는 macOS용 채팅 봇](https://discuss.pytorch.kr/t/btb-blue-text-bot-memory-macos/4467)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 24, 2024, 8:41오전 UTC](https://discuss.pytorch.kr/t/btb-blue-text-bot-memory-macos/4467 "2024-05-24T08:41:45Z")
BtB(Blue-text Bot), 로컬에서 실행되는 채팅 기록을 기억(memory)하고 관리할 수 있는 macOS용 채팅 봇 소개 Blue-text Bot AI (btb)는 Ollama와 AppleScript를 사용하여 로컬에서 실행되는 봇입니다. 이 프로젝트는 사용자의 메시지 기록을 주기적으로 확인하고, 새로운 메시지를 AppleScript를 통해 전송합니다. 이후, 필요한 내용들을 JSON을 사용하여 메모리를 관리하며, 사용자는 필요한 경우 이를 브라우저에서 실시간으로 편집할 수 있습니다. btb는 아직 초기 단계의 프로젝트이지만, 메시지 관리와 메모리 편집이라는 두 가지 주요 기능을 제공합니다. 이 프로젝트는 Mac과 별도의 Apple 계정이 필요합니다. Ollama를 설치하고 요구 사항을 충족한 후 서비스를 실행하면 됩니다. 이와 유사한 다른 도구로는 Slack의 봇이나 Discord 봇이 있지만, 대부분의 봇은 클라우드 기반입니다. btb는 로컬에서 실행되기 때문에 보안과 프라이버시 측면에서 더 유리할 수 있습니다. 주요 특징 (동작 방식) 메시지 관리: ~/Library/Messages/chat.db를 매 초마다 파싱하여 최신 메시지를 확인하고, AppleScript (send.applescript)를 사용하여 응답 메시지를 전송합니다. JSON 메모리 관리: 최신 메모리를 JSON 형식으로 Ollama 채팅 기록에 주입하고, 별도의 모델을 사용하여 새로운 정보를 요약하고 JSON을 업데이트합니다. 실시간 편집: Flask와 Websockets를 사용하여 사용자가 브라우저에서 JSON을 실시간으로 편집할 수 있습니다. 사용 방법 먼저 Ollama를 설치하고, 모델을 다운로드 받습니다. btb 저장소도 함께 복제(clone)하여 필요 패키지들을 설치하고 실행합니다. # ollama에서 모델 가져오기 ollama pull llama3 # 필요 패키지 설치 pip install -r requirements.txt … --- ## [Ollama, 임베딩 모델 지원 시작](https://discuss.pytorch.kr/t/ollama/4039)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 2\ **마지막 업데이트:** [4월 29, 2024, 2:29오후 UTC](https://discuss.pytorch.kr/t/ollama/4039 "2024-04-29T14:29:16Z")
(공지 블로그의 이미지가 귀여워 위로 올려봤습니다) :pytorch:PyTorchKR:kr: RAG에 대한 관심이 올라가고 있는 가운데, Local LLM을 위한 주요 플랫폼 중 하나인 ollama에서 임베딩 모델의 지원을 시작했다고 밝혔습니다. 공지 글에서는 임베딩 모델이 무엇이고, 어떻게 사용하는지에 대해서도 간략히 소개해두었는데요, 함께 살펴보시죠. :smiley: Ollama, 임베딩 모델 지원 시작 소개 임베딩 모델은 특정 텍스트 시퀀스의 의미를 나타내는 숫자 배열인 벡터 임베딩을 생성하도록 특별히 훈련된 모델입니다. 이렇게 다차원의 벡터로 변환된 임베딩은 흔히들 Vector DB로 불리우는 데이터베이스에 저장되며, 의미상 유사한 데이터를 검색하는데 사용됩니다. 이렇게 임베딩 모델을 사용함으로써 기존의 검색 방식과 달리 텍스트의 의미를 더 깊이 이해하고, 관련성 높은 결과를 도출할 수 있습니다. 특히, RAG 애플리케이션 구축에 있어서 이러한 임베딩 모델의 활용은 검색의 정확성과 효율성을 대폭 개선합니다. 주요 특징 지원하는 임베딩 모델: Ollama는 다양한 크기와 용량을 가진 여러 임베딩 모델을 지원합니다. 예를 들어, mxbai-embed-large 모델은 334M의 파라미터 크기를 가지고 있으며, nomic-embed-text는 137M, all-minilm은 23M의 파라미터 크기를 가집니다. Model Parameter Size mxbai-embed-large 334M View model nomic-embed-text 137M View model all-minilm 23M View model 사용 방법: 모델을 불러온 후 REST API, Python 또는 JavaScript 라이브러리를 사용하여 모델에서 벡터 임베딩을 생성할 수 있습니다. 사용 방법 임베딩 모델을 사용하는 과정은 크게 세 단계로 나눌 수 있습니다. 첫 번째 단계에서는 Ollama와 ChromaDB를 설치한 후… --- ## [Ollama, Llama3 모델 제공 시작](https://discuss.pytorch.kr/t/ollama-llama3/4122)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 20, 2024, 5:12오전 UTC](https://discuss.pytorch.kr/t/ollama-llama3/4122 "2024-04-20T05:12:47Z")
:pytorch:PyTorchKR:kr: 로컬에서 Open LLM을 실행하고 CLI 및 REST API를 통해 LLM을 사용할 수 있게 해주는 플랫폼 Ollama에 Llama-3가 추가되었습니다. 이제 사용자는 몇 일 전 공개된 Meta의 Llama3가 Ollama에서도 사용할 수 있게 되었습니다. Ollama, Llama3 모델 제공 시작 소개 Llama 3는 메타가 개발한 대형 언어 모델로, 기존의 Llama 2 모델보다 상당한 개선을 이루었습니다. 특히, 훈련 데이터셋 크기가 7배 증가했고, 처리할 수 있는 컨텍스트 길이도 두 배로 늘어났습니다. 이러한 기능적 향상을 통해 Llama 3는 언어 인코딩의 효율성을 크게 향상시켰습니다. Llama-3의 주요 특징은 다음과 같습니다: 향상된 데이터셋과 컨텍스트 길이: Llama 3는 Llama 2와 비교하여 훈련 데이터셋이 7배 증가했으며, 컨텍스트 길이는 8,000까지 처리할 수 있습니다. 토큰 어휘의 확장: 128K 토큰 어휘를 사용하여 언어를 더 효과적으로 인코딩합니다. 오류 감소: Llama 2에 비해 거짓 거부 반응이 1/3로 줄었습니다. 또한, Llama 3는 기존의 Llama 2 모델보다 훨씬 덜 검열(censored)되어 있습니다. 이는 모델이 사용자의 입력에 대해 거부하는 경우가 이전 모델에 비해 훨씬 줄었다는 것을 의미합니다. Llama 3는 특히 흥미로운 주제에 대해 논의할 수 있는 범위를 확장하며, 이는 연구 및 개발 측면에서 매우 유용할 수 있습니다. 낮은 거부율: Llama 3는 이전 모델인 Llama 2에 비해 거부율이 현저히 낮아졌으며, 이로 인해 사용자는 더 다양한 주제에 대해 질문할 수 있습니다. 개선된 대응 능력: Llama 3는 사용자의 요구에 보다 유연하게 대응할 수 있도록 설계되었으며, 이는 특히 연구 개발이나 교육 분야에서 유용하게 사용될 수 있습니다. 예를 들어, 동일한 질문에 대한 Llama2와 Llama3의 결과를 비교해보겠습니다. 질… --- ## [Ollama Cloud, Ollma를 위한 클라우드 네이티브 스택](https://discuss.pytorch.kr/t/ollama-cloud-ollma/3826)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [3월 21, 2024, 10:39오전 UTC](https://discuss.pytorch.kr/t/ollama-cloud-ollma/3826 "2024-03-21T10:39:14Z")
Ollama Cloud, Ollma를 위한 클라우드 네이티브 스택 Ollama Cloud는 Ollama를 위한 고도로 확장 가능한 클라우드 네이티브 스택입니다. 개발은 보통 익숙하고 제어 가능한 로컬 머신에서 시작하지만, 상용(production) 환경으로 이전할 때 지연, 일관성 부족, 의존성 문제 등에 직면하게 됩니다. Ollama Cloud는 일관성, 간단함, 그리고 개발자에게 자가 서비스 기능을 제공하는 클라우드 플랫폼 등의 이점을 제공합니다. Ollama Cloud는 "로컬이 바로 프로덕션(Local is Production)"이라는 개념으로, REST API를 통한 호스트 호출을 사용하여 통신 속도를 높이고, 신뢰성을 향상시키며, 개인 정보를 보장합니다. 이제 복잡한 프로덕션 이전 과정에 대한 걱정 없이 놀라운 AI 애플리케이션을 구축에 집중할 수 있습니다. 구성 요소 (Components) Ollama Cloud는 개발자가 복잡한 DevOps 또는 서비스 의존성 없이 프로덕션에 애플리케이션을 손쉽게 배포할 수 있게 하기 위해, 다음과 같은 구성 요소들을 기반으로 하고 있습니다: 자율 클라우드 컴퓨팅 플랫폼 구축 솔루션 tau WebAssembly에서 ollama를 호출할 수 있는 플러그인인 ollama plugin 로컬 개발 및 E2E 자동 테스트를 위한 타우바이트 기반 클라우드를 컴퓨터에서 실행하는 도구인 dreamland 일관성과 간단함: 로컬에서 작동하는 것은 규모에 맞게 아무런 변경 없이 작동합니다. 복잡한 DevOps 또는 SRE 기술 없이도 대규모로 배포할 수 있습니다. 클라우드 플랫폼: 개발자에게 자가 서비스 기능을 제공합니다. "로컬이 프로덕션" 개념: 호스트 호출을 통한 REST API 사용으로 통신 속도를 높이고, 신뢰성을 향상시키며, 프라이버시를 보장합니다. 사용 방법 또는 작동 원리 로컬 환경 설정 dreamland과 tau-cli, docker 및 ollama 플러그인을 빌드하는 데… [다음 페이지](https://discuss.pytorch.kr/tag/ollama/1022.md?match_all_tags=true&page=1&tags%5B%5D=ollama)