# \#llm-on-local

**URL:** https://discuss.pytorch.kr/tag/llm-on-local/2500.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [Gemma 4와 Pi Coding Agent로 완전히 로컬에서 실행하는 코딩 에이전트 만들기 (feat. LM Studio)](https://discuss.pytorch.kr/t/gemma-4-pi-coding-agent-feat-lm-studio/10009)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [5월 3, 2026, 3:30오전 UTC](https://discuss.pytorch.kr/t/gemma-4-pi-coding-agent-feat-lm-studio/10009 "2026-05-03T03:30:36Z")

</div>

로컬 코딩 에이전트가 필요한 이유 지난 1~2년 동안 Claude Code, Cursor, Aider, OpenAI Codex 등 다양한 코딩 에이전트가 등장하면서, 개발자들이 터미널과 에디터에서 LLM을 일상적으로 활용하는 흐름이 자리잡았습니다. 그러나 이러한 도구 대부분은 클라우드 기반의 프론티어 모델(GPT, Claude, Gemini 등)에 의존하기 때문에, 작업 중인 코드와 파일 컨텍스트가 외부 서버로 전송된다는 점, 그리고 토큰 사용량에 비례해 비용이 발생한다는 점은 여전히 현실적인 부담으로 남아 있습니다. 이러한 맥락에서 최근 들어 다시 주목받고 있는 흐름이 바로 로컬 코딩 에이전트(local coding agent) 입니다. Llama 3, Qwen 3, DeepSeek-V3, 그리고 Gemma 4에 이르기까지, 오픈 가중치(open-weight) 모델들이 함수 호출(function calling), 시스템 프롬프트, 사고(thinking) 모드 등 에이전트 워크로드에 필수적인 기능을 점차 갖추면서, 노트북이나 워크스테이션에서 로컬로 실행하는 것만으로도 실용적인 코딩 도우미를 구성할 수 있게 되었습니다. 이번 글에서는 Patrick Loeber가 자신의 블로그에 정리한 가이드를 바탕으로, LM Studio와 Mario Zechner가 만든 미니멀 터미널 코딩 에이전트인 Pi(pi-coding-agent), 그리고 Google의 Gemma 4 26B A4B 모델을 결합하여 완전히 로컬에서 동작하는 코딩 에이전트를 구축하는 방법을 단계별로 살펴봅니다. 모든 추론이 사용자의 하드웨어에서 이루어지므로 데이터 외부 유출 우려가 없고, API 비용 또한 발생하지 않는다는 것이 가장 큰 장점입니다. 핵심 구성 요소: LM Studio + Pi Agent + Gemma 4 원문이 제안하는 권장 셋업은 다음과 같이 세 가지 컴포넌트의 조합입니다. 모델 서버: LM Studio가 모델 다운로드, 양자화, OpenAI 호환 로컬 API 서버 노출까지…

---

## [On-Device Browser Agent: Chrome Browser에서 직접 실행되는 로컬 AI 에이전트용 확장(Extension) (feat. RunAnywhere AI)](https://discuss.pytorch.kr/t/on-device-browser-agent-chrome-browser-ai-extension-feat-runanywhere-ai/8809)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 2\
**마지막 업데이트:** [2월 17, 2026, 6:28오후 UTC](https://discuss.pytorch.kr/t/on-device-browser-agent-chrome-browser-ai-extension-feat-runanywhere-ai/8809 "2026-02-17T18:28:28Z")

</div>

On-Device Browser Agent 소개 On-Device Browser Agent는 클라우드 서버를 거치지 않고, 사용자의 웹 브라우저 내에서 직접 AI 모델을 구동하여 웹 자동화 작업을 수행하는 크롬 확장(Chrome Extension) 프로그램입니다. 이 프로젝트는 WebLLM 및 WebGPU 기술을 활용하여, 외부 API 키나 인터넷 연결(모델 다운로드 후) 없이도 AI 에이전트가 브라우저의 DOM(문서 객체 모델)을 이해하고 상호작용할 수 있게 해줍니다. 최근 대규모 언어 모델(LLM)의 추론 트렌드가 서버 중심에서 온-디바이스(On-Device)로 확장됨에 따라, 브라우저 환경에서 실행 가능한 경량화 모델(SLM)들이 주목받고 있습니다. 이 도구는 Qwen 2.5, Phi-3.5, Llama 3.2와 같은 경량 모델들을 사용자의 GPU 가속을 통해 직접 실행합니다. 덕분에 사용자의 데이터가 외부로 전송되지 않아 완벽한 프라이버시가 보장되며, 클라우드 비용이 전혀 들지 않습니다. :loudspeaker: 중요 업데이트: SDK 통합 예정 개발팀은 현재 이 기술을 더 확장하여 runanywhere-web-sdk에 통합하여 곧 출시할 예정입니다. 메인 저장소를 통해 관련 SDK가 공개될 예정이니, 최신 개발 현황은 아래 저장소에서 확인하시기 바랍니다. RunAnywhere SDK 저장소: https://github.com/RunanywhereAI/runanywhere-sdks On-Device Browser Agent vs. 기존 클라우드 기반 에이전트와 비교 ChatGPT 사이드바와 같은 일반적인 브라우저용 AI 도구와 On-Device Browser Agent의 가장 큰 차이점은 데이터 처리 위치와 작동 방식입니다. 일반적으로 클라우드 기반 에이전트는 사용자의 질문이나 현재 페이지의 정보를 OpenAI나 Anthropic 등과 같은 서비스 사업자의 서버로 전송하여 처리합니다. 이를 통해 높은 성능을 제공하지만, 민…

---

## [Transformer Lab: 로컬에서 직접 설치하여 사용하는 오픈소스 LLM 실험실](https://discuss.pytorch.kr/t/transformer-lab-llm/6798)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 1\
**마지막 업데이트:** [4월 18, 2025, 3:00오전 UTC](https://discuss.pytorch.kr/t/transformer-lab-llm/6798 "2025-04-18T03:00:07Z")

</div>

Transformer Lab 소개 오픈소스 기반 LLM을 직접 학습하거나 실험해보고 싶은데 GPU 리소스가 부족하거나, HuggingFace의 복잡한 설정에 지친 적이 있으신가요? Transformer Lab은 로컬 환경에서 강력한 LLM 워크플로우를 통합 제공하는 GUI 기반 도구입니다. Apple Silicon을 위한 MLX 엔진, CUDA 환경 모두 지원하며, RLHF, ORPO, SIMPO 같은 최신 학습 기법도 직접 실행해볼 수 있습니다. GitHub에서 AGPLv3 라이선스로 오픈된 이 프로젝트는 Mozilla의 공식 후원까지 받고 있어서, 신뢰성과 발전 가능성 모두 갖춘 플랫폼입니다. Transformer Lab은 개인 PC나 노트북에서 작동하는 LLM 실험 및 학습용 오픈소스 애플리케이션입니다. Electron 기반으로 Windows, MacOS, Linux를 지원하며, 모델 다운로드, 파인튜닝, RLHF, RAG, 평가 및 프롬프트 설정 등 LLM 실험 전 과정을 하나의 인터페이스로 다룰 수 있도록 설계되었습니다. 특히 Apple MLX와 같은 경량 엔진부터 CUDA 기반의 고성능 훈련까지 모두 지원해, 다양한 하드웨어 환경에서 실험이 가능합니다. 사용자는 GUI를 통해 모델을 시각화하고 디버깅할 수 있으며, 자체 플러그인을 작성해 기능을 확장할 수 있습니다. Mozilla Builders Program의 후원을 받아 개발 중이며, 누구나 다운로드하여 설치하고 사용해볼 수 있습니다. Transformer Lab의 주요 기능 :speech\_balloon: LLM과의 상호작용: 챗봇, 생성 매개변수 조절, 배치 추론, 프롬프트 편집, 툴 사용(Function Calling alpha) :brain: 모델 학습: 사전 학습, 파인튜닝, RLHF, DPO, ORPO, SIMPO 등 고급 학습 방식 지원 :inbox\_tray: 모델 다운로드: HuggingFace에서 DeepSeek, Llama3, Phi4 등 …

---

## [Run Llama Locally: 최소한의 의존성으로 Llama 모델을 실행하고 내부 구조를 살펴볼 수 있도록 하는 프로젝트](https://discuss.pytorch.kr/t/run-llama-locally-llama/5308)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [10월 9, 2024, 2:08오전 UTC](https://discuss.pytorch.kr/t/run-llama-locally-llama/5308 "2024-10-09T02:08:30Z")

</div>

Run Llama Locally 프로젝트 소개 Run Llama Locally 프로젝트는 Meta에서 공개한 대규모 언어 모델(LLM)인 Llama 모델을 개인이 직접 실행해보며 모델의 구조와 동작을 살펴볼 수 있도록 하는 것을 목표로 합니다. 기존의 Ollama나 Hugging Face에서 제공하는 모델이나 API를 활용하는 경우, 쉽게 실행하고 사용할 수는 있지만 모델이 어떻게 동작하는지에 대한 핵심 세부 사항을 숨기기 때문에 모델의 내부 작동 방식을 이해하기 어렵습니다. 이 프로젝트를 시작한 개발자(:github: anordin95는 Llama 모델의 구조와 동작을 보다 투명하게 탐구하기 위해 이 프로젝트를 개발하고 공개하였습니다. 파이토치(torch)와 일부 최소한의 의존성만으로 실행하며, Meta가 공개한 가중치를 사용할 수 있습니다. 또한, 사용 가능한 GPU가 있다면 이를 통해 더 나은 성능을 발휘할 수 있습니다. 프로젝트 설치 Llama 모델을 로컬에서 실행하기 위해 다음 단계를 따르세요: 모델 가중치를 Llama Downloads에서 다운로드해둡니다. 이 프로젝트를 GitHub 저장소에서 복제(clone)합니다: git clone https://github.com/anordin95/run-llama-locally cd run-llama-locally 필요한 의존성 라이브러리들을 설치합니다: pip install -r requirements.txt llama-models 패키지를 설치합니다: cd llama-models; pip install -e .; cd .. run\_inference.py 또는 minimal\_run\_inference.py 중 하나를 실행하여 추론을 수행합니다: python minimal\_run\_inference.py ## 또는 python run\_inference.py 각 추론 스크립트의 동작은 다음과 같습니다: minimal\_run\_inference.py: Llama 모…

---

## [Octopus-v2, Nexa AI에서 공개한 Android 제어를 위한 2B 규모의 Agent LLM](https://discuss.pytorch.kr/t/octopus-v2-nexa-ai-android-2b-agent-llm/4070)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [4월 13, 2024, 11:49오후 UTC](https://discuss.pytorch.kr/t/octopus-v2-nexa-ai-android-2b-agent-llm/4070 "2024-04-13T23:49:00Z")

</div>

:pytorch:PyTorchKR:kr: 최근 Google의 ScreenAI나 Apple의 ReALM과 같은 스마트폰을 비롯한 다양한 화면에서의 내용을 바탕으로 사용자와 의사소통을 하는 연구들이 진행되고 있습니다. 이러한 연구들이 사용자와 스마트폰 간의 연결을 더 잘 하기 위한 것이라면, Nexa AI에서 공개한 Octopus-v2 모델은 사용자의 입력을 받아 실제로 Android 단말을 제어하면서 여러가지 기능들을 실행할 수 있는 LLM입니다. :robot: Octopus-v2는 스마트폰과 같은 단말에서 동작하는, 에이전트(Agent)를 위한 LLM으로, 상대적으로 작은 2B 규모의 크기를 갖고 있습니다. 또한, Android API를 통해 안드로이드 시스템 관리부터 다양한 디바이스의 조율까지 폭넓게 활용할 수 있으며, 정확도와 속도 측면에서도 손색없는 성능을 보이고 있습니다. Octopus-v2 모델을 사용하여 어떠한 일들이 앞으로 가능할지, 함께 고민해보시죠! :wink: Octopus-v2, Nexa AI에서 공개한 Android 제어를 위한 2B 규모의 Agent LLM 소개 Octopus-V2-2B는 Nexa AI에 의해 개발된 20억 개의 파라미터를 가진 고급 오픈소스 언어 모델입니다. 이 모델은 안드로이드 API를 호출하는 기능에 특화되어 있으며, 기존 RAG 방식이 요구하는 방대한 입력 토큰 대신 기능 토큰 전략을 도입함으로써 GPT-4와 유사한 성능을 달성하면서도 추론 속도를 대폭 향상시켰습니다. 이는 모바일 기기에서의 활용 가능성을 크게 높여줍니다. Octopus-v2의 주요 기능은 다음과 같습니다: 기능 토큰 전략: Octopus-v2는 훈련과 추론 단계 모두에서 고유한 기능 토큰 전략을 사용하여 기존 방법보다 훨씬 빠른 추론 속도와 높은 정확도를 제공합니다. 모바일 기기에서의 활용성: 안드로이드 시스템 관리부터 다양한 디바이스의 조율에 이르기까지, 모바일 기기에서 직접 작동하는 다양한 애플리케이션에 적용 가능합니…

---

## [Plock: 사용자가 입력 가능한 모든 곳에서 LLM을 사용할 수 있게 해주는 도구](https://discuss.pytorch.kr/t/plock-llm/3439)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [2월 5, 2024, 1:57오후 UTC](https://discuss.pytorch.kr/t/plock-llm/3439 "2024-02-05T13:57:00Z")

</div>

이 글은 GPT 모델로 정리한 것으로, 잘못된 부분이 있을 수 있으니 글 아래쪽의 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs: Plock 소개 Plock은 사용자가 입력할 수 있는 모든 곳에서 LLM 또는 기타 스크립트의 출력을 쿼리하고 스트리밍할 수 있는 도구입니다. 기본적으로 100% 로컬에서 사용되므로 사용자는 데이터가 클라우드로 전송되는 것에 대해 걱정할 필요 없이 사용할 수 있습니다. Plock은 원격 API와도 함께 사용할 수 있으므로 사용자는 전 세계의 데이터와 서비스에 액세스할 수 있습니다. Plock은 다양한 용도로 사용할 수 있는 강력한 도구입니다. 예를 들어 다음과 같은 용도로 사용할 수 있습니다: 대규모 언어 모델(LLM)을 쿼리하여 정보를 얻거나 작업을 완료합니다. 로그 파일이나 실시간 피드와 같은 스크립트의 출력을 스트리밍합니다. 원격 API와 상호 작용하여 데이터 및 서비스에 액세스합니다. Plock은 보다 효율적이고 생산적인 방식으로 LLM이나 기타 스크립트로 작업하고자 하는 모든 사람에게 훌륭한 도구입니다. 사용하기 쉽고 특정 요구사항에 맞게 커스터마이징해서 사용할 수 있습니다. Plock GitHub 저장소 https://github.com/jasonjmcghee/plock :fire:파이토치 한국 사용자 모임:south\_korea:이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일:love\_letter:로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.) :wrapped\_gift: 아래:down\_right\_arrow:쪽에 좋아요:heart:를 눌러주시면 뉴스 발행에 힘이 됩니다~ :star\_struck:

---

## [\[GN\] Lumos - 로컬 LLM Co-Pilot 크롬 확장](https://discuss.pytorch.kr/t/gn-lumos-llm-co-pilot/3400)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [1월 31, 2024, 12:09오후 UTC](https://discuss.pytorch.kr/t/gn-lumos-llm-co-pilot/3400 "2024-01-31T12:09:50Z")

</div>

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 로컬에서 Ollama 서버를 구동하여 이용하게 해주는 크롬 확장 현재 페이지의 내용에 대해서 AI를 이용한 요약/질문등의 기능 가능 긴 글이나 뉴스 요약 제품/상품 페이지의 리뷰에 대한 질문 긴 기술 문서에 대해서 질문하기 원문 https://github.com/andrewnguonly/Lumos 출처 / GeekNews

---

## [\[GN⁺\] Ollama, Python & JavaScript 라이브러리 공개](https://discuss.pytorch.kr/t/gn-ollama-python-javascript/3360)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [1월 26, 2024, 3:31오전 UTC](https://discuss.pytorch.kr/t/gn-ollama-python-javascript/3360 "2024-01-26T03:31:15Z")

</div>

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 Ollama 는 Llama 2, Mistral 등의 LLM을 로컬에서 실행하기 쉽게 만들어주는 오픈소스 맥/리눅스를 지원하며, 윈도우즈는 곧 WSL2에서 실행가능 Ollama의 Python 및 JavaScript 초기 버전 라이브러리가 출시되어, 몇 줄의 코드로 새로운 앱과 기존 앱을 Ollama와 통합 가능 Ollama REST API의 기능과 느낌을 그대로 이용 가능 시작하기 Python에서는 pip install ollama를 통해 설치하고, import ollama 후 ollama.chat 함수를 사용하여 대화를 시작할 수 있음. JavaScript에서는 npm install ollama를 통해 설치하고, import ollama from 'ollama' 후 ollama.chat 함수를 사용하여 대화를 시작할 수 있음. 사용 사례 두 라이브러리 모두 Ollama의 전체 기능 세트를 지원함. Python 예제로는 스트리밍, 멀티모달, 텍스트 완성, 사용자 정의 모델 생성, 사용자 정의 클라이언트 설정 등이 있음. 새로운 GitHub 핸들 이 라이브러리와 Ollama의 주요 저장소는 이제 새로운 GitHub 조직인 ollama에서 관리됨. Dart, Swift, C#, Java, PHP, Rust 등 다양한 프로그래밍 언어로 Ollama와 상호 작용하는 라이브러리를 유지 관리하는 커뮤니티 멤버들에게 감사의 말을 전함. 원문 출처 / GeekNews
