Lemonade: 로컬 GPU 및 NPU에서 구동되는 오픈소스 / 고성능 LLM 추론 서버 (feat. AMD)

9bow · 8월 20, 2025, 3:30오전

Lemonade 소개

Lemonade는 AMD의 후원으로 개발된 로컬 환경에서 대규모 언어 모델(LLM)을 빠르고 손쉽게 실행할 수 있는 오픈소스 프로젝트입니다. 기존에는 클라우드 기반의 LLM 서비스에 의존해야 했지만, Lemonade를 활용하면 개인 PC, 특히 GPU 또는 NPU가 탑재된 장비에서 직접 LLM을 실행할 수 있습니다. 이는 데이터 프라이버시, 성능, 비용 측면에서 상당한 장점을 제공합니다.

특히 Lemonade는 단순히 모델 실행만 지원하는 것이 아니라, 다양한 애플리케이션과 연동할 수 있는 구조를 제공하고 있습니다. 사용자는 Open WebUI, Continue, AnythingLLM, AI Dev Gallery, LM-Eval, CodeGPT, AI Toolkit 등과 같은 주요 오픈소스 앱과 쉽게 통합할 수 있으며, 이를 통해 로컬 AI 개발 환경을 빠르게 구축할 수 있습니다.

스타트업(Styrk AI), 학계(Stanford Hazy Research), 대기업(AMD) 등 다양한 조직들이 Lemonade를 활용하고 있으며, 특히 AMD의 Ryzen AI 하드웨어와 결합해 최적화된 성능을 보여주고 있습니다. 개발자 입장에서는 설치 과정이 간단하고, OpenAI API 호환성을 제공하여 기존 앱이나 코드와 쉽게 통합할 수 있다는 점이 큰 장점입니다. 개발자 입장에서는 Lemonade를 활용하며 클라우드 기반 API 호출에 의존하지 않고도 실험적이거나 개인화된 AI 모델을 활용할 수 있기 때문에, 데이터 보안과 비용 절감뿐 아니라 독립적인 AI 서비스 개발이 가능해집니다.

다른 Local LLM 추론 서버와의 비교

Lemonade와 유사한 프로젝트로는 Ollama, LM Studio 등이 있습니다. Ollama와 LM Studio는 로컬 환경에서 LLM 실행을 지원하지만, Lemonade는 GPU뿐 아니라 NPU 지원까지 고려해 더 넓은 하드웨어 호환성을 제공합니다. 또한 Lemonade는 단순 실행기를 넘어 여러 오픈소스 앱과 통합되는 생태계를 적극적으로 구축하고 있다는 점에서 차별화됩니다.

예를 들어, Ollama는 모델 관리와 실행에 초점을 맞추고 있지만, Lemonade는 Open WebUI 같은 인터페이스와 Continue 같은 개발 워크플로우 툴을 포함하여 더 확장된 개발 경험을 제공합니다. 따라서 로컬 LLM 생태계의 확장성을 중시하는 개발자라면 Lemonade가 더 적합할 수 있습니다.

Lemonade Server의 주요 기능과 특징

간단한 설치 및 실행

Lemonade는 GUI 기반 설치 프로그램(Windows), pip 설치, 혹은 소스 코드 설치를 모두 지원합니다. 설치 후에는 내장된 모델 관리자를 통해 원하는 모델을 다운로드하고 실행할 수 있으며, 기본적으로 채팅 인터페이스도 포함되어 있어 바로 대화형 테스트가 가능합니다. GPU 및 NPU 최적화를 통해 빠른 속도로 모델을 구동할 수 있으며, 클라우드 비용이나 인터넷 연결 문제에 구애받지 않는다는 점이 큰 장점입니다.

Lemonade는 Windows 11용 설치 파일을 제공하며, Ubuntu와 Windows 환경에서 모두 동작합니다. 설치 후에는 명령어를 사용하여 몇 분 만에 LLM 서버를 실행하고 다양한 애플리케이션과 연동할 수 있습니다. 예를 들어, 다음과 같은 명령어로 Gemma 3 모델을 실행할 수 있습니다:

lemonade-server run Gemma-3-4b-it-GGUF

run 명령어 외에도 사전 모델 다운로드(pull)나 모델 목록 조회(list) 등의 명령어도 사용 가능하며, 특정 백엔드(Vulkan, ROCm)를 직접 지정할 수 있어 개발자가 성능을 세밀하게 조정할 수 있습니다. 지원하는 전체 모델 목록은 공식 홈페이지에서 확인하실 수 있습니다.

다양한 앱 통합 지원

Open WebUI: 직관적인 사용자 인터페이스 제공
Continue: VS Code 기반 AI 개발 워크플로우 지원
AnythingLLM: 다목적 LLM 애플리케이션 실행 플랫폼
Gaia: AMD 기반 AI 생태계 지원
AI Dev Gallery: 다양한 AI 실험 환경 제공
LM-Eval: 모델 성능 평가 및 벤치마크
CodeGPT: 코드 중심 LLM 활용
AI Toolkit: 개발자 중심의 AI 유틸리티 모음

또한, Lemonade는 OpenAI API와 완벽히 호환되는 API를 제공합니다. 즉, 기존에 openai 패키지를 사용해 GPT 모델을 호출하던 코드에서, Endpoint(base_url)만 Lemonade의 URL(예: http://localhost:8000/api/v1)로 바꾸면 곧바로 Lemonade 로컬 모델을 활용할 수 있습니다.

아래는 OpenAI SDK를 사용하는 Python 예시 코드에서 Lemonade를 사용하도록 base_url을 지정하는 방법입니다:

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/api/v1"   # Lemonade의 API 주소 적용
)

completion = client.chat.completions.create(
    model="Llama-3.2-1B-Instruct-Hybrid",
    messages=[{"role": "user", "content": "프랑스의 수도는 어디인가?"}]
)

print(completion.choices[0].message.content)

즉, 다양한 언어에서 지원하는 OpenAI 및 OpenAI 호환 SDK들을 활용할 수 있습니다:

Python	C++	Java	C#	Node.js	Go	Ruby	Rust	PHP
openai-python	openai-cpp	openai-java	openai-dotnet	openai-node	go-openai	ruby-openai	async-openai	openai-php

모델 라이브러리 및 호환성

GGUF와 ONNX 모델을 모두 지원합니다.
Hugging Face에서 직접 모델을 가져와 사용할 수 있으며, 자체 제공되는 모델도 풍부합니다.
사용자는 로컬 실행 환경에서 다양한 추론 엔진(OGA, llamacpp, Hugging Face)을 선택할 수 있습니다.

지원 하드웨어 및 구성

CPU: 모든 플랫폼에서 지원
GPU: Vulkan 및 ROCm 엔진 지원 (AMD Radeon 시리즈 최적화 포함)
NPU: AMD Ryzen AI 300 시리즈 지원

특히 ROCm 지원을 통해 최신 AMD GPU 환경에서 높은 성능을 기대할 수 있습니다.

확장된 SDK 기능

Lemonade API: Python 애플리케이션에 직접 모델을 임베딩할 수 있는 고수준 API
Lemonade CLI: 모델 정확도 테스트, 성능 벤치마크, 메모리 프로파일링 등 개발자를 위한 고급 도구 제공

위와 같은 기능들을 통해 단순히 LLM을 실행하는 것을 넘어, 모델 연구 및 애플리케이션 최적화에도 활용할 수 있습니다.

커뮤니티와 생태계

Lemonade는 GitHub 저장소와 Discord 커뮤니티를 통해 개발자들과 소통하고 있으며, 최신 릴리스와 뉴스를 빠르게 공유하고 있습니다. GitHub 저장소에 이슈를 남기거나 이메일을 통해 메인테이너들과 소통할 수도 있습니다.

라이선스

Lemonade 공식 홈페이지

Lemonade 공식 문서

Lemonade Server GitHub 저장소

https://github.com/lemonade-sdk/lemonade

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~