# \#deepseek-cpp

**URL:** https://discuss.pytorch.kr/tag/deepseek-cpp/4455.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [deepseek.cpp: 순수 C++로 작성한, 2천줄 미만의 CPU 전용 DeepSeek-V2/V2.5/V3/R1 모델 추론 엔진](https://discuss.pytorch.kr/t/deepseek-cpp-c-2-cpu-deepseek-v2-v2-5-v3-r1/6077)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [2월 8, 2025, 9:00오전 UTC](https://discuss.pytorch.kr/t/deepseek-cpp-c-2-cpu-deepseek-v2-v2-5-v3-r1/6077 "2025-02-08T09:00:45Z")

</div>

DeepSeek.cpp 소개 deepseek.cpp는 DeepSeek 계열의 대형 언어 모델을 CPU에서 실행할 수 있도록 만든 C++ 기반의 추론 엔진입니다. 원래 Yet Another Language Model (yalm)에 DeepSeek 지원을 추가하려다 코드 변경이 많아져 별도의 프로젝트로 분리되었습니다. DeepSeek.cpp는 별도 런타임없이 C++ 만으로 실행 가능한 것이 특징이며, DeepSeek-V2-Lite, V2, V2.5, V3, R1 등과 같은 주요 모델들을 실행할 수 있습니다. 또한, F8E5M2, FP16, FP32 등 다양한 데이터 타입 지원하면서도 llama.cpp (약 25만 줄 코드)나 vllm보다 훨씬 가볍게 (\<2k LOC, Lines of Code) 동작합니다. 주요 기능 DeepSeek 모델 가중치 변환: Hugging Face 포맷의 safetensor 가중치를 .dseek 형식으로 변환하여 사용 다양한 실행 모드 제공: 완성(Completion) 모드: 텍스트 자동 생성 Passkey 모드: 무작위 텍스트 삽입 Perplexity 모드: 언어 모델의 성능 평가 경량화된 양자화 지원: F8E5M2: 128x128 블록 단위 양자화 향후 INT4, 1.58-bit 지원 예정 DeepSeek.cpp 사용법 1. 필요한 패키지 설치 및 모델 다운로드 # git-lfs 설치 curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash sudo apt-get -y install git-lfs # DeepSeek-V2-Lite 모델 다운로드 git clone https://huggingface.co/deepseek-ai/DeepSeek-V2-Lite 2. deepseek.cpp 설치 및 빌드 git clone https://github.com/andrewkchan/deepseek.cpp.git…