# \#rapid-mlx **URL:** https://discuss.pytorch.kr/tag/rapid-mlx/7611.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [Rapid-MLX: Apple Silicon 맥에서 로컬 LLM을 OpenAI 호환 서버로 띄우는 추론 엔진](https://discuss.pytorch.kr/t/rapid-mlx-apple-silicon-llm-openai/11516)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 5, 2026, 3:30오전 UTC](https://discuss.pytorch.kr/t/rapid-mlx-apple-silicon-llm-openai/11516 "2026-08-05T03:30:46Z")
Rapid-MLX 소개 맥에서 로컬 모델을 돌리려면 보통 두 가지를 감수하게 됩니다. 하나는 llama.cpp 계열 런타임이 Metal 위에 얹히면서 생기는 성능 손해이고, 다른 하나는 도구 호출(tool calling)이 모델마다 다른 형식으로 나와 코딩 에이전트를 붙이면 텍스트가 그대로 튀어나오는 문제입니다. 로컬 추론을 실제 업무 흐름에 넣으려면 이 두 가지가 함께 풀려야 합니다. Rapid-MLX는 Apple Silicon 전용으로 만든 로컬 추론 엔진입니다. llama.cpp 대체 경로나 Metal 중간 계층 없이 순수 MLX 커널 만 사용하고, 연속 배칭과 프롬프트 캐시, 양자화된 KV 캐시를 MLX의 대역폭 위에서 직접 돌립니다. 서버는 OpenAI와 Anthropic 양쪽 API 형식을 모두 제공하기 때문에, 클라이언트 쪽 어댑터 없이 기존 SDK를 그대로 붙일 수 있습니다. 프로젝트는 스스로를 "Apple Silicon을 위한 가장 빠른 로컬 AI 엔진" 이라고 소개하며 Ollama 대비 2~4배 빠르다고 밝히고 있습니다. 다만 저장소 README 안에는 이 수치를 뒷받침하는 벤치마크 표가 들어 있지 않고, 대신 rapid-mlx bench 로 각자의 맥에서 측정한 결과를 공개 표에 제출하는 방식을 안내합니다. 아래 내용에서 속도 수치는 저자의 주장으로 읽는 편이 안전합니다. Rapid-MLX와 다른 로컬 실행 방식의 차이 항목 일반적인 로컬 런타임 Rapid-MLX 실행 백엔드 llama.cpp 또는 Metal 중간 계층 순수 MLX 커널 API 형식 OpenAI 호환 위주 OpenAI 계열과 Anthropic /v1/messages 동시 제공 도구 호출 모델별로 파서를 직접 맞춰야 함 별칭마다 파서를 지정하고 자동 복구를 시도 에이전트 검증 사용자가 직접 확인 릴리스마다 11개 에이전트를 실제 가중치로 배선 검증 모달리티 텍스트 중심 텍스트 기본, 비전과 음성, 영상은 선택 설치 기본 설치는…