FreeLLMAPI: 16개의 LLM 제공자의 무료 티어로 매달 1.7B 토큰을 무료로 사용하는 OpenAI API 호환 프록시 프로젝트

9bow · 6월 2, 2026, 3:30오전

FreeLLMAPI 소개

요즘은 거의 모든 AI 연구소가 무료 티어를 제공합니다. 한 달에 수백만 토큰, 하루 수천 건의 요청을 공짜로 쓸 수 있지만, 하나하나는 가벼운 실험용에 그칩니다. 문제는 이것들을 직접 묶어 쓰려고 하면 제공자마다 다른 SDK, 다른 요청 한도, 요청이 실패할 수 있는 서로 다른 지점들을 전부 떠안아야 한다는 점입니다.

FreeLLMAPI 는 16개 LLM 제공자의 무료 티어를 하나의 OpenAI 호환 엔드포인트 뒤로 모으는 프록시입니다. OpenAI 클라이언트 라이브러리의 base_url 만 로컬 서버로 바꾸면, 등록해 둔 제공자들 사이로 요청이 알아서 라우팅됩니다. 한 제공자가 한도에 걸리거나 오류를 내면 다음 제공자로 자동 우회하므로, 여러 무료 티어가 합쳐져 하나의 작동하는 추론 용량처럼 동작합니다.

이 프로젝트는 단일 사용자(single-user)를 전제로 설계된 개인용 도구입니다. 저자는 README에서 이 도구가 개인 실험용임을 명시하고, 각 제공자 약관에 대한 검토(Terms of Service review)와 면책 조항(Disclaimer) 섹션을 함께 두고 있으므로, 실제로 사용하기 전에 각 무료 티어의 이용 약관을 직접 확인하는 것이 좋습니다. 본 게시물에서는 지원 제공자, 주요 기능, 설치·사용법을 정리합니다.

FreeLLMAPI가 지원하는 제공자

FreeLLMAPI는 Google(Gemini), Groq, Cerebras, SambaNova, Mistral, OpenRouter, GitHub Models, Cloudflare, Cohere, Z.ai(Zhipu), NVIDIA, HuggingFace, Ollama Cloud, Kilo Gateway, Pollinations, LLM7까지 16개 제공자를 지원합니다. 여기에 더해 custom 제공자를 통해 llama.cpp, LM Studio, vLLM, 로컬 Ollama, 원격 게이트웨이 같은 임의의 OpenAI 호환 엔드포인트를 Keys 페이지에서 연결할 수 있습니다.

저자에 따르면 이 무료 티어들을 모두 합치면 100개 이상의 모델에 걸쳐 한 달 약 17억(1.7B) 토큰 규모의 추론 용량이 됩니다. 다만 이 수치는 각 제공자의 무료 한도를 단순 합산한 것이므로, 실제 사용 가능량은 각 제공자 정책에 따라 달라질 수 있습니다.

FreeLLMAPI의 주요 기능

FreeLLMAPI의 핵심은 라우팅과 페일오버입니다. 선택된 제공자가 429, 5xx 오류를 내거나 타임아웃되면 라우터가 해당 키를 잠시 쿨다운 상태로 돌리고, 폴백 체인의 다음 모델로 최대 20회까지 재시도합니다. 위 대시보드에서 보이듯 폴백 체인은 드래그로 순서를 바꿀 수 있고, 월간 토큰 예산도 함께 표시됩니다. 라우터는 (플랫폼, 모델, 키) 단위로 RPM, RPD, TPM, TPD 카운터를 추적해 항상 한도 아래에 있는 키를 고릅니다.

대화 품질을 위한 장치도 있습니다. 멀티턴 대화는 30분 동안 같은 모델에 머무는 스티키 세션(sticky session)을 사용해, 대화 도중 모델이 바뀌면서 생기는 환각 급증을 피합니다. 보안 측면에서는 제공자 API 키를 SQLite에 저장하기 전에 AES-256-GCM으로 암호화하고, 요청 직전 메모리에서만 복호화합니다. 클라이언트 앱은 상위 제공자 키를 직접 보지 않고, freellmapi-… 형식의 통합 키 하나로만 프록시에 인증합니다.

인터페이스 측면에서는 OpenAI의 POST /v1/chat/completions 와 GET /v1/models 를 그대로 지원하고, 현재 Codex CLI가 요구하는 POST /v1/responses (Responses API)도 같은 라우터 위에 번역 계층으로 구현되어 스트리밍과 도구 호출까지 동작합니다. React와 Vite로 만든 관리 대시보드에서는 키 관리, 폴백 체인 재정렬, 분석, 프롬프트 플레이그라운드를 사용할 수 있습니다. 한편 임베딩(/v1/embeddings), 이미지 생성, 오디오, 레거시 completions, 모더레이션, n > 1, 다중 사용자 인증은 아직 지원하지 않습니다.

FreeLLMAPI 설치 및 사용법

권장 설치 방식은 Docker Compose이며, API와 대시보드를 3001 포트에서 함께 띄우고 SQLite 데이터를 볼륨에 보존합니다. 키 저장 암호화를 위한 ENCRYPTION_KEY 가 시작에 필요합니다.

git clone https://github.com/tashfeenahmed/freellmapi.git
cd freellmapi

# 키 암호화용 키 생성
ENCRYPTION_KEY="$(openssl rand -hex 32)"
printf "ENCRYPTION_KEY=%s\nPORT=3001\n" "$ENCRYPTION_KEY" > .env

docker compose up -d

http://localhost:3001 에 접속해 Keys 페이지에서 제공자 키를 등록하고, 폴백 체인 순서를 조정한 뒤, 페이지 상단에서 통합 API 키를 받습니다. 이후에는 OpenAI 클라이언트의 base_url 과 api_key 만 바꿔 그대로 사용합니다.

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3001/v1",
    api_key="freellmapi-your-unified-key",
)

resp = client.chat.completions.create(
    model="auto",  # 라우터가 자동 선택, 또는 "gemini-2.5-flash" 처럼 지정
    messages=[{"role": "user", "content": "로마 멸망을 한 문장으로 요약해줘."}],
)
print(resp.choices[0].message.content)

FreeLLMAPI는 Node.js 20 이상이 동작하는 환경이면 어디서나 실행되며, 라즈베리 파이 같은 ARM 보드를 포함해 멀티 아키텍처 Docker 이미지(ghcr.io/tashfeenahmed/freellmapi)를 제공합니다.

FreeLLMAPI의 라이선스

FreeLLMAPI는 MIT 라이선스로 공개되어 있어 개인 및 상업적 목적으로 자유롭게 사용할 수 있습니다. 다만 앞서 언급했듯 도구 자체는 단일 사용자 개인 실험용을 전제로 하며, 연결하는 각 제공자 무료 티어의 이용 약관은 별도로 적용됩니다.

FreeLLMAPI 공식 홈페이지

FreeLLMAPI 프로젝트 GitHub 저장소

더 읽어보기

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~