llms.py 소개
최근 생성형 AI 활용이 일상화됨에 따라 다양한 대형 언어 모델(LLM)들을 손쉽게 연동하고 비교 분석할 수 있는 도구의 수요가 커지고 있습니다. 이에 대응하여, ServiceStack에서는 로컬에서 실행 가능하면서도 다양한 모델 제공자(OpenAI, Google, Groq 등)와 연동 가능한 통합 LLM 인터페이스 도구인 llms.py를 오픈소스로 공개했습니다. 이 프로젝트는 단일 Python 파일 기반의 경량 애플리케이션으로, 브라우저 스토리지 기반의 완전한 로컬 실행을 특징으로 하며, Open WebUI를 대체할 수 있는 ChatGPT 스타일 UI도 포함하고 있습니다.
llms.py는 커맨드라인 도구(CLI), 웹 기반 UI, OpenAI API 호환 서버로 모두 동작할 수 있어 활용 범위가 매우 넓습니다. 게다가 다양한 AI 모델 제공자들의 API를 한 곳에서 통합적으로 설정 및 라우팅할 수 있어, 가장 저렴한 모델이나 로컬 모델을 우선 사용하도록 설정할 수도 있습니다. 사용자가 직접 선택한 순서에 따라 LLM 요청을 처리하고, 실패 시 자동으로 다음 순위의 모델로 재시도하는 기능도 지원합니다.
로컬에서 실행 가능하다는 점은 보안과 프라이버시 측면에서도 매우 유리합니다. 기업 환경이나 내부 데이터가 외부 서버로 전송되는 것을 원치 않는 사용자에게 적합한 솔루션이며, Docker 기반으로도 손쉽게 배포할 수 있습니다.
llms.py의 주요 기능
-
다양한 LLM 제공자 통합 지원: OpenAI, Google Gemini, Anthropic(Claude), Groq, Z.ai, Qwen, Mistral 등 총 160개 이상의 모델 지원하며, 로컬에서 실행 가능한 Ollama 모델을 자동으로 탐지 및 지원합니다. 또한, 하나의 LLM 요청이 실패하는 경우 자동으로 다른 제공자로 라우팅할 수 있습니다.
-
Web UI 및 통계 기능: 브라우저 기반의 ChatGPT 스타일 UI을 제공하며, 실행 후 http://localhost:8000 에서 확인할 수 있습니다. 또한, 월간 토큰 사용량, 비용, 활동 로그 등을 시각화하여 볼 수 있습니다. 그 외에도 다크모드 및 GitHub OAuth 로그인 옵션 등을 지원합니다.
-
CLI 및 서버 모드:
llms "Explain quantum computing"와 같은 방식으로 터미널에서 바로 실행 가능합니다. 또한,/v1/chat/completions와 같이 OpenAI와 호환되는 REST API Endpoint를 제공하여 기존 애플리케이션과 쉽게 연동할 수 있습니다. -
이미지, 오디오, 파일 입력 지원: 이미지 분석, 음성 텍스트 변환, PDF 문서 요약 등 다양한 형태의 데이터 포맷을 지원합니다. 또한, 시각/음성/문서 입력을 지원하는 모델을 자동으로 탐색 및 활용할 수 있도록 하며, 입력하는 데이터는 로컬 파일 및 원격 파일, base64 데이터 URI 형태 등을 모두 지원합니다.
-
설정 및 구성: 단일 설정 파일(
llms.json)에서 사용 가능한 모델 및 서비스 제공자 등을 설정할 수 있습니다. 이 때, 원하는 모델명과 실제 API 모델명을 매핑하여 사용자 정의할 수도 있으며, 그 외 요금제나 토큰별 단가 등도 상세하게 설정할 수 있습니다. -
LLM 제공자의 응답 속도 및 신뢰도 체크: llms.py는 단순히 다양한 LLM 제공자를 통합하는 것에 그치지 않고, 각 모델 제공자의 연결 상태 및 응답 속도를 손쉽게 테스트할 수 있는 기능도 제공합니다. 이 기능은 실사용 환경에서 특정 모델이 얼마나 안정적이고 빠른지 사전에 확인할 수 있도록 도와줍니다. 특히 다수의 모델과 API 제공자를 연동할 경우, 가장 안정적이고 빠른 제공자를 우선 순위로 설정하는 것이 서비스 품질에 큰 영향을 미치기 때문에 유용합니다.
이 기능은 CLI를 통해 다음과 같이 간단하게 사용할 수 있습니다:# 특정 제공자의 모든 모델 테스트 llms --check groq # 특정 모델만 선택적으로 테스트 llms --check groq kimi-k2 llama4:400b gpt-oss:120b
라이선스
llms.py 프로젝트는 BSD-3-Clause 라이선스로 공개되어 있으며, 상업적 사용 및 수정이 자유롭습니다.
llms 프로젝트 GitHub 저장소
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 