Portkey AI Gateway 소개
AI 모델을 실제 서비스에 적용하고 운영하는 과정에서 가장 중요한 과제 중 하나는 ‘안정성’과 ‘유연성’입니다. 특히 다양한 LLM(Large Language Model)을 동시에 다루거나, 서비스 장애에 대비한 자동 재시도, 로드 밸런싱, 또는 멀티모달 처리까지 고려해야 할 요소가 많습니다. 이러한 현실 속에서 Portkey-AI의 오픈소스 프로젝트인 AI Gateway는 이러한 복잡한 요구사항을 효과적으로 해결하기 위한 솔루션으로 주목받고 있습니다.
Portkey AI Gateway는 단일 API를 통해 200개 이상의 LLM 제공자(OpenAI, Google Gemini, Anthropic, Mistral 등)와 연결할 수 있는 경량화된 오픈소스 게이트웨이입니다. 주요 특징은 빠른 응답 속도(1ms 이하), 뛰어난 확장성, 신뢰도 높은 자동 재시도 및 폴백(fallback) 처리, 보안 중심의 데이터 검증 기능 등입니다. 특히 122KB에 불과한 작은 크기로도 대규모 운영 환경에서도 1일 수십억 토큰 수준의 처리 성능을 보유하고 있습니다.
많은 기업과 개발자들이 LLM 애플리케이션을 구축하면서 발생하는 가장 큰 문제 중 하나는 벤더 락인과 관리 복잡성입니다. AI Gateway는 이러한 문제에 대해 “라우팅”이라는 해결책을 제시합니다. 사용자는 자신의 키를 통해 다양한 LLM을 조건에 따라 선택적으로 호출할 수 있고, 비즈니스 상황에 맞춰 손쉽게 전환하거나 확장할 수 있습니다.
Portkey AI Gateway는 단순한 프록시 API가 아닌, 자동 재시도, 조건 기반 라우팅, 보안 검증, 멀티모달 지원, 스마트 캐싱 등 일반적인 프록시 솔루션이나 API 게이트웨이보다 한층 더 AI 친화적인 기능을 제공합니다. 기존의 OpenAI SDK, LangChain, Autogen, CrewAI 등과도 원활하게 통합되며, AWS, GCP, Azure 등 다양한 클라우드 환경에서도 엔터프라이즈 수준의 배포가 가능합니다.
Portkey AI Gateway의 주요 기능
빠른 설치 및 첫 호출 예제
npx패키지 매니저로 로컬에서 바로 실행할 수 있는 CLI 명령은 아래와 같습니다:
npx @portkey-ai/gateway
설치 후에는 localhost:8787에서 API와 콘솔 인터페이스가 실행됩니다. Gateway Console은 http://localhost:8787/public/ 에서 확인할 수 있습니다.
또는, pip를 사용하여 Python SDK를 설치한 뒤, 아래와 같이 간단한 채팅 요청을 보낼 수 있습니다:
# Python SDK 설치
pip install -qU portkey-ai
# Portkey AI Gateway 사용 예제
from portkey_ai import Portkey
client = Portkey(provider="openai", Authorization="sk-***")
client.chat.completions.create(
messages=[{"role": "user", "content": "What's the weather like?"}],
model="gpt-4o-mini"
)
라우팅 설정 및 보안 가드레일
사용자는 config를 통해 요청 재시도 설정, 응답 검열, 키워드 필터링 등의 동작을 손쉽게 설정할 수 있습니다.
config = {
"retry": {"attempts": 5},
"output_guardrails": [{
"default.contains": {"operator": "none", "words": ["Apple"]},
"deny": True
}]
}
# 설정한 config를 client에 적용
client = client.with_options(config=config)
client.chat.completions.create(
model="gpt-4o-mini",
messages=[{"role": "user", "content": "Reply randomly with Apple or Bat"}]
)
이러한 설정을 통해 요청 실패 시 자동 재시도하거나, 민감 단어를 필터링해 보안을 강화할 수 있습니다. 더 많은 예시들은 Portkey Wiki에서 확인하실 수 있습니다.
엔터프라이즈 기능
기업 사용자들을 위한 기능으로는 다음과 같은 고급 기능이 제공됩니다:
- 키 관리 및 접근 제어
- IP 및 지역 기반 접근 제한
- 개인정보 자동 마스킹
- SOC2, HIPAA, GDPR, ISO 보안 인증
멀티모달 및 에이전트 프레임워크 연동
텍스트 외에도 이미지 생성, 음성 인식, 음성 합성 등 멀티모달 LLM도 지원합니다. 또한 Autogen, LangChain, CrewAI, LlamaIndex 등의 프레임워크와도 통합되며, 복잡한 Agent 워크플로우를 간편하게 구성할 수 있습니다.
라이선스
Portkey AI Gateway 프로젝트는 MIT 라이선스로 공개되어 있으며, 상업적 사용과 수정, 재배포에 제한이 없습니다.
Portkey AI Gateway 프로젝트 GitHub 저장소
Portkey Wiki
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면
원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 