GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 
소개
- /chat/completion API를 Azure, OpenAI, Replicate, Anthropic, Hugging Face 등의 다양한 LLM에 대해서 호출 가능
- Input/Ouput 포맷을 OpenAI 포맷으로 통일
- 모델 Fallback을 지원(예: GPT-4 실패시 llama2 호출)
- 로깅 지원: Supabase, Posthog, Mixpanel, Sentry, Helicone
- 토큰 사용량 추적
- Semantic Caching 구현
- 스트리밍 및 비동기 지원
원문
liteLLM Proxy-server 문서
https://github.com/BerriAI/litellm/blob/main/cookbook/proxy-server/readme.md