[GN] BricksLLM - LLM을 위한 AI Gateway

9bow · 12월 19, 2023, 5:37오전

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다.

소개

Go 로 작성된 클라우드 네이티브 AI 게이트웨이
OpenAI 에 대한 Proxy로 동작
Rate Limit, Cost Limit, TTL 이 있는 API 키를 생성해서 OpenAI 가 제공해주지 않는 상세한 접근 제어 기능을 제공 가능
목표는 LLama2, Claude, PaLM2 등의 다양한 LLM을 지원하고, LLM 운영을 간소화 하는 것