[GN] Lanarky - LLM을 프로덕션에 배포하기 위한 오픈소스 프레임워크

읽을거리&정보공유
, , , ,
1

GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley_cat:

소개

image
image774×362 26.7 KB

  • FastAPI 기반
  • 멀티 모드 토큰 스트리밍
  • 빠른 프로토타이핑을 위한 간단한 gradio 챗봇
  • LangChain 어플리케이션 지원
  • 다수의 LLM 캐싱 전략
  • 지원 예정: LlamaIndex, Guidance, Rebuff 등 지원 및 SQL DB 연동

원문

출처 / GeekNews

1개의 좋아요