9bow
(박정환)
1
GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 
소개
- 다양한 종류의 LLM을 지원하여 추론, 배포 가능
- StableLM, Falcon, DOlly, Flan-T5, ChatGLM, StarCoder,..
- 하나의 명령으로 LLM을 RESTful API 또는 gRPC로 서빙
- WebUI, CLI, Python/Javascript Client 또는 모든 HTTP Client에서 호출
- LangChain, BentoML, HuggingFace 지원 내장
- LLM 파인 튜닝 지원 예정
원문
