9bow
(박정환)
1
GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 
소개
- OpenAI와 호환되는 REST API로 다양한 LLM들을 이용 가능
- GPU 없이도 가능. llama.cpp 호환 LLM에서는 GPU 가속 지원
- 다중 모델을 지원하며, 오디오 트랜스크립션, 텍스트 생성, 이미지 생성(Stable Diffusion) 지원
- 한번 로딩되면 모델을 메모리에 저장해두고 빠른 추론 지원
- ggml 호환 모델들 모두 지원: llama, gpt4all, rwkv, whisper, vicuna, koala, gpt4all-j, cerebras, falcon, dolly, starcoder,..
원문
1개의 좋아요
