# \[GN\] LocalAI - 셀프호스트 가능한 OpenAI 호환 API

**URL:** https://discuss.pytorch.kr/t/gn-localai-openai-api/1819
**Category:** 읽을거리&정보공유
**Tags:** self-hosted, openai, localai, geeknews
**Created:** [6월 15, 2023, 4:30오전 UTC](https://discuss.pytorch.kr/t/gn-localai-openai-api/1819 "2023-06-15T04:30:33Z")
**Posts on this page:** 1
**Page:** 1

<div class="post-metadata">

### Author: ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)
#### Post date: [6월 15, 2023, 4:30오전 UTC](https://discuss.pytorch.kr/t/gn-localai-openai-api/1819/1 "2023-06-15T04:30:33Z")

</div>

_[GeekNews](https://news.hada.io/)의 [xguru](https://news.hada.io/user?id=xguru)님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 😺_

* * *

### 소개

- OpenAI와 호환되는 REST API로 다양한 LLM들을 이용 가능
- GPU 없이도 가능. llama.cpp 호환 LLM에서는 GPU 가속 지원
- 다중 모델을 지원하며, 오디오 트랜스크립션, 텍스트 생성, 이미지 생성(Stable Diffusion) 지원
- 한번 로딩되면 모델을 메모리에 저장해두고 빠른 추론 지원
- ggml 호환 모델들 모두 지원: llama, gpt4all, rwkv, whisper, vicuna, koala, gpt4all-j, cerebras, falcon, dolly, starcoder,..

### 원문

 ![image](https://discuss.pytorch.kr/uploads/default/original/2X/d/dc7cd99c0d3a480ce52301e6a5afb9bf0f745530.jpeg)  
 ![image](https://discuss.pytorch.kr/uploads/default/original/2X/3/3dcb77ec2b30b4fbb1004cf00a483cfd0bb89c87.jpeg)

> **[GitHub - mudler/LocalAI: :robot: The free, Open Source alternative to...](https://github.com/mudler/LocalAI)**
>
> :robot: The free, Open Source alternative to OpenAI, Claude and others. Self-hosted and local-first. Drop-in replacement, running on consumer-grade hardware. No GPU required. Runs gguf, transformers, diffusers and many more. Features: Generate Text, MCP, Audio, Video, Images, Voice Cloning, Distributed, P2P and decentralized inference

### 출처 / [Geeknews](https://news.hada.io/topic?id=9399)

> **[LocalAI - 셀프호스트 가능한 OpenAI 호환 API | GeekNews](https://news.hada.io/topic?id=9399)**
>
> OpenAI와 호환되는 REST API로 다양한 LLM들을 이용 가능GPU 없이도 가능. llama.cpp 호환 LLM에서는 GPU 가속 지원다중 모델을 지원하며, 오디오 트랜스크립션, 텍스트 생성, 이미지 생성(Stable Diffusion) 지원한번 로딩되면 모델을 메모리에 저장해두고 빠른 추론 지원ggml 호환 모델들 모두 지원: llama, gpt4

> [@\[TLDR\] 오늘의 AI 뉴스, 2023-06-13: 영국, 파운데이션 모델에 조기 접근united\_kingdom, LLM의 편향성 해독 triangular\_flag, 개인 데이터 어시스턴트 technologist](https://discuss.pytorch.kr/t/tldr-ai-2023-06-13-llm/1806#localai-github-repohttpsgithubcomgo-skynetlocalaiutm_sourcetldrai-20):
>
> [파이토치 한국 사용자 모임](https://discuss.pytorch.kr/)에서는 [TLDR 뉴스레터](https://tldr.tech/api/latest/ai)의 승인을 받아 AI 소식을 [DeepL로 번역](https://deepl.com/)하여 전합니다. star_struck 더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으신가요? 지금 [파이토치 한국어 커뮤니티](https://discuss.pytorch.kr/)에 방문해주세요! robot[[TLDR-AI 뉴스 레터 썸네일]](https://discuss.pytorch.kr/tag/tldr-ai)rocket 주요 뉴스 & 신규 출시 소식 / Headlines & Launches [워드프레스, 블로그 글을 작성해주는 AI 도구 출시 / WordPress Has A New AI Tool That Will Write Blog Posts For You (2 minute read)](https://www.theverge.com/2023/6/7/23752261/wordpress-automattic-generative-ai-writing-tool-plug-in-jetpack?utm_source=tldrai) 워드프레스에서 제트팩 AI라는 새로운 AI 글쓰기 도구를 출시했습니다. 이 도구는 블로그 글, 소셜 미디어 글 및 기타 유형의 콘텐츠를 생성하는 데 사용할 수 있습니다. 젯팩 AI는 OpenAI에서 개발한 대규모 언어 모델인 GPT-3로 구동됩니다. 이 도구는 아직 베타 버전이지만 사람들이 웹사이트를 위한…