[GN] Secret Llama - WebGPU로 구동되는 인브라우저 Llama 3 챗봇 구현체
소개
- 브라우저에서 완전히 동작하는 프라이버시를 보장하는 LLM 챗봇
- Llama 3, Mistral 등의 오픈소스 모델을 지원
- 대화 데이터가 절대 컴퓨터 밖으로 나가지 않아 완전한 프라이버시 보장
- 브라우저에서 동작하므로 서버나 설치가 필요 없고, 오프라인에서도 동작
- ChatGPT와 동등한 수준의 사용하기 쉬운 인터페이스를 제공하지만, 오픈소스 LLM을 위한 것
- 현재 지원모델
| Model | Model Size |
|---|---|
| TinyLlama-1.1B-Chat-v0.4-q4f32_1-1k | 600MB |
Llama-3-8B-Instruct-q4f16_1  |
4.3GB |
| Phi1.5-q4f16_1-1k | 1.2GB |
| Mistral-7B-Instruct-v0.2-q4f16_1 |
4GB |
원문
Secret Llama 저장소
Web-LLM 저장소
출처 / GeekNews
알려드립니다
이 글은 국내외 IT 소식들을 공유하는 GeekNews의 운영자이신 xguru님께 허락을 받아 GeekNews에 게제된 AI 관련된 소식을 공유한 것입니다.
출처의 GeekNews 링크를 방문하시면 이 글과 관련한 추가적인 의견들을 보시거나 공유하실 수 있습니다! 
아래
쪽에 좋아요
를 눌러주시면 새로운 소식을 정리하고 공유하는데 힘이 됩니다~ 