GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 
소개
-
1개의 파일로 대부분의 컴퓨터에서 설치없이 LLM을 쉽게 실행 지원
-
llava-v1.5-7b-q4-server.llamafile 파일(3.97 GB)을 다운로드 받아 실행
-
chmod +x llava-v1.5-7b-q4-server.llamafile(윈도우의 경우 .exe 확장자 추가) -
./llava-v1.5-7b-q4-server.llamafile(또는llava-v1.5-7b-q4-server.llamafile.exe실행)
-
-
llama.cpp와 Cosmopolitan Libc를 결합한 프레임워크
- 1개의 빌드로 여러 OS, 다양한 CPU 아키텍처에서 실행 가능
-
채팅 및 이미지 인식이 가능한 LLaVA 모델을 예제로 제공
-
4GB 파일인
llava-v1.5-7b-q4-server.llamafile을 다운 받아서 실행하면 끝 -
맥/리눅스/BSD 의 경우는 chmod +x 하고 바로 실행
-
윈도우는 확장자 뒤에
.exe를 붙여서 바로 실행 -
실행되면 자동으로 브라우저가 열리고 채팅 인터페이스를 표시
-
-
그외에 Mistral-7B-Instruct, WizardCoder-Python-13B 등의 llamafile 도 제공
| Model | License | Command-line llamafile | Server llamafile |
|---|---|---|---|
| Mistral-7B-Instruct | Apache 2.0 | mistral-7b-instruct-v0.1-Q4_K_M-main.llamafile (4.07 GB) | mistral-7b-instruct-v0.1-Q4_K_M-server.llamafile (4.07 GB) |
| LLaVA 1.5 | LLaMA 2 | (Not provided because this model's features are best utilized via the web UI) | llava-v1.5-7b-q4-server.llamafile (3.97 GB) |
| WizardCoder-Python-13B | LLaMA 2 | wizardcoder-python-13b-main.llamafile (7.33 GB) | wizardcoder-python-13b-server.llamafile (7.33GB) |