라마-셰퍼드(llama-shepherd-cli): Llama 추론을 위한 다양한 구현체를 관리 및 사용하기 위한 CLI 도구

읽을거리&정보공유
, , , ,
1

PyTorchKR​:fire::kr: :thinking::speech_balloon:

  • 아래 내용은 GPT 모델로 자동 요약한 것으로, 자세한 내용은 원문을 참고해주세요! :smile:
  • 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다! :bowing_man:

소개

GitHub 저장소 "llama-shepherd-cli"는 mikepapadim이 개발한 명령 줄 인터페이스(CLI) 도구로, 다양한 버전의 라마 추론 구현을 관리하고 구성하기 위해 설계되었습니다. 이 도구는 사용자가 다양한 프로그래밍 언어로 된 여러 버전의 라마 추론을 효율적으로 처리할 수 있도록 도와줍니다.

주요 특징

"llama-shepherd-cli"의 주요 특징은 다음과 같습니다:

목적 및 기능

라마 셰퍼드는 다양한 버전의 라마 추론 구현을 관리하고 실험하기 위한 CLI 도구입니다. 이 도구는 Andrej Karpathy의 "llama2.c 프로젝트"에서 시작되었습니다​​.

지원 언어

라마 셰퍼드는 Rust, Go, Android, C++, CUDA, JavaScript, Zig, Julia, Scala, Java, Kotlin, Python, C#, Dart, Web, WebAssembly, Fortran, Mojo, OCaml 등 다양한 프로그래밍 언어로 된 라마 추론 구현의 여러 버전을 사용합니다. 각 버전은 이 구현에 기여한 다양한 GitHub 저자들에게 귀속됩니다​​.

# 구현 언어 프로젝트명 GitHub 저장소 저자
1. Rust llama2.rs GitHub - gaxler/llama2.rs: Inference Llama 2 in one file of pure Rust 🦀 @gaxler
2. Rust llama2.rs GitHub - leo-du/llama2.rs: Inference Llama 2 in one file of zero-dependency, zero-unsafe Rust @leo-du
3. Rust llama2-rs GitHub - danielgrittner/llama2-rs: LLaMA2 + Rust @danielgrittner
4. Rust llama2.rs GitHub - lintian06/llama2.rs: Inference Llama 2: A Rust port of llama2.c @lintian06
5. Rust pecca.rs GitHub - rahoua/pecca-rs @rahoua
6. Rust llama2.rs GitHub - flaneur2020/llama2.rs: 🦙🦙.🦀 @flaneur2020
7. Go go-llama2 GitHub - tmc/go-llama2: Llama 2 inference in one file of pure Go @tmc
8. Go llama2.go GitHub - nikolaydubina/llama2.go: LLaMA-2 in native Go @nikolaydubina
9. Go llama2.go GitHub - haormj/llama2.go: Inference Llama 2 in one file of pure go @haormj
10. Go llama2.go GitHub - saracen/llama2.go: Inference Llama 2 in Go @saracen
11. Android llama2.c-android GitHub - Manuel030/llama2.c-android: Inference Llama 2 in one file of pure C @Manuel030
12. Android llama2.c-android-wrapper GitHub - celikin/llama2.c-android-wrapper: Android wrapper for Inference Llama 2 in one file of pure C @celikin
13. C++ llama2.cpp GitHub - leloykun/llama2.cpp: Inference Llama 2 in one file of pure C++ @leloykun
14. C++ llama2.cpp GitHub - coldlarry/llama2.cpp: Inference Llama 2 in one file of pure C @coldlarry
15. CUDA llama_cu_awq GitHub - ankan-ban/llama_cu_awq: llama INT4 cuda inference with AWQ @ankan-ban
16. JavaScript llama2.js GitHub - epicure/llama2.js: Inference Llama 2 in one file of pure JavaScript(HTML) @epicure
17. JavaScript llamajs GitHub - agershun/llamajs @agershun
18. JavaScript llama2.ts GitHub - wizzard0/llama2.ts: Llama2 inference in one TypeScript file @oleksandr_now
19. JavaScript llama2.c-emscripten GitHub - gohai/llama2.c-emscripten: Emscripten (JS) interface to Andrej Karpathy's llama2.c implementation @gohai
20. Zig llama2.zig GitHub - cgbur/llama2.zig: Inference Llama 2 in one file of pure Zig @cgbur
21. Zig llama2.zig GitHub - vodkaslime/llama2.zig @vodkaslime
22. Zig llama2.zig GitHub - clebert/llama2.zig: Inference Llama 2 in pure Zig @clebert
23. Julia llama2.jl GitHub - juvi21/llama2.jl: Inference Llama 2 in one file of pure C. Nahh wait, now fresh in Julia! @juvi21
24. Scala llama2.scala GitHub - jrudolph/llama2.scala: Inference Llama 2 in Scala with AVX2 kernels in C (A port of llama2.c from Andrej Karpathy) @jrudolph
25. Java llama2.java GitHub - mukel/llama2.java: Inference Llama 2 in one file of pure Java @mukel
26. Java llama2.tornadovm.java GitHub - mikepapadim/llama2.tornadovm.java: An extension to Llama2.java implementation accelerated with GPUs, using TornadoVM @mikepapadim
27. Java Jlama GitHub - tjake/Jlama: Jlama is a pure Java implementation of a LLM inference engine. @tjake
28. Java llama2j GitHub - LastBotInc/llama2j: Pure Java Llama2 inference with optional multi-GPU CUDA implementation @lasttero
29. Kotlin llama2.kt GitHub - madroidmaq/llama2.kt: Port of Andrej Karpathy's llama2.c to Kotlin. @madroidmaq
30. Python llama2.py GitHub - tairov/llama2.py: Inference Llama 2 in one file of pure Python @tairov
31. C# llama2.cs GitHub - trrahul/llama2.cs: Inference Llama 2 in one file of pure C# @trrahul
32. Dart llama2.dart GitHub - yiminghan/llama2.dart: Inference Llama 2 in one file of pure Dart @yiminghan
33. Web llama2c-web GitHub - dmarcos/llama2.c-web: Simple repo that compiles and runs llama2.c on the Web @dmarcos
34. WebAssembly icpp-llm GitHub - icppWorld/icpp_llm: on-chain LLMs N/A
35. Fortran llama2.f90 GitHub - rbitr/llm.f90: LLM inference in Fortran N/A
36. Mojo llama2.:fire: GitHub - tairov/llama2.mojo: Inference Llama 2 in one file of pure 🔥 @tairov
37. OCaml llama2.ml GitHub - jackpeck/llama2.ml: Llama2 inference in one file of pure OCaml. @jackpeck
38. Everywhere llama2.c GitHub - trholding/llama2.c: Llama 2 Everywhere (L2E) @trholding
39. Bilingual llama2.c-zh GitHub - chenyangMl/llama2.c-zh: 支持中文场景的的小语言模型 llama2.c-zh @chenyangMl

사용법

라마 셰퍼드 사용법

  • 사용 가능한 라마 옵션을 나열하려면 python3 llamashepherd/main.py list [Optional][LANGUAGE] 명령어를 사용합니다. 이 명령어는 특정 언어를 지정하여 옵션을 필터링하거나, 언어를 지정하지 않으면 모든 옵션을 표시할 수 있습니다.

  • 라마 옵션을 대화식으로 설치하려면 python3 llamashepherd/main.py install 명령어를 사용합니다.

  • 라마 모델을 초기화하려면, Tokenizer 및/또는 TinyLLama 모델을 다운로드하고 구성하기 위해 python3 llamashepherd/main.py models 명령어를 실행합니다​​.

라이선스

이 프로젝트는 MIT 라이선스에 따라 오픈 소스로 사용 및 이용이 가능합니다​​.

원문



:fire:파이토치 한국 사용자 모임:kr:이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일:incoming_envelope:로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

:gift: 아래:arrow_lower_right:쪽에 좋아요:heart:를 눌러주시면 뉴스 발행에 힘이 됩니다~ :bowing_man:

1개의 좋아요