Local LLM 관리 및 실행을 위한 LM Studio에서 CLI를 위한 도구 lms 공개
소개
Local LLM 관리 및 실행을 위한 LM Studio의 새로운 커맨드 라인 도구 lms는 개발자들이 LM Studio를 통해 모델을 쉽게 관리하고 작업할 수 있도록 설계되었습니다. 이 도구는 TypeScript로 작성되어 있으며, LM Studio의 다양한 기능을 터미널에서 직접 이용할 수 있게 해줍니다. 특히, 이 CLI 도구는 모델 로딩, 프로젝트 생성, 로그 스트리밍 등의 기능을 제공하여 개발자의 생산성을 향상시킬 수 있습니다.
주요 특징
- 모델 관리:
lms ls,lms load,lms unload등의 명령어를 통해 설치된 모델의 리스트를 확인하고, 모델을 불러오거나 제거할 수 있습니다. - 프로젝트 관리:
lms create명령어를 사용하여 새로운 프로젝트를 시작할 수 있으며, LM Studio SDK와 함께 효과적으로 작업을 진행할 수 있습니다. - 로그 관리:
lms log stream을 이용하여 실시간으로 로그를 확인할 수 있습니다, 이는 문제 해결과 모니터링에 매우 유용합니다.
설치 및 주요 명령어
설치
lms는 LM Studio 버전 0.2.22 이상에서 사용할 수 있습니다. 설치는 다음 명령어를 통해 간단히 수행할 수 있습니다.
- Windows:
cmd /c %USERPROFILE%/.cache/lm-studio/bin/lms.exe bootstrap
- Linux/macOS:
~/.cache/lm-studio/bin/lms bootstrap
설치 후, 새 터미널 창에서 lms --help를 실행하여 설치가 제대로 되었는지 확인할 수 있습니다.
주요 명령어
각 서브커맨드에 대한 자세한 사용법은 터미널에서 lms <subcommand> --help 를 실행하여 확인할 수 있습니다.
-
상태 확인:
lms status명령어를 사용하여 LM Studio의 현재 상태를 확인할 수 있습니다. -
서버 관리:
lms server start: 로컬 API 서버를 시작합니다.lms server stop: 로컬 API 서버를 중지합니다.
-
모델 리스트:
lms ls: 다운로드된 모든 모델을 나열합니다.lms ls --detailed: 자세한 정보와 함께 다운로드된 모든 모델을 나열합니다.lms ls --json: 기계가 읽을 수 있는 JSON 형식으로 다운로드된 모든 모델을 나열합니다.
-
인퍼런싱 모델 관리:
lms ps: 인퍼런싱에 사용 가능한 모든 로드된 모델을 나열합니다.lms ps --json: 기계가 읽을 수 있는 JSON 형식으로 인퍼런싱에 사용 가능한 모든 로드된 모델을 나열합니다.
-
모델 로딩 및 언로딩:
lms load --gpu max: 최대 GPU 가속을 사용하여 모델을 로드합니다.lms load <model path> --gpu max -y: 확인 없이 최대 GPU 가속을 사용하여 모델을 로드합니다.lms unload <model identifier>: 특정 모델을 언로드합니다.lms unload --all: 모든 모델을 언로드합니다.
-
프로젝트 생성:
lms create명령어를 사용하여 LM Studio SDK를 사용한 새 프로젝트를 생성합니다. -
로그 스트리밍:
lms log stream명령어를 이용해 LM Studio에서 발생하는 로그를 실시간으로 스트리밍할 수 있습니다.
라이선스
이 프로젝트는 MIT License로 공개 및 배포 되고 있습니다.
더 읽어보기
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 