Ollama Cloud, Ollma를 위한 클라우드 네이티브 스택
Ollama Cloud는 Ollama를 위한 고도로 확장 가능한 클라우드 네이티브 스택입니다. 개발은 보통 익숙하고 제어 가능한 로컬 머신에서 시작하지만, 상용(production) 환경으로 이전할 때 지연, 일관성 부족, 의존성 문제 등에 직면하게 됩니다. Ollama Cloud는 일관성, 간단함, 그리고 개발자에게 자가 서비스 기능을 제공하는 클라우드 플랫폼 등의 이점을 제공합니다.
Ollama Cloud는 "로컬이 바로 프로덕션(Local is Production)"이라는 개념으로, REST API를 통한 호스트 호출을 사용하여 통신 속도를 높이고, 신뢰성을 향상시키며, 개인 정보를 보장합니다. 이제 복잡한 프로덕션 이전 과정에 대한 걱정 없이 놀라운 AI 애플리케이션을 구축에 집중할 수 있습니다.
구성 요소 (Components)
Ollama Cloud는 개발자가 복잡한 DevOps 또는 서비스 의존성 없이 프로덕션에 애플리케이션을 손쉽게 배포할 수 있게 하기 위해, 다음과 같은 구성 요소들을 기반으로 하고 있습니다:
-
자율 클라우드 컴퓨팅 플랫폼 구축 솔루션 tau
-
WebAssembly에서 ollama를 호출할 수 있는 플러그인인 ollama plugin
-
로컬 개발 및 E2E 자동 테스트를 위한 타우바이트 기반 클라우드를 컴퓨터에서 실행하는 도구인 dreamland
- 일관성과 간단함: 로컬에서 작동하는 것은 규모에 맞게 아무런 변경 없이 작동합니다. 복잡한 DevOps 또는 SRE 기술 없이도 대규모로 배포할 수 있습니다.
- 클라우드 플랫폼: 개발자에게 자가 서비스 기능을 제공합니다.
- "로컬이 프로덕션" 개념: 호스트 호출을 통한 REST API 사용으로 통신 속도를 높이고, 신뢰성을 향상시키며, 프라이버시를 보장합니다.
사용 방법 또는 작동 원리
로컬 환경 설정
-
dreamland과tau-cli,docker및 ollama 플러그인을 빌드하는 데 필요한 도구를 준비합니다. -
Node.js가 설치되어 있다면, 다음 명령어로 설치합니다:
npm i @taubyte/dream @taubyte/cli -
Docker 설치:
curl -fsSL https://get.docker.com | sh -
플러그인 빌드에는 go가 필요하며, ollama 자체에는 cmake 버전 3.24 이상, go 버전 1.22 이상, gcc 버전 11.4.0 이상이 필요합니다.
플러그인 빌드
- 먼저 저장소를 복제하고, C++ 백엔드를 컴파일한 후, 플러그인 자체를 빌드합니다:
# Git Clone
git clone https://github.com/samyfodil/ollama.git
# C++ Backend 컴파일
cd ollama
go generate ./...
# Plugin 빌드
cd tau
go build . -o plugin
로컬 클라우드 시작
- 플러그인이 빌드된 후, 로컬 클라우드를 시작합니다. 그런 다음, LLM 기능이 없는 클라우드에 플러그인을 로드하여 애플리케이션 개발을 시작할 수 있습니다.
더 읽어보기
Ollama Cloud 시작하기 저장소
tau
dreamland
Ollama Plugin
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있으니 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 힘이 됩니다~ 