TokenCost: LLM 애플리케이션을 위한 사용 토큰 계산 및 비용 추정을 위한 프로젝트
소개
TokenCost는 LLM 응용 프로그램에서 사용되는 토큰의 수를 계산하고, 이를 바탕으로 비용(USD 기준)을 추정해주는 도구입니다. 주요 기능으로는 토큰 카운팅, 최신 가격 정보 추적, 간편한 통합 등이 있습니다. 개발자는 이를 통해 간단한 함수 호출만으로 프롬프트나 컴플리션의 비용을 계산할 수 있습니다.
예를 들어, OpenAI의 gpt-3.5-turbo 모델을 사용할 때의 프롬프트와 컴플리션의 비용을 계산하는 코드를 작성할 수 있습니다. 이 도구는 LLM을 사용하는 개발자에게 매우 유용하며, 비용 절감과 효율적인 자원 관리를 가능하게 합니다.
다른 유사한 도구로는 OpenAI의 자체 토큰 카운터나 다양한 LLM 라이브러리에서 제공하는 기본적인 토큰 카운팅 기능이 있습니다. 그러나 TokenCost는 이러한 기능을 보다 직관적이고 사용하기 쉽게 제공합니다. 또한 최신 가격 정보를 자동으로 업데이트하여 항상 정확한 비용을 계산할 수 있습니다.
주요 기능
-
LLM 가격 추적: 주요 LLM 제공자의 최신 모델과 가격 변동을 추적합니다.
-
토큰 카운팅: OpenAI 요청 전에 프롬프트 토큰을 정확하게 계산합니다.
-
간편한 통합: 단일 함수 호출로 프롬프트나 컴플리션의 비용을 계산할 수 있습니다.
사용법
TokenCost를 설치하고 사용하는 방법은 매우 간단합니다. 다음은 기본적인 설치 및 사용 예제입니다.
# 먼저, pip를 사용하여 tokencost 패키지를 설치합니다.
pip install tokencost
비용 계산 예시
OpenAI 요청에서 프롬프트와 컴플리션의 비용을 계산하는 예제 코드입니다:
from tokencost import calculate_prompt_cost, calculate_completion_cost
model = "gpt-3.5-turbo"
prompt = [{ "role": "user", "content": "Hello world"}]
completion = "How may I assist you today?"
prompt_cost = calculate_prompt_cost(prompt, model)
completion_cost = calculate_completion_cost(completion, model)
print(f"{prompt_cost} + {completion_cost} = {prompt_cost + completion_cost}")
# 0.0000135 + 0.000014 = 0.0000275
Token 수 없이, 메시지로부터 바로 가격 계산
다음과 같이 주고받은 메시지 문자열로부터 가격을 계산해볼 수도 있습니다.
from tokencost import calculate_prompt_cost
prompt_string = "Hello world"
response = "How may I assist you today?"
model= "gpt-3.5-turbo"
prompt_cost = calculate_prompt_cost(prompt_string, model)
print(f"Cost: ${prompt_cost}")
# Cost: $3e-06
비용 테이블
모든 가격은 USD 단위입니다. 가격은 model_prices.json 파일에서 확인할 수 있습니다.
- 최신 가격 업데이트: 2024년 1월 30일, LiteLLM's cost dictionary 참조
| 모델명 | 1M 토큰당 프롬프트 비용 (USD) | 1M 토큰당 응답 비용 (USD) | 최대 프롬프트 토큰 수 | 최대 출력 토큰 수 |
|---|---|---|---|---|
| gpt-4 | $30.00 | $60.00 | 8,192 | 4096 |
| gpt-4-turbo | $10.00 | $30.00 | 128,000 | 4096 |
| gpt-3.5-turbo | $1.5 | $2.00 | 16,385 | 4096 |
| ... | ... | ... | ... | ... |
라이선스
이 프로젝트는 MIT License로 공개 및 배포되고 있습니다.
TokenCost GitHub 저장소
https://github.com/AgentOps-AI/tokencost
더 읽어보기
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 