prompttools: LLM, VectorDB, Prompt 실험 및 테스트를 위한 오픈소스 도구
prompttools는 개발자들이 LLMs, 벡터 데이터베이스, 프롬프트를 실험하고 테스트하는 데 사용할 수 있는 도구로, Hegel AI에서 만들고 공개하였습니다. prompttools는 자체 호스팅 가능한 도구 세트를 제공하고 있으며, Apache-2.0 라이선스로 공개된 오픈소스입니다.
개발자는 prompttools를 사용하여 코드, 노트북, 로컬 플레이그라운드와 같은 친숙한 인터페이스를 사용하여 다양한 모델(OpenAI, Anthropic, LLaMA 모델 포함)에서 프롬프트와 매개변수를 테스트할 수 있으며, 벡터 데이터베이스의 검색 정확도도 평가할 수 있습니다.
소개
prompttools는 LLM, VectorDB, 프롬프트와 관련된 실험, 테스트, 평가를 위한 도구 세트를 제공합니다. 개발자가 친숙한 인터페이스를 통해 다양한 모델에서 프롬프트와 매개변수를 테스트할 수 있게 해줍니다.- OpenAI, Anthropic, LLaMA, HuggingFace, Google Gemini 등의 다양한 LLM을 지원합니다.
- 코드, 노트북, 로컬 플레이그라운드를 통한 실험 지원을 제공하여, 사용자가 편리하게 작업을 진행할 수 있게 해줍니다.
- 이 도구는 Python 코드 몇 줄로 다양한 모델에서 프롬프트와 매개변수를 테스트하고, 벡터 데이터베이스의 검색 정확도를 평가할 수 있게 해줍니다.
- 실험 결과를 시각화하여, 사용자가 결과를 쉽게 이해하고 분석할 수 있게 해줍니다.
예시 코드
from prompttools.experiment import OpenAIChatExperiment
messages = [
[{"role": "user", "content": "Tell me a joke."},],
[{"role": "user", "content": "Is 17077 a prime number?"},],
]
models = ["gpt-3.5-turbo", "gpt-4"]
temperatures = [0.0]
openai_experiment = OpenAIChatExperiment(models, messages, temperature=temperatures)
openai_experiment.run()
openai_experiment.visualize()
PromptTools GitHub 저장소
PromptTools 문서
https://prompttools.readthedocs.io/en/latest/
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있으니 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 힘이 됩니다~ 