# PromptTools: LLM, VectorDB, Prompt 실험 및 테스트를 위한 오픈소스 도구

**URL:** <https://discuss.pytorch.kr/t/prompttools-llm-vectordb-prompt/3825>\
**Category:** 읽을거리&정보공유\
**Tags:** vector-db, tool, prompt-engineering, prompttools, evaluation-tool, llm-evaluation\
**Created:** [3월 21, 2024, 9:25오전 UTC](https://discuss.pytorch.kr/t/prompttools-llm-vectordb-prompt/3825 "2024-03-21T09:25:00Z")\
**Posts on this page:** 1\
**Page:** 1

<div class="post-metadata">

**Author:** ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)\
**Post date:** [3월 21, 2024, 9:25오전 UTC](https://discuss.pytorch.kr/t/prompttools-llm-vectordb-prompt/3825/1 "2024-03-21T09:25:00Z")

</div>

# prompttools: LLM, VectorDB, Prompt 실험 및 테스트를 위한 오픈소스 도구

[https://github.com/hegelai/prompttools/raw/main/img/demo.gif](https://github.com/hegelai/prompttools/raw/main/img/demo.gif)

`prompttools`는 개발자들이 LLMs, 벡터 데이터베이스, 프롬프트를 실험하고 테스트하는 데 사용할 수 있는 도구로, [Hegel AI](https://hegel-ai.com/)에서 만들고 공개하였습니다. `prompttools`는 자체 호스팅 가능한 도구 세트를 제공하고 있으며, Apache-2.0 라이선스로 공개된 오픈소스입니다.

개발자는 `prompttools`를 사용하여 코드, 노트북, 로컬 플레이그라운드와 같은 친숙한 인터페이스를 사용하여 다양한 모델(OpenAI, Anthropic, LLaMA 모델 포함)에서 프롬프트와 매개변수를 테스트할 수 있으며, 벡터 데이터베이스의 검색 정확도도 평가할 수 있습니다.

## 소개

- `prompttools`는 LLM, VectorDB, 프롬프트와 관련된 실험, 테스트, 평가를 위한 도구 세트를 제공합니다. 개발자가 친숙한 인터페이스를 통해 다양한 모델에서 프롬프트와 매개변수를 테스트할 수 있게 해줍니다.
  - OpenAI, Anthropic, LLaMA, HuggingFace, Google Gemini 등의 다양한 LLM을 지원합니다.
  - 코드, 노트북, 로컬 플레이그라운드를 통한 실험 지원을 제공하여, 사용자가 편리하게 작업을 진행할 수 있게 해줍니다.

- 이 도구는 Python 코드 몇 줄로 다양한 모델에서 프롬프트와 매개변수를 테스트하고, 벡터 데이터베이스의 검색 정확도를 평가할 수 있게 해줍니다.
  - 실험 결과를 시각화하여, 사용자가 결과를 쉽게 이해하고 분석할 수 있게 해줍니다.

## 예시 코드

```python
from prompttools.experiment import OpenAIChatExperiment

messages = [
    [{"role": "user", "content": "Tell me a joke."},],
    [{"role": "user", "content": "Is 17077 a prime number?"},],
]

models = ["gpt-3.5-turbo", "gpt-4"]
temperatures = [0.0]
openai_experiment = OpenAIChatExperiment(models, messages, temperature=temperatures)
openai_experiment.run()
openai_experiment.visualize()

```

## PromptTools GitHub 저장소

> **[GitHub - hegelai/prompttools: Open-source tools for prompt testing and...](https://github.com/hegelai/prompttools)**
>
> Open-source tools for prompt testing and experimentation, with support for both LLMs (e.g. OpenAI, LLaMA) and vector databases (e.g. Chroma, Weaviate, LanceDB).

## PromptTools 문서

> **[prompttools 0.0.45 documentation](https://prompttools.readthedocs.io/en/latest/)**

* * *

_이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있으니 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다._ 🤗

[:pytorch:파이토치 한국 사용자 모임🇰🇷](https://pytorch.kr/)이 정리한 이 글이 유용하셨나요? [회원으로 가입](https://discuss.pytorch.kr/signup)하시면 주요 글들을 이메일💌로 보내드립니다! (기본은 Weekly지만 [Daily로 변경도 가능](https://discuss.pytorch.kr/my/preferences/emails)합니다.)

🎁 아래↘쪽에 좋아요❤를 눌러주시면 힘이 됩니다~ 🤩