Paramount: AI 대화 평가 도구

읽을거리&정보공유
, , , ,
1

Paramount: AI 대화 평가 도구

Paramount: AI 대화 평가 도구

소개

AI 채팅 시스템의 성능을 높이기 위해서는 지속적인 평가와 개선이 필수적입니다. Paramount는 전문가들이 AI 채팅을 평가하고, 품질을 보장하며, 정확도를 추적할 수 있는 도구입니다.

Paramount는 품질 보증, 진실성 확보, 자동 회귀 테스트 등의 기능을 제공합니다. AI 채팅 시스템이 점점 더 많은 분야에서 사용됨에 따라, 그 성능을 지속적으로 모니터링하고 개선하는 것이 중요해지고 있습니다.

Paramount는 이러한 필요성을 충족시키기 위해 개발되었습니다. 이 도구는 완전히 오프라인 환경에서 작동하며, 사용자 환경에서 데이터를 안전하게 보호합니다.

Paramount는 기존의 AI 평가 도구와 비교할 때 다음과 같은 장점을 제공합니다:

  • 오프라인 작동: 완전히 오프라인 환경에서 실행되어 데이터 보안이 강화됩니다.

  • 간편한 설정: paramount.toml 파일을 통해 손쉽게 설정할 수 있습니다.

  • 다양한 데이터베이스 지원: CSV 및 PostgreSQL을 지원하여 유연한 데이터 관리를 제공합니다.

기존의 AI 평가 도구들은 주로 클라우드 기반으로 작동하거나 설정이 복잡한 경우가 많습니다. Paramount는 이러한 단점을 극복하며, 사용자가 손쉽게 AI 평가를 시작할 수 있도록 돕습니다.

주요 기능

  • 품질 보증: AI 채팅의 품질을 지속적으로 모니터링하고 보장합니다.

  • 진실성 확보: 정확한 결과를 추적하고 저장하여 평가의 신뢰성을 높입니다.

  • 자동 회귀 테스트: AI 채팅의 성능을 자동으로 테스트하고 개선할 수 있습니다.

  • 완전한 오프라인 작동: 데이터 보안을 위한 오프라인 환경에서 작동합니다.

사용 방법

설치 방법

  1. 패키지 설치:
pip install paramount
  1. Python 함수 데코레이션 추가:
# 입력 함수
@paramount.record()
def my_ai_function(message_history, new_question):
    # <LLM 호출이 여기서 이루어집니다>
    new_message = {'role': 'user', 'content': new_question}
    updated_history = message_history + [new_message]
    return updated_history  # 출력
  1. 함수를 여러 번 실행한 후, Paramount UI를 실행하여 결과 평가:
paramount

설정

paramount.toml 파일을 통해 다음과 같이 설정할 수 있습니다:

[record]
enabled = true
function_url = "http://localhost:9000"  # LLM API URL

[db]
type = "csv" # postgres도 사용 가능
	[db.postgres]
	connection_string = ""

[api]
endpoint = "http://localhost" # UI/API URL
port = 9001
split_by_id = false
identifier_colname = ""

[ui]
meta_cols = ['recorded_at']
input_cols = ['args__message_history', 'args__new_question']
output_cols = ['1', '2']
chat_list = "output__1"
chat_list_role_param = "role"
chat_list_content_param = "content"

Docker 사용

Docker를 사용하여 전체 패키지를 컨테이너화하고 배포할 수 있습니다:

docker build -t paramount-server -f Dockerfile.server .
docker run -dp 9001:9001 paramount-server

라이선스

이 프로젝트는 GPL License로 공개 및 배포되고 있습니다. 이 라이선스는 소프트웨어를 자유롭게 사용, 수정, 배포할 수 있는 권리를 보장합니다.

단, 수정하거나 배포하는 경우, 해당 소프트웨어는 동일한 GPL 라이선스로 배포되어야 합니다. 즉, GPL 소프트웨어를 사용한 파생 작업물 역시 GPL로 공개해야 합니다. 상업적 사용은 가능하지만, 소스 코드 공개와 같은 조건을 준수해야 합니다.

:github: Paramount GitHub 저장소



이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. :hugs:

:pytorch:파이토치 한국 사용자 모임:kr:이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일:love_letter:로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

:gift: 아래:arrow_lower_right:쪽에 좋아요:+1:를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ :star_struck: