OpenAI, GPT-3.5 Turbo의 미세 조정 기능 제공

읽을거리&정보공유
, , ,
1

개요

OpenAI는 GPT-3.5 Turbo의 미세 조정 기능을 출시하였으며, 이번 가을에는 GPT-4에 대한 미세 조정이 가능해질 예정입니다. 이 업데이트는 개발자들이 특정 사용 사례에 더 잘 맞는 모델을 사용자 정의하고 대규모로 실행할 수 있게 해줍니다.

주요 내용

미세 조정의 사용 사례

GPT-3.5 Turbo 출시 이후 개발자와 기업들은 사용자에게 독특하고 차별화된 경험을 제공하기 위해 모델을 사용자 정의할 수 있는 기능을 요청했습니다. 이제 개발자들은 이 모델을 자신들의 사용 사례에 더 잘 맞게 미세 조정할 수 있습니다.

미세 조정의 효과

미세 조정을 통해 모델의 성능을 향상시킬 수 있으며, 명령어를 더 잘 따르게 하거나, 특정 언어로 항상 응답하도록 만들 수 있습니다. 또한, 미세 조정을 통해 모델의 출력 형식을 일관되게 만들거나, 특정 브랜드의 목소리와 일치하게 할 수 있습니다.

미세 조정의 단계 (Fine-tuning steps)

데이터 준비, 파일 업로드, 미세 조정 작업 생성 및 미세 조정된 모델 사용 등의 단계로 구성됩니다. 또한, 미세 조정 UI도 곧 출시될 예정입니다.

1. 데이터 준비

{
  "messages": [
    { "role": "system", "content": "You are an assistant that occasionally misspells words" },
    { "role": "user", "content": "Tell me a story." },
    { "role": "assistant", "content": "One day a student went to schoool." }
  ]
}

2. 데이터 파일 업로드

curl -https://api.openai.com/v1/files \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -F "purpose=fine-tune" \
  -F "file=@path_to_your_file"

3. 미세 조정 작업 생성

curl https://api.openai.com/v1/fine_tuning/jobs \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
  "training_file": "TRAINING_FILE_ID",
  "model": "gpt-3.5-turbo-0613",
}'

4. 미세 조정된 모델 사용

curl https://api.openai.com/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-d '{
  "model": "ft:gpt-3.5-turbo:org_id",
  "messages": [
    {
      "role": "system",
      "content": "You are an assistant that occasionally misspells words"
    },
    {
      "role": "user",
      "content": "Hello! What is fine-tuning?"
    }
  ]
}'

안전성 (Safety)

미세 조정의 배포가 안전하게 이루어지는 것이 매우 중요하며, 미세 조정 과정을 통해 기본 모델의 안전 기능을 유지하기 위해, 미세 조정 학습 데이터는 Moderation API 및 GPT-4 기반의 검열 시스템을 통과합니다.

가격 (Pricing)

미세 조정의 비용은 초기 학습 비용과 사용 비용으로 나뉩니다. 예를 들어, 100,000 토큰의 학습 파일로 gpt-3.5-turbo 미세 조정 작업을 3 epoch 동안 학습시키면 예상 비용은 $2.40입니다.

  • Training: $0.008 / 1K Tokens
  • Usage input: $0.012 / 1K Tokens
  • Usage output: $0.016 / 1K Tokens

업데이트된 GPT-3 모델 업데이트 (Updated GPT-3 models)

7월에는 원래의 GPT-3 기본 모델들이 2024년 1월 4일에 중단될 것이라고 발표했습니다. (참고 :point_right: OpenAI에서 GPT-4 API를 (유료 사용자 대상으로) 공개했습니다 🎉 ) 오늘, 이러한 모델들을 대체하기 위해 babbage-002와 davinci-002를 사용할 수 있게 했습니다.

이러한 모델은 새로운 API 엔드포인트 /v1/fine_tuning/jobs를 통해 미세 조정할 수 있습니다. 이 새로운 엔드포인트는 페이지 매김과 더 많은 확장성을 제공하여 향후 미세 조정 API의 진화를 지원합니다. /v1/fine-tunes에서 업데이트된 엔드포인트로 전환하는 방법은 간단하며, 자세한 내용은 새로운 미세 조정 가이드에서 확인할 수 있습니다. 이로써 기존 /v1/fine-tunes 엔드포인트는 더 이상 사용되지 않으며, 2024년 1월 4일에 종료됩니다.

새로운 모델들의 가격은 다음과 같습니다:
image

원문