# \#lessons-learned

**URL:** https://discuss.pytorch.kr/tag/lessons-learned/2967.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [\[GN⁺\] GPT 토큰 5억 개 학습 후 얻은 교훈들](https://discuss.pytorch.kr/t/gn-gpt-5/4075)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [4월 14, 2024, 9:17오전 UTC](https://discuss.pytorch.kr/t/gn-gpt-5/4075 "2024-04-14T09:17:47Z")

</div>

GPT 토큰 5억 개 학습 후 얻은 교훈들 개요 저희는 OpenAI 모델을 사용하고 있으며, 다른 모델에 대한 저의 의견이 궁금하시면 아래의 Q&A를 참조해 주세요. 저희의 사용 비율은 GPT-4가 85%, GPT-3.5가 15%입니다. 저희는 오직 텍스트만을 다루므로 GPT-4V, Sora, Whisper 등은 사용하지 않습니다. 저희는 B2B 사례로, 요약/분석-추출에 집중하고 있어서 여러분의 경우에 따라 다를 수 있습니다. 5억 토큰은 실제로 보이는 것만큼 많지 않습니다 – 이것은 대략 75만 페이지의 텍스트에 해당한다고 보시면 됩니다. GPT 사용에서 간결한 프롬프트가 더 나은 결과를 제공함 GPT는 이미 상식으로 알고 있는 내용을 프롬프트에 과도하게 명시하면 오히려 혼란스러워함 예를 들어, 텍스트에서 언급된 주(state)를 분류하는 작업에서 50개 주 목록을 제공하는 것보다 단순히 주 이름을 요청하는 것이 더 정확한 결과를 냄 OpenAI의 chat API만으로도 충분히 다양하고 강력한 기능 구현이 가능함 Langchain 등 추가적인 도구 없이 chat API만 사용하여 JSON 추출 등 필요한 기능을 간단히 구현 GPT 모델 업그레이드 시에도 코드베이스의 문자열 하나만 수정하면 됨 OpenAI API의 에러 처리와 입력 길이 제한 등을 위한 간단한 로직만 추가하면 됨 GPT가 아무것도 찾지 못하는 경우를 처리하는 것이 어려움 "아무것도 찾지 못하면 빈 값을 리턴하라"는 프롬프트에서 GPT는 종종 헛것을 만들어내거나 자신감이 부족해짐 입력이 비어있을 때 GPT에 프롬프트를 보내지 않도록 하는 것이 해결책 GPT는 제한된 길이의 출력만 생성할 수 있음 GPT-4의 입력 제한은 128k 토큰이지만 출력 제한은 4k 토큰에 불과함 JSON 객체 목록을 요청할 때 GPT는 10개 이상의 아이템을 안정적으로 생성하기 어려움 벡터 데이터베이스와 RAG/임베딩은 일반적인 용도에는 큰 도움이 되지 않음 검색 이…
