GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. 
소개
-
AI 기반 커리어 탐색앱을 만들었는데, 폭발적으로 성장하면서 GPT-4 비용이 일 $100 이상 나가기 시작
-
레이턴시를 줄이고 품질을 유지하면서 AI 비용을 99%까지 낮추기 위해 사용한 방법
-
가장 강력한 모델(GPT-4)를 이용하여 결과를 낸 뒤, 그 결과를 이용해서 더 작은 모델을 파인튜닝
-
AI 요청/응답을 쉽게 Export 가능하도록 저장하기. Helicone AI를 이용. OpenAI API 만 그대로 교체하면 테이블에 AI 요청을 저장해줌
-
약 100~500 개쌍의 요청/응답 쌍을 저장하게 되면, Export 해서 좋은 품질로 데이터를 정제
-
이 데이터 셋을 이용해서 Together/Anyscale 같은 호스팅 서비스를 이용해서 Mixtral 8x7B 를 파인튜닝
-
GPT-4를 새로 파인튜닝된 모델로 교체
-
Hacker News 의견
- 대부분의 기술 회사들이 핵심 연구를 제외하고 최소 반년 동안 GPT-4 또는 3.5를 이용해 훈련 데이터를 생성하고, 이를 기반으로 QLoRA를 미세 조정하여 "독자적인" AI 모델로 출시하고 있음. 관리진은 큰 성과를 주장하며 자사가 "특정 산업" AI 분야의 선두주자라고 말함. 이 과정은 기계학습에 대한 지식이 거의 필요 없으며, 클라우드 컴퓨팅 비용이 $1,000 미만으로 가능함. 하지만 실제 작업에서는 GPT-3.5 수준의 결과물을 얻게 되며, 특히 클라우드 GPU를 사용할 경우 GPT-3.5와 비용 면에서 경쟁하기 어려움.
- 이 사람의 앱 Wanderer를 확인해봤는데, 이용약관, 개인정보 처리방침, 명확한 가격 책정, AI에 대한 언급이 전혀 없어 매우 수상함. GPT-4를 사용하는 접근 방식은 모델이 GPT-4처럼 똑똑한 척하기에는 좋지만, 실제로 중요한 순간에는 열등한 모델임이 드러남.
- Together.ai의 문서에 따르면 Mixtral은 미세 조정에 사용할 수 없으며, 미세 조정된 모델을 서버리스로 실행하지 않는 것으로 보임. 이는 이야기가 일관되지 않음을 시사함.
- 윤리적 문제와 제한적인 조건을 떠나서, 게시자가 한 일에 GPT-4가 필요하지 않았을 수 있음. Mixtral이나 3.5를 사용해 처음 100개의 좋은 프롬프트-응답 쌍을 생성하고 게시자가 수동으로 조정한 것이 얼마나 더 나빴거나 어려웠을까?
- AI를 이용해 대규모로 콘텐츠를 요약하는 부업 프로젝트 앱을 개발 중이며, 이것이 수익을 창출하는 SaaS가 되기를 희망함. 빠른 출시를 위해 당분간 OpenAI를 사용할 계획이지만, 나중에 자체 호스팅 LLM 옵션으로 이전하는 것이 경제적이고 기술적으로 가능할 것으로 예상함. 이와 관련해 경험이 있는 사람이 팁이나 트릭을 공유할 수 있음.
- 이것이 OpenAI의 이용약관에 위배되지 않는지 의문.
- 비용이 $1로 줄어든 방법을 설명해달라는 요청. GPT-4를 Mixtral 8x7b의 조정된 버전으로 대체했지만, 이는 여러 GPU가 필요함. 모델을 자체적으로 양자화했다 하더라도 하드웨어와 인프라 비용이 들며, 이는 $1 이상이 될 것임. 혹시 자체 호스팅을 하는 것인지?
- 고전적인 지식 증류 방법론에 대한 언급. 여기서 미세 조정을 위해 8x7b가 필요하지 않을 것이라고 주장하며, 곧 phi-2 또는 phixtral 모델이 이러한 도메인에 충분히 강력해질 것임.
- 어떠한 변경 없이도 openhermes 7b 채팅으로 훌륭한 결과를 얻었으며, 이는 GPT-4 사용 사례의 90%를 커버하고 빠르게 실행됨. 추천함.
원문
https://twitter.com/wenquai/status/1748016021808595242
