PyTorchKR
- 작년에 진행된 NeurIPS 2023에서 흥미로운 챌린지가 열려서 소개하려고 합니다. 바로 NeurIPS Large Language Model Efficiency Challenge: 1 LLM + 1GPU + 1Day라는 이름으로 진행된 챌린지인데요, A100 또는 4090 GPU 1개만 사용하여 하루(24시간)동안 파인튜닝을 하여 특정 태스크에서 높은 정확도를 보이는 챌린지였습니다.
- 최근, 그리고 앞으로 더 많은 곳들에서 LLM을 바닥부터 학습하기 보다는 파인튜닝해서 사용하게 될 것으로 보이는데요, 이번 챌린지는 그러한 기업들에 어떻게 접근해야 할지를 알려주는 좋은 시작점이 될 것 같습니다.
- 이 글은 GPT 모델로 정리한 것으로, 잘못된 부분이 있을 수 있으니 글 아래쪽의 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.
NeurIPS 대규모 언어 모델(LLM) 효율성 챌린지 (NeurIPS Large Language Model Efficiency Challenge): : 1 LLM + 1GPU + 1Day
개요
NeurIPS 대규모 언어 모델(Large Language Model, LLM) 효율성 챌린지는 제한된 자원을 사용하여 LLM을 효율적으로 파인튜닝하는 것에 중점을 둔 대회입니다. 참가자들은 24시간 동안 단일 GPU(엔비디아 4090 또는 A100 중 하나)를 사용하여 특정 작업에 대한 파운데이션 모델(Foundation Model)을 미세조정하고 높은 정확도를 유지하는 작업을 수행해야 합니다.
이 챌린지는 대규모 언어 모델에 대한 민주화를 통한 접근성 개선을 목표로 합니다. 즉, 누구나 LLM을 자신의 목적에 맞게 파인튜닝해서 사용할 수 있도록 하는 것이 목표입니다. 이를 위해 학습 방법의 투명성 부족을 개선하고, 표준 벤치마크를 만들며, 더 많은 사용자들이 성능이 좋은 LLM을 사용할 수 있도록 돕습니다.
진행 방식
요구 사항
-
파인튜닝 과정은 NVIDIA 4090 또는 A100 중 하나인 단일 GPU만 사용하여 하루(24시간)로 제한됩니다.
-
학습 시에는 오픈소스 데이터셋을 사용해야 합니다. 예를 들어, 아래와 같은 데이터셋들이 예시입니다.
-
기반이 되는 모델은 사전에 승인된 아래 오픈소스 모델들만 사용해야 합니다:
- ALBERT
- BART
- BERT
- Bloom
- Cerebras (btlm, GPT)
- Colossal-LLaMA-2-7b-base
- DeBERTa
- DeciLM-6B
- DistilBERT
- Electra
- Falcon
- GPT2
- GPT Neo, J, NeoX, Pythia
- InternLM
- LLaMA or Llama 2
- Mistral
- MPT
- OpenLLaMA
- OPT
- Persimmon
- Qwen
- Red Pajama Base (not instruction tuned models)
- RoBERTa
- T5 (not Flan-T5)
- UL2
참가 방법
- 파인튜닝 시에 사용하는 GPU에 따라 2가지 트랙으로 나뉩니다.
- NVIDIA 4090과 NVIDIA A100, 두 가지 하드웨어 트랙은 개별적으로 평가됩니다.
- 팀은 최대 5명으로 제한되며, 각 하드웨어 트랙에서 최대 3번까지 제출할 수 있습니다.
평가 과정
- 모든 제출물은 재현 가능해야 하며, 오픈소스로 공개하며, 저작권이 있는 데이터나 코드를 사용해서는 안됩니다.
- 평가 시에는 HELM 벤치마크의 하위 집합과 비밀 유지 작업(논리 추론 및 대화형 채팅 작업 포함)이 포함됩니다.
- 평가 점수는 모든 작업에 대한 기하 평균으로 결정합니다.
score=Π(mean-win-rate(task))
대회 일정
| Milestone | Date |
|---|---|
| Submission Open | July 25th, 2023 |
| Submission Deadline | October 25th, 2023 |
| Winners Notification | November 15th, 2023 |
| In-person Workshop | December 15th, 2023 |
우승 팀
| 트랙 | 순위 | 팀 이름 | GitHub 저장소 링크 |
|---|---|---|---|
| A100 | 1등 | Percent_bfd | Percent-BFD/neurips_submission |
| A100 | 2등 | Anmol Agarwal | anmolagarwal999/Submission-NeurIPS-Large-Language-Model-Efficiency-Challenge-2023 |
| A100 | 3등 | ReaLLM Conquerors | MrigankRaman/LLM_Comp |
| 4090 | 1등 | Upaya | Upaya07/NeurIPS-llm-efficiency-challenge |
| 4090 | 2등 | ReaLLM Conquerors | MrigankRaman/LLM_Comp |
| 4090 | 3등 | Knovel | knovel-eng/neurips-llm-2023 |
우승 전략
A100 트랙 1위: Percent_bfd팀
4090 트랙 1위: Upaya팀
더 읽어보기
LLM 효율성 챌린지 개요 @ NeurIPS 2023
https://neurips.cc/virtual/2023/competition/66594
LLM 효율성 챌린지 홈페이지
우승자 및 제출 결과
파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 뉴스 발행에 힘이 됩니다~ 