🤗 Hugging Face의 OpenLLM 리더보드 개선: Open-LLM Leaderboard v2

9bow · 7월 3, 2024, 10:39오전

OpenLLM Leaderboard 개선 제안 글 소개

Open-LLM leaderboard는 다양한 언어 모델의 성능을 비교하고 평가하는 플랫폼으로, 연구자들과 개발자들이 최신 모델의 성능을 객관적으로 파악할 수 있는 중요한 역할을 합니다. 그러나 최근 몇 년간 리더보드에 등록된 모델들의 성능이 일정 수준에 도달한 이후로 더 이상의 눈에 띄는 향상이 없었습니다. 이는 모델 성능의 한계를 극복하기 위한 새로운 접근 방법이 필요함을 의미합니다. OpenLLM 리더보드는 이러한 상황을 타개하기 위해 다양한 개선 방안을 제시하고 있으며, 이를 통해 모델 개발자들이 더 나은 성능의 모델을 만들 수 있도록 돕고자 합니다.

현재 Open-LLM 리더보드에는 수많은 언어 모델이 등록되어 있으며, 이들 모델은 특정 기준에 따라 성능이 평가되고 순위가 매겨집니다. 최근 몇 년 동안 대부분의 모델이 높은 점수를 기록하며 상위권을 차지하고 있지만, 상위권 모델들 간의 성능 차이가 미미해지고 있습니다. 이는 새로운 모델이 기존 모델에 비해 혁신적인 성능을 보여주지 못하고 있음을 시사합니다. 이러한 현상은 모델 개발자들에게 더 큰 도전과제를 안겨주며, 리더보드의 신뢰성과 유용성을 유지하기 위해서는 평가 방식의 개선과 새로운 데이터셋의 도입이 필요합니다.

현재 Open-LLM 리더보드의 개선 필요 사항들

모델의 한계

현재 리더보드에 등록된 모델들은 GPT-3, BERT와 같은 대형 언어 모델들로 구성되어 있으며, 이들 모델은 이미 최적화된 상태입니다. 이러한 모델들은 이미 수백억 개의 매개변수를 사용하여 학습되었기 때문에, 추가적인 성능 향상을 위해서는 엄청난 양의 데이터와 연산 자원이 필요합니다. 그러나 이러한 접근 방식은 자원 소모가 크고, 환경적인 부담을 초래할 수 있습니다. 따라서 새로운 모델 개발 방법론과 아키텍처의 도입이 필요합니다.

데이터 부족

고품질의 학습 데이터가 부족한 것도 큰 문제입니다. 현재 사용되는 데이터셋은 주로 영어로 된 텍스트이며, 다양한 언어와 도메인을 포괄하지 못하고 있습니다. 이는 모델의 학습 범위를 제한하며, 다양한 언어와 문화적 배경을 가진 사용자들에게 최적화된 서비스를 제공하는 데 어려움을 초래합니다. 따라서 다양한 언어와 도메인을 포함하는 데이터셋의 구축이 시급합니다.

평가 기준의 문제

현재의 평가 방법은 모델의 실제 성능을 충분히 반영하지 못할 수 있습니다. 예를 들어, 모델이 특정 테스트 데이터셋에서 높은 성능을 보이더라도 실제 사용 환경에서는 기대에 미치지 못할 수 있습니다. 이는 평가 기준이 실제 응용 사례를 충분히 반영하지 못하고 있기 때문입니다. 따라서 보다 현실적인 평가 기준과 방법을 도입하여 모델의 실질적인 성능을 평가하는 것이 중요합니다.

리더보드 개선 제안

새로운 모델 아키텍처 도입

기존의 한계를 넘어설 수 있는 새로운 모델 구조를 연구하고 도입해야 합니다. 예를 들어, 하이브리드 모델이나 멀티모달 모델과 같은 새로운 접근 방식을 통해 성능 향상을 도모할 수 있습니다. 이러한 모델들은 텍스트뿐만 아니라 이미지, 오디오 등의 다양한 데이터를 동시에 처리할 수 있어 더 풍부한 정보를 학습할 수 있습니다. 이를 통해 모델의 이해력과 응답 품질을 향상시킬 수 있습니다.

데이터 다양성 확보

다양한 도메인과 언어를 포함하는 데이터셋을 구축하여 모델 학습의 폭을 넓혀야 합니다. 이를 위해 전 세계 다양한 언어와 문화권에서 수집된 데이터를 포함하는 대규모 데이터셋을 구축할 필요가 있습니다. 이러한 데이터셋은 모델이 다양한 상황에서 높은 성능을 발휘할 수 있도록 돕습니다. 또한, 데이터 수집 과정에서 윤리적 문제와 개인정보 보호를 철저히 준수하여 데이터의 신뢰성과 법적 문제를 해결하는 것이 중요합니다.

평가 방법 개선

실제 활용 사례에 더 가까운 평가 방법을 도입하여 모델의 실질적인 성능을 평가해야 합니다. 예를 들어, 실제 사용자와의 상호작용을 통해 모델의 성능을 평가하는 방법을 도입할 수 있습니다. 이는 모델이 실제 환경에서 얼마나 효과적으로 작동하는지를 직접적으로 확인할 수 있는 방법입니다. 또한, 다양한 응용 분야에서의 성능을 평가하는 기준을 마련하여 모델의 전반적인 성능을 종합적으로 평가할 필요가 있습니다.

새로운 벤치마크 도입

오염되지 않은 고품질 데이터셋을 사용하며 신뢰할 수 있는 지표를 통해 모델의 능력을 측정할 수 있는 새로운 벤치마크를 찾기 시작했습니다. 이 과정에서 주요 평가 과제는 다음과 같습니다:

지식 테스트()
짧은 및 긴 문맥에서의 추론()
복잡한 수학적 능력
인간 선호와 잘 맞는 과제()

이러한 평가 과제를 기반으로 선정한 6가지 새로운 벤치마크들을 선정하였습니다. 새로운 평가 과제는 모델의 다양한 능력을 측정하는 것을 목표로 합니다. 지식 테스트는 모델의 일반적인 정보 이해도를 평가하고, 문맥 추론은 모델이 주어진 텍스트를 기반으로 추론하는 능력을 평가합니다. 복잡한 수학적 능력 평가를 통해 모델이 고차원적인 수학 문제를 해결하는 능력을 측정하고, 인간 선호와 일치하는 과제는 모델이 사용자 지시를 정확히 따르는 능력을 평가합니다.

MMLU-Pro (Massive Multitask Language Understanding - Pro version)

MMLU-Pro는 MMLU 데이터셋의 개정판으로, 기존 MMLU 데이터셋이 너무 쉽고 소음이 많다는 문제를 해결했습니다. MMLU-Pro는 모델에게 4가지가 아닌 10가지 선택지를 제공하며, 더 많은 질문에서 추론을 요구합니다. 전문가의 검토를 거쳐 소음을 줄였고, 기존 데이터셋보다 더 높은 품질과 난이도를 자랑합니다.

GPQA (Google-Proof Q&A Benchmark)

GPQA는 도메인 전문가들에 의해 설계된 매우 어려운 지식 데이터셋입니다. 생물학, 물리학, 화학 등 각 분야의 박사급 전문가들이 설계한 질문들로 구성되어 있어, 일반인이 답하기 어렵지만 전문가에게는 비교적 쉬운 문제들입니다. 여러 검증 단계를 거쳐 난이도와 사실성을 보장하며, 오염 위험을 줄이기 위해 게이팅 메커니즘을 통해 접근할 수 있습니다.

MuSR (Multistep Soft Reasoning)

MuSR은 알고리즘적으로 생성된 약 1,000단어 길이의 복잡한 문제들로 구성된 재미있는 새로운 데이터셋입니다. 문제는 살인 미스터리, 물체 배치 문제, 팀 할당 최적화 문제 등으로 구성되어 있으며, 모델은 이를 해결하기 위해 추론과 긴 문맥 분석 능력을 결합해야 합니다. 대부분의 모델이 랜덤 성능보다 나은 성적을 내지 못하고 있습니다.

MATH (Mathematics Aptitude Test of Heuristics)

MATH는 여러 출처에서 수집한 고등학교 수준의 경쟁 문제들로 구성되어 있으며, 방정식을 위해 Latex, 도형을 위해 Asymptote를 사용하여 일관되게 형식화되어 있습니다. 생성된 결과는 매우 특정한 출력 형식에 맞춰야 하며, 우리는 가장 어려운 질문들만을 유지합니다.

IFEval (Instruction Following Evaluation)

IFEval은 명시적인 지시를 명확히 따르는 모델의 능력을 테스트하는 매우 흥미로운 데이터셋입니다. 예를 들어 "키워드 x 포함" 또는 "형식 y 사용"과 같은 지시를 따르는 능력을 평가합니다. 모델은 실제 생성된 내용보다는 형식 지시를 엄격히 따르는 능력에 대해 테스트되며, 엄격하고 정확한 지표를 사용할 수 있습니다.

BBH (Big Bench Hard)

BBH는 BigBench 데이터셋에서 선정된 23개의 도전적인 과제로 구성된 서브셋입니다. 이 과제들은 1) 객관적인 지표를 사용하고, 2) 모델이 인간 기준보다 우수한 성능을 보이지 못했으며, 3) 통계적으로 유의미한 샘플을 포함합니다. 다단계 산술 및 알고리즘 추론(불 표현 이해, 기하학적 도형에 대한 SVG 등), 언어 이해(풍자 감지, 이름 식별 등), 그리고 일부 세계 지식을 포함합니다. BBH의 성능은 평균적으로 인간 선호와 잘 일치하는 경향이 있습니다.

신규 리더보드 결과

새로운 리더보드에 따라 새롭게 매겨진 상위 10개의 OpenLLM 모델들입니다. (Mixtral-8x22B-Instruct 결과는 아직 포함되지 않았습니다)

Rank	New Leaderboard Ranking
	Qwen/Qwen2-72B-Instruct
2	meta-llama/Meta-Llama-3-70B-Instruct
3	microsoft/Phi-3-medium-4k-instruct
4	01-ai/Yi-1.5-34B-Chat
5	CohereForAI/c4ai-command-r-plus
6	abacusai/Smaug-72B-v0.1
7	Qwen/Qwen1.5-110B
8	Qwen/Qwen1.5-110B-Chat
9	microsoft/Phi-3-small-128k-instruct
10	01-ai/Yi-1.5-9B-Chat

또한, OpenLLM Leaderboard v2에서의 주요한 순위 변화는 다음과 같습니다. (v1->v2 ranking changes)

이전 리더보드(v1)와 이번에 새로 개선한 리더보드(v2)에서의 모델 크기별 성능을 비교해보았습니다:

OpenLLM Leaderboard v2 소개

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~