# \#mmlu-pro **URL:** https://discuss.pytorch.kr/tag/mmlu-pro/3172.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [🤗 Hugging Face의 OpenLLM 리더보드 개선: Open-LLM Leaderboard v2](https://discuss.pytorch.kr/t/hugging-face-openllm-open-llm-leaderboard-v2/4742)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 3, 2024, 10:39오전 UTC](https://discuss.pytorch.kr/t/hugging-face-openllm-open-llm-leaderboard-v2/4742 "2024-07-03T10:39:25Z")
OpenLLM Leaderboard 개선 제안 글 소개 Open-LLM leaderboard는 다양한 언어 모델의 성능을 비교하고 평가하는 플랫폼으로, 연구자들과 개발자들이 최신 모델의 성능을 객관적으로 파악할 수 있는 중요한 역할을 합니다. 그러나 최근 몇 년간 리더보드에 등록된 모델들의 성능이 일정 수준에 도달한 이후로 더 이상의 눈에 띄는 향상이 없었습니다. 이는 모델 성능의 한계를 극복하기 위한 새로운 접근 방법이 필요함을 의미합니다. OpenLLM 리더보드는 이러한 상황을 타개하기 위해 다양한 개선 방안을 제시하고 있으며, 이를 통해 모델 개발자들이 더 나은 성능의 모델을 만들 수 있도록 돕고자 합니다. 현재 Open-LLM 리더보드에는 수많은 언어 모델이 등록되어 있으며, 이들 모델은 특정 기준에 따라 성능이 평가되고 순위가 매겨집니다. 최근 몇 년 동안 대부분의 모델이 높은 점수를 기록하며 상위권을 차지하고 있지만, 상위권 모델들 간의 성능 차이가 미미해지고 있습니다. 이는 새로운 모델이 기존 모델에 비해 혁신적인 성능을 보여주지 못하고 있음을 시사합니다. 이러한 현상은 모델 개발자들에게 더 큰 도전과제를 안겨주며, 리더보드의 신뢰성과 유용성을 유지하기 위해서는 평가 방식의 개선과 새로운 데이터셋의 도입이 필요합니다. 현재 Open-LLM 리더보드의 개선 필요 사항들 모델의 한계 현재 리더보드에 등록된 모델들은 GPT-3, BERT와 같은 대형 언어 모델들로 구성되어 있으며, 이들 모델은 이미 최적화된 상태입니다. 이러한 모델들은 이미 수백억 개의 매개변수를 사용하여 학습되었기 때문에, 추가적인 성능 향상을 위해서는 엄청난 양의 데이터와 연산 자원이 필요합니다. 그러나 이러한 접근 방식은 자원 소모가 크고, 환경적인 부담을 초래할 수 있습니다. 따라서 새로운 모델 개발 방법론과 아키텍처의 도입이 필요합니다. 데이터 부족 고품질의 학습 데이터가 부족한 것도 큰 문제입니다. 현재 사용되는 데이터셋은 주로 영어로 된 텍스트이며, 다양한 … --- ## [MMLU-Pro, LLM 성능 평가를 위한 벤치마크인 MMLU의 개선된 버전](https://discuss.pytorch.kr/t/mmlu-pro-llm-mmlu/4421)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 21, 2024, 10:05오전 UTC](https://discuss.pytorch.kr/t/mmlu-pro-llm-mmlu/4421 "2024-05-21T10:05:31Z")
MMLU-Pro, LLM 성능 평가를 위한 벤치마크인 MMLU의 개선된 버전 소개 MMLU-Pro 데이터셋은 기존의 MMLU 데이터셋을 개선한 버전으로, 총 12,000개의 복잡한 질문들로 구성되어 있습니다. 이 데이터셋은 대형 언어 모델의 성능을 더욱 엄격하게 평가하기 위해 설계되었습니다. 기존 MMLU 데이터셋이 주로 지식 기반의 질문들로 구성되어 있었던 반면, MMLU-Pro는 문제 난이도를 높이고 추론 중심의 질문들을 추가하여 모델이 더 깊은 이해와 분석을 필요로 하게 합니다. 또한, 질문의 선택지도 4개에서 10개로 늘려 무작위 추측의 가능성을 줄였습니다. MMLU와 MMLU-Pro 비교 기존 MMLU와 MMLU-Pro의 주요한 차이점은 다음과 같습니다: 선택지 증가: MMLU는 4개의 선택지를 제공했지만, MMLU-Pro는 10개의 선택지를 제공합니다. 이는 평가의 현실성을 높이고 난이도를 증가시킵니다. 질문 난이도: MMLU는 주로 지식 기반의 질문들로 구성되어 있었으나, MMLU-Pro는 더 많은 추론을 필요로 하는 문제들로 구성되어 있어, 체인 오브 생각(Chain of Thought, CoT) 방식의 결과가 더 높게 나옵니다. 성능 안정성: MMLU-Pro는 다양한 프롬프트에서도 성능 변동이 적어 모델의 성능이 더 안정적입니다. 각 분야별 데이터 수의 변화는 다음 표와 같습니다: Discipline Number of Questions From Original MMLU Newly Added Math 1351 846 505 Physics 1299 411 888 Chemistry 1132 178 954 Law 1101 1101 0 Engineering 969 67 902 Other 924 924 0 Economics 844 444 400 Health 818 818 0 Psychology 798 493 305 Business 789 155 634 Biology 717 219 498 …