# \#openllm-leaderboard **URL:** https://discuss.pytorch.kr/tag/openllm-leaderboard/586.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [🤗 Hugging Face의 OpenLLM 리더보드 개선: Open-LLM Leaderboard v2](https://discuss.pytorch.kr/t/hugging-face-openllm-open-llm-leaderboard-v2/4742)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 3, 2024, 10:39오전 UTC](https://discuss.pytorch.kr/t/hugging-face-openllm-open-llm-leaderboard-v2/4742 "2024-07-03T10:39:25Z")
OpenLLM Leaderboard 개선 제안 글 소개 Open-LLM leaderboard는 다양한 언어 모델의 성능을 비교하고 평가하는 플랫폼으로, 연구자들과 개발자들이 최신 모델의 성능을 객관적으로 파악할 수 있는 중요한 역할을 합니다. 그러나 최근 몇 년간 리더보드에 등록된 모델들의 성능이 일정 수준에 도달한 이후로 더 이상의 눈에 띄는 향상이 없었습니다. 이는 모델 성능의 한계를 극복하기 위한 새로운 접근 방법이 필요함을 의미합니다. OpenLLM 리더보드는 이러한 상황을 타개하기 위해 다양한 개선 방안을 제시하고 있으며, 이를 통해 모델 개발자들이 더 나은 성능의 모델을 만들 수 있도록 돕고자 합니다. 현재 Open-LLM 리더보드에는 수많은 언어 모델이 등록되어 있으며, 이들 모델은 특정 기준에 따라 성능이 평가되고 순위가 매겨집니다. 최근 몇 년 동안 대부분의 모델이 높은 점수를 기록하며 상위권을 차지하고 있지만, 상위권 모델들 간의 성능 차이가 미미해지고 있습니다. 이는 새로운 모델이 기존 모델에 비해 혁신적인 성능을 보여주지 못하고 있음을 시사합니다. 이러한 현상은 모델 개발자들에게 더 큰 도전과제를 안겨주며, 리더보드의 신뢰성과 유용성을 유지하기 위해서는 평가 방식의 개선과 새로운 데이터셋의 도입이 필요합니다. 현재 Open-LLM 리더보드의 개선 필요 사항들 모델의 한계 현재 리더보드에 등록된 모델들은 GPT-3, BERT와 같은 대형 언어 모델들로 구성되어 있으며, 이들 모델은 이미 최적화된 상태입니다. 이러한 모델들은 이미 수백억 개의 매개변수를 사용하여 학습되었기 때문에, 추가적인 성능 향상을 위해서는 엄청난 양의 데이터와 연산 자원이 필요합니다. 그러나 이러한 접근 방식은 자원 소모가 크고, 환경적인 부담을 초래할 수 있습니다. 따라서 새로운 모델 개발 방법론과 아키텍처의 도입이 필요합니다. 데이터 부족 고품질의 학습 데이터가 부족한 것도 큰 문제입니다. 현재 사용되는 데이터셋은 주로 영어로 된 텍스트이며, 다양한 … --- ## [\[GN\] Upstage, 10.7B SOLAR 모델을 상용화 가능한 라이선스(Apache-2.0)로 공개](https://discuss.pytorch.kr/t/gn-upstage-10-7b-solar-apache-2-0/3060)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [12월 18, 2023, 12:01오전 UTC](https://discuss.pytorch.kr/t/gn-upstage-10-7b-solar-apache-2-0/3060 "2023-12-18T00:01:34Z")
GeekNews의 xguru님께 허락을 받고 GN에 올라온 글들 중에 AI 관련된 소식들을 공유하고 있습니다. :smiley\_cat: 소개 기존의 Llama2 7B의 능력을 극대화하기 위해 Depth Up-Scaling 기술을 개발하여 적용 벤치마크상 매개변수가 30억개 미만인 모델에서는 뛰어난 성능을 보이며, 6배 크기의 QWEN 이나 최근 출시된 Mixtral 8x7B 모델을 능가 OpenLLM 리더보드에서 74.2점으로 1등. 알리바바의 QWEN-72B가 73.6, Mixtral-8x7B가 72.6 Instruction 파인튜닝이 잘 적용됨 이번 공개된 모델은 영어 기반이기 때문에 한국어 성능은 낮을 수 있음 SOLAR-10.7B 모델은 상용 사용이 가능한 Apache-2 라이선스로 공개 SOLAR-10.7B-Instruct 모델은 파인튜닝시 사용한 데이터셋 이슈로 CC-BY-NC-4.0으로 공개 원문 출시 기사 (영문) https://en.upstage.ai/newsroom/solar10b-huggingface-no1 SOLAR-10.7B 모델 SOLAR-10.7B-Instruct 모델 출처 / GeekNews --- ## [\[TLDR\] 오늘의 AI 뉴스, 2023-06-13: 영국, 파운데이션 모델에 조기 접근🇬🇧, LLM의 편향성 해독 🚩, 개인 데이터 어시스턴트 🧑‍💻](https://discuss.pytorch.kr/t/tldr-ai-2023-06-13-llm/1806)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 14, 2023, 2:22오전 UTC](https://discuss.pytorch.kr/t/tldr-ai-2023-06-13-llm/1806 "2023-06-14T02:22:43Z")
파이토치 한국 사용자 모임에서는 TLDR 뉴스레터의 승인을 받아 AI 소식을 DeepL로 번역하여 전합니다. :star\_struck: 더 많은 AI 소식 및 정보를 공유하고 함께 성장하고 싶으신가요? 지금 파이토치 한국어 커뮤니티에 방문해주세요! :robot: :rocket: 주요 뉴스 & 신규 출시 소식 / Headlines & Launches 워드프레스, 블로그 글을 작성해주는 AI 도구 출시 / WordPress Has A New AI Tool That Will Write Blog Posts For You (2 minute read) 워드프레스에서 제트팩 AI라는 새로운 AI 글쓰기 도구를 출시했습니다. 이 도구는 블로그 글, 소셜 미디어 글 및 기타 유형의 콘텐츠를 생성하는 데 사용할 수 있습니다. 젯팩 AI는 OpenAI에서 개발한 대규모 언어 모델인 GPT-3로 구동됩니다. 이 도구는 아직 베타 버전이지만 사람들이 웹사이트를 위한 콘텐츠를 더 쉽게 만들 수 있는 잠재력을 가지고 있습니다. WordPress has released a new AI writing tool called Jetpack AI. The tool can be used to generate blog posts, social media posts, and other types of content. Jetpack AI is powered by GPT-3, a large language model developed by OpenAI. The tool is still in beta, but it has the potential to make it easier for people to create content for their websites. AI 거인들, 영국에 안전 연구용 모델에 대한 조기 접근 제공 / AI Giants To Give UK Early Access To Models For Safety Research (4 minute read) OpenAI, 구글 딥…