# \#openelm **URL:** https://discuss.pytorch.kr/tag/openelm/3029.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [\[2024/04/22 ~ 04/28\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week)](https://discuss.pytorch.kr/t/2024-04-22-04-28-ml-top-ml-papers-of-the-week/4237)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 29, 2024, 12:25오전 UTC](https://discuss.pytorch.kr/t/2024-04-22-04-28-ml-top-ml-papers-of-the-week/4237 "2024-04-29T00:25:44Z")
\[2024/04/22 ~ 04/28\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week) PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 이번 주에 제출된 논문들을 살펴보면 대부분이 차세대 언어 모델(Large Language Models, LLMs)과 그 응용 분야에 초점을 맞춘 것으로 보입니다. 구체적으로 "Make Your LLM Fully Utilize the Context", "Graph Machine Learning in the Era of LLMs", "Self-Evolution of LLMs" 그리고 "Naturalized Execution Tuning (NExT)" 등은 LLMs의 발전 및 최적화 방법, 그리고 새로운 응용 분야에 대한 연구 내용을 다루고 있습니다. 이는 최근 인공지능 분야에서 LLMs의 중요성과 응용 가능성이 커지고 있음을 반영합니다. LLMs의 발전이 중요한 이유는 이 모델들이 자연어 처리(Natural Language Processing, NLP)뿐만 아니라 여러 멀티모달(Task) 작업을 수행할 때도 뛰어난 성능을 보이기 때문입니다. 예를 들어, "Make Your LLM Fully Utilize the Context"라는 논문은 LLMs가 제공하는 컨텍스트를 최대한 활용하여 보다 정확한 정보를 추출하고 해석하는 방법에 대해 탐구합니다. 또한, "Graph Machine Learning in the Era of LLMs"는 그래프 기반 데이터 학습이 어떻게 LLMs를 통해 향상될 수 있는지에 대한 연구로, 이는 복잡한 관계와 패턴을 이해하는 데 큰 도움이 됩니다. 이러한 경향은 인공지능 분야에서 LLMs의 역할이 단순히 언어 이해와 생성에 그치지 않고, 더 광범위한 문제 해결과 응용 분야로 확장되고 있음을 시사합니다. 이는 연구자들이 인공지능의 다양한 측면을 탐색하고, 특히 인간의 언어를 더 잘 이해하고 사용할 수 있는 모델을 개… --- ## [Apple, 스마트폰에서 동작하는 270M ~ 3B 규모의 작은 언어모델 OpenELM 패밀리 공개](https://discuss.pytorch.kr/t/apple-270m-3b-openelm/4204)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 25, 2024, 1:06오전 UTC](https://discuss.pytorch.kr/t/apple-270m-3b-openelm/4204 "2024-04-25T01:06:57Z")
:pytorch:PyTorchKR:kr: Apple:apple:의 WWDC가 다가오며, 놀라운(!) 일들이 벌어지고 있습니다. 바로 Apple이 LLM을 공개한 것인데요, On-Device용으로 270M부터 3B까지의 작은 모델들(Small LM)을 공개했습니다. :astonished: 이름부터가 A family of Open-source Efficient Language Models을 뜻하는 OpenELM으로, CoreNet을 사용하여 사전 학습을 했다고 합니다. 함께 살펴보시죠. Apple, 스마트폰에서 동작하는 270M ~ 3B 규모의 작은 언어모델 OpenELM 패밀리 공개 소개 애플이 새롭게 발표한 OpenELM은 Hugging Face Hub를 통해 접근 가능한 오픈 소스 LLM입니다. 이 모델은 디바이스 내에서 동작하기 때문에 클라우드 기반 모델과 비교할 때 개인정보 보호가 강화되며, 연결이 불안정한 환경에서도 AI 기능을 사용할 수 있는 장점이 있습니다. 또한, 이 모델은 연구자들에게 더 많은 실험과 개선의 기회를 제공하며, 오픈 소스라는 점에서 개발자들이 자유롭게 사용하고 수정할 수 있습니다. OpenELM은 기존의 클라우드 기반 대규모 언어 모델들과 크게 비교됩니다. 클라우드 기반 모델들은 강력한 처리 능력을 제공하지만, 개인정보 보호와 연속성 측면에서 취약점을 가질 수 있습니다. 반면, OpenELM은 디바이스 내 실행이 가능하여 이러한 문제들을 해결하고, 개발자가 보다 자유롭게 AI를 사용하고 개선할 수 있는 기회를 제공합니다. 주요 특징 OpenELM 모델은 CoreNet 라이브러리를 사용해 사전 훈련된 네 가지 모델과 네 가지 지시어 조정 모델을 포함하고 있습니다. 이 모델들은 각 변환기 모델의 레이어 내에서 효율적으로 파라미터를 할당하는 레이어별 스케일링 전략을 사용하여 정확도를 향상시킵니다. 예를 들어, 약 1B 파라미터 예산을 가진 OpenELM은 OLMo와 비교하여 2.36%의 정확도 향상을 보였으며, 사전 훈련 …