# \#granite-code-models **URL:** https://discuss.pytorch.kr/tag/granite-code-models/3101.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [\[2024/05/06 ~ 05/12\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week)](https://discuss.pytorch.kr/t/2024-05-06-05-12-ml-top-ml-papers-of-the-week/4339)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [9월 16, 2024, 7:06오전 UTC](https://discuss.pytorch.kr/t/2024-05-06-05-12-ml-top-ml-papers-of-the-week/4339 "2024-09-16T07:06:45Z")
\[2024/05/06 ~ 05/12\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week) PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 이번 주 선정된 논문들을 살펴보면, 두 가지 주요 경향이 나타납니다. 첫 번째로는 자연어 처리(NLP)와 관련된 연구가 다수 포함되어 있습니다. 예를 들어, "Is Flash Attention Stable?"와 "Consistency LLMs"는 모두 최근 NLP 분야에서 중요한 주제인 언어 모델의 성능과 안정성에 초점을 맞춘 연구입니다. 두 번째로, 알고리즘 개선 및 새로운 프레임워크 개발에 관한 연구도 두드러집니다. "xLSTM", "AlphaFold 3", "DeepSeek-V2"와 같은 논문들은 기존 모델과 알고리즘을 넘어서 새롭게 발전시키려는 시도를 보여줍니다. 이러한 경향은 몇 가지 이유에서 중요합니다. 우선, NLP 분야는 현재 기계 학습과 인공 지능 연구에서 가장 활발히 발전하고 있는 영역 중 하나입니다. 언어 이해와 생성 능력은 사용자와의 상호작용, 정보 검색, 자동 번역 등 다양한 응용 분야에서 핵심적인 역할을 합니다. 따라서, 언어 모델의 성능과 안정성을 보장하는 것은 매우 중요하며, 이번 주에 선정된 논문들은 이러한 중요한 이슈에 대한 최신 연구 동향을 잘 반영합니다. 또한, 기존 모델과 알고리즘의 한계를 극복하고 새로운 가능성을 모색하는 연구의 증가는 AI 기술의 지속적인 발전을 위해 필수적입니다. 예를 들어, "AlphaFold 3"은 단백질 구조 예측 분야에서 큰 진전을 이룬 사례로, 복잡한 생물학적 문제를 해결하는 데 AI가 얼마나 중요한 역할을 할 수 있는지 보여줍니다. 이처럼, 알고리즘과 프레임워크에 대한 지속적인 연구와 개선은 다양한 분야에서 AI 응용의 효율성과 범위를 넓히는 데 크게 기여할 것입니다. AlphaFold 3로 생체 분자 상호작용의 정확한 구조 예측 / Accurate s… --- ## [IBM, Code LLM 'Granite Code Models'를 공개하며 Open LLM 경쟁에 참여](https://discuss.pytorch.kr/t/ibm-code-llm-granite-code-models-open-llm/4305)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 8, 2024, 3:16오후 UTC](https://discuss.pytorch.kr/t/ibm-code-llm-granite-code-models-open-llm/4305 "2024-05-08T15:16:11Z")
IBM, Code LLM 'Granite Code Models'를 공개하며 Open LLM 경쟁에 참여 소개 최근 IBM에서 공개한 그라나이트 코드 모델(Granite Code Models) 시리즈는 코드 생성 작업에 특화된 디코더 전용 모델로, 다양한 프로그래밍 언어로 작성된 코드를 이용해 훈련되었습니다. 이 모델들은 버그 수정, 코드 설명, 문서화 등 다양한 코드 관련 작업에서 뛰어난 성능을 보여줍니다. 기업 수준에서 신뢰할 수 있는 대규모 언어 모델로서, 오픈 소스 코드 LLM 중에서도 최고의 성능을 보인다고 합니다. 그라나이트 코드 모델들은 다양한 크기(3B, 8B, 20B, 34B 매개변수)로 제공되며, 기본 모델과 지시 모델 두 가지 유형이 있습니다. 이들 모델은 116개의 프로그래밍 언어로 작성된 코드를 학습하고, 실제 코드 관련 작업에 적용 가능한 능력을 갖추고 있습니다. 라이선스가 허용하는 데이터를 사용하여 학습되었고, IBM의 AI 윤리 원칙에 따라 데이터 수집 및 처리가 이루어졌습니다. 주요 특징 다재다능한 코드 LLM: 코드 생성, 설명, 수정, 편집, 번역 등 다양한 종류의 코드 관련 작업에서 경쟁력 있는 성능을 보여줍니다. 신뢰할 수 있는 기업급 LLM: IBM의 법률 팀의 지침에 따라 훈련 데이터를 수집하고, Apache 2.0 라이선스 하에 모델을 공개하여 연구 및 상업적 사용이 가능합니다. 사전 학습 (Pretraining) 그라나이트 코드 베이스 모델은 코드 데이터와 코드 관련 자연 언어 데이터셋을 이용한 대규모 토큰을 기반으로 훈련됩니다. 이 데이터는 바이트 페어 인코딩(BPE) 방식을 사용하여 토큰화되며, 이는 StarCoder의 토크나이저와 동일합니다. 사전 학습 과정은 다음의 두 단계로 나뉘어 진행됩니다: 1단계 (코드만을 대상으로 한 훈련): 이 단계에서는 3B 및 8B 모델이 116개 언어로 구성된 4조 토큰의 코드 데이터로 훈련됩니다. 20B 매개변수 모델은 3조 토큰의 코드로, 34B …