한국 초지능 연구 스타트업 Trillion Labs, 한국어로 처음부터 학습한 Tri Series의 중간 체크포인트 공개

[9bow (박정환)]

네네, 제 기억으로는 AMD가 MI300X로 처음부터 학습했던 Instella 3B 모델을 공개하면서 함께 공개했던 것 밖에 없었습니다. +_+ 한국어로는 최초인 것 같습니다 ㅎㅎ

AMD, 자사의 MI300X GPU에서 학습한 소규모 언어 모델 Instella 3B 공개

[AMD, 자사의 MI300X GPU에서 학습한 소규모 언어 모델 Instella 3B 공개] Instella 3B 소개 AMD가 새로운 3B(30억) 파라미터 규모의 오픈소스 언어 모델 Instella를 발표했습니다. Instella는 AMD의 MI300X GPU에서 훈련된 최신 모델로, 기존의 오픈 모델보다 뛰어난 성능을 보여줍니다. 라마3(Llama-3.2-3B), 제마(Gemma-2-2B), 그리고 Qwen-2.5-3B와 같은 오픈 가중치 모델(Open-weight models)과도 경쟁 가능한 수준의 성능을 보이고 있습니다. 특히, AMD는 이번 발표에서는 단순 모델 공개뿐만 아니라, 모델 가중치, 학습 구성, 사용된 데이터셋 및 코드까지 모두 오픈소스로 공개되어 누구나 모델을 분석하고 공개할 수 있도록 하였습니다. AMD가 공개한, Instella 모델 공개의 목표는 다음과 같습니다: 완전 오픈소스화: 모델 가중치, 학습 과정, 데이터셋, 코드까지 전부 공개 경쟁…