Instella-MoE 소개
Instella-MoE 는 AMD가 자사의 Instinct MI300X 및 MI325X GPU에서 처음부터(from scratch) 학습해 공개한 전체 파라미터 16B , 토큰당 활성 파라미터 2.8B 규모의 완전 오픈(fully open) 전문가 혼합(Mixture-of-Experts, MoE) 언어 모델입니다. 가중치만 공개된 모델은 많지만 학습 레시피와 데이터 배합과 중간 체크포인트까지 전부 공개된 대규모 MoE는 거의 없다는 공백을 메우면서, 동시에 그 전 과정을 NVIDIA가 아닌 AMD 하드웨어와 ROCm 소프트웨어 스택만으로 완주할 수 있음을 보이는 것이 이 공개의 목표입니다. 본 게시물에서는 아키텍처 혁신인 Gated MLA와 FarSkip-Collective, 사전학습부터 강화학습까지 이어지는 6단계 학습 파이프라인, 벤치마크 결과, 그리고 공개된 체크포인트의 설정 파일에서 확인되는 구체적인 제원을 정리합니다.
오픈 모델 생태계의 두 갈래, 그리고 각자의 한계
오늘날 "오픈 모델"이라는 말은 사실 서로 다른 두 가지를 가리킵니다. 하나는 가중치 파일만 내려받을 수 있는 오픈 웨이트(open-weight) 모델이고, 다른 하나는 가중치와 함께 학습 코드, 데이터 배합, 하이퍼파라미터, 중간 체크포인트까지 공개하는 완전 오픈(fully open) 모델입니다. 이 구분은 단순한 라이선스 문제가 아니라 연구 재현성의 문제입니다. 어떤 데이터를 어떤 순서로 얼마나 먹였는지 모르면, 모델이 왜 그렇게 행동하는지 분석할 수도, 같은 레시피를 자기 도메인에 적용할 수도 없기 때문입니다.
첫 번째 접근법인 오픈 웨이트 모델은 성능 면에서 앞서 있습니다. Qwen3.5나 Gemma-4 계열은 수 B 활성 파라미터 대역에서 가장 강력한 점수를 냅니다. 하지만 학습 데이터의 구성과 비율, 단계별 스케줄, 중간 체크포인트는 공개되지 않습니다. 연구자 입장에서는 완성된 결과물만 받아볼 수 있고, "어느 단계에서 어떤 능력이 생겼는가"를 관찰할 방법이 없습니다.
두 번째 접근법인 완전 오픈 모델은 재현성을 확보했지만, 대부분이 밀집(dense) 아키텍처에 머물러 있습니다. Allen AI의 OLMo 3 나 Hugging Face의 SmolLM3 같은 모델이 대표적인데, 밀집 모델은 모든 토큰에 대해 전체 파라미터를 활성화하므로 활성 파라미터와 전체 파라미터가 같습니다. 즉 성능을 올리려면 추론 비용도 그만큼 같이 올라갑니다. OLMo-3-7B는 Instella-MoE보다 두 배 이상 많은 파라미터를 매 토큰마다 계산하면서도 표준 벤치마크 평균이 70.1 점에 그칩니다.
세 번째 접근법은 완전 오픈 MoE입니다. 활성 파라미터를 줄여 추론 비용을 낮추면서 전체 용량은 키우는 정공법이지만, 지금까지 공개된 사례인 OLMoE-1B-7B 는 표준 벤치마크 평균 61.9 점으로 성능 격차가 컸습니다. 즉 "완전 오픈"과 "MoE"와 "최고 성능"이라는 세 조건을 동시에 만족하는 모델이 사실상 비어 있는 상태였습니다.
여기에 잘 논의되지 않는 네 번째 제약이 겹칩니다. 위에 언급한 모델들은 거의 전부 NVIDIA GPU와 CUDA 생태계에서 학습되었습니다. AMD Instinct GPU는 메모리 용량 면에서 대형 MoE 학습에 유리한 조건을 갖췄지만, 사전학습부터 강화학습까지 전 과정을 ROCm 스택만으로 완주한 최신 MoE 사례는 공개된 것이 드물었습니다. 하드웨어 선택지가 실질적으로 좁은 상황은 생태계 전체의 위험 요소입니다.
Instella-MoE의 발상: 하드웨어부터 강화학습까지 하나의 오픈 스택으로
Instella-MoE는 이 네 가지 문제를 한꺼번에 겨냥합니다. 희소 활성 MoE 설계로 활성 파라미터를 2.8B 로 억제하면서 전체 용량은 16B 로 키우고, 사전학습부터 강화학습까지 모든 단계의 체크포인트와 학습 설정과 데이터 배합과 코드를 공개하며, 그 전 과정을 AMD Instinct MI300X 및 MI325X GPU와 ROCm 스택 위에서 수행했습니다. 학습 프레임워크로는 AMD가 직접 개발한 오픈소스 Primus 를, 강화학습 기반 사후 학습에는 Miles 를 사용했습니다. Primus의 설계 배경은 AMD ROCm 블로그의 소개 글 에 정리되어 있습니다.
AMD가 언어 모델을 완전 오픈으로 공개한 것은 이번이 처음이 아닙니다. 2025년 3월에 공개한 3B 규모 밀집 모델 Instella 3B 가 그 출발점이었습니다. 당시에는 4.065T 토큰의 1차 사전학습, 57.575B 토큰의 2차 사전학습, 지도 미세조정(SFT), 직접 선호 최적화(DPO)까지 4단계를 거쳤고, 2차 사전학습까지 마친 베이스 체크포인트가 표준 벤치마크 평균 66.59 점으로 당시 완전 오픈 모델 중 최고를 기록했습니다. 이번 Instella-MoE는 그 계보를 이어받으면서 세 가지가 달라졌습니다. 아키텍처가 밀집에서 희소 활성 MoE로 바뀌었고, 사전학습 토큰이 7.1T 로 늘었으며, 학습 단계에 롱컨텍스트 확장과 강화학습이 추가되어 총 6단계로 확장되었습니다.
위 그래프의 가로축은 토큰당 활성 파라미터이고 세로축은 벤치마크 평균 점수입니다. Instella-MoE(주황색 별)는 활성 2.8B 지점에 위치하면서, 활성 파라미터가 두 배 이상인 OLMo-3-7B보다 위쪽에 자리합니다. 즉 같은 성능 대역을 더 적은 계산량으로 도달했다는 뜻이며, 이것이 MoE 설계가 노리는 지점입니다.
공개된 체크포인트는 학습 단계별로 총 6개입니다. 중간 단계까지 모두 공개했기 때문에, "미드트레이닝이 실제로 수학 성능을 얼마나 올렸는가" 같은 질문을 직접 실험으로 확인할 수 있습니다.
| 모델 | 학습 단계 | 설명 |
|---|---|---|
| Instella-MoE-16B-A3B-Pretrain | 사전학습 | 대규모 다양성 코퍼스로 처음부터 학습한 MoE 베이스 모델 |
| Instella-MoE-16B-A3B-Midtrain | 미드트레이닝 | 고품질 데이터 배합으로 핵심 능력을 다듬은 모델 |
| Instella-MoE-16B-A3B-Base | 롱컨텍스트 | 긴 시퀀스 처리 능력을 확장한 최종 베이스 체크포인트 |
| Instella-MoE-16B-A3B-SFT | SFT | 지시 따르기와 연쇄적 사고(chain-of-thought) 능력을 부여한 모델 |
| Instella-MoE-16B-A3B-DPO | DPO | 대조 선호 데이터로 성능을 끌어올린 모델 |
| Instella-MoE-16B-A3B-Think | 강화학습 | 강화학습으로 지시 따르기와 응답 품질을 강화한 최종 모델 |
Instella-MoE의 아키텍처
Instella-MoE는 디코더 전용(decoder-only) MoE 구조이며, 여기에 두 가지 구조적 변형을 얹었습니다. 하나는 어텐션 블록을 손보는 Gated MLA 이고, 다른 하나는 층 사이의 연결 방식 자체를 바꾸는 FarSkip-Collective 입니다. 앞의 것이 표현력을 노리는 변경이라면, 뒤의 것은 순수하게 속도를 노리는 변경입니다.
희소 활성 구성: 64개 전문가 중 6개 + 상시 동작하는 공유 전문가 2개
모델은 27 개의 디코더 층으로 구성되며 은닉 차원(hidden size)은 2048 입니다. MoE 층에서는 공유 전문가(shared expert)와 라우팅 전문가(routed expert)를 함께 쓰는 설계 를 채택했습니다. 구체적으로 모든 토큰이 항상 통과하는 공유 전문가 2 개가 있고, 그와 별도로 64 개의 라우팅 전문가 후보 중에서 토큰마다 6 개가 선택됩니다.
공개된 체크포인트의 config.json 을 보면 블로그에 없는 세부가 몇 가지 더 드러납니다. 27 개 층이 전부 MoE 층인 것은 아니어서, 첫 층 하나만 일반 밀집 FFN이고(first_k_dense_replace: 1) 나머지 26 개 층이 MoE 층입니다. 밀집 층의 중간 차원은 10944 인 반면 전문가 하나의 중간 차원은 1408 로 훨씬 작아, 큰 FFN 하나를 잘게 쪼개 놓은 형태에 가깝습니다.
이 구조의 의도를 이해하려면 순수 라우팅 방식의 약점을 먼저 봐야 합니다. 모든 전문가를 라우팅에만 맡기면, 어떤 토큰에도 공통으로 필요한 기초 지식(문법, 흔한 관용 표현 등)을 여러 전문가가 중복으로 학습하게 됩니다. 공유 전문가는 그 공통 부분을 전담해서 떠맡고, 라우팅 전문가는 특화된 패턴에 용량을 쓰게 됩니다. 도서관에서 모든 열람실에 사전을 한 부씩 두는 대신, 입구에 공용 사전을 두고 각 열람실은 전공 서적에만 집중하는 것과 비슷합니다.
토큰을 어느 전문가로 보낼지 정하는 라우터도 눈여겨볼 만합니다. 설정 파일 기준으로 라우터는 소프트맥스가 아니라 시그모이드로 전문가별 점수를 매기고(scoring_func: sigmoid), 부하 균형은 보조 손실 없이 편향값으로 맞춥니다(topk_method: noaux_tc). DeepSeek-V3가 도입한 방식으로, 특정 전문가에 토큰이 몰리면 그 전문가의 라우터 편향(router bias) 을 조금 내리고 한산한 전문가는 올려 물량을 분산시킵니다. 뒤의 DPO 단계에서 학습을 흔드는 범인으로 지목되는 것이 바로 이 편향값입니다.
전체 16B 파라미터 중 매 토큰에 실제로 쓰이는 것은 2.8B , 비율로는 약 17.5\% 입니다. 사전학습과 미드트레이닝 단계에서는 다음 토큰 하나만 예측하는 대신 여러 토큰을 함께 예측하는 다중 토큰 예측(Multi-Token Prediction, MTP) 목적 함수를 함께 사용해 학습 신호를 더 촘촘하게 만들었습니다. 이는 DeepSeek-V3 가 채택해 널리 알려진 기법입니다. 공개된 체크포인트에도 흔적이 남아 있어, Pretrain과 Base 설정에는 MTP 헤드가 한 층 선언되어 있고(num_nextn_predict_layers: 1) 사후 학습을 마친 Think 체크포인트에서는 0 으로 빠져 있습니다. 저장소의 데이터 전처리 스크립트를 보면 토크나이저도 DeepSeek-V3의 것을 그대로 쓰며(어휘 크기 128{,}896), HF 설정의 model_type 역시 deepseek_v3 에 gated_attention 과 farskip 플래그를 얹은 형태입니다. DeepSeek 계보 위에 두 가지 변형을 올렸다는 사실이 코드 수준에서도 확인되는 셈입니다.
| 항목 | 값 |
|---|---|
| 전체 파라미터 | 16B |
| 토큰당 활성 파라미터 | 2.8B |
| 디코더 층 | 27 (첫 층 밀집, 나머지 26 층 MoE) |
| 은닉 차원 | 2048 |
| 어텐션 헤드 | 16 |
| 라우팅 전문가 | 64 개 중 토큰당 6 개 |
| 공유 전문가 | 2 개 |
| 어휘 크기 | 128{,}896 (DeepSeek-V3 토크나이저) |
| 어텐션 | Gated MLA |
| MoE 연결 방식 | FarSkip-Collective |
Gated MLA: 어텐션 출력에 데이터 의존 게이트를 곱하다
다중 헤드 잠재 어텐션(Multi-head Latent Attention, MLA) 은 DeepSeek-V2에서 제안된 어텐션 변형으로, 키와 값을 저차원 잠재 공간으로 압축해 KV 캐시 크기를 크게 줄이는 기법입니다. 롱컨텍스트 추론에서 KV 캐시는 메모리 사용량의 지배적인 요인이므로, 64K 컨텍스트를 목표로 하는 모델에게는 자연스러운 선택입니다. 설정 파일 기준으로 어텐션 헤드는 16 개이고 키와 값은 랭크 512 의 잠재 공간으로 압축됩니다(kv_lora_rank: 512). 쿼리와 키의 헤드 차원은 위치 정보를 담지 않는 96 과 RoPE가 적용되는 32 로 나뉘며, 값 헤드 차원은 128 입니다.
연구팀은 여기에 학습되는 출력 게이트(learned output gate) 를 덧붙였고, 이 설계를 Gated MLA 라 부릅니다. 동작은 간단합니다. 각 Gated MLA 층은 별도의 선형 투영(linear projection)을 통해 입력에 조건화된 게이트 값을 만들고, 그 게이트를 출력 투영(output projection) 직전의 MLA 출력에 곱셈으로 적용합니다. 게이트 g 와 어텐션 출력에 대해 W_o (g \odot \text{MLA}(x)) 형태가 되는 셈입니다 (게이트 활성 함수 등 정확한 수식 형태는 테크니컬 리포트 공개 후에 확인할 수 있습니다).
이 한 줄짜리 변경이 왜 의미가 있을까요? 표준 어텐션은 소프트맥스로 정규화된 가중 평균이므로, 어떤 토큰에 대해 "참고할 만한 것이 딱히 없다"는 상황에서도 무언가를 반드시 섞어서 내보냅니다. 게이트는 그런 저효용 어텐션 응답을 토큰 단위로 선택적으로 감쇠시킬 수 있게 해 줍니다. 회의에서 발언할 내용이 없을 때 억지로 말을 만들지 않고 침묵을 선택할 수 있는 것과 같은 자유도입니다. 원문은 이 변경이 "데이터 의존적인 비선형성을 도입해 적은 비용으로 모델 표현력을 높인다"고 설명합니다. 추가되는 파라미터는 게이트 투영 하나뿐이므로 계산 비용 증가는 미미합니다.
FarSkip-Collective: 통신이 끝나기를 기다리지 않는 MoE
Gated MLA가 품질을 위한 변경이었다면, FarSkip-Collective 는 순전히 속도를 위한 변경입니다. 문제의 출발점은 MoE를 여러 GPU에 나눠 돌릴 때 생기는 통신 지연입니다.
대형 MoE는 한 장의 GPU에 올라가지 않으므로, 각 층의 전문가들을 여러 GPU에 분산시키는 전문가 병렬화(Expert Parallelism, EP) 를 씁니다. 이 구조에서는 각 층을 처리할 때마다 GPU들이 서로의 전문가 계산 결과를 집합 통신(collective communication)으로 동기화해야 합니다. 그런데 다음 층 계산은 이번 층의 동기화된 출력에 의존하므로, 통신이 끝날 때까지 GPU 연산 장치는 아무것도 하지 않고 대기합니다. 이 유휴 구간이 바로 블로킹 통신 버블(blocking communication bubble) 입니다. 여러 명이 릴레이로 문서를 검토하는데, 앞 사람이 넘겨줄 때까지 뒷사람이 손을 놓고 기다리는 상황입니다.
FarSkip-Collective의 발상은 도발적입니다. 동기화가 끝나기를 기다리지 않고, 이미 손에 있는 오래된(outdated) 또는 부분적인(partial) 활성값을 MoE 층과 어텐션 층에 그대로 흘려보내 계산을 먼저 시작합니다. 동기화는 그 계산과 병렬로 계속 진행되고, 통신이 완료되면 그 결과를 다음 층 뒤의 잔차(residual) 연결에 더해 줍니다. 집합 통신을 다음 연산의 끝지점으로 "멀리 건너뛰게(far-skip)" 만드는 셈입니다. 정보가 유실되는 것이 아니라 도착 시점이 한 층 늦춰지는 것이므로, 모든 층의 정보 전파는 최종적으로 보장됩니다.
그렇다면 정확도는 희생되지 않을까요? FarSkip-Collective 연구 는 DeepSeek-V2-Lite 구성(16B 파라미터, 활성 3B)으로 50B 토큰을 학습한 사전학습 어블레이션에서 표준 MoE와 동등한 학습 손실 곡선을 얻었다고 보고합니다. Instella-MoE는 이 구조를 처음부터 적용해 학습한 대규모 사례입니다.
효과는 실측 수치로 확인됩니다. 사전학습에서는 전문가 병렬화로 발생하는 통신을 겹쳐 처리해 학습 속도가 12.7\% 향상 되었습니다. 이 이득을 실제로 거두려면 순전파와 역전파의 통신을 모두 겹칠 수 있는 최적화된 구현이 필요했고, 연구팀은 이를 Primus 프레임워크 안에 구현했습니다. 추론에서는 SGLang 엔진 위에 FarSkip-Collective를 얹었고, 전문가 병렬화로 서빙할 때 첫 토큰 응답 시간(Time to First Token, TTFT) 관련 지표가 최대 39.2\% 개선 되었다고 보고합니다. 위 그림은 표준 MoE를 100 으로 정규화한 처리량 기준으로 학습 112.7 , TTFT 139.2 를 보여줍니다.
여기서 한 가지 짚어 둘 것이 있습니다. 원문은 같은 39.2 라는 숫자를 본문에서는 "TTFT가 39.2\% 감소"로, 그림에서는 "TTFT 처리량 139.2"로 쓰는데 두 표현은 서로 맞지 않습니다. 처리량이 39.2\% 늘었다면 지연은 약 28\% 줄어든 것이고, 반대로 지연이 39.2\% 줄었다면 정규화 처리량은 164.5 여야 합니다. 그림의 세로축이 명시적으로 처리량인 만큼 본문 쪽 서술이 느슨한 것으로 보이며, 정확한 정의는 테크니컬 리포트 공개 후에 확인하는 편이 안전합니다. 어느 쪽으로 읽든 같은 하드웨어에서 아키텍처 변경만으로 얻은 이득이라는 점은 달라지지 않습니다.
6단계 학습 파이프라인
Instella-MoE는 여섯 단계를 순차적으로 거치며, 각 단계는 이전 단계의 체크포인트에서 이어서 학습합니다. 앞의 세 단계가 베이스 모델을 만들고, 뒤의 세 단계가 사후 학습(post-training)과 정렬(alignment)을 담당합니다.
1단계: 7.1조 토큰 사전학습
첫 단계는 웹 텍스트, 코드, 수학, 과학 데이터를 포함한 7.1T 토큰 규모의 코퍼스로 처음부터 학습하는 과정입니다. 배합은 최근 공개된 고품질 오픈 데이터셋에서 주로 가져왔으며, 자연어 이해, 세계 지식, 추론(reasoning), 코딩, 수학에 걸친 기초 능력을 만드는 것이 목표입니다.
구체적인 출처를 보면 데이터 큐레이션의 최근 흐름이 그대로 읽힙니다. 웹 데이터는 Nemotron-CC-v2, 수학은 Nemotron-CC-Math-v1 과 MegaMath 및 FineMath, 코드는 RefineCode 와 Nemotron-Pretraining-Code-v1, 사전학습 단계에 미리 섞는 SFT 형식 데이터는 Nemotron-Pretraining-SFT-v1, 그 외 영역은 TxT360 을 사용했습니다. 자체 크롤링 데이터를 비공개로 쓰지 않고 공개 데이터셋으로만 구성했다는 점이, 이 레시피를 다른 팀이 그대로 재현할 수 있게 만드는 핵심입니다.
2단계: 미드트레이닝과 세 갈래 체크포인트 병합
미드트레이닝은 사전학습 모델 위에서 수학, 코딩, 추론 같은 핵심 능력을 집중적으로 다듬는 단계입니다. 핵심 데이터 배합으로는 Dolma3 Dolmino 100B 를 사용하고, 여기에 큐레이션된 수학, 코드, 과학, 지시 따르기, 독해 데이터를 강조해 넣습니다.
흥미로운 것은 이 단계를 한 번만 돌리지 않았다는 점입니다. 연구팀은 STEM과 추론 영역의 비중을 달리한 세 가지 데이터 배합 변형 으로 각각 학습해 서로 다른 체크포인트 midtrain_v1, midtrain_v2, midtrain_v3 를 만들고, 이 셋의 Hugging Face 가중치를 가중 평균(weight averaging)으로 병합 해 최종 미드트레이닝 체크포인트를 만들었습니다. 저장소의 merge_hf_ckpts.py 스크립트에서 세 체크포인트에 동일 가중치 1.0 을 주고 float32 정밀도로 병합하는 것을 확인할 수 있습니다.
이 방식이 통하는 이유는, 같은 초기값에서 갈라져 나온 모델들은 손실 지형(loss landscape)의 같은 분지 안에 머무는 경향이 있어 단순 평균만으로도 각 배합의 장점을 동시에 얻을 수 있기 때문입니다. 세 명의 전문가가 각자 다른 자료로 공부한 뒤 지식을 합치는 것과 비슷하며, 어느 한 배합에 과도하게 의존해 생기는 편향을 줄이는 효과도 있습니다.
3단계: 4K에서 64K로, 롱컨텍스트 확장
미드트레이닝 체크포인트에서 출발해 컨텍스트 윈도우를 학습 중 4K 에서 64K 토큰으로 확장하는 단계이며, 이 결과물이 최종 베이스 모델인 Instella-MoE-16B-A3B-Base입니다. 데이터는 일관성 있는 장문 문서로 구성된 Longmino 100B 코퍼스를 사용했습니다.
컨텍스트를 16\times 로 늘리려면 위치 인코딩을 손봐야 합니다. 연구팀은 YaRN 위치 인코딩을 도입하고 RoPE의 \theta 파라미터를 사전학습 값보다 크게 올렸습니다. RoPE의 \theta 는 위치 신호의 주기를 결정하는데, 값을 키우면 회전 주파수가 낮아져 더 긴 거리까지 위치를 구분할 수 있게 됩니다. 악보의 가로 축척을 늘려 더 긴 곡을 한 장에 담는 것에 비유할 수 있습니다.
원문은 "크게 올렸다"고만 적지만, 공개된 두 체크포인트의 설정 파일을 나란히 놓으면 그 폭이 그대로 보입니다. Pretrain 체크포인트는 rope_theta 가 10{,}000 이고 최대 위치 임베딩이 4{,}096 인데, 롱컨텍스트 확장을 마친 Base 체크포인트는 rope_theta 가 8{,}000{,}000 으로 800 배 커지고 최대 위치 임베딩도 65{,}536 으로 올라갑니다. YaRN 설정은 기준 길이 4{,}096 에 확장 계수 40 입니다.
여기에 실무적으로 중요한 처리가 하나 더 들어갑니다. 롱컨텍스트 학습에서는 짧은 문서 여러 개를 하나의 시퀀스로 이어 붙여(packing) 배치를 채우는데, 이때 어텐션이 문서 경계를 넘어가면 서로 무관한 문서의 정보가 섞이는 어텐션 누출(attention leakage) 이 발생합니다. 연구팀은 문서 마스킹(document masking) 을 도입해 각 토큰이 자기 문서 안에서만 어텐션을 계산하도록 제한했습니다. 저장소에서 이 단계의 실행 태스크 이름이 docmask 인 것도 이 때문입니다.
롱컨텍스트 단계는 두 개의 위상(phase)으로 나뉩니다. 첫 위상은 일반 장문 배합으로 64K 윈도우 전체에 걸쳐 정보를 참조하는 능력 자체를 가르치고, 두 번째 위상은 수학, 코드, 추론 중심 과제로 롱컨텍스트 성능을 날카롭게 다듬습니다. 두 번째 위상 데이터는 Dolma3 Dolmino 의 수학 및 코딩 부분집합과 Instella GSM8K-synthetic, MegaMath 등에서 가져왔습니다.
4단계: SFT와 약점을 겨냥한 피드백 기반 데이터 큐레이션
지도 미세조정(SFT) 단계는 베이스 모델 위에서 진행되며, Dolci-Think-SFT-7B 를 기반으로 Nemotron-Cascade-2-SFT-Data 와 Nemotron-SFT-Competitive-Programming-v2 의 수학, 코드, 과학 데이터를 추가로 섞었습니다. SFT도 두 위상으로 나뉘는데, 첫 위상은 일반 배합으로 학습하고 두 번째 위상에서 큐레이션된 배합으로 어닐링(annealing)합니다.
이 두 번째 위상이 이 파이프라인에서 가장 독창적인 부분입니다. 통상적인 SFT는 데이터 풀에서 균등 샘플링을 하지만, 연구팀은 모델이 아직 못 하는 것을 찾아내 그것만 겨냥한 데이터를 다시 뽑아 오는 피드백 루프 를 만들었습니다. 절차는 다음과 같습니다.
- 중간 SFT 체크포인트로 홀드아웃 검증 데이터에 대한 응답을 생성합니다.
- 강력한 심판 모델(judge model)이 그 응답들을 분석하고 상세한 피드백을 제공합니다.
- 성찰 모델(reflection model)이 피드백에서 반복되는 오류 패턴을 식별하고, 가중치가 부여된 검색 쿼리 집합을 생성합니다.
- 그 쿼리와 가중치를 기준으로 임베딩된 대규모 SFT 데이터 풀에서 유사도 기반 검색으로 학습 예시를 선별합니다.
- 선별된 예시를 각 도메인에서 균등 샘플링한 예시와 혼합해 능력 커버리지를 유지합니다.
이 과정으로 최종 위상용 512K 개 예시 배합이 만들어졌습니다. 원문은 균등 샘플링 대비 이 큐레이션 배합으로 학습했을 때 "특히 수학과 코딩 벤치마크에서 성능이 눈에 띄게 향상되었다"고 보고합니다. 학생이 모의고사를 본 뒤 채점 결과에서 자기 약점 유형을 뽑아내고, 그 유형의 문제만 골라 다시 푸는 학습 전략과 정확히 같은 구조입니다.
5단계: DPO에서 드러난 MoE 특유의 불안정성
다음은 대조 선호 데이터에 직접 선호 최적화(Direct Preference Optimization, DPO)를 적용하는 단계입니다. SFT가 좋은 응답을 모방하는 학습이라면, DPO는 선택된 응답과 거부된 응답의 차이 자체를 학습 신호로 쓰기 때문에 모방만으로는 얻을 수 없는 추가 신호를 줍니다. 원문은 이 효과의 근거로 Olmo 3 를 인용합니다.
그런데 연구팀은 예비 실험에서 예상 밖의 문제를 만났습니다. MoE 모델에 DPO를 그대로 적용하면 성능이 오히려 나빠졌습니다. 연구팀은 그 원인이 부하 균형(load-balancing) 목적 함수와 관련되어 있다고 추정합니다. MoE 학습에는 전문가들이 골고루 쓰이도록 유도하는 보조 손실과 라우터 편향(router bias) 조정이 들어가는데, 앞서 아키텍처 절에서 본 noaux_tc 방식의 편향 조정이 바로 그것이고, 이 장치들이 전문가에 대한 라우터의 선호도를 빠르게 흔들어 놓는다는 것입니다. DPO는 선호 쌍의 미세한 확률 차이를 다루는 학습인데, 그 아래에서 토큰이 어느 전문가로 가는지가 계속 바뀌면 학습 신호 자체가 흐려집니다. 악기를 조율하는 중에 누군가 계속 현을 바꿔 끼우는 상황에 가깝습니다.
해결책은 단순하고 효과적이었습니다. DPO 동안에는 라우터 편향 업데이트와 보조 부하 균형 손실을 모두 끕니다. 이렇게 하자 성능 저하가 사라졌고, 전문가 부하 균형도 나빠지지 않았습니다. 이미 앞 단계에서 충분히 자리를 잡은 라우팅을, DPO 구간에서는 흔드는 장치를 빼 둔 채 두는 편이 낫다는 뜻입니다. 실행 측면에서는 참조 모델의 로그 확률을 순전파만으로 미리 계산해 캐시하는 단계와 실제 DPO 학습 단계를 분리해 두 단계로 돌립니다.
6단계: 강화학습, IF 전문가를 만들고 MOPD로 되돌리기
마지막은 강화학습(Reinforcement Learning, RL) 단계입니다. AMD Instinct GPU에서 ROCm을 지원하는 Miles RL 프레임워크 로 수행했으며, Miles는 SGLang과 Slime RL 생태계 위에 구축된 오픈소스 대규모 사후 학습 프레임워크입니다. 분산 롤아웃 생성, GRPO 및 PPO 정책 최적화, 온폴리시(on-policy) 학습 루프, Ray 기반 다중 노드 오케스트레이션, Megatron-LM 및 SGLang 연동을 제공합니다.
연구팀이 RL의 목표를 좁게 잡은 판단이 눈에 띕니다. DPO 모델이 이미 수학, 코드, 지식 영역에서 높은 점수를 냈으므로, RL은 지시 따르기(Instruction Following, IF) 능력 개선에 집중했습니다. 문제는 특정 능력만 RL로 밀어 올리면 다른 능력이 퇴화한다는 점입니다. 그래서 두 단계로 나눴습니다.
1단계: IF 특화 강화학습
먼저 Dolci-Think-RL-7B 의 IF-RLVR 부분집합으로 1{,}400 스텝을 학습해 IF 전문가(IF expert) 를 만듭니다. 비동기 학습을 쓰고 최대 응답 길이는 16K 토큰까지 허용했습니다.
기본 알고리즘은 GRPO 이고, 여기에 DAPO 와 Understanding R1-Zero-Like Training 두 연구에서 검증된 개선들을 얹었습니다. 그래디언트가 0 인 신호를 걸러내는 필터링, 유효한 학습 신호를 주는 표본을 골라 쓰는 능동 샘플링(active sampling), 시퀀스가 아닌 토큰 단위 손실, KL 손실 제거, 클리핑 상한을 높이는 clip-higher, 표준편차 정규화 제거가 그 목록입니다.
여기에 MoE 특유의 문제를 다루는 롤아웃 라우팅 재현(Rollout Routing Replay, R3) 이 추가됩니다. MoE에 RL을 적용할 때는 롤아웃을 생성하는 추론 엔진과 정책을 갱신하는 학습 엔진에서 같은 토큰이 서로 다른 전문가로 라우팅될 수 있고, 그러면 정책 그래디언트 계산이 실제 생성 과정과 어긋납니다. R3는 롤아웃 시점의 라우팅 결정을 학습 시점에 그대로 재사용해 이 불일치를 없앱니다. 논문 제목이 "학습과 추론 라우터를 정렬해 MoE 강화학습을 안정화한다"인 데서 알 수 있듯, MoE에 RL을 붙일 때 실무적으로 가장 자주 걸리는 지점입니다.
2단계: 다중 교사 온폴리시 증류(MOPD)
IF 전문가는 지시 따르기를 잘하게 되었지만 수학적 추론 같은 다른 영역에서 퇴화했습니다. 이를 되돌리기 위해 다중 교사 온폴리시 증류(Multi-Teacher On-Policy Distillation, MOPD) 를 적용합니다.
메커니즘은 위 그림에 잘 담겨 있습니다. 학생 모델은 DPO 모델에서 초기화되고, 자기 자신의 온폴리시 롤아웃 위에서 증류를 받습니다. 각 롤아웃은 프롬프트의 도메인에 따라 서로 다른 교사에게 배정됩니다. 지시 따르기 프롬프트는 IF-RL 교사가 채점하고, 수학, 코드, 일반 등 나머지 프롬프트는 동결된 DPO 모델 자신 이 채점합니다. 손실은 토큰 단위 역방향 KL(token-level reverse KL)이며, 저장소의 준비 스크립트를 보면 도메인 태그가 붙은 프롬프트 집합을 IF 비중 0.5 로 구성합니다.
이 설계에서 가장 영리한 부분은 비 IF 영역의 교사가 학생의 초기화 모델 자신이라는 점입니다. 이 경우 교사는 새로운 것을 가르치는 존재가 아니라 자기 앵커링 정규화(self-anchoring regularizer) 로 작동해 수학과 일반 능력이 흘러내리지 않게 붙들어 둡니다. 그 사이 IF 도메인의 신호만 실제로 성능을 끌어올립니다. 한 과목 성적을 올리는 동안 다른 과목은 과거의 자기 답안을 기준으로 삼아 유지하는 방식입니다.
RL 단계별 결과를 보면 이 설계 의도가 수치로 확인됩니다.
| RL 단계 | AGIEval | AIME24 | AIME25 | IFEval | MATH | MMLU | 평균 |
|---|---|---|---|---|---|---|---|
| DPO | 81.5 | 77.4 | 73.2 | 77.1 | 94.9 | 81.7 | 75.0 |
| IF-RL (IF 전문가) | 81.3 | 74.3 | 65.2 | 84.1 | 92.1 | 81.3 | 74.3 |
| MOPD (Think) | 82.5 | 76.9 | 73.4 | 83.7 | 94.8 | 81.3 | 75.7 |
IF 전문가는 IFEval을 77.1 에서 84.1 로 크게 올렸지만, AIME25가 73.2 에서 65.2 로 무너지면서 평균은 오히려 75.0 에서 74.3 으로 떨어졌습니다. MOPD를 적용한 최종 모델은 IFEval 83.7 로 IF 전문가의 이득을 거의 유지하면서 AIME25를 73.4 로, MATH를 94.8 로 복원해 평균 75.7 을 기록합니다. 능력 하나를 얻고 다른 하나를 잃는 교환을 상당 부분 우회한 셈입니다.
실험 결과 및 성능 분석
평가는 파이프라인의 두 지점, 즉 최종 베이스 모델(Instella-MoE-16B-A3B-Base)과 최종 사후 학습 모델(Instella-MoE-16B-A3B-Think)에서 수행되었습니다. 비교 대상은 완전 오픈 모델과 오픈 웨이트 모델 양쪽이며, 사후 학습 모델 평가는 OLMES 프레임워크로 최대 32{,}768 토큰까지 생성하는 조건에서 진행했습니다.
사용된 벤치마크는 크게 다섯 갈래입니다. ARC-E와 ARC-C, BoolQ, SciQ, PiQA, HellaSwag, WinoGrande(WG), OpenBookQA(OBQA)는 상식 추론과 언어 이해를 측정하고, MMLU와 AGIEval, GPQA는 지식 및 시험형 추론을, GSM8K와 MATH, Minerva, AIME24/25는 수학 문제 해결을, HumanEval+(HE+)와 MBPP+, LiveCodeBench(LCB)는 코드 생성을 측정합니다. 사후 학습 모델 평가에는 지시를 규칙 기반으로 채점하는 IFEval과 응답 품질을 겨루는 AlpacaEval이 추가됩니다. 롱컨텍스트는 실제 응용 과제를 모은 HELMET과, 긴 입력 속에 심어 둔 정보를 찾게 해 유효 컨텍스트 길이를 재는 RULER로 측정합니다.
베이스 모델: 표준 벤치마크
표준 벤치마크에서 최종 베이스 체크포인트는 평균 76.7 점을 기록해 완전 오픈 모델 가운데 가장 높은 점수 를 냈습니다. 같은 부류인 SmolLM3-3B-Base 70.5 , OLMo-3-7B 70.1 , OLMoE-1B-7B 61.9 와 비교하면 격차가 상당합니다.
오픈 웨이트 모델과 비교해도 경쟁력이 있습니다. 같은 활성 파라미터 대역의 MoE인 Moonlight-16B-A3B(76.2)를 평균에서 앞섰고, 표에서 Instella-MoE를 앞선 모델은 Qwen3.5-4B-Base(79.5) 하나뿐입니다. 개별 항목에서는 WinoGrande 86.5 와 HumanEval+ 65.7 로 표에 실린 모든 모델 중 1위를 기록했습니다. 코딩 쪽에서 HumanEval+ 2위가 Qwen3.5-4B-Base의 55.8 이라는 점을 감안하면 격차가 작지 않습니다. 반면 MMLU(67.8)는 Qwen3.5-4B-Base(77.3)나 Moonlight(71.3)보다 낮아, 지식 집약 항목에서는 오픈 웨이트 모델에 뒤집니다. 지식, 추론, 수학, 코드에 걸쳐 특정 영역에 몰리지 않은 균형이 눈에 띄지만, 항목별로는 이렇게 강약이 갈립니다.
이 결과의 의미는 절대 점수보다 점수 대비 계산량 에 있습니다. 매 토큰 2.8B 파라미터만 활성화하면서, 두 배 넘게 활성화하는 완전 오픈 밀집 모델 OLMo-3-7B를 앞섰습니다. MoE의 이론적 이점을 완전 오픈 레시피로도 실현할 수 있다는 실증입니다.
베이스 모델: 롱컨텍스트 성능(HELMET, RULER)
롱컨텍스트 능력은 HELMET과 RULER 두 벤치마크로 8K 부터 64K 까지 측정했습니다. Instella-MoE-16B-A3B-Base는 HELMET 평균 41.5 , RULER 평균 79.4 를 기록했습니다.
| 모델 | 분류 | HELMET 평균 | RULER 평균 |
|---|---|---|---|
| Llama-3.2-3B | 오픈 웨이트 | 39.6 | 0.0 |
| Gemma-4-E2B | 오픈 웨이트 | 42.3 | 83.1 |
| Gemma-4-E4B | 오픈 웨이트 | 43.8 | 89.4 |
| Qwen3.5-2B-Base | 오픈 웨이트 | 44.3 | 86.1 |
| Qwen3.5-4B-Base | 오픈 웨이트 | 50.2 | 89.1 |
| DeepSeek-V2-Lite | 오픈 웨이트 | 32.4 | 64.6 |
| Moonlight-16B-A3B | 오픈 웨이트 | 12.0 | 22.4 |
| OLMoE-1B-7B | 완전 오픈 | 2.1 | 0.1 |
| SmolLM3-3B-Base | 완전 오픈 | 37.6 | 78.6 |
| OLMo-3-7B | 완전 오픈 | 43.1 | 80.2 |
| Instella-MoE-16B-A3B-Base | 완전 오픈 | 41.5 | 79.4 |
완전 오픈 모델 중에서는 밀집 모델 OLMo-3-7B(43.1 / 80.2)와 거의 대등하고 SmolLM3-3B-Base(37.6 / 78.6)보다 분명히 앞섭니다. 길이별로 보면 RULER에서 8K 86.2 , 16K 82.8 , 32K 77.9 , 64K 70.8 로 서서히 감소하며, 64K 까지 사용 가능한 성능을 유지합니다. HELMET도 44.7 , 43.1 , 41.9 , 36.2 로 급락 없이 내려갑니다. 흥미로운 것은 가장 긴 64K 구간의 RULER에서는 Instella-MoE(70.8)가 OLMo-3-7B(67.8)를 오히려 앞선다는 점입니다. 평균에서 뒤진 것은 짧은 구간의 격차 때문이며, 긴 입력일수록 격차가 좁혀지거나 역전됩니다.
이 표에서 더 눈여겨볼 것은 몇몇 모델의 붕괴입니다. 표준 벤치마크에서 Instella-MoE와 비슷한 점수(76.2)를 냈던 Moonlight-16B-A3B는 8K 에서는 RULER 89.5 , HELMET 44.4 로 정상이지만 16K 부터 두 지표가 모두 0 에 가깝게 무너져 평균이 22.4 / 12.0 에 머무릅니다. OLMoE-1B-7B는 HELMET 2.1 , RULER 0.1 로 사실상 롱컨텍스트를 지원하지 못하고, Llama-3.2-3B도 RULER 0.0 입니다. 짧은 컨텍스트 평균 점수만 보고 모델을 고르면 실제 긴 문서 작업에서 완전히 다른 결과를 만난다는 뜻이며, 3단계의 롱컨텍스트 확장이 단순한 설정 변경이 아니라 별도의 학습 투자를 요구하는 작업임을 보여줍니다.
사후 학습 모델: SFT에서 Think까지
사후 학습 각 단계에서 성능은 꾸준히 올라갑니다. Instella-MoE-16B-A3B-SFT 71.58 , DPO 72.67 , 최종 Think 73.22 로, 단계마다 실질적인 이득이 누적되었습니다.
최종 Think 모델은 완전 오픈 모델 가운데 가장 높은 평균 을 기록해 Olmo3-7B-Think(71.97)를 앞섰고, 오픈 웨이트 모델인 Gemma-4-E4B(think)(70.47)와 Qwen3.5-4B(69.73)보다도 높았습니다. RL을 지시 따르기에 집중한 결정과 일관되게, 마지막 단계의 가장 큰 이득은 IFEval에서 나왔습니다. DPO의 77.08 에서 83.70 으로 올랐으면서 수학, 코드, MMLU 성능은 유지되었습니다. AGIEval 82.50 은 완전 오픈 모델 중 1위이고, AIME25 73.40 은 표에 실린 모든 모델 가운데 가장 높습니다.
특히 AIME25에서 Qwen3.5-4B가 51.88 , Gemma-4-E4B(think)가 42.92 인 것과 비교하면 격차가 큽니다. 다만 평균 점수 우위를 전반적 능력 우위로 확대 해석하는 것은 조심할 필요가 있습니다. 항목별로 뜯어보면 Gemma-4-E4B(think)는 IFEval(87.80), HumanEval+(89.63), MBPP+(65.82), LCB(57.58), MMLU(83.59), AGIEval(83.53)에서 Instella-MoE-Think보다 높고, Qwen3.5-4B도 AGIEval(90.20), GPQA(69.64), MMLU(87.09), AlpacaEval(66.49)에서 앞섭니다. Instella-MoE-Think가 평균에서 이들을 앞선 것은 AIME24/25와 MATH 같은 수학 항목에서 벌어 놓은 격차가 크기 때문이며, 사후 학습 배합의 수학 비중이 결과를 상당히 좌우했다고 볼 수 있습니다. 대화형 응답 품질을 보는 AlpacaEval(45.81)은 비교 대상 중 낮은 편이라, 챗봇 용도로는 별도의 평가가 필요합니다.
한계와 남은 과제
Instella-MoE는 인상적인 결과를 냈지만, 실제로 쓰려는 입장에서 짚어야 할 제약이 여럿 있습니다.
라이선스가 연구 목적으로 제한됩니다. 모델 가중치는 학술 및 연구 목적의 Research RAIL 라이선스로 배포되므로, 상업적 서비스에 그대로 투입할 수 없습니다. 학습 코드베이스는 MIT 라이선스이므로 레시피를 참고해 자체 모델을 만드는 것은 가능하지만, 공개된 가중치 자체의 활용 범위는 명확히 좁습니다. 완전 오픈 모델의 가치가 재현성에 있다는 점을 감안하면 납득 가능한 절충이지만, Apache 2.0으로 배포되는 OLMo 계열과 비교하면 아쉬운 지점입니다.
다국어 능력이 검증되지 않았습니다. 원문은 모델의 다국어 능력을 테스트하지 않았으며, 따라서 다른 언어에서 입력을 오해하거나 잘못된 응답을 생성할 수 있다고 명시합니다. 한국어 사용자 입장에서 가장 실질적인 제약입니다. 사전학습 배합이 영어 중심 공개 데이터셋으로 구성된 점을 보면 예상 가능한 결과이며, 한국어 작업에 쓰려면 별도 평가와 추가 학습이 필요합니다.
안전성 보장이 없습니다. 체크포인트는 안전성 약속 없이 공개되었고, 원문은 사실 정확성이 중요한 용도, 안전이 중요한 애플리케이션, 보건 및 의료 용도에는 사용하지 말라고 명시합니다. 사용자가 직접 종합적인 평가와 안전 필터링을 구현해야 합니다.
64K 컨텍스트는 베이스 체크포인트의 이야기입니다. 롱컨텍스트 확장의 결과물인 Instella-MoE-16B-A3B-Base는 설정 파일에서 최대 위치 임베딩이 65{,}536 이지만, 사후 학습을 모두 마친 Instella-MoE-16B-A3B-Think는 32{,}768 로 선언되어 있습니다. 원문의 사후 학습 평가도 최대 32{,}768 토큰 생성 조건에서 수행되었습니다. 즉 롱컨텍스트 벤치마크 수치는 베이스 모델의 것이며, 최종 대화 모델로 64K 입력을 넣으려는 경우에는 별도 확인이 필요합니다.
테크니컬 리포트가 아직 공개되지 않았습니다. 원문은 리포트가 곧 나올 예정이라고 밝히며, 현재는 Instella-3B 논문과 FarSkip-Collective 논문을 인용하도록 안내합니다. 따라서 Gated MLA의 정확한 수식 형태, 미드트레이닝 세 배합의 구체적 비율, 학습 하이퍼파라미터, 사용된 GPU 규모 같은 세부는 블로그와 저장소의 설정 파일을 통해 간접적으로만 확인할 수 있습니다. 다만 설정 파일 자체가 공개되어 있어 대부분의 세부는 코드에서 역추적할 수 있습니다.
성능 면의 남은 과제도 분명합니다. 롱컨텍스트에서 완전 오픈 밀집 모델 OLMo-3-7B에 HELMET 41.5 대 43.1 , RULER 79.4 대 80.2 로 약간 뒤집니다. MOPD도 IF 전문가의 IFEval 84.1 을 83.7 까지만 회복하므로, 능력 통합 과정에서의 손실을 완전히 없애지는 못했습니다. 표준 벤치마크에서는 Qwen3.5-4B-Base와 여전히 2.8 점 차이가 있고, MMLU 같은 지식 항목의 격차는 그보다 큽니다. 연구팀은 앞으로 더 큰 모델, 개선된 추론 능력, 강화된 지시 따르기, 추가적인 효율 개선으로 이 작업을 이어갈 계획이라고 밝혔습니다.
이런 제약을 감안해도, 이 연구가 오픈 모델 생태계에 남기는 기여는 뚜렷합니다. 지금까지 공개된 최신 오픈 모델은 사전학습부터 강화학습까지 거의 전부 하나의 하드웨어 및 소프트웨어 생태계에서 만들어졌고, 그 사실은 논의되기보다 전제로 받아들여져 왔습니다. Instella-MoE는 하드웨어부터 학습 프레임워크와 RL 프레임워크와 추론 엔진까지 다른 조합으로도 최신 MoE를 끝까지 만들어낼 수 있음을 실물로 증명했습니다. 여기에 FarSkip-Collective처럼 통신 패턴을 아키텍처 차원에서 재설계하는 접근은, MoE 확장의 병목이 계산량에서 통신으로 옮겨가는 흐름에서 특정 하드웨어에 국한되지 않는 일반적 가치를 가집니다. 모든 단계의 체크포인트가 공개되었다는 점은 후속 연구자에게 특히 유용합니다. 각 단계가 어떤 능력을 만들어내는지를 직접 측정할 수 있는, 흔치 않은 실험 재료이기 때문입니다.
Instella-MoE 설치 및 사용 방법
Instella-MoE는 Hugging Face transformers 로 곧바로 불러올 수 있습니다. 커스텀 아키텍처이므로 trust_remote_code=True 가 필요합니다.
from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "amd/Instella-MoE-16B-A3B-Think"
tokenizer = AutoTokenizer.from_pretrained(checkpoint, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
checkpoint, device_map="auto", trust_remote_code=True
)
prompt = [{"role": "user", "content": "What are the computational benefits of Mixture-of-Experts models?"}]
inputs = tokenizer.apply_chat_template(
prompt,
add_generation_prompt=True,
return_tensors='pt'
)
tokens = model.generate(
inputs.to(model.device),
max_new_tokens=1024,
temperature=0.6,
top_p=0.95,
do_sample=True
)
print(tokenizer.decode(tokens[0], skip_special_tokens=False))
학습을 직접 재현하려면 AMD가 제공하는 ROCm Megatron-LM 도커 이미지를 사용합니다.
IMAGE_NAME=rocm/megatron-lm:v25.8_py310
docker run -it --rm --network=host --ipc=host --privileged \
--device=/dev/kfd --device=/dev/dri --device=/dev/infiniband \
--group-add video --cap-add=SYS_PTRACE \
--security-opt seccomp=unconfined --shm-size 200G \
-v $HOME:$HOME --name 'instella_moe_train' \
$IMAGE_NAME /bin/bash
컨테이너 안에서 저장소를 복제하고, 목(mock) 데이터로 학습 파이프라인이 도는지 먼저 확인할 수 있습니다.
git clone https://github.com/AMD-AGI/Instella-MoE.git
cd Instella-MoE/training
git submodule update --init --recursive
EXP=examples/megatron/configs_instella_moe/instella_moe-mock_pretrain.yaml \
bash examples/run_instella.sh --task pretrain
각 학습 단계는 EXP 환경 변수로 설정 파일을 지정하고 --task 플래그로 단계를 고릅니다. 예를 들어 실제 사전학습과 롱컨텍스트 확장은 다음과 같이 실행합니다.
# 사전학습 (7.1T 토큰)
EXP=examples/megatron/configs_instella_moe/instella_moe-pretrain.yaml \
bash examples/run_instella.sh --task pretrain
# 롱컨텍스트 확장 1단계 (문서 마스킹 적용)
EXP=examples/megatron/configs_instella_moe/instella_moe-long_ctx_phase1.yaml \
bash examples/run_instella.sh --task docmask
강화학습 단계는 저장소의 rl/ 디렉토리에서 별도로 실행하며, 추론과 RL은 SGLang v0.5.9 기반의 다른 도커 이미지(rlsys/miles:rocm7-mi300-sglang0.5.9-...)를 사용합니다. 자세한 설정은 저장소의 rl/README.md 와 평가 지침 문서, 학습 데이터 준비 문서 를 참고해주세요.
Instella-MoE 소개 블로그
Instella-MoE GitHub 저장소
Instella-MoE-16B-A3B 모델 컬렉션 (Hugging Face)
FarSkip-Collective: Unhobbling Blocking Communication in Mixture of Experts Models 논문
Instella: Fully Open Language Models with Stellar Performance 논문
MOPD: Multi-Teacher On-Policy Distillation for Capability Integration in LLM Post-Training 논문
Stabilizing MoE Reinforcement Learning by Aligning Training and Inference Routers 논문
Primus 학습 프레임워크 GitHub 저장소
FarSkip-Collective GitHub 저장소
더 읽어보기
-
slime: RL 기반의 LLM 사후학습을 위한 SGLang 기반의 RL Scaling 프레임워크 (feat. Ziphu AI & THUDM)
-
AMD MI300X GPU 이벤트 후기 Part1 - 왜 MI300X인가? — GraphRAG를 하드웨어부터 워크로드까지 해부하다
이 글은 GPT 모델로 정리한 초안을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 댓글로 알려주시기를 부탁드립니다.
논문의 주장이나 벤치마크에 대한 의견, 직접 재현해보신 결과가 있다면 
파이토치 한국 사용자 모임
회원들을 위해 댓글로 공유해주세요! 