모든 층에 같은 어텐션을 쌓는 건, 결론이 아니라 습관이었다
— 라틴방진으로 트랜스포머 스택을 해부한 실증 연구 읽기
논문: Placement Is Free, Composition Is Not: The Latin Square as a Provably-Balanced Construction for Heterogeneous Sequence-Mixer Stacks
arXiv:2609.20269 · Taebong Kim, Youngsik Hong, Minsik Kim, Sunyoung Choi, Jaewon Jang, Minseo Kim
VIDRAFT AI Research · QuantumOS, Seoul
한 문단 요약
같은 어텐션을 49층 내내 반복하는 관행에 저자들은 **"그건 검증된 결론이 아니라 관습"**이라고 말한다. 그래서 7가지 시퀀스 믹서를 7×7 라틴방진으로 배치한 6.59B MoE 모델을 만들고, 그 원리를 700.9M 축소판에서 팔당 8시드로 통제 실험했다. 결과는 명쾌하게 갈렸다. 순서를 바꾸는 건 공짜(+0.16%, 노이즈 내), 한곳에 몰면 손해(+0.59%), 한 종류로 통일하면 더 큰 손해(+1.68%). 그리고 그 이득의 대부분을 **단 하나의 메커니즘 계열(SSM)**이 짊어지고 있었다.
1. 왜 이 논문이 흥미로운가
대부분의 아키텍처 논문은 "새 믹서를 만들었다" 또는 "더 빠르게 했다"고 말한다. 이 논문은 다른 질문을 던진다.
여러 메커니즘을 섞을 때, 좋아진 이유가 정확히 무엇인가?
섞어서 좋아졌다고 치자. 그 개선은 ①어떤 메커니즘을 골랐는지 ②그것을 몇 번째 층에 놓았는지 ③파라미터가 어떻게 재배분됐는지 — 이 셋 중 무엇 때문인가? 기존 하이브리드 모델(Jamba, Griffin, Zamba, Nemotron-H 등)은 층 배치를 구현 세부사항으로 다뤘기 때문에, 세 요인이 동시에 변해 사후에 분리할 수 없었다.
이 논문의 기여는 새 메커니즘이 아니라 "실험 장치"다.
2. 라틴방진이라는 장치
라틴방진은 N개의 기호를 N×N 격자에 채우되 각 행과 각 열에 정확히 한 번씩 오게 하는 배열이다. 스도쿠의 뼈대라고 보면 된다.
이걸 층 배치에 적용하면 이런 성질이 설계상 보장된다.
- 어떤 메커니즘도 특정 깊이에 몰릴 수 없다
- 연속한 N개 층 어디를 잘라 봐도 모든 메커니즘이 정확히 한 번씩 들어 있다
- 탐색(search)이 필요 없다 — 손으로 튜닝한 스케줄이 아니라 증명된 구조다
7×7 라틴방진 = 49층. 각 행·열에 7종이 정확히 한 번씩.
층 1 2 3 4 5 6 7 ← 모든 종류가 한 번씩
층 8 9 10 11 12 13 14 ← 여기도 한 번씩
⋮
층 43 44 45 46 47 48 49 ← 끝까지 한 번씩
여기서 핵심 논리 하나를 짚어야 한다. 배치가 균일하다는 건, 곧 **"배치가 통제 변수에서 제거됐다"**는 뜻이다. 그래서 메커니즘 구성의 효과는 무엇인가?라는 질문을 배치 교란 없이 물을 수 있게 된다.
구조를 만든 동시에 실험 도구를 만든 셈이다.
3. 무엇을 섞었나
플래그십 Aether-7B-5Attn의 구성이다.
| 항목 | 값 |
|---|---|
| 총 파라미터 | 6.59B (MoE) |
| 토큰당 활성 | 약 2.98B |
| 층 | 49 (7×7 라틴방진) |
| 전문가 | 25개, top-7 라우팅, 공유 1 |
| hidden / intermediate | 2048 / 6144 |
| heads / KV heads / head_dim | 16 / 4 / 128 |
| 학습 컨텍스트 | 4096 |
쌓은 다섯 가지 기본 믹서는 이렇게 서로 다른 값을 치른다.
| 종류 | 강점 | 대가 |
|---|---|---|
full |
정확한 전체 쌍 상호작용, 정보 손실 없음 | 길이에 제곱 |
sliding |
지역성을 아주 싸게, 길이에 선형 | 윈도우 밖은 못 봄 |
differential |
어텐션 맵 둘을 빼서 공통 잡음 제거 | head 차원이 절반 |
linear |
Mamba 계열 선형 순환 믹싱, 길이에 선형 | 근사 — 정확한 쌍 점수 없음 |
nsa |
압축·선택·슬라이딩 분기를 게이팅해 싼 장거리 접근 | 구조가 복잡 |
여기에 이 다섯을 조합한 compress와 hybrid를 더해 라틴방진의 일곱 슬롯을 채운다.
저자들의 문장이 이 설계의 요점을 가장 잘 요약한다.
"하나를 골라 49번 반복한다는 건, 그 약점도 49번 반복한다는 뜻이다."
4. 실험 설계 — 여기가 이 논문의 본체다
플래그십을 여러 번 학습시킬 수는 없다. 그래서 저자들은 파라미터를 맞춘 축소 프록시를 만들었다.
- 메커니즘 4종:
F(full) ·S(sliding) ·G(differential) ·M(Mamba-2) - 4×4 라틴방진, 16층
- 700.9M ± 0.004% — 모든 팔을 FFN 폭으로 정밀 정합
- 데이터·옵티마이저·스텝(1,500)·시퀀스 길이(1,024) 전부 동일
- 배치 축은 팔당 8시드, 구성 축은 4시드
비교 대상(팔)은 이렇게 구성했다. 세 팔 모두 메커니즘 개수가 4+4+4+4로 똑같고 파라미터도 같다. 오직 깊이에 어떻게 흩어놓았는가만 다르다.
| 팔 | 층 배열 | 성질 |
|---|---|---|
latin |
SGMF GMFS MFSG FSGM |
균형 + 열까지 균일 (라틴방진) |
periodic |
SGMF SGMF SGMF SGMF |
창 단위 균형, 열은 고정 (단순 주기) |
block |
SSSS GGGG MMMM FFFF |
개수는 같지만 각 종류가 한 구간에 갇힘 |
homo_F |
FFFF FFFF FFFF FFFF |
동종 — 농도의 극한 |
5. 결과 — 세 갈래로 깨끗하게 갈렸다
| 팔 | 평균 CE | SD | latin 대비 | 판정 |
|---|---|---|---|---|
latin |
5.28639 | 0.00867 | — | 기준 |
periodic |
5.29484 | 0.01611 | +0.16% | 무효과 (노이즈 내) |
block |
5.31754 | 0.01520 | +0.59% | 실효과 (pooled SD의 2.5배) |
homo_F |
5.37540 | 0.01917 | +1.68% | 실효과 |
읽는 법은 이렇다.
(i) 순서를 바꾸는 건 공짜다. latin과 periodic은 열 구조만 다른데, 차이(0.008)가 판정 문턱의 1/3에 불과하다. 균형 잡힌 분산 배열 안에서 순서를 재배열하는 건 측정 가능한 효과가 없다.
(ii) 흩어놓는 건 중요하다. block은 각 메커니즘을 4층짜리 구간에 가둔 것뿐인데 **0.59%**를 잃는다.
(iii) 구성이 가장 중요하다. 한 종류로 무너뜨리면 **1.68%**를 잃는다.
이 넷은 하나의 단조 경사를 이룬다.
분산 → 구간에 가둠 → 한 종류만
latin/periodic block homo_F
0% +0.59% +1.68%
└──── 깊이 방향 '농도'가 올라갈수록 손실이 같이 올라간다 ────┘
6. 그런데, 이득은 누가 짊어지고 있었나
여기서 논문이 한 겹 더 들어간다. 하나씩 빼 보는 leave-one-out이다.
| 제거한 것 | 평균 CE | latin 대비 | 판정 |
|---|---|---|---|
no_S (sliding) |
5.28495 | −0.03% | 무효과 |
no_G (differential) |
5.28450 | −0.04% | 무효과 |
no_F (full) |
5.29615 | +0.18% | 무효과 |
no_M (Mamba-2 / SSM) |
5.39940 | +2.14% | 실효과 |
어텐션 3종은 하나씩 빼도 전부 노이즈 안이다. 유의미하게 나빠지는 건 SSM 계열(Mamba-2)을 뺐을 때 하나뿐이다.
즉 "이종성이 좋다"는 결론은 모든 메커니즘에 고루 퍼져 있지 않다.
이 스케일·1K 컨텍스트에서는 선형순환/SSM 계열이 거의 전부를 짊어지고 있고,
어텐션 변종들끼리는 사실상 서로 갈아끼울 수 있다.
엔지니어 입장에서 이건 대단히 실용적인 정보다. *"어떤 순서로 쌓을까"*를 고민할 시간에, **"SSM 계열이 스택에 들어 있는가"**를 먼저 확인하는 게 낫다는 뜻이기 때문이다.
7. 규모를 키우면 사라지는 효과 아닌가?
파일럿 연구에 늘 따라붙는 반론이다. 저자들은 결정적인 세 팔을 **2.16배 규모(1.514B)**에서 다시 돌렸다.
| 팔 | CE (700.9M) | Δ | CE (1.514B) | Δ |
|---|---|---|---|---|
latin |
5.28639 | — | 5.26963 | — |
homo_F |
5.37540 | +1.68% | 5.40807 | +2.63% |
no_M |
5.39940 | +2.14% | 5.43837 | +3.20% |
효과가 살아남은 정도가 아니라 더 커졌다. 이유도 읽힌다 — 규모를 키우자 latin은 좋아지고(5.28639 → 5.26963) homo_F는 나빠졌다(5.37540 → 5.40807). 이종 스택이 늘어난 용량을 손실 감소로 더 잘 환전한다는 뜻이다.
다만 저자들은 범위를 분명히 한다. 1.5B에서 다시 돌린 건 구성 축뿐이고, 배치 축(periodic, block)은 재현하지 않았다.
8. 
이 논문에서 가장 배울 점 — 원하던 결과를 스스로 죽인 기록
논문 6.4절에는 보통 지워버리는 이야기가 실려 있다.
초기 2시드 실행에서는 latin과 periodic이 깨끗하게 갈렸다. 즉 **"배치가 중요하다"**는 결과가 나왔던 것이다. 저자들의 표현을 빌리면 그건 "우리가 원하던 결과였다 — 배치 효과가 훨씬 팔기 좋은 이야기였으니까."
그런데 4시드로 늘리자 사라졌고, 8시드가 그 소멸을 확정했다(Δ 0.008, 문턱의 1/3).
"2시드에서 멈췄다면 존재하지 않는 배치 효과를 발표했을 것이다."
그래서 이들이 걸어 둔 방어 장치가 둘이다.
- 4시드 미만이면 주장하지 않는다는 상시 규칙
- 사전 등록된 판정 규칙 —
|Δ| > 2·pooled_SD, 최종 시드를 돌리기 전인 2026-07-22에 고정
그리고 이런 문장을 남긴다.
"우리가 선호하던 배치 결과를 죽인 그 규칙이,
block과homo_F를 진짜라고 인증하는 바로 그 규칙이다.
바라던 것만 확인해 주는 규칙은 규칙이 아니다."
실험 인프라를 다루는 사람이라면 이 절만 따로 읽어도 값을 한다. 문턱을 결과에 맞춰 옮기지 못하도록 시간으로 못 박는 것 — 이게 사전등록의 실질이다.
9. 실무자가 바로 쓸 표 — 메커니즘별 실측 비용
저자들은 각 믹서를 단일 층으로 격리해 동일 구현·동일 하드웨어에서 잰 프로파일을 공개했다. 논문에 따르면 이종 스택에 대해 이런 측정을 보고한 선행 연구는 없다.
| 종류 | 2K (ms / GB) | 8K (ms / GB) | 32K (ms / GB) |
|---|---|---|---|
full |
0.4 / 0.0 | 1.5 / 0.2 | 13.6 / 0.7 |
differential |
0.5 / 0.1 | 3.7 / 0.3 | 46.5 / 1.1 |
sliding |
0.6 / 0.1 | 1.9 / 0.2 | 7.6 / 0.8 |
nsa |
1.0 / 0.1 | 3.6 / 0.3 | 26.8 / 3.5 |
hybrid |
1.5 / 0.1 | 7.7 / 0.3 | 74.7 / 3.5 |
읽히는 그림이 분명하다.
- 2K에서는
full이 가장 빠르다. 짧은 컨텍스트에서 정확한 어텐션은 여전히 경쟁력이 있다 - 32K에서는
sliding이full보다 약 1.8배 빠르다. 제곱 스케일링이 여기서 값을 치른다 hybrid의 지연은 구성 요소(nsa+differential)의 합에 수렴한다 — 예측 가능하다는 뜻- 시스템 전체로는 32K 컨텍스트를 3.46GB 안에서 처리한다
여기서 이종 구성의 논거가 벤치마크가 아니라 **운영 구간(regime)**에서 나온다. 컨텍스트 길이에 따라 유리한 메커니즘이 뒤집히는데, 한 종류만 49번 쌓으면 그 뒤집힘을 활용할 방법이 없다.
10. 인과 안전성 — 양성 대조가 있는 감사
이종 스택은 시간 축을 따라 연산자를 섞는다. 미래 정보 누출이 숨기 딱 좋은 자리다. 아키텍처에 품질을 귀속시키기 전에, 스택이 미래를 훔쳐보지 않는다는 걸 먼저 보여야 한다.
- 49층 전부가 음성 대조를 통과했고
- 결정적으로, 같은 로드된 체크포인트에서 양성 대조도 통과했다 — 주입한 결함 16/16을 정확히 국소화(NSA·hybrid·linear-attention 층에 걸쳐)
- 학습된 가중치를 올린 뒤에도 판정은 동일했다
"양성 대조 없는 깨끗한 판정은 증거가 아니다."
측정 도구를 다뤄 본 사람이면 이 한 줄의 무게를 안다. "아무 문제 없음"은 감지기가 꺼져 있어도 나오는 출력이기 때문이다. 일부러 고장을 심어 그게 잡히는지 확인해야 비로소 "통과"가 의미를 갖는다.
11. 저자들이 스스로 밝힌 한계
이 논문은 한계 절이 유난히 구체적이다. 그대로 옮긴다.
- 어블레이션은 파일럿 프록시다. 700.9M~1.514B·1,500스텝·4메커니즘·16층이지, 6.59B·7메커니즘·49층 플래그십이 아니다. 구성 원리를 시험한 것이지 출하 구성을 시험한 게 아니다
- "순서는 공짜"는 분산 배열 안에서만이다.
block이 보여주듯 분산이 깨지면 배치는 분명히 중요해진다 - 벤치마크 점수는 동급 최강 모델들과 경쟁이 안 된다. 이들이 내놓는 건 순위가 아니라 공개성과 통제된 어블레이션이다
- 메커니즘 라벨이 거칠다 — 일곱 라벨이 다섯 구현에 대응한다
- 6.59B에서는 구성당 학습 1회다. 시드는 어블레이션에만 있고 플래그십에는 없다
- 릴리스 아키텍처에 KV 캐시가 없어 생성이 느리다 — 숨기지 않고 문서화했다
한계 3번은 특히 정직하다. 이 논문은 리더보드 논문이 아니다. 영어 SciQ 73.7 / PIQA 66.3 / ARC-Easy 52.5, 한국어 KoBEST COPA 57.2 / SentiNeg 55.7 수준이고, 저자들도 "아키텍처 실험이 목적"임을 반복해서 밝힌다.
대신 언어 구조를 학습했는지는 간단한 방법으로 보여준다.
| 입력 | Perplexity |
|---|---|
| 자연스러운 한국어 문장 | 5.4 |
| 같은 문장, 어순만 뒤섞음 | 41.3 |
| 무작위 토큰 | 2233.4 |
토큰 구성은 그대로 두고 어순만 흩었는데 8배가 나빠진다. 토큰 빈도가 아니라 구조를 표현하고 있다는 증거다.
12. 공개 범위 — 여기가 이 논문의 또 다른 축
| 항목 | 공개 |
|---|---|
| 가중치 (annealed base) |  |
| 전체 아키텍처 소스 | |
| 학습 데이터 레시피 (출처·config·토큰수·가중치·토크나이저·EOS) | |
| 토크나이즈 스크립트 / 학습 코드 / 런치 스크립트 | |
| 전체 하이퍼파라미터 / 전체 학습 로그 | |
| 중간 체크포인트 (110k / 115k / 162k 스텝) | |
가중치와 소스는 Apache-2.0이다. 데이터는 코퍼스를 질적으로 서술하지 않고 저장소·config·토큰 수·샘플링 가중치·토크나이저·문서 경계 규약까지 적어 바이트 단위로 재구성 가능하게 했다.
학습은 **B200 × 16 (2노드 FSDP)**에서 약 46일, 최종 단계만 30일 11시간 ≈ 11,700 B200-시간, 처리량 약 32,000 tok/s, 162,000 스텝 / 144.2B 토큰-샘플이다.
논문은 이렇게 끝맺는다.
"위의 모든 숫자가 반박될 수 있도록 모델·데이터 레시피·코드·로그·중간 체크포인트를 공개한다."
13. 정리 — 엔지니어가 가져갈 것 넷
① 스택 순서를 튜닝하는 데 시간을 쓰지 말라.
균형 잡히고 분산된 배열 안에서는 순열이 무료다(+0.16%, 노이즈 내). 대신 한 종류가 특정 깊이에 뭉치지 않게 하라 — 그게 0.59%다.
② 무엇을 넣느냐가 어디에 넣느냐를 압도한다.
그리고 이 데이터에서 그 값의 대부분은 SSM/선형순환 계열이 짊어졌다. 어텐션 변종을 하나 더 고르는 것보다 계열이 다른 메커니즘을 하나 들이는 것이 낫다.
③ 컨텍스트 길이가 설계를 뒤집는다.
2K에서 가장 빠른 full이 32K에서는 sliding에 1.8배 뒤진다. 단일 메커니즘 스택은 이 뒤집힘을 쓸 수 없다.
④ 시드 없이 나온 아키텍처 비교는 믿지 말라.
이 논문의 저자들조차 2시드에서 존재하지 않는 효과를 볼 뻔했다. 4시드 최소 기준과 사전 등록된 판정 문턱이 그것을 막았다.
이 논문의 성격에 대한 한 줄
팔기 좋은 결과를 포기하고 재현 가능한 음의 결과를 택한 논문이다. "배치가 중요하다"가 훨씬 매력적인 헤드라인이지만, 데이터가 그렇지 않다고 말하자 저자들은 데이터를 따랐다. 그리고 그 음의 결과를 라틴방진의 약점이 아니라 정당화로 재구성했다 — 배치가 무관하다는 것이야말로, 순열이 아니라 성질이 이득을 나른다는 증거이고, 그렇다면 그 성질을 탐색 없이 보장하는 구조를 기본값으로 삼는 게 옳다는 논리다.
아키텍처를 설계하는 사람보다, 아키텍처를 비교하는 실험을 설계하는 사람에게 더 값진 논문이다.
원문: arXiv:2609.20269
라이선스: 가중치·코드 Apache-2.0 / 학습 코퍼스는 각 출처 저장소의 라이선스를 승계