# '라틴방진'으로 '트랜스포머' 스택을 해부한 실증 연구 분석

**URL:** <https://discuss.pytorch.kr/t/topic/11950>\
**Category:** 읽을거리&정보공유\
**Tags:** paper, openai, ai, vidraft, 비드래프트, arxiv, llm\
**Created:** [9월 18, 2026, 3:51오전 UTC](https://discuss.pytorch.kr/t/topic/11950 "2026-09-18T03:51:35Z")\
**Posts on this page:** 1\
**Page:** 1

<div class="post-metadata">

**Author:** ![AI\_OpenFree](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/ai_openfree/32/22529_2.png) [@AI\_OpenFree](https://discuss.pytorch.kr/u/AI_OpenFree)\
**Post date:** [9월 18, 2026, 3:51오전 UTC](https://discuss.pytorch.kr/t/topic/11950/1 "2026-09-18T03:51:36Z")

</div>

# 모든 층에 같은 어텐션을 쌓는 건, 결론이 아니라 습관이었다

## — 라틴방진으로 트랜스포머 스택을 해부한 실증 연구 읽기

> **논문** : _Placement Is Free, Composition Is Not: The Latin Square as a Provably-Balanced Construction for Heterogeneous Sequence-Mixer Stacks_  
> arXiv:2609.20269 · Taebong Kim, Youngsik Hong, Minsik Kim, Sunyoung Choi, Jaewon Jang, Minseo Kim  
> VIDRAFT AI Research · QuantumOS, Seoul

* * *

## 한 문단 요약

같은 어텐션을 49층 내내 반복하는 관행에 저자들은 \*\*"그건 검증된 결론이 아니라 관습"\*\*이라고 말한다. 그래서 7가지 시퀀스 믹서를 **7×7 라틴방진** 으로 배치한 6.59B MoE 모델을 만들고, 그 원리를 700.9M 축소판에서 **팔당 8시드** 로 통제 실험했다. 결과는 명쾌하게 갈렸다. **순서를 바꾸는 건 공짜(+0.16%, 노이즈 내)**, **한곳에 몰면 손해(+0.59%)**, **한 종류로 통일하면 더 큰 손해(+1.68%)**. 그리고 그 이득의 대부분을 \*\*단 하나의 메커니즘 계열(SSM)\*\*이 짊어지고 있었다.

* * *

## 1. 왜 이 논문이 흥미로운가

대부분의 아키텍처 논문은 "새 믹서를 만들었다" 또는 "더 빠르게 했다"고 말한다. 이 논문은 다른 질문을 던진다.

> **여러 메커니즘을 섞을 때, 좋아진 이유가 정확히 무엇인가?**

섞어서 좋아졌다고 치자. 그 개선은 ①어떤 메커니즘을 골랐는지 ②그것을 몇 번째 층에 놓았는지 ③파라미터가 어떻게 재배분됐는지 — 이 셋 중 무엇 때문인가? 기존 하이브리드 모델(Jamba, Griffin, Zamba, Nemotron-H 등)은 층 배치를 **구현 세부사항** 으로 다뤘기 때문에, 세 요인이 동시에 변해 사후에 분리할 수 없었다.

**이 논문의 기여는 새 메커니즘이 아니라 "실험 장치"다.**

* * *

## 2. 라틴방진이라는 장치

라틴방진은 N개의 기호를 N×N 격자에 채우되 **각 행과 각 열에 정확히 한 번씩** 오게 하는 배열이다. 스도쿠의 뼈대라고 보면 된다.

이걸 층 배치에 적용하면 이런 성질이 **설계상 보장** 된다.

- 어떤 메커니즘도 특정 깊이에 몰릴 수 없다
- **연속한 N개 층 어디를 잘라 봐도** 모든 메커니즘이 정확히 한 번씩 들어 있다
- 탐색(search)이 필요 없다 — 손으로 튜닝한 스케줄이 아니라 **증명된 구조** 다

```auto
7×7 라틴방진 = 49층. 각 행·열에 7종이 정확히 한 번씩.

층 1 2 3 4 5 6 7 ← 모든 종류가 한 번씩
층 8 9 10 11 12 13 14 ← 여기도 한 번씩
        ⋮
층 43 44 45 46 47 48 49 ← 끝까지 한 번씩

```

여기서 **핵심 논리 하나** 를 짚어야 한다. 배치가 균일하다는 건, 곧 \*\*"배치가 통제 변수에서 제거됐다"\*\*는 뜻이다. 그래서 `메커니즘 구성의 효과는 무엇인가?`라는 질문을 **배치 교란 없이** 물을 수 있게 된다.

구조를 만든 동시에 실험 도구를 만든 셈이다.

* * *

## 3. 무엇을 섞었나

플래그십 **Aether-7B-5Attn** 의 구성이다.

| 항목 | 값 |
| --- | --- |
| 총 파라미터 | 6.59B (MoE) |
| 토큰당 활성 | 약 2.98B |
| 층 | **49 (7×7 라틴방진)** |
| 전문가 | 25개, top-7 라우팅, 공유 1 |
| hidden / intermediate | 2048 / 6144 |
| heads / KV heads / head\_dim | 16 / 4 / 128 |
| 학습 컨텍스트 | 4096 |

쌓은 다섯 가지 기본 믹서는 이렇게 서로 다른 값을 치른다.

| 종류 | 강점 | 대가 |
| --- | --- | --- |
| `full` | 정확한 전체 쌍 상호작용, 정보 손실 없음 | 길이에 **제곱** |
| `sliding` | 지역성을 아주 싸게, 길이에 선형 | 윈도우 밖은 못 봄 |
| `differential` | 어텐션 맵 둘을 빼서 공통 잡음 제거 | head 차원이 절반 |
| `linear` | Mamba 계열 선형 순환 믹싱, 길이에 선형 | 근사 — 정확한 쌍 점수 없음 |
| `nsa` | 압축·선택·슬라이딩 분기를 게이팅해 싼 장거리 접근 | 구조가 복잡 |

여기에 이 다섯을 조합한 `compress`와 `hybrid`를 더해 라틴방진의 **일곱 슬롯** 을 채운다.

> **저자들의 문장이 이 설계의 요점을 가장 잘 요약한다.**  
> _"하나를 골라 49번 반복한다는 건, 그 약점도 49번 반복한다는 뜻이다."_

* * *

## 4. 실험 설계 — 여기가 이 논문의 본체다

플래그십을 여러 번 학습시킬 수는 없다. 그래서 저자들은 **파라미터를 맞춘 축소 프록시** 를 만들었다.

- 메커니즘 4종: `F`(full) · `S`(sliding) · `G`(differential) · `M`(Mamba-2)
- **4×4 라틴방진, 16층**
- **700.9M ± 0.004%** — 모든 팔을 FFN 폭으로 정밀 정합
- 데이터·옵티마이저·스텝(1,500)·시퀀스 길이(1,024) 전부 동일
- **배치 축은 팔당 8시드** , 구성 축은 4시드

비교 대상(팔)은 이렇게 구성했다. **세 팔 모두 메커니즘 개수가 4+4+4+4로 똑같고 파라미터도 같다.** 오직 _깊이에 어떻게 흩어놓았는가_만 다르다.

| 팔 | 층 배열 | 성질 |
| --- | --- | --- |
| `latin` | `SGMF GMFS MFSG FSGM` | 균형 + 열까지 균일 (라틴방진) |
| `periodic` | `SGMF SGMF SGMF SGMF` | 창 단위 균형, 열은 고정 (단순 주기) |
| `block` | `SSSS GGGG MMMM FFFF` | 개수는 같지만 **각 종류가 한 구간에 갇힘** |
| `homo_F` | `FFFF FFFF FFFF FFFF` | 동종 — 농도의 극한 |

* * *

## 5. 결과 — 세 갈래로 깨끗하게 갈렸다

| 팔 | 평균 CE | SD | latin 대비 | 판정 |
| --- | --- | --- | --- | --- |
| `latin` | 5.28639 | 0.00867 | — | 기준 |
| `periodic` | 5.29484 | 0.01611 | **+0.16%** | **무효과 (노이즈 내)** |
| `block` | 5.31754 | 0.01520 | **+0.59%** | 실효과 (pooled SD의 2.5배) |
| `homo_F` | 5.37540 | 0.01917 | **+1.68%** | 실효과 |

읽는 법은 이렇다.

**(i) 순서를 바꾸는 건 공짜다.** `latin`과 `periodic`은 열 구조만 다른데, 차이(0.008)가 판정 문턱의 **1/3** 에 불과하다. 균형 잡힌 분산 배열 안에서 순서를 재배열하는 건 **측정 가능한 효과가 없다**.

**(ii) 흩어놓는 건 중요하다.** `block`은 각 메커니즘을 4층짜리 구간에 가둔 것뿐인데 \*\*0.59%\*\*를 잃는다.

**(iii) 구성이 가장 중요하다.** 한 종류로 무너뜨리면 \*\*1.68%\*\*를 잃는다.

이 넷은 **하나의 단조 경사** 를 이룬다.

```auto
분산 → 구간에 가둠 → 한 종류만
latin/periodic block homo_F
    0% +0.59% +1.68%
   └──── 깊이 방향 '농도'가 올라갈수록 손실이 같이 올라간다 ────┘

```

* * *

## 6. 그런데, 이득은 누가 짊어지고 있었나

여기서 논문이 한 겹 더 들어간다. 하나씩 빼 보는 leave-one-out이다.

| 제거한 것 | 평균 CE | latin 대비 | 판정 |
| --- | --- | --- | --- |
| `no_S` (sliding) | 5.28495 | **−0.03%** | 무효과 |
| `no_G` (differential) | 5.28450 | **−0.04%** | 무효과 |
| `no_F` (full) | 5.29615 | **+0.18%** | 무효과 |
| **`no_M` (Mamba-2 / SSM)** | 5.39940 | **+2.14%** | **실효과** |

**어텐션 3종은 하나씩 빼도 전부 노이즈 안이다.** 유의미하게 나빠지는 건 **SSM 계열(Mamba-2)을 뺐을 때 하나뿐**이다.

> 즉 "이종성이 좋다"는 결론은 **모든 메커니즘에 고루 퍼져 있지 않다.**  
> 이 스케일·1K 컨텍스트에서는 **선형순환/SSM 계열이 거의 전부를 짊어지고 있고** ,  
> 어텐션 변종들끼리는 사실상 **서로 갈아끼울 수 있다**.

엔지니어 입장에서 이건 대단히 실용적인 정보다. \*"어떤 순서로 쌓을까"\*를 고민할 시간에, \*\*"SSM 계열이 스택에 들어 있는가"\*\*를 먼저 확인하는 게 낫다는 뜻이기 때문이다.

* * *

## 7. 규모를 키우면 사라지는 효과 아닌가?

파일럿 연구에 늘 따라붙는 반론이다. 저자들은 결정적인 세 팔을 \*\*2.16배 규모(1.514B)\*\*에서 다시 돌렸다.

| 팔 | CE (700.9M) | Δ | CE (1.514B) | Δ |
| --- | --- | --- | --- | --- |
| `latin` | 5.28639 | — | **5.26963** | — |
| `homo_F` | 5.37540 | +1.68% | **5.40807** | **+2.63%** |
| `no_M` | 5.39940 | +2.14% | **5.43837** | **+3.20%** |

**효과가 살아남은 정도가 아니라 더 커졌다.** 이유도 읽힌다 — 규모를 키우자 `latin`은 **좋아지고** (5.28639 → 5.26963) `homo_F`는 **나빠졌다** (5.37540 → 5.40807). 이종 스택이 늘어난 용량을 손실 감소로 **더 잘 환전** 한다는 뜻이다.

다만 저자들은 범위를 분명히 한다. 1.5B에서 다시 돌린 건 **구성 축뿐** 이고, 배치 축(`periodic`, `block`)은 재현하지 않았다.

* * *

## 8. 🔑 이 논문에서 가장 배울 점 — 원하던 결과를 스스로 죽인 기록

논문 6.4절에는 보통 지워버리는 이야기가 실려 있다.

초기 **2시드** 실행에서는 `latin`과 `periodic`이 깨끗하게 갈렸다. 즉 \*\*"배치가 중요하다"\*\*는 결과가 나왔던 것이다. 저자들의 표현을 빌리면 그건 _"우리가 원하던 결과였다 — 배치 효과가 훨씬 팔기 좋은 이야기였으니까."_

그런데 **4시드로 늘리자 사라졌고, 8시드가 그 소멸을 확정했다** (Δ 0.008, 문턱의 1/3).

> _"2시드에서 멈췄다면 존재하지 않는 배치 효과를 발표했을 것이다."_

그래서 이들이 걸어 둔 방어 장치가 둘이다.

1. **4시드 미만이면 주장하지 않는다** 는 상시 규칙
2. **사전 등록된 판정 규칙** — `|Δ| > 2·pooled_SD`, **최종 시드를 돌리기 전인 2026-07-22에 고정**

그리고 이런 문장을 남긴다.

> _"우리가 선호하던 배치 결과를 죽인 그 규칙이, `block`과 `homo_F`를 진짜라고 인증하는 바로 그 규칙이다.  
> 바라던 것만 확인해 주는 규칙은 규칙이 아니다."_

**실험 인프라를 다루는 사람이라면 이 절만 따로 읽어도 값을 한다.** 문턱을 결과에 맞춰 옮기지 못하도록 시간으로 못 박는 것 — 이게 사전등록의 실질이다.

* * *

## 9. 실무자가 바로 쓸 표 — 메커니즘별 실측 비용

저자들은 각 믹서를 **단일 층으로 격리** 해 동일 구현·동일 하드웨어에서 잰 프로파일을 공개했다. 논문에 따르면 이종 스택에 대해 이런 측정을 보고한 선행 연구는 없다.

| 종류 | 2K (ms / GB) | 8K (ms / GB) | 32K (ms / GB) |
| --- | --- | --- | --- |
| `full` | **0.4** / 0.0 | **1.5** / 0.2 | 13.6 / 0.7 |
| `differential` | 0.5 / 0.1 | 3.7 / 0.3 | 46.5 / 1.1 |
| `sliding` | 0.6 / 0.1 | 1.9 / 0.2 | **7.6** / 0.8 |
| `nsa` | 1.0 / 0.1 | 3.6 / 0.3 | 26.8 / 3.5 |
| `hybrid` | 1.5 / 0.1 | 7.7 / 0.3 | 74.7 / 3.5 |

**읽히는 그림이 분명하다.**

- **2K에서는 `full`이 가장 빠르다.** 짧은 컨텍스트에서 정확한 어텐션은 여전히 경쟁력이 있다
- **32K에서는 `sliding`이 `full`보다 약 1.8배 빠르다.** 제곱 스케일링이 여기서 값을 치른다
- `hybrid`의 지연은 구성 요소(`nsa` + `differential`)의 **합에 수렴** 한다 — 예측 가능하다는 뜻
- 시스템 전체로는 **32K 컨텍스트를 3.46GB 안에서** 처리한다

여기서 이종 구성의 논거가 벤치마크가 아니라 \*\*운영 구간(regime)\*\*에서 나온다. 컨텍스트 길이에 따라 유리한 메커니즘이 뒤집히는데, 한 종류만 49번 쌓으면 그 뒤집힘을 활용할 방법이 없다.

* * *

## 10. 인과 안전성 — 양성 대조가 있는 감사

이종 스택은 시간 축을 따라 연산자를 섞는다. **미래 정보 누출이 숨기 딱 좋은 자리** 다. 아키텍처에 품질을 귀속시키기 전에, 스택이 미래를 훔쳐보지 않는다는 걸 먼저 보여야 한다.

- 49층 전부가 **음성 대조** 를 통과했고
- 결정적으로, **같은 로드된 체크포인트에서 양성 대조** 도 통과했다 — **주입한 결함 16/16을 정확히 국소화** (NSA·hybrid·linear-attention 층에 걸쳐)
- 학습된 가중치를 올린 뒤에도 판정은 동일했다

> _"양성 대조 없는 깨끗한 판정은 증거가 아니다."_

측정 도구를 다뤄 본 사람이면 이 한 줄의 무게를 안다. **"아무 문제 없음"은 감지기가 꺼져 있어도 나오는 출력** 이기 때문이다. 일부러 고장을 심어 그게 잡히는지 확인해야 비로소 "통과"가 의미를 갖는다.

* * *

## 11. 저자들이 스스로 밝힌 한계

이 논문은 한계 절이 유난히 구체적이다. 그대로 옮긴다.

1. **어블레이션은 파일럿 프록시다.** 700.9M~1.514B·1,500스텝·4메커니즘·16층이지, 6.59B·7메커니즘·49층 플래그십이 아니다. **구성 원리를 시험한 것이지 출하 구성을 시험한 게 아니다**
2. **"순서는 공짜"는 분산 배열 안에서만이다.** `block`이 보여주듯 분산이 깨지면 배치는 분명히 중요해진다
3. **벤치마크 점수는 동급 최강 모델들과 경쟁이 안 된다.** 이들이 내놓는 건 순위가 아니라 공개성과 통제된 어블레이션이다
4. 메커니즘 라벨이 거칠다 — **일곱 라벨이 다섯 구현에 대응** 한다
5. 6.59B에서는 **구성당 학습 1회** 다. 시드는 어블레이션에만 있고 플래그십에는 없다
6. **릴리스 아키텍처에 KV 캐시가 없어 생성이 느리다** — 숨기지 않고 문서화했다

한계 3번은 특히 정직하다. 이 논문은 리더보드 논문이 아니다. **영어 SciQ 73.7 / PIQA 66.3 / ARC-Easy 52.5** , **한국어 KoBEST COPA 57.2 / SentiNeg 55.7** 수준이고, 저자들도 "아키텍처 실험이 목적"임을 반복해서 밝힌다.

대신 언어 구조를 학습했는지는 간단한 방법으로 보여준다.

| 입력 | Perplexity |
| --- | --- |
| 자연스러운 한국어 문장 | **5.4** |
| 같은 문장, 어순만 뒤섞음 | **41.3** |
| 무작위 토큰 | 2233.4 |

**토큰 구성은 그대로 두고 어순만 흩었는데 8배가 나빠진다.** 토큰 빈도가 아니라 구조를 표현하고 있다는 증거다.

* * *

## 12. 공개 범위 — 여기가 이 논문의 또 다른 축

| 항목 | 공개 |
| --- | --- |
| 가중치 (annealed base) | ✅ |
| 전체 아키텍처 소스 | ✅ |
| 학습 데이터 레시피 (출처·config·토큰수·가중치·토크나이저·EOS) | ✅ |
| 토크나이즈 스크립트 / 학습 코드 / 런치 스크립트 | ✅ |
| 전체 하이퍼파라미터 / **전체 학습 로그** | ✅ |
| **중간 체크포인트** (110k / 115k / 162k 스텝) | ✅ |

가중치와 소스는 **Apache-2.0** 이다. 데이터는 코퍼스를 **질적으로 서술하지 않고** 저장소·config·토큰 수·샘플링 가중치·토크나이저·문서 경계 규약까지 적어 **바이트 단위로 재구성 가능** 하게 했다.

학습은 \*\*B200 × 16 (2노드 FSDP)\*\*에서 약 46일, 최종 단계만 **30일 11시간 ≈ 11,700 B200-시간** , 처리량 약 32,000 tok/s, 162,000 스텝 / 144.2B 토큰-샘플이다.

논문은 이렇게 끝맺는다.

> _"위의 모든 숫자가 반박될 수 있도록 모델·데이터 레시피·코드·로그·중간 체크포인트를 공개한다."_

* * *

## 13. 정리 — 엔지니어가 가져갈 것 넷

**① 스택 순서를 튜닝하는 데 시간을 쓰지 말라.**  
균형 잡히고 분산된 배열 안에서는 **순열이 무료** 다(+0.16%, 노이즈 내). 대신 **한 종류가 특정 깊이에 뭉치지 않게** 하라 — 그게 0.59%다.

**② 무엇을 넣느냐가 어디에 넣느냐를 압도한다.**  
그리고 이 데이터에서 그 값의 대부분은 **SSM/선형순환 계열** 이 짊어졌다. 어텐션 변종을 하나 더 고르는 것보다 **계열이 다른 메커니즘을 하나 들이는 것** 이 낫다.

**③ 컨텍스트 길이가 설계를 뒤집는다.**  
2K에서 가장 빠른 `full`이 32K에서는 `sliding`에 1.8배 뒤진다. 단일 메커니즘 스택은 이 뒤집힘을 쓸 수 없다.

**④ 시드 없이 나온 아키텍처 비교는 믿지 말라.**  
이 논문의 저자들조차 2시드에서 **존재하지 않는 효과** 를 볼 뻔했다. 4시드 최소 기준과 **사전 등록된 판정 문턱** 이 그것을 막았다.

* * *

### 이 논문의 성격에 대한 한 줄

**팔기 좋은 결과를 포기하고 재현 가능한 음의 결과를 택한 논문이다.**"배치가 중요하다"가 훨씬 매력적인 헤드라인이지만, 데이터가 그렇지 않다고 말하자 저자들은 데이터를 따랐다. 그리고 그 음의 결과를 **라틴방진의 약점이 아니라 정당화** 로 재구성했다 — _배치가 무관하다는 것이야말로, 순열이 아니라 성질이 이득을 나른다는 증거이고, 그렇다면 그 성질을 탐색 없이 보장하는 구조를 기본값으로 삼는 게 옳다_는 논리다.

아키텍처를 설계하는 사람보다, **아키텍처를 비교하는 실험을 설계하는 사람** 에게 더 값진 논문이다.

* * *

**원문** : [arXiv:2609.20269](https://arxiv.org/abs/2609.20269)  
**라이선스** : 가중치·코드 Apache-2.0 / 학습 코퍼스는 각 출처 저장소의 라이선스를 승계