Aether-7B-5Attn 소개 — 학습 데이터와 코드를 전부 공개한 한국 최초의 파운데이션 모델
주권형 AI 논의에서 가장 자주 흐려지는 구분이 있습니다. 가중치만 공개한 모델(open-weight)과 모델을 처음부터 다시 만들 수 있게 공개한 모델(open-source)은 같은 말이 아닙니다. 앨런 인공지능 연구소의 OLMo가 이 기준을 다시 세운 뒤, 유럽에서는 Apertus, 최근에는 독일어권의 Soofi S 30B-A3B가 소스별 토큰 회계까지 내놓으며 그 뒤를 따랐습니다.
한국에서도 파운데이션 모델을 처음부터(from scratch) 학습한 사례는 여럿 있었습니다. 다만 학습 데이터를 공개한 사례는 없었습니다.이 글이 다루는 Aether-7B-5Attn은, 확인되는 범위에서 그 선을 넘은 첫 한국 파운데이션 모델입니다. 가중치와 함께 아키텍처 전체 소스, 학습 데이터 레시피, 토크나이징 스크립트, 학습 코드, 전체 하이퍼파라미터, 162,000스텝 전체 로그, 평가 코드, 중간 체크포인트가 Apache-2.0으로 공개되어 있습니다.
그리고 흥미로운 점이 하나 더 있습니다. 이 수준의 공개를 해낸 주체가 국가 연구기관 컨소시엄이 아니라 단일 스타트업이라는 것입니다.
이 공개가 놓인 자리
완전 공개 진영의 지형
주권형 완전 공개(fully-open) 파운데이션 모델은 세계적으로도 소수입니다. 미국의 OLMo, 스위스의 Apertus, 독일어권의 Soofi S, 스페인어권의 Alia, 그리고 EuroLLM 계열이 대표적입니다. 이들의 공통점은 공개 수준이 서로 비슷하다는 것 — 그리고 거의 예외 없이 국가 연구기관, 대학 컨소시엄, 또는 통신사급 인프라 사업자가 주체라는 것입니다.
Soofi S만 봐도 그렇습니다. 독일 연구기관 컨소시엄이 도이체 텔레콤의 산업 AI 클라우드에서 최대 512대의 B200으로 약 27조 토큰을 학습했습니다. 국가급 프로젝트입니다.
Aether-7B-5Attn을 제출한 곳은 국내 AI 스타트업 한 곳입니다. 동원한 하드웨어는 B200 16장, 학습 기간은 약 46 일입니다. 그럼에도 공개 항목은 위 진영과 같은 등급입니다.
| 항목 | 공개 여부 |
|---|---|
| 가중치 (어닐링 완료 base) | ✅ |
아키텍처 전체 소스 (aether_pkg/) |
✅ |
| 학습 데이터 레시피 (소스 저장소·config·토큰 수·혼합 가중치·토크나이저·EOS) | ✅ |
토크나이징 스크립트 (tokenize_one.py) |
✅ |
| 학습 코드 (FSDP 런처·학습 루프·노드 스크립트) | ✅ |
| 전체 하이퍼파라미터 | ✅ |
| 전체 학습 로그 (162,000스텝) | ✅ |
평가 코드 (eval/lmeval_run.py) |
✅ |
| 중간 체크포인트 (110k · 115k · 162k) | ✅ |
| 라이선스 | Apache-2.0 (가중치 및 코드) |
여기서 주목할 것은 레시피의 재현 가능성입니다. 학습 데이터의 모든 소스가 공개 저장소이고, 토크나이저와 EOS 토큰, 혼합 가중치가 전부 명시되어 있습니다. 즉 제3자가 같은 절차를 밟으면 바이트 단위로 동일한 학습 바이너리를 만들 수 있습니다. "공개했다"는 주장을 외부에서 검증할 수 있게 만들어 둔 것이고, 이것이 오픈웨이트와 오픈소스를 가르는 실질적인 경계입니다.
공개 범위는 자원과 독립적인 변수
이 사례가 시사하는 바는 분명합니다. 학습 데이터 목록과 혼합 가중치를 문서화하는 데는 GPU가 들지 않습니다. 512 장이 없어서 못 하는 일과, 결정하지 않아서 안 하는 일은 다릅니다. 국내에 처음부터 학습된 모델이 이미 여럿 있었는데도 데이터 공개 사례가 없었다는 것은, 자원의 문제가 아니었다는 뜻입니다.
아키텍처 — 모든 계층이 같은 어텐션을 써야 할 이유는 없다
공개 범위만큼이나 이 모델을 특징짓는 것은 아키텍처 쪽 선택입니다.
관습에 대한 질문
GPT 이후 거의 모든 트랜스포머는 모든 계층에서 같은 어텐션을 씁니다. 49층 모델이라면 같은 연산을 49번 반복합니다. 그런데 계층마다 하는 일은 다릅니다. 초기 계층은 국소적인 형태소와 문법을, 중간 계층은 구문 구조를, 후반 계층은 문서 전체를 다룹니다. 하는 일이 다른데 연산이 같아야 할 이유는 증명된 적이 없습니다. 진지하게 의심되지 않은 관습에 가깝습니다.
Aether는 이 가정을 풉니다. 49개 계층에 서로 다른 어텐션 메커니즘을 배치했습니다.
다섯 가지 메커니즘, 서로 다른 대가
| 종류 | 잘하는 것 | 치르는 비용 |
|---|---|---|
full |
모든 토큰 쌍을 정확히 봅니다. 정보 손실 없음 | 길이에 대해 제곱 |
sliding |
국소성을 아주 싸게 봅니다(길이에 선형) | 윈도우 밖은 보지 못함 |
differential |
두 어텐션 맵을 빼서 공통 잡음을 상쇄 | 헤드 차원을 절반으로 나눔 |
nsa |
압축·선택·슬라이딩 분기를 게이트로 묶어 싸게 멀리 도달 | 구조적으로 복잡 |
hybrid |
nsa의 도달 범위와 differential의 잡음 억제를 결합 |
가장 비쌈 |
어느 하나가 다른 것들을 지배하지 않습니다. 각각 다른 것을 잘하고 다른 값을 치릅니다. 그렇다면 하나를 골라 49번 반복하는 것은 그 약점도 49번 반복하는 일이 됩니다.
비용 프로파일을 실측해 공개했다는 점
이 "서로 다른 값"은 추상적 서술로 끝나지 않습니다. 각 메커니즘을 독립된 단일 계층으로 놓고 프리필 지연과 최대 메모리를 측정한 표가 함께 공개되어 있습니다.
| 종류 | 2K (ms / GB) | 8K (ms / GB) | 32K (ms / GB) |
|---|---|---|---|
full |
0.4 / 0.0 | 1.5 / 0.2 | 13.6 / 0.7 |
differential |
0.5 / 0.1 | 3.7 / 0.3 | 46.5 / 1.1 |
sliding |
0.6 / 0.1 | 1.9 / 0.2 | 7.6 / 0.8 |
nsa |
1.0 / 0.1 | 3.6 / 0.3 | 26.8 / 3.5 |
hybrid |
1.5 / 0.1 | 7.7 / 0.3 | 74.7 / 3.5 |
32K에서 sliding(7.6 ms)은 full(13.6 ms)보다 1.8배 빠릅니다. 국소성만 보는 설계가 마땅히 그래야 하는 대로 움직입니다. 반대로 2K 에서는 full이 오히려 빠릅니다. hybrid는 nsa와 differential을 둘 다 돌리므로 비용이 둘의 합에 근접합니다(합산 73.3 ms, 실측 74.7 ms). 전체 모델은 32K 컨텍스트를 3.46 GB로 처리합니다.
어텐션의 연산·메모리 비용은 학습된 가중치 값과 무관한 아키텍처의 성질이므로, 이 표는 누구나 재현하고 반박할 수 있습니다. 이종 어텐션의 메커니즘별 비용 프로파일이 이렇게 측정되어 공개된 선례는 확인되지 않습니다. 후속 연구가 바로 가져다 쓸 수 있는 재료라는 점에서, 표 자체가 하나의 기여로 볼 만합니다.
라틴 방진 — 배치를 통제 변수로 만든 설계
가장 눈에 띄는 선택은 배치 방식입니다. "섞으면 좋을 것"이라는 직관은 쉽지만, 아무렇게나 섞으면 결과를 귀속시킬 수 없게 됩니다. full이 우연히 후반 계층에 몰렸다면, 그 모델이 잘한 이유는 "이종적이어서"가 아니라 "후반이 full이어서"일 수 있습니다.
Aether는 49개 계층을 7 × 7 라틴 방진(Latin square)으로 배치해 이 문제를 구조적으로 제거합니다.
attention_type(layer) = ATTN_TYPES[(row + col) mod 7]
where row = layer // 7, col = layer % 7
라틴 방진은 각 종류가 모든 행과 모든 열에 정확히 한 번씩 나타나는 조합적 배열입니다. 그 결과 어떤 어텐션도 특정 깊이대(초반·중반·후반)에 집중되지 않습니다. 7이 소수(prime)이므로 순환 이동 (row+col) mod 7이 제대로 된 라틴 방진을 이루고, 7² = 49가 계층 수와 정확히 맞아떨어집니다.
즉 라틴 방진은 장식이 아니라 "이종 배치가 무엇을 하는가"를 배치 편향 없이 물을 수 있게 만드는 통제 장치입니다. 성능을 올리기 위한 트릭이 아니라 실험 설계에 가깝습니다. 이종 어텐션을 라틴 방진에 올린 공개 모델은 확인되지 않으며, 이 발상 자체가 이 공개에서 가장 독창적인 부분으로 보입니다.
이름이 5Attn인 이유
배치되는 레이블은 7개(full, differential, sliding, nsa, hybrid, compress, linear)이지만, 구별되는 메커니즘은 5개입니다. compress는 이 체크포인트에서 full 경로를 그대로 타고, linear는 SDPA에 게이트를 더한 것입니다. 모델명은 레이블 수(7)가 아니라 메커니즘 수(5)를 따릅니다.
사소해 보이지만 짚어둘 만합니다. 숫자를 크게 보이게 하려면 7을 쓰는 편이 유리한데, 더 작은 쪽을 이름에 넣고 그 이유를 카드에 적어두었습니다. 공개 자료 전반에서 이런 절제가 반복적으로 관찰됩니다.
세부 사양
| 항목 | 값 |
|---|---|
| 총 파라미터 / 활성 | 6.59B / 약 2.98B (토큰당) |
| 계층 | 49 (7 × 7 라틴 방진) |
| 전문가 | 25개 라우팅, top-7, 공유 전문가 1개 |
| 전문가 중간 차원 | 640 |
| hidden / intermediate | 2048 / 6144 |
| 헤드 / KV 헤드 / head_dim | 16 / 4 / 128 |
| 어휘 | 151,936 (Qwen 호환 토크나이저) |
| 학습 컨텍스트 | 4096 |
| 정밀도 / 크기 | bfloat16 / 13.2 GB |
학습 — B200 16장으로 46일
| 항목 | 값 |
|---|---|
| 하드웨어 | NVIDIA B200 × 16 (2 노드 FSDP) |
| 전체 학습 기간 | 2026-05-30 → 2026-07-16, 약 46일 |
| 최종 단계 | 2026-06-15 → 07-16, 30일 11시간, 약 11,700 B200-시간 |
| 처리량 (최종 단계) | 약 32,000 tok/s |
| 총 스텝 / 총 토큰 | 162,000 / 144.2B |
| 옵티마이저 | AdamW, β = (0.9, 0.95), eps 1e-8 |
| 학습률 | cosine, 최고 5e-5 → 최저 5e-6 |
| Weight decay | 0.1 (트랜스포머 계층) / 0.0 (임베딩·정규화) |
| 임베딩 LR 배수 / 계층별 감쇠 | 0.1 / 0.97 |
| Grad clip / 시퀀스 | 1.0 / 4096 |
162,000스텝 전체 로그가 함께 공개되어 있습니다. 5종 메커니즘이 뒤섞인 비표준 구조를 발산 없이 완주했다는 사실 자체가 이 로그로 확인 가능합니다. 이종 아키텍처는 학습 안정성이 먼저 문제가 되는 경우가 많은데, 그 구간을 통과했다는 점은 기록해 둘 만합니다.
규모를 어떻게 볼 것인가
Soofi S와 나란히 놓으면 차이는 뚜렷합니다.
| Soofi S 30B-A3B | Aether-7B-5Attn | |
|---|---|---|
| 총 파라미터 | 31.6B | 6.59B |
| 활성 파라미터 | 3.2B | 2.98B |
| 학습 토큰 | 약 27조 | 1442억 |
| GPU | B200 512장 | B200 16장 |
| 주체 | 국가 연구기관 컨소시엄 + 통신사 클라우드 | 단일 AI 스타트업 |
| 공개 등급 | 완전 공개 | 완전 공개 |
총 파라미터로 4.8배, 학습 토큰으로 187배 차이입니다. 체급이 다른 모델이므로 벤치마크를 직접 맞대는 것은 애초에 성립하지 않습니다. 두 모델이 같은 줄에 놓이는 칸은 맨 아래 하나 — 공개 등급뿐이고, 이 글의 관점에서는 그 칸이 핵심입니다.
데이터 — 재현을 전제로 설계된 레시피
| 파일 | 저장소 | Config | 토큰 | 라이선스 |
|---|---|---|---|---|
eng_fineweb_edu.bin |
HuggingFaceFW/fineweb-edu |
sample-100BT |
15.000B | ODC-By |
syn_cosmopedia.bin |
HuggingFaceTB/smollm-corpus |
cosmopedia-v2 |
8.000B | ODC-By |
math_finemath.bin |
HuggingFaceTB/finemath |
finemath-3plus |
6.002B | ODC-By |
code_opc.bin |
OpenCoder-LLM/opc-fineweb-code-corpus |
default | 5.001B | MIT |
math_owm.bin |
open-web-math/open-web-math |
default | 4.004B | 원 저장소 참조 |
kor_webtext.bin |
HAERAE-HUB/KOREAN-WEBTEXT |
default | 2.492B | 원 저장소 참조 |
kor_synth.bin |
HAERAE-HUB/KOREAN-SyntheticText-1.5B |
default | 1.650B | 원 저장소 참조 |
phase15_mix_90b.bin |
위 소스들의 선행 혼합 | — | 90B | — |
전처리는 AutoTokenizer.from_pretrained("Qwen/Qwen3-14B"), 문서 경계에 EOS 151645 삽입, 평평한 uint32 배열 기록입니다. 재현 스크립트가 저장소에 포함되어 있습니다.
python tokenize_one.py HuggingFaceFW/fineweb-edu sample-100BT text 15 out/eng_fineweb_edu.bin
혼합 가중치의 합은 18.5이며, 유효 비중은 다음과 같습니다.
| 도메인 | 비중 |
|---|---|
| 수학 (finemath + open-web-math) | 37.8% |
| 한국어 (webtext + synth) | 21.6% |
| 영어 웹·합성 (fineweb-edu + cosmopedia) | 21.6% |
| 코드 (opc) | 13.5% |
| phase15 선행 혼합 | 5.4% |
한국어 비중 21.6%는 상당히 공격적인 배분입니다. 비교하자면 Soofi S는 독일어를 Phase 1에서 7.2%, 어닐링 단계에서 15.32%로 끌어올렸고, 그것만으로도 참조 레시피의 다국어 비중 5%를 세 배 넘게 상회한다고 보고했습니다. Aether는 처음부터 한국어를 영어 웹 데이터와 동일한 비중에 두었습니다. 목표 언어를 데이터 설계 단계에서 일급 시민으로 취급한 셈입니다.
수학 비중이 37.8%로 가장 높다는 점도 눈에 띕니다. 소규모 모델에서 추론 능력의 밀도를 끌어올리려는 배분으로 읽힙니다.
평가 결과
lm-evaluation-harness 0.4.11, 0-shot, n = 600, batch_size=1 기준입니다.
영어
| 태스크 | acc | acc_norm |
|---|---|---|
| SciQ | 73.7 | 63.0 |
| PIQA | 66.3 | 65.8 |
| BoolQ | 54.3 | — |
| ARC-Easy | 52.5 | 48.7 |
| WinoGrande | 51.8 | — |
| HellaSwag | 37.2 | 41.0 |
| OpenBookQA | 20.0 | 32.6 |
| ARC-Challenge | 22.2 | 25.8 |
한국어 (KoBEST)
| 태스크 | 점수 |
|---|---|
| HellaSwag (acc_norm) | 44.6 ±2.2 |
| COPA | 57.2 ±2.0 |
| SentiNeg | 55.7 ±2.5 |
| WiC | 48.8 ±2.0 |
| BoolQ | 47.8 ±2.0 |
언어 모델링 — 구조 학습의 증거
| 입력 | Perplexity |
|---|---|
| 자연스러운 한국어 문장 | 5.4 |
| 같은 문장의 어순을 뒤섞은 것 | 41.3 |
| 무작위 토큰 | 2233.4 |
이 표가 벤치마크 점수보다 많은 것을 말해 줍니다. 어순을 뒤섞자 PPL이 5.4 → 41.3으로 7.6배 오르고, 무작위 토큰에서 2233.4로 폭증합니다. 모델이 단어 빈도만 외운 것이 아니라 한국어의 어순과 의미 구조를 실제로 학습했다는 뜻입니다. 1442억 토큰 규모에서 한국어 문장의 PPL 5.4는 준수한 수치입니다.
점수를 어떻게 읽어야 하는가
객관적으로 보면, 지식·추론 벤치마크는 학습 토큰 수에 강하게 지배됩니다. 1442억 토큰은 오늘날 기준으로 작은 학습량이고 — 참고로 Soofi S의 187분의 1입니다 — ARC-Challenge(22.2)나 OpenBookQA(20.0) 같은 지식 집약 태스크에서 낮은 점수가 나오는 것은 그 규모에서 예상되는 결과입니다.
반대로 SciQ 73.7, PIQA 66.3, KoBEST COPA 57.2 처럼 언어 이해와 상식 추론 쪽에서는 규모 대비 정상적인 학습 곡선이 관측됩니다. 이 모델을 성능 순위표에 올려놓고 읽으면 오독이고, "1442억 토큰에서 이 아키텍처가 어디까지 학습되는가"의 관측 지점으로 읽는 것이 맞습니다. 애초에 이 공개의 성격이 그렇습니다.
이 공개가 증명한 것과 증명하지 않은 것
분석적으로 선을 그어 두면 이렇습니다.
증명된 것
- 이 구성이 실제로 학습된다. 49 층에 5종 메커니즘을 라틴 방진으로 배치하고 162,000 스텝을 발산 없이 통과했으며, 학습된 언어 구조가 PPL로 확인됩니다.
- 메커니즘별 비용 프로파일. 가중치와 무관한 아키텍처의 성질이므로 제3자가 재현·검증할 수 있습니다.
- 완전 공개가 국가급 자원 없이도 가능하다. 16 장으로도 이 문서화 수준에 도달했습니다.
증명되지 않은 것
"이종 어텐션이 동종 어텐션보다 우월하다"는 아직 보여지지 않았습니다. 그것을 주장하려면 어텐션 구성만 다르고 데이터·스텝·시드·하이퍼파라미터가 모두 동일한 통제 실험이 필요하고, 시드 노이즈를 실측해 그보다 큰 차이인지 확인해야 합니다.
여기서 눈여겨볼 대목은, 이 구분을 모델 카드가 스스로 명시하고 있다는 점입니다. 비용 표 아래에는 "이 표는 비용만 기술하며 출력 품질에 대해서는 아무것도 주장하지 않는다. 품질 비교는 어텐션 구성만이 유일한 변수인 통제 실험을 따로 요구한다"는 단서가 붙어 있습니다. 새 아키텍처를 공개하면서 성능 우위를 주장하지 않고 통제 장치부터 마련해 둔 것은, 요즘 릴리스에서 드문 절제입니다. 라틴 방진이 "우위의 근거"가 아니라 "우위를 공정하게 물어볼 수 있게 만드는 장치"로 설계되었다는 것과 일관됩니다.
실행해 보기
커스텀 아키텍처지만 모델링 코드가 저장소에 함께 실려 있어, trust_remote_code=True 한 번이면 표준 경로로 로드됩니다.
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
MODEL = "FINAL-Bench/Aether-7B-5Attn"
tok = AutoTokenizer.from_pretrained(MODEL)
model = AutoModelForCausalLM.from_pretrained(
MODEL, trust_remote_code=True, dtype=torch.bfloat16, device_map="cuda"
).eval()
ids = tok("대한민국의 수도는", return_tensors="pt").to("cuda") # base 모델이므로 지시가 아니라 이어쓸 문장을 준다
print(tok.decode(model.generate(**ids, max_new_tokens=32)[0], skip_special_tokens=True))
bfloat16 기준 약 14 GB의 VRAM이 필요합니다.
실행상의 제약
연구용 산출물이라는 성격은 사용성에도 그대로 나타납니다. 도입을 검토한다면 다음을 먼저 확인해야 합니다.
- KV 캐시가 없습니다.
use_cache=False가 필수이며, 매 토큰마다 전체 순전파를 다시 돌기 때문에 디코딩이 시퀀스 길이에 O(n²) 입니다. 실측 처리량은 T4에서 약 1.5 tok/s, B200에서 약 7 tok/s. batch_size=1로 실행해야 합니다. NSA 계열 분기가 패딩 마스크를 소비하지 않아, 패딩된 시퀀스를 배치하면 결과가 조용히 오염될 수 있습니다.- vLLM 미지원. 커스텀 아키텍처이므로 HF
transformers로 서빙해야 합니다. - 안전성 정렬 없음. RLHF나 안전 튜닝을 거치지 않은 연구용 base 모델입니다.
Soofi S가 참조 아키텍처(Nemotron 3 Nano)를 수정 없이 채택한 첫 번째 이유로 "배포성 — 이미 vLLM에 통합되어 있어 공개 첫날부터 서빙 가능"을 든 것과 정확히 대칭입니다. 기존 설계를 재사용하면 생태계를 얻고 독창성을 내주며, 새 구조를 시도하면 그 반대입니다. 어느 쪽이 옳다기보다, Aether는 후자를 택했고 그 대가를 카드에 명시해 두었습니다. 지시 튜닝 버전(Aether-7B-5Attn-it)도 함께 공개되어 있습니다.
계열 모델과의 구분
Aether 계열에는 가중치만 공개된(open-weight) 형제 모델이 둘 더 있습니다. AETHER-7B-7Attn-base, 그리고 121개 계층에 11종 시퀀스 혼합 메커니즘을 11 × 11 라틴 방진으로 배치한 Aether-6B-11Attn-base입니다.
이 글이 다루는 오픈소스 공개 모델은 Aether-7B-5Attn 하나입니다. 데이터 레시피와 학습 코드, 전체 로그, 중간 체크포인트까지 함께 공개된 것은 이 모델뿐이며, 앞의 모든 표와 수치는 5Attn의 것입니다.
정리
세 가지로 요약됩니다.
첫째, 한국 파운데이션 모델의 공개 기준선이 한 칸 올라갔습니다. 국내에서 처음부터 학습된 모델은 이미 여럿 있었지만 학습 데이터를 공개한 사례는 없었고, 확인되는 범위에서 이 모델이 처음입니다. 기준선이 한번 올라가면 다음 공개는 그 선에서 비교됩니다. 개별 모델의 점수보다 오래 남는 종류의 변화입니다.
둘째, 완전 공개가 국가급 자원의 전유물이 아님을 보였습니다. 완전 공개 진영은 대부분 국가 연구기관과 통신사 인프라를 등에 업고 있습니다. B200 16 장으로 같은 문서화 등급에 도달한 사례는, 자원이 제약인 조직에게 실행 가능한 선례가 됩니다.
셋째, 자원이 작을 때 남는 축은 독창성입니다. 데이터 규모로 경쟁할 수 없다면 남는 것은 아직 답이 정해지지 않은 질문입니다. "모든 계층이 같은 어텐션을 써야 하는가"는 그런 질문이고, 라틴 방진은 그 질문을 편향 없이 던지기 위해 고안된 장치입니다. 이종 어텐션을 라틴 방진에 올린 공개 모델도, 메커니즘별 비용 프로파일을 측정해 공개한 사례도 확인되지 않습니다. 그리고 그 통제 장치를 만들어 두고도 성능 우위를 선언하지 않았다는 점이, 이 공개에서 가장 신뢰가 가는 대목입니다.
남은 과제도 그 순서를 따를 것으로 보입니다. 어텐션 구성만을 변수로 하는 통제 ablation, 시드 노이즈 대비 유의성 확인, 학습 토큰의 확대, 그리고 KV 캐시가 없는 구조의 서빙 경로입니다. 재료가 전부 공개되어 있으므로, 그중 일부는 원 저자가 아닌 제3자가 먼저 내놓아도 이상하지 않습니다. 그것이 오픈소스로 공개한다는 것의 의미이기도 합니다.
📜 Aether-7B-5Attn 모델 카드
https://huggingface.co/FINAL-Bench/Aether-7B-5Attn
🤗 Aether Foundation Model 컬렉션
https://huggingface.co/collections/FINAL-Bench/aether-foundation-model
🏠 Aether Sovereign AI 데모 (Spaces)
https://huggingface.co/spaces/FINAL-Bench/Aether-Sovereign-AI
📁 중간 체크포인트 데이터셋 (110k · 115k · 162k)
https://huggingface.co/datasets/FINAL-Bench/Aether-7B-5Attn-checkpoints
📝 공개 배경 블로그
https://huggingface.co/blog/FINAL-Bench/opensource-llm
이 글은 공개된 모델 카드와 저장소 파일(config·학습 로그·평가 코드)을 직접 확인해 정리했습니다. 벤치마크 수치와 사양은 모델 카드에 보고된 값을 그대로 옮겼으며, 비교 대상인 Soofi S 30B-A3B의 수치는 해당 리포트를 참조했습니다. 해석과 평가는 글쓴이의 것입니다. 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 🤗