문명은 창발했는가, 암송했는가 — 대조군으로 다시 본 멀티에이전트 "창발"
VIDRAFT · CIVOS | 라이브 데모: VIDraft/ai-world (Hugging Face Space) | 원문(EN): huggingface.co/blog/FINAL-Bench/ai-world
TL;DR
- 멀티에이전트 시뮬레이션에서 관측되는 "사회·분업·문명의 창발"은 **탐색(H1)**일 수도, LLM이 학습한 인류사의 **암송(H2)**일 수도 있습니다. 대조군이 없으면 두 가설은 관측상 구분되지 않습니다.
- CIVOS는 과제 구조를 고정한 채 사전지식의 가용성만 조작(온전 → 제거 → 오염 → LLM 없는 바닥)하는 대조군을 설계했습니다.
- 시드로 짝지은 40판, 부호반전 순열검정(200,000 리샘플), 다중비교 보정으로 평가했고, 우리가 검정력·보정에서 두 번 틀린 과정까지 공개합니다.
- 이 글은 라이브 Space의 실제 화면(문명 단계·행성 기록·명부·생태 패널)을 계기(instrument)로 뜯어봅니다.
1. 문제 정의: 창발 vs 암송
멀티에이전트 연구는 규모를 키울수록 같은 결론을 냅니다. 수천~수만 에이전트를 풀면 사회가 형성되고 분업이 나타나고 문명이 발전한다고. 문제는, 그 에이전트를 구동하는 언어모델이 이미 인류사를 학습했다는 점입니다. 돌을 쳐서 날을 세우는 것, 섬유를 꼬아 끈을 만드는 것, 불이 농경보다 먼저라는 것 — 모델은 이미 알고 있습니다.
| 가설 | 내용 |
|---|---|
| H1 — 창발(Emergence) | 에이전트가 세계를 탐색해 규칙을 추론했다 |
| H2 — 암송(Recitation) | 에이전트가 학습한 인류사를 재생했다 |
관측된 궤적(석기 → 불 → 도구)만으로는 두 가설이 동일한 로그를 냅니다. 구분하려면 개입(intervention) 이 필요합니다.
2. 실험 설계: 사전지식만 조작하는 대조군
핵심 아이디어는 단순합니다. 과제의 구조(structure)는 완전히 고정하고, 오직 모델의 사전지식이 얼마나 쓸모 있는가만 바꿉니다.
조건 A. 지식 온전 — 사전지식 완전 가용
조건 B. 지식 제거 — 사전지식을 쓸 수 없게 만듦 (구조는 동일)
조건 C. 지식 오염 — 사전지식이 '틀리도록' 만듦
조건 D. 무모델 바닥 — LLM 없이 도는 random floor
- 사전지식이 일을 하고 있었다면 → B에서 성능이 떨어져야 합니다.
- 탐색이 일을 하고 있었다면 → B에서 떨어지지 않아야 합니다.
평가 프로토콜
# 개념적 요약 (실제 조건 구성·판정·세계생성은 특허 출원 관계로 비공개)
n_seeds = 40 # 조건당
pairing = "by_seed" # 동일 시드로 조건 간 paired 비교
test = "sign_flip_permutation"
resamples = 200_000
correction = "bonferroni" # 데이터셋당 비교 횟수만큼
관측 결과 (상단 배너 요약)
- ① 지식 제거 → 발견이 유의하게 붕괴. 구조는 그대로인데 성능이 떨어집니다. 하락폭 = 사전지식이 대주던 몫. 다중비교 보정 후에도 견고.
- ② 틀린 사전지식은 무지보다 나쁘다. 구조가 다른 두 조작에서 각각 40/40, 37/40 시드에서 독립적으로 성립. 둘 다 보정 생존.
- ③ 지식이 온전한 판은 시드가 달라도 거의 흔들리지 않는다. 독립 40시드×3회 실행에서 산포가 지식제거 조건보다 훨씬 낮음. 탐색이라면 시드마다 출렁여야 합니다. 출렁이지 않는다 = 매번 같은 것을 꺼낸다 = 회상(recall)의 서명.
- 미확립: 지식제거 조건이 무작위 바닥을 이기는지는 양의 경향이나 보정을 넘지 못함 → 주장하지 않음.
3. 우리가 두 번 틀린 과정 (재현성 관점)
이 절이 개발자에게 가장 쓸모 있을 수 있습니다. 두 실수 모두 이 분야가 반복적으로 저지르는 것이기 때문입니다.
3-1. 검정력 부족한 null을 "음성"으로 오독
초기 6시드에서 핵심 비교가 양(+)이지만 비유의 → "게이트 미통과"로 기록. 이를 고치려 구조적 개입을 두 번 추가 → 둘 다 무효 → 실패로 기록. 나중에 검정력을 계산했습니다.
관측 paired 효과크기 dz ≈ 0.48
6시드에서의 검정력 0.20 # 실효과를 5번 중 4번 놓침
틀린 것은 가설이 아니라 측정이었습니다. 없었을지도 모를 문제를 고치려 구조 2개를 지은 셈입니다. 이후 효과크기로 표본을 사전 고정(40시드, 검정력 ≈ 0.85)하고 재측정했습니다.
3-2. 보정 안 한 검정을 "양성"으로 오독
재측정 비교는 단독으로는 유의(p ≈ 0.04). 그러나 같은 데이터셋에서 4개 비교를 뽑았고, Bonferroni α = 0.0125에서 이 게이트는 생존하지 못합니다. → 보정 안 한 검정을 단독 보고하지 않습니다.
한 번은 실재 효과를 없다고, 한 번은 없는 효과를 있다고 불렀습니다. 방향은 반대, 원인은 하나 — 이 분야의 통상 표본 크기로는 이 크기의 효과를 분해할 수 없습니다.
4. 라이브 계기(instrument) 뜯어보기 — 실제 화면으로
이제 ai-world Space의 실제 패널을 기술 전시물로 봅니다. 모든 수치는 관측자 측 계기이며, 부족(에이전트)은 이 표들을 보지 못합니다.
Figure 1 — 문명 단계 패널 (관측자 계기)
seed 866418 · 60×60km · 12,798일째 · 인구 72 · 식량 0 · 문명 단계 4/17 「도구 무리 — 날과 끈을 만들어 쓴다」
패널의 설계 노트가 방법론의 핵심을 그대로 담고 있습니다.
"이 표는 관측자의 것이다. 부족은 이 표를 보지 못한다. 기술트리를 쥐어주면 발견이 아니라 암송이 된다."
즉 기술 트리(capability ladder)는 절대 에이전트에게 노출되지 않습니다. 단계는 "재료가 아니라 능력"으로 정의됩니다 — 이 행성의 금속은 지구의 것이 아니므로 "청동기"라 부르지 않고 "금속을 다룬다"로 판정합니다. 이정표(날을 세운다 / 불을 다룬다)도 결과가 아니라 행동으로 채점합니다. 에이전트에게 사다리를 쥐어주는 순간 발견이 암송이 되는 것 — 그것이 연구 대상인 교란입니다.
Figure 2 — 행성 기록 리더보드 (사람이 아니라 행성을 비교)
| 순위 | 사용자 | 도달 단계 | 처음 도달 | 행성 난이도 | 인구 |
|---|---|---|---|---|---|
| 1 | MJKorean | 도구 무리(4) | 100일째 | 15.1 순함 | 40 |
| 3 | Ku-ku | 도구 무리(4) | 150일째 | 30 보통 | 46 |
| 4 | sunglee | 도구 무리(4) | 150일째 | 46.9 험함 | 45 |
| 6 | changeh | 도구 무리(4) | 180일째 | 0 순함 | 46 |
리더보드가 도달 단계와 함께 "행성 난이도"를 반드시 병기하는 점에 주목하세요. 관측자는 개입하지 않으므로, 기록표는 사람이 아니라 행성을 비교합니다. 험한 행성(46.9)에서의 단계 4와 순한 행성(0)에서의 단계 4는 같은 성취가 아닙니다.
난이도 축은 손으로 고르지 않았습니다.
후보 난이도 축들에 대해 30시드 변동계수(CV)를 계산
→ 변별 실패 축 제거 (예: 험지 지형 비율, CV 0.07)
밴드 임계값 = 60시드 관측 분포의 3분위(terciles)
측정으로 축을 고르고 분포로 임계값을 정하는 — 데이터 주도 난이도 정규화입니다.
Figure 3 — 명부 패널 (개체 수준 시뮬레이션)
생존자 72명 · 12,780일째 · 기여순
| ID | 이름 | 나이 | 성 | 역할 | 성격 | 활동 | 기여 | 발견 |
|---|---|---|---|---|---|---|---|---|
| 025 | raeviis | 61 | 남 | 채집꾼 | INFP | 4.7 | 29,309.5 | 28 |
| 028 | kath | 57 | 남 | 채집꾼 | ISTJ | 4.7 | 28,944.6 | 28 |
| 011 | zruskhuk | 56 | 여 | 머무는이 | ISFP | 4.6 | 24,594.9 | 28 |
시뮬레이션은 집계량이 아니라 개체 단위로 돕니다. 각 개체는 나이·건강·역할(채집꾼/머무는이 등)·성격(MBTI)·누적 기여·발견 수를 가집니다. 여기서 역할 분화는 위에서 주입되지 않고 개체 활동의 결과로 명부에 나타납니다 — 그리고 이 "분업처럼 보이는 것"이 창발인지 암송인지를 가리는 것이 §2의 실험입니다. 인상적인 전시물과 주장으로 쓸 수 있는 것은 다릅니다.
Figure 4 — 현재 상태 패널 (물리·생태의 인과 닫힘)
10,974일째(되감기) · 계절 해빙 · 인구 66 · 움막 13
생태 3층
식물 1,101k
초식동물 70
포식자 1.12
행성 물리
중력 10.79 m/s² # g = GM/R² 로 유도된 값
생태는 3영양단계로 닫혀 있습니다. 계수 자체는 평형조건에서 역산한 가정값이지만(옳다고 주장하지 않음), 검증한 것은 인과사슬이 실제로 돈다는 것입니다 — 포식자를 억제하면 초식이 늘고 식물이 주는 관계가 시드에 걸쳐 재현됩니다. 중력 10.79 m/s²는 손으로 넣은 상수가 아니라 질량·반경에서 유도된 값입니다.
5. 세계의 물리: 무엇이 유도되고 무엇이 가정되는가
에이전트는 조합 퍼즐이 아니라 작동하는 행성에 살며, 코드는 유도와 가정 사이에 명확한 선을 긋습니다.
- 유도 + 코드 검증: 표면중력
g = GM/R², 케플러 3법칙P² = a³/M, 생명가능지대∝ √L. 신체 규모는 자기지지 기둥 관계로 키∝ g^-0.75·질량∝ g^-1→ 이들은 인간보다 작고 두껍습니다. 길이 단위는 미터가 아니라 손가락·손바닥·뼘·걸음·하룻길. - 가정 + 인과 닫힘만 검증: 생태·역학 계수(§Figure 4).
- 유용성은 은닉: 식용성·독성은 관측 속성이 아니라 먹고·다치고·목격하며 학습.
- 지구 누출 0: 모든 이름·형태가 지상과 무관, 지구 용어 누출 자동 감사(현재 0건).
6. 우리가 지키는 규율
- 판정은 오직 시뮬레이터. 에이전트가 말한 이유는 화면에 표시하되 능력의 증거로 세지 않습니다(Figure 1의 원칙).
- 실패를 기록. 환경은 번영하도록 튜닝되지 않았습니다 — 굶고, 병들고, 죽습니다(Figure 4의 식량 0).
- 철회를 남긴다. 무효 대조군 설계, 검정력 부족 판정, 철회 후 부분복원한 주장을 지우지 않습니다(§3).
- 채점 전 원시출력 검사. 형식을 못 따르는 듯 보인 모델이 실은 준수 중이었고 채점기가 못 알아본 사례 — 그대로 셌다면 결과가 아니라 하네스 아티팩트였을 것입니다.
7. 직접 실행해보기
공유 월드는 로그인 없이 관람 가능합니다. Hugging Face로 로그인하면 사용자명에서 유도된 시드로 당신만의 행성이 열리고, 도달한 최고 단계가 기록표에 오릅니다. 시간은 지구일 1일 = 2.4실초로 흐르며, 한 번 열린 세계는 멈추지 않습니다.
8. 남은 것 / 맺으며
지금까지의 모든 결과는 단일 모델 패밀리에서 나왔습니다. 두 번째 패밀리 재현이 진행 중이며, 완료된 조건은 주효과를 같은 방향·더 큰 크기로 재현합니다. 끝나기 전까지는 "언어모델의 성질"이 아니라 그 모델의 성질일 수 있습니다. 과제 토폴로지도, 프롬프트도 하나뿐 — 둘 다 넓혀야 합니다.
우리는 AI가 문명을 건설했다고 주장하지 않습니다. 보였다고 생각하는 것은 이것입니다 — 창발이라 불린 것의 상당 부분은 회상이었을 수 있고, 그 둘을 분리하려면 대조군이 필요하며, 대조군을 세우는 순간 숫자가 바뀐다. 그리고 대조군만으로는 부족합니다. 표본이 작으면 있는 것을 놓치고, 보정하지 않으면 없는 것을 봅니다. 우리는 그 각각을 한 번씩, 반대 방향으로 겪었습니다.
부족은 여전히 저 밖에 있습니다. 배고프고, 단어를 만들고 있으며, 아무도 다음에 무엇을 하라고 말해주지 않았습니다.
VIDRAFT · CIVOS
라이브: huggingface.co/spaces/VIDraft/ai-world · 원문: huggingface.co/blog/FINAL-Bench/ai-world
조건 구성·판정 파이프라인·세계 생성은 특허 출원 관계로 비공개입니다.