재귀적 자기개선(RSI)의 네 가지 층: 정확히 무엇이 스스로 좋아지는가
한 줄 답: 「재귀적 자기개선(RSI)」이라는 말은 이제 최소 네 가지 서로 다른 것을 가리킨다. 물어야 할 것은 스스로 좋아지느냐가 아니라 무엇이 좋아지느냐다. 모델을 둘러싼 작업 틀(harness), 모델 가중치, 모델을 채점하는 채점기, 모델을 만드는 연구 과정. 층마다 배포되는 결과물이 다르고, 실패하는 방식이 다르며, 필요한 증거도 다르다.
2026년 RSI 논문 약 1,250편을 정리한 서베이(arXiv 2607.07663)는 이 분야를 두 축으로 나눈다. 무엇을 개선하는가, 그리고 고리가 얼마나 닫혀 있는가. 이 글은 첫 번째 축을 적용해, 다음에 「스스로 좋아지는 AI」라는 주장을 읽을 때 쓸 수 있는 비교표로 정리한다.
비교표
| 작업 틀 RSI (Harness-level) |
모델 자체 RSI (Model-level) |
채점기 RSI (Evaluator-level) |
연구 과정 RSI (Research-level) |
|
|---|---|---|---|---|
| 바뀌는 것 | 프롬프트·도구·메모리·작업 흐름·에이전트 코드 | 모델 가중치 | 보상 모델·심판 | 학습 방법·알고리즘·실험 |
| 비유 | 직원의 업무 매뉴얼을 고침 | 직원이 똑똑해짐 | 시험관이 정확해짐 | 연구소가 연구 방법을 개선함 |
| 사례 | 구글 RRSI, Darwin Gödel Machine | TTRL, R-Zero, Self-Rewarding LM, STaR, Darwin-RSI | 자기 개선 LLM 심판·보상 모델 | AlphaEvolve, 무인 사후학습 루프 |
| 배포되는 것 | 더 나은 설정(모델은 그대로) | 새 모델 파일 | 더 나은 채점기 | 새 방법·알고리즘 |
| 이식성 | 작업 틀을 모델과 함께 옮겨야 함 | 모델만 받아도 향상 유지 | 채점기를 함께 써야 함 | 방법을 다시 적용해야 함 |
| 주 비용 | 강한 외부 모델(제안·비평)을 반복 호출 | 바퀴마다 GPU 학습 1회 | 중간 | 매우 큼 |
| 대표 실패 | 학습용 과제를 외움(과적합) | 자기 오류를 강화(「나쁜 선생」) | 채점기가 속음(보상 해킹) | 검증 자체가 어려움 |
| 설득력 있는 증거 | 선택에 쓰지 않은 벤치에서의 향상 | 보류 벤치 향상 + 짝검정 | 독립 정답과의 일치도 상승 | 독립 재현 |
1. 작업 틀 RSI: 모델 주변을 개선한다
모델은 고정한다. 바깥 고리가 프롬프트·도구·메모리·흐름의 수정안을 내고, 평가하고, 이긴 것만 남긴다.
구글의 RRSI(Regularized RSI of Agent Harnesses, arXiv 2609.24972)가 최근 가장 분명한 사례다. 고정 모델로 Terminal-Bench 2.1이 74.2에서 80.2로 올랐고, 선택에 쓰이지 않은 벤치(SWE-bench Verified, GDPval, APEX-Agents, Frontier-Eng)에서도 +2~5점을 보고했다. 더 약한 고정 모델에서는 학습 분포 안 향상이 더 컸다(64.6 → 78.7).
흥미로운 부분은 고리 자체보다 과적합을 막는 규제 장치다.
- 잡음 보정 하한: 평가 분산 안의 향상은 향상이 아니다.
- 누수 비평가: 벤치 전용 꼼수를 평가 전에 걸러낸다.
- 편집 이력: 반증된 가설은 다시 제안하지 않는다.
- 비용 규칙: 추론 토큰이 늘면 측정된 향상으로 갚아야 한다.
- 가지치기: 더는 도움이 안 되는 부품은 제거한다.
이 규칙들은 작업 틀을 넘어 일반화된다. 이런 장치가 없는 자기개선 고리는 결국 잡음이나 누수를 향상으로 보고하게 된다.
2. 모델 자체 RSI: 모델이 스스로 좋아진다
여기서는 가중치가 바뀐다. 모델이 문제를 풀고, 확인 절차가 자기 풀이 중 좋은 것을 고르고, 그것으로 학습한다. 그리고 반복한다.
핵심 설계 질문은 학습 신호가 어디서 오느냐다. 라벨 없는 계열(TTRL, R-Zero, 그리고 우리 Darwin-RSI)에서는 모델이 자기 풀이로만 학습한다. 사람이 쓴 풀이나 추론 과정은 쓰지 않으며, 정답 여부는 자동으로 확인한다. 예를 들어 모델의 여러 샘플이 일치하는지, 코드를 실행해 맞는지로 판단한다.
이 계열의 결과는 실재하지만 한 바퀴당 폭은 크지 않다.
| 시스템 | 설정 | 보고된 향상 |
|---|---|---|
| R-Zero (ICLR 2026) | Qwen3-4B-Base, 출제자·풀이자 공진화 | 수학 +6.49, 일반 추론 +7.54 |
| Darwin-27B-RSI | 27B, 자기개선 2바퀴 | GPQA Diamond 72.85 → 78.09(1회 풀이), 79.80 → 83.59(16회 다수결), 두 모델 동일 조건 |
대표 실패는 나쁜 선생이다. 「좋은」 풀이를 고르는 확인 절차가 약하면, 모델은 자기 오류로 학습해 자신 있게 나빠진다. 확인 절차의 품질이 고리 전체의 천장이다.
실무에서 이 층이 중요한 이유: 향상이 모델 파일 안에 담겨 배포된다. 모델을 받는 사람은 고리·작업 틀·확인기 없이도 향상을 그대로 얻는다.
3. 채점기 RSI: 심판을 개선한다
다른 모든 고리는 채점기에 의존한다. 채점기가 좋아지면 그것을 쓰는 모든 고리가 좋아진다. 채점기가 속으면 모든 고리가 엉뚱한 것을 최적화한다.
이 층은 덜 논의되고 덜 측정된다. 실무 시험은 간단하다. 개선된 심판이 학습에 쓰지 않은 항목에서 독립 정답과 더 잘 일치하는가? 답할 수 없다면 그것은 채점기 개선이 아니라 보상 해킹 위험이다.
4. 연구 과정 RSI: 개선하는 방법 자체를 개선한다
시스템이 연구 과정 자체를 바꾼다. 알고리즘, 학습 레시피, 사후학습 파이프라인 전체를 탐색한다. AlphaEvolve가 알고리즘과 AI 학습 인프라에 평가기 기반 진화를 적용한 대표 사례다. 사람 없이 몇 주씩 도는 사후학습 고리가 공개 리더보드 성적으로 보고되기 시작했다.
가장 야심 찬 층이자 가장 검증하기 어려운 층이다. 독립 재현만이 설득력 있는 증거다.
층은 경쟁이 아니라 결합된다
네 층은 서로 보완한다. 작업 틀 RSI는 모델 자체 RSI 모델 위에서 돌 수 있다. 더 나은 채점기는 둘 다 강하게 만든다. 연구소가 택할 만한 순서는 이렇다.
- 모델 자체 RSI로 파일로 배포되는 더 강한 바탕을 만든다.
- 그 위에 작업 틀 RSI로 과제별 향상을 얹는다.
- 채점기에 투자한다. 두 고리 모두의 천장이기 때문이다.
「스스로 좋아지는 AI」 주장을 읽는 점검표
- 어느 층인가? 작업 틀, 모델, 채점기, 연구 과정.
- 학습 신호는 어디서 오는가? 사람이 쓴 풀이, 공개 정답표, 또는 자동 확인을 거친 모델 자신의 풀이.
- 향상이 잡음 범위 밖인가? 숫자 하나가 아니라 짝검정·신뢰구간을 보라.
- 평가 세트를 선택에 썼는가? 그렇다면 숫자를 깎아서 보고, 보류 세트 결과를 찾아라.
- 무엇이 배포되는가? 설정, 모델 파일, 채점기, 방법.
- 한 바퀴 비용은? 작업 틀 고리는 토큰, 모델 고리는 GPU 시간.
자주 묻는 질문
AI에서 재귀적 자기개선(RSI)이란 무엇인가?
AI 시스템이 자신의 어느 부분을 개선하고, 개선된 버전이 다음 바퀴를 도는 고리다. 개선 대상은 작업 틀, 모델 가중치, 채점기, 연구 과정일 수 있다.
작업 틀 RSI와 모델 자체 RSI의 차이는?
작업 틀 RSI는 고정된 모델 주변의 프롬프트·도구·흐름을 바꾼다. 모델 자체 RSI는 모델 가중치를 바꾸므로 향상이 모델 파일 안에 담겨 배포된다.
구글 RRSI는 모델 자체 RSI인가?
아니다. RRSI는 모델을 고정하고 에이전트 작업 틀을 진화시킨다. 작업 틀 RSI다.
사람이 쓴 풀이 없이 모델이 좋아질 수 있나?
그렇다. 라벨 없는 방법은 모델 자신의 풀이로만 학습하고, 샘플 간 일치나 코드 실행 같은 자동 확인을 쓴다. 한계를 정하는 것은 그 확인 절차다.
자기개선 향상이 진짜인지 어떻게 아나?
선택에 쓰지 않은 벤치에서 재고, 짝 통계 검정을 쓰며, 평가 잡음 범위 안의 향상은 0으로 취급한다.
참고: RRSI 코드 · RRSI 논문 · RSI 서베이 arXiv 2607.07663 · R-Zero · Darwin-27B-RSI 모델 카드