# \#rsi
**URL:** https://discuss.pytorch.kr/tag/rsi/9224.md
[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)
---
## [Darwin-27B-ZTC: 생성 없는 단일 순전파 판정기와 보정 품질의 정량 분석](https://discuss.pytorch.kr/t/darwin-27b-ztc/12132)
**Author:** [@AI\_OpenFree](https://discuss.pytorch.kr/u/AI_OpenFree)\
**댓글:** 0\
**마지막 업데이트:** [10월 8, 2026, 8:19오전 UTC](https://discuss.pytorch.kr/t/darwin-27b-ztc/12132 "2026-10-08T08:19:21Z")
들어가며: LLM-as-judge의 두 가지 구조적 부채 LLM을 평가자(judge)로 쓰는 패턴이 빠르게 표준이 됐습니다. 응답 채점, 선호 비교, 라우팅, 안전 필터링까지, 사람이 매기던 판단을 모델이 대신합니다. 그런데 생성형 LLM을 판정기로 쓰는 순간 두 가지 구조적 부채가 따라옵니다. 첫째는 지연입니다. 생성은 출력 길이 L에 대해 O(L)의 순차 디코딩입니다. 판정 하나에 수십에서 수백 토큰을 뽑고, 각 토큰은 이전 토큰에 의존하므로 병렬화도 제한됩니다. 수백만 건을 채점하는 파이프라인에서 이 비용은 선형으로 쌓입니다. 둘째는 보정(calibration)입니다. 판정기에 정말 필요한 것은 "정답"만이 아니라 "얼마나 확신하는가"입니다. 그런데 생성형에서 확신도를 얻으려면 logprob을 긁거나(프롬프트에 선택지를 넣고 해당 토큰 확률을 읽기) 다중 샘플링으로 비율을 세야 합니다. 전자는 토큰 확률이 사후확률과 어긋나기 쉽고, 후자는 분산과 비용을 동시에 키웁니다. 어느 쪽도 "보고된 확신도가 실제 정답 확률과 일치한다"를 보장하지 않습니다. Darwin-27B-ZTC(zero-token classifier)는 이 두 부채를 우회하는 대신 문제 자체를 되돌립니다. 판정을 생성 문제가 아니라 조건부 확률 추정 문제로 정의하고, 입력과 유형이 지정된 질문 집합에 대해 범주 확률분포를 단일 순전파로 반환합니다. 생성 토큰은 0개이며 디코딩 루프가 없습니다. 1. 문제 정식화 판정기를 사상 f: (상태 s, 질문 q) → Δ(Y\_q) 로 둡니다. 여기서 Y\_q는 질문 q의 정답 공간이고 Δ(Y\_q)는 그 위의 확률단체(probability simplex)입니다. 즉 모델의 출력은 하나의 레이블이 아니라 가능한 답들에 대한 확률 벡터입니다. 생성형 판정기는 토큰 시퀀스 t\_1...t\_L을 자기회귀로 샘플링한 뒤, 거기서 레이블과 확신도를 역산합니다. 반면 ZTC는 Δ(Y\_q)의 원소를 직접 내놓습니다. 이 한 줄의 차이가 다음 세 가지 성질로 …
---
## [재귀적 자가개선(RSI)의 기술적 분류와 차이점 분석](https://discuss.pytorch.kr/t/rsi/12057)
**Author:** [@AI\_OpenFree](https://discuss.pytorch.kr/u/AI_OpenFree)\
**댓글:** 0\
**마지막 업데이트:** [9월 30, 2026, 6:55오전 UTC](https://discuss.pytorch.kr/t/rsi/12057 "2026-09-30T06:55:51Z")
재귀적 자기개선(RSI)의 네 가지 층: 정확히 무엇이 스스로 좋아지는가 한 줄 답: 「재귀적 자기개선(RSI)」이라는 말은 이제 최소 네 가지 서로 다른 것을 가리킨다. 물어야 할 것은 스스로 좋아지느냐가 아니라 무엇이 좋아지느냐다. 모델을 둘러싼 작업 틀(harness), 모델 가중치, 모델을 채점하는 채점기, 모델을 만드는 연구 과정. 층마다 배포되는 결과물이 다르고, 실패하는 방식이 다르며, 필요한 증거도 다르다. 2026년 RSI 논문 약 1,250편을 정리한 서베이(arXiv 2607.07663)는 이 분야를 두 축으로 나눈다. 무엇을 개선하는가, 그리고 고리가 얼마나 닫혀 있는가. 이 글은 첫 번째 축을 적용해, 다음에 「스스로 좋아지는 AI」라는 주장을 읽을 때 쓸 수 있는 비교표로 정리한다. 비교표 작업 틀 RSI (Harness-level) 모델 자체 RSI (Model-level) 채점기 RSI (Evaluator-level) 연구 과정 RSI (Research-level) 바뀌는 것 프롬프트·도구·메모리·작업 흐름·에이전트 코드 모델 가중치 보상 모델·심판 학습 방법·알고리즘·실험 비유 직원의 업무 매뉴얼을 고침 직원이 똑똑해짐 시험관이 정확해짐 연구소가 연구 방법을 개선함 사례 구글 RRSI, Darwin Gödel Machine TTRL, R-Zero, Self-Rewarding LM, STaR, Darwin-RSI 자기 개선 LLM 심판·보상 모델 AlphaEvolve, 무인 사후학습 루프 배포되는 것 더 나은 설정(모델은 그대로) 새 모델 파일 더 나은 채점기 새 방법·알고리즘 이식성 작업 틀을 모델과 함께 옮겨야 함 모델만 받아도 향상 유지 채점기를 함께 써야 함 방법을 다시 적용해야 함 주 비용 강한 외부 모델(제안·비평)을 반복 호출 바퀴마다 GPU 학습 1회 중간 매우 큼 대표 실패 학습용 과제를 외움(과적합) 자기 오류를 강화(「나쁜 선생」) 채점기가 속음(보상 해킹) 검증 자체가 …