# \#state-tracking **URL:** https://discuss.pytorch.kr/tag/state-tracking/9135.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [RLT(Recurrent Looped Transformer): 생성하는 토큰이 길어질수록 더 많은 연산을 하는 순환 디코더에 대한 연구](https://discuss.pytorch.kr/t/rlt-recurrent-looped-transformer/11937)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 18, 2026, 3:00오전 UTC](https://discuss.pytorch.kr/t/rlt-recurrent-looped-transformer/11937 "2026-09-18T03:00:32Z")
Recurrent Looped Transformer(RLT) 소개 트랜스포머는 토큰을 아무리 많이 써도 한 토큰의 계산 깊이가 늘어나지 않습니다 머릿속으로 긴 곱셈을 할 때를 떠올려 봅시다. 우리는 자릿수를 하나씩 처리하면서 올림 수를 계속 손에 쥐고 갑니다. 자릿수가 늘어나면 붙잡고 있어야 할 중간 결과도 늘어나고, 그만큼 머릿속에서 굴리는 단계도 길어집니다. 계산이 길어질수록 생각의 사슬도 길어지는 것이 자연스럽습니다. Recurrent Looped Transformer(RLT) 는 지금의 트랜스포머(Transformer)가 바로 이 지점에서 어긋나 있다는 문제의식에서 출발한 기술 보고서입니다. 인과적 인코더(causal encoder)와 순환 디코더(recurrent decoder)를 결합해, 토큰이 하나씩 늘어날 때마다 순환 경로가 디코더 깊이만큼 계속 길어지는 구조를 제안합니다. 저자는 Yifan Zhang, Jichen Feng, Shihan Qin이고, 2026년 9월 12일 공개된 뒤 9월 15일에 개정되었습니다. 보고서 본문에는 소속 표기가 없으며, 제1저자 Yifan Zhang은 자신의 홈페이지에서 프린스턴 대학교(Princeton University) 박사과정이자 Princeton AI Lab 펠로우라고 밝히고 있습니다. arXiv에 올라간 정식 논문이 아니라 프로젝트 페이지와 PDF 형태로 배포되고 있습니다. 문제를 조금 더 정확히 짚어 보겠습니다. L 개 층을 가진 디코더 전용 트랜스포머는 토큰 하나를 예측할 때 정확히 L 개의 블록을 통과합니다. 시퀀스가 10토큰이든 10,000토큰이든, 한 토큰에 허용된 순차적 계산 깊이는 변하지 않습니다. 어텐션이 읽어 들이는 문맥은 길어지지만, 그 문맥을 처리하는 계산 단계의 수 자체는 층 수로 정해져 있습니다. 이 제약을 우회하려는 기존 접근은 크게 네 갈래로 나뉩니다: 첫째는 사고의 연쇄(Chain-of-Thought)처럼 토큰을 더 생성하게 만드는 방식입니다. 실제로 가장 널리 쓰…