Thinking to Recall: 추론이 어떻게 LLM의 잠든 지식을 깨우는지에 대한 연구 (feat. Google, COLM 2026)

9bow · 7월 22, 2026, 9:30오후

Thinking to Recall 연구 소개

이 논문은 "왜 단순한 사실 질문에도 추론(reasoning)이 도움이 되는가?"라는 반직관적인 질문을 정면으로 다룹니다. 결론부터 말하면, 추론을 켜는 것만으로 대형 언어 모델(LLM)이 자기 가중치 속에 이미 저장하고 있으면서도 좀처럼 꺼내지 못하던 사실을 훨씬 더 잘 끌어낸다는 것을 보이고, 그 이유를 두 가지 메커니즘으로 규명합니다. Google Research와 Technion, Tel Aviv University 연구진이 함께 수행했고 COLM 2026에서 발표될 예정입니다.

배경: 추론은 정말 복잡한 문제에만 쓸모 있는가

모델이 답을 내놓기 전에 단계별 풀이 과정을 길게 생성하도록 하는 사고의 연쇄(Chain-of-Thought, CoT) 는 이제 표준 기법이 되었습니다. 복잡한 수학 문제를 풀거나, 코드를 작성하거나, 여러 단계를 거쳐야 하는 다중 홉(multi-hop) 질문에 답할 때, 문제를 잘게 쪼개 논리적으로 접근하는 것은 분명히 효과적입니다.

그런데 다음과 같은 질문을 떠올려 봅시다. "Mary Engle Pennington은 몇 년도에 미국 발명가 명예의 전당(National Inventors Hall of Fame)에 헌액되었는가?" 이런 단일 홉(single-hop) 사실 질문에는 계산할 것도, 논리적으로 유도할 단계도 없습니다. 모델의 가중치 안에 그 사실이 저장되어 있거나 없거나 둘 중 하나일 뿐입니다. 그렇다면 여기에 굳이 긴 사고 과정을 붙이는 것이 무슨 의미가 있을까요?

놀랍게도 저자들은 이런 단순 질문에서조차 추론을 켜면 모델의 파라메트릭 지식(parametric knowledge), 즉 학습을 통해 가중치에 저장된 지식을 꺼내는 능력의 경계 자체가 확장된다는 것을 발견했습니다. 추론이 꺼져 있을 때는 사실상 도달할 수 없던 정답이, 추론을 켜면 손에 잡히기 시작한 것입니다.

기존 관점과 이 연구의 발상 전환

첫 번째 기존 관점은 "추론의 이득은 곧 문제 분해(decomposition)에서 온다"는 것입니다. 복잡한 다중 홉 질문에서 중간 단계는 답으로 가는 징검다리 역할을 하므로 자연스럽게 도움이 됩니다. 하지만 이 논문이 다루는 것은 분해할 단계가 애초에 없는 단일 홉 질문이므로, 이 설명은 여기서는 잘 들어맞지 않습니다.

두 번째로, 모델의 능력 경계(capability boundary)를 연구하던 기존 연구들은 주로 수학, 코드 문제에서 베이스(비추론) 모델에 CoT를 붙인 것과 강화 학습(Reinforcement Learning)으로 추론을 학습시킨 변형을 비교했습니다. 이들은 대체로 작은 k 에서만 이득을 보고했는데, 이는 이미 접근 가능하던 정답의 확률을 뾰족하게 다듬는(probability sharpening) 효과에 가깝습니다.

이 연구의 발상 전환은 두 가지입니다. 첫째, 추론을 켜고 끌 수 있는 하이브리드 모델을 써서 파라메트릭 지식을 고정한 채 추론 자체의 효과만 분리합니다. 둘째, 정확도(pass@1)만 보지 않고 큰 k 까지 포함한 능력 경계를 측정하여, 추론이 단지 순위를 다듬는 것이 아니라 경계를 넓히는지를 확인합니다. 그다음 가설 기반의 통제 실험으로 그 이면의 메커니즘을 파헤칩니다.

추론은 파라메트릭 지식의 경계를 넓힌다

먼저 추론이 지식 회상 능력의 경계를 실제로 넓히는지 측정합니다. 여기서 핵심 지표는 pass@k 입니다. 답을 하나만 확인하는 대신, k 개를 샘플링했을 때 그중 적어도 하나가 정답일 확률을 추정합니다. 이는 현재 모델의 top-1 행동만 보는 것이 아니라, 모델의 출력 분포 안에 정답으로 가는 경로가 존재하는지를 드러내므로, "추론이 사실 회상에서 발휘할 수 있는 잠재력"을 재는 데 적합합니다.

실험에는 추론을 ON/OFF로 토글할 수 있는 세 모델(Gemini-2.5-Flash와 Pro, Qwen3-32B)을 사용하고, 두 개의 어려운 폐쇄형(closed-book) QA 데이터셋을 씁니다. 하나는 현실적인 질문으로 이루어진 SimpleQA-Verified (신뢰도를 높인 1{,}000 개 부분집합)이고, 다른 하나는 질문 템플릿 기반이라 질문 표현의 난이도와 지식 회상의 난이도를 잘 분리해 주는 EntityQuestions (답의 공간이 넓고 모호하지 않은 4개 관계에서 1{,}000 개 표본)입니다.

결과는 놀랍도록 일관됩니다. 최대 N=100 개까지 샘플링했을 때, 추론 ON은 모든 모델과 데이터셋에서 OFF를 꾸준히 앞섭니다. 표준 정확도(pass@1)에서도 개선이 있지만, 격차는 큰 k 에서 오히려 더 벌어지는 경우가 많습니다. 예를 들어 SimpleQA-Verified에서 Qwen3-32B의 pass@k는 추론을 켜면 거의 두 배로 뛰어오릅니다. 이렇게 지속적으로(그리고 종종 더 벌어지는) 격차는, 추론이 단순히 순위를 다듬는 수준을 넘어 모델의 파라메트릭 회상 경계 자체를 확장한다는 것을 시사합니다. 이는 "LLM이 어떤 사실을 안에 담고 있으면서도 대규모 반복 샘플링으로도 꺼내지 못할 수 있다"는 기존 연구 와도 맞닿아 있습니다.

전체 k 범위를 하나의 수치로 요약하기 위해, 저자들은 추론 효과 지표 \Omega 를 정의합니다. 이 지표는 (1) 추론 OFF 대비 상대적 개선을 측정하고, (2) 능력 경계에 대한 관심을 반영하도록 큰 k 에 더 큰 가중치를 줍니다.

\Omega(N) = \frac{1}{\sum_{k=1}^{N} k} \sum_{k=1}^{N} k \cdot \frac{\text{pass@}k_{\text{ON}} - \text{pass@}k_{\text{OFF}}}{\text{pass@}k_{\text{OFF}}}

흥미롭게도 \Omega 는 모델이 강력해질수록 작아집니다. 더 유능한 모델은 추론 없이도 자기 지식을 잘 꺼내 쓰는 반면, 상대적으로 덜 유능한 Qwen3-32B 같은 모델은 "숨은 지식"이 더 많아 추론이 이를 보완해 준다는 뜻입니다. 또한 두 데이터셋 중 SimpleQA에서 \Omega 가 일관되게 더 큰데, 이는 OFF 기준 성능이 낮아 애초에 꺼내기 어려운 사실을 다루므로 추론이 메워 줄 여지가 더 크기 때문입니다.

그렇다면 이 이득이 정말로 문제 분해가 아니라 회상에서 오는 것일까요? 저자들은 SimpleQA-Verified의 메타데이터를 활용해 질문을 "복잡(Complex)"과 "단순(Simple)"으로 나눠 비교합니다. 데이터셋의 90\% (1{,}000 개 중 903 개)가 이미 단일 홉이지만, "추론이 필요하다" 또는 "여러 단계"로 표시된 질문을 Complex로 묶어 본 것입니다. 예상과 달리, Complex 부분집합에서 추론의 이득이 더 크다는 증거는 나오지 않았습니다. 두 부분집합의 95\% 신뢰 구간이 겹쳤고, Gemini-2.5-Pro에서는 Complex 쪽 신뢰 구간이 0 을 가로질러 이득이 보장되지도 않았습니다. 명시적으로 "추론이 필요하다"고 표시된 질문에서조차 더 강한 효과가 없다는 사실은, 이 연구에서 추론의 이득이 과제 분해가 아니라 파라메트릭 회상을 돕는 데서 온다는 근거를 강화합니다.

추론은 어떻게 회상을 돕는가: 두 가지 메커니즘

이득의 정체가 회상 촉진이라는 점이 드러났으니, 이제 "그렇다면 무엇이 그 회상을 돕는가?"라는 질문이 남습니다. 저자들은 가설을 세우고 통제 실험으로 검증하는 방식으로 두 가지 상호 보완적인 메커니즘을 찾아냅니다. 통제 실험이 연산 비용이 크기 때문에, 이 절의 실험은 지연 시간과 품질의 균형이 가장 좋은 Gemini-2.5-Flash를 중심으로 두 데이터셋 모두에서 수행되었습니다.

메커니즘 1: 연산 버퍼(Computational Buffer)

첫 번째 가설은 내용과 무관한 것입니다. 즉 생성되는 추론 토큰의 의미 내용이 아니라, 그 토큰들을 만들어 내는 동안 확보되는 추가 연산 시간 자체가 도움이 된다는 것입니다. 토큰을 더 생성하면 순전파(forward pass)가 더 많이 일어나므로, 모델은 단일 순전파의 깊이 한계를 넘어 잠재적인(latent) 연산을 더 수행할 수 있습니다. 이 아이디어는 pause 토큰 등 초기 연구에서 논의되었지만, 현대의 추론 특화 모델(R-LLM)에서, 그것도 파라메트릭 지식 회상 맥락에서 직접 검증된 적은 없었습니다.

이를 검증하기 위해 저자들은 추론 트레이스의 의미 내용을 완전히 걷어내는 실험을 설계합니다. 모델이 생성한 원래 사고 과정을 가로채, 아무 의미 없는 문자열 "Let me think." 를 원래 트레이스와 길이가 같아질 때까지 반복한 더미(dummy) 텍스트로 바꿔치기한 뒤(ON Dummy), 그 위에서 최종 답을 다시 생성하게 한 것입니다.

결과는 인상적입니다. 이 의미 없는 트레이스 위에서 답을 생성하는 것만으로도 추론을 완전히 끈 경우(OFF)보다 pass@k가 크게 올라갔습니다. 이 이득은 pass@1에도 반영되어, 정확도가 SimpleQA-Verified에서 0.206 에서 0.262 로, EntityQuestions에서 0.457 에서 0.554 로 상승했습니다. 단지 모델에게 더 많은 "연산 활주로"를 내어 주는 것만으로도 내부 상태를 다듬어 꺼내기 어려운 사실에 접근하는 데 도움이 된다는 강력한 증거입니다.

여기서 한 가지 교란 요인을 배제할 필요가 있습니다. 모델이 ON 모드에서 더 잘하는 것이 연산 때문이 아니라, 학습 데이터에 ON 예시가 더 많아 생긴 ON 모드 선호 때문일 수도 있기 때문입니다. 저자들은 더미 문자열을 딱 한 번만 넣는 ON Single Dummy 를 대조군으로 둡니다. 두 조건 모두 의미 내용이 없고 ON 모드로 작동하며, 오직 연산 길이만 다릅니다. 그런데도 둘 사이에 일관된 성능 격차가 나타났으므로, 이 격차는 순수하게 추가 연산의 효과를 분리해 보여 줍니다.

다만 이 효과에는 한계가 있습니다. "더 많은 연산이 항상 더 좋은가?"라는 물음에 대한 답은 "아니오"였습니다. 더미 트레이스의 길이를 늘려 가면 처음에는 pass@k 곡선이 위로 올라가지만, 어느 지점을 넘으면 정체되거나 오히려 나빠지는 비단조적(non-monotonic) 패턴이 나타납니다.

예를 들어 SimpleQA-Verified에서는 더미 길이가 2{,}048 토큰(2^{11})까지 늘 때는 pass@k가 개선되지만, 4{,}096(2^{12}), 8{,}192(2^{13}), 16{,}384(2^{14}) 토큰으로 더 늘리면 일관되게 하락했습니다. 무엇보다 순수 연산을 아무리 늘려도 자연스러운 추론 트레이스의 성능에는 끝내 도달하지 못했습니다. 즉 연산 버퍼는 이득의 일부만 설명할 뿐이며, 추론 내용 자체도 중요하다는 결론으로 이어집니다.

메커니즘 2: 사실 프라이밍(Factual Priming)

추론 트레이스의 내용을 살펴보면, 단일 홉 질문에서는 단계별 논리 유도가 거의 등장하지 않습니다. 대신 모델은 후보 답을 나열하거나, 질문과 주제적으로 관련된 사실을 떠올리거나, 검색 계획을 서술하는 경향을 보입니다. 이 중 회상에 가장 관련이 깊은 것은 관련 사실의 언급입니다.

인간 인지에는 활성화 확산(spreading activation) 이라는 개념이 있습니다. 어떤 개념을 처리하면 의미 연결망을 따라 활성화가 퍼지면서, 이웃한 관련 개념들이 더 쉽게 떠오르도록 문턱이 낮아진다는 것입니다. 저자들은 언어 모델도 이와 비슷한 생성적 자기 회상(generative self-retrieval) 을 한다고 가정하고, 이를 사실 프라이밍(factual priming) 이라 부릅니다. 관련 사실을 먼저 생성함으로써 모델이 정답으로 가는 문맥적 다리를 스스로 놓는다는 것입니다.

이 가설을 검증하려면 트레이스에서 "실제 사실"만 정밀하게 추출해야 합니다. 저자들은 프롬프트 기반 LLM으로 사실 목록을 뽑되, 두 가지 까다로운 필터를 추가합니다. 첫째, 질문에 이미 있던 정보를 되풀이한 문장은 제거합니다(추론 중 새로 떠올린 사실만 남기기 위함). 둘째, 답을 드러내는 문장은 제거하되, 정답을 질문에 명시적으로 연결 짓는 문장만 지우고 회상 과정에서 단순히 언급된 경우는 남깁니다. 이렇게 추린 사실 목록을 조건으로 주고 답을 다시 생성하는 두 변형(추론을 끈 채 사실을 문맥으로 제공하는 OFF Facts, 트레이스를 사실 목록으로 대체하는 ON Facts)을 만든 뒤, 같은 길이의 더미 문자열을 넣은 대조군과 비교합니다.

결과는 사실 프라이밍 가설을 강하게 뒷받침합니다. OFF Facts와 ON Facts 모두 각자의 더미 변형을 크게 앞섰습니다. 특히 추론을 꺼도(OFF Facts) 사실을 제공하는 것만으로 성능이 오른다는 점은, 사실 그 자체가 정답 회상에 유용하다는 결론을 뒷받침합니다. ON Facts는 OFF Facts보다도 더 좋았는데, EntityQuestions에서는 훨씬 적은 연산을 쓰면서도 자연스러운 추론(ON)에 맞먹는 성능을 냈습니다.

이 메커니즘을 가장 직관적으로 보여 주는 사례가 "네팔의 10대 국왕은 누구인가?"라는 질문입니다.

추론을 끄면 모델은 틀린 답("Jitari Malla")을 내놓습니다. 반면 추론을 켜면 사고 과정에서 1대부터 9대까지 역대 국왕을 차례로 나열한 뒤 정답인 "Birendra Bir Bikram Shah Dev"에 도달합니다. 여기서 앞선 9명의 국왕을 떠올리는 것이 일종의 의미적 워밍업, 곧 10대 국왕을 회상하도록 신경망을 준비시키는 징검다리가 됩니다. 핵심은, 사실 추출 단계에서 "Birendra Bir Bikram Shah가 10대 국왕"이라는 답을 드러내는 문장은 목록에서 제거했음에도, 나머지 9명의 사실만으로 정답을 성공적으로 회상했다는 점입니다. 사실 프라이밍의 교과서적인 예시입니다.

자기 회상의 함정: 환각(Hallucination)

생성적 자기 회상은 강력하지만 근본적인 위험을 안고 있습니다. 중간 사실을 모델이 스스로 만들어 내는 만큼, 그 사실이 환각(hallucination) 일 수 있기 때문입니다. 저자들은 추론 단계의 이런 오류가 최종 답에 어떤 영향을 주는지 대규모로 감사(audit)합니다. 질문마다 100 개의 추론 ON 표본을 뽑고, 각 트레이스에서 추출한 모든 중간 사실을 검색이 가능한 Gemini-2.5-Flash로 하나하나 독립 검증한 것입니다. 판정이 모호한 경우는 기권을 허용했고, 소규모 사람 평가로 확인한 결과 (기권을 제외하면) 검증 정확도는 약 100\% 였습니다.

사실이 하나도 없는 트레이스와 검증이 불가능한 트레이스를 걸러낸 뒤, 남은 트레이스를 모든 중간 사실이 옳으면 깨끗함(clean), 하나라도 틀리면 환각(hallucinated) 으로 분류합니다.

결과는 크고 일관된 격차를 보입니다. SimpleQA-Verified에서 깨끗한 트레이스는 41.4\% 가 정답에 도달한 반면 환각이 있는 트레이스는 26.4\% 에 그쳤고, EntityQuestions에서는 이 격차가 71.1\% 대 32.2\% 로 더 벌어졌습니다.

물론 이 집계만으로는 질문 난이도라는 교란 요인을 통제하지 못합니다. 어려운 질문일수록 정답률이 낮으면서 동시에 중간 사실의 환각도 많을 수 있기 때문입니다. 그래서 저자들은 같은 질문 안에서 깨끗한 부분집합과 환각 부분집합의 정답률을 비교합니다. 회귀선의 기울기는 1 보다 작았고(SimpleQA-Verified에서 0.84, EntityQuestions에서 0.86), 이는 질문 난이도를 통제한 뒤에도 환각이 섞인 트레이스가 체계적으로 정답을 덜 내놓는다는 것을 뜻합니다. 즉 사실 프라이밍은 강력하지만, 추론 단계의 오류가 최종 답까지 물들일 수 있는 깨지기 쉬운(fragile) 메커니즘입니다.

분석에서 실전으로: 신뢰도를 높이는 법

이 통찰들을 생성 시점에 실제 정확도 향상으로 옮길 수 있을까요? 연산 버퍼는 최적 길이를 알 수 없고 길다고 좋은 것도 아니어서 제어 신호로 삼기 어렵습니다. 반면 사실 신호는 구체적인 기회를 줍니다. 트레이스가 명시적으로 사실을 회상하는지, 그리고 그 사실이 옳은지를 판별해, 검증된 사실을 드러내는 트레이스를 우선 선택할 수 있기 때문입니다.

저자들은 생성 시점 선택(test-time selection) 전략을 시뮬레이션합니다. 질문당 100 개 표본을 활용해, (1) 사실을 회상하는 트레이스만 남기는 기준과 (2) 사실을 회상하면서 환각이 하나도 없는 트레이스만 남기는 기준을 각각 적용해 기대 정확도를 계산한 것입니다.

선택 전략	SimpleQA-Verified	EntityQuestions
전체(Regular)	27.9	56.9
사실이 있는 트레이스만(Only Facts)	30.2 (+8.2\%)	58.4 (+2.6\%)
옳은 사실만 있는 트레이스만(Only Correct Facts)	31.3 (+12.2\%)	59.8 (+5.1\%)

사실을 회상하는 트레이스만 골라도 상대적으로 8.2\% (SimpleQA-Verified), 2.6\% (EntityQuestions)의 개선이 있었고, 여기에 회상한 사실이 모두 옳은 트레이스로 더 좁히면 개선폭이 각각 12.2\%, 5.1\% 로 커졌습니다. 이는 사실을 담고 환각을 피하는 추론 트레이스를 명시적으로 선호하는 것이 사실 정확도를 높이는 유망한 방향임을 보여 줍니다. 실전에서는 이런 우선순위를 과정 보상(process reward) 을 통한 학습으로 구현할 수 있습니다. 즉 사실적으로 뒷받침되는 중간 단계를 장려하도록 학습 레시피를 설계하는 것입니다.

결론 및 시사점

이 연구는 추론이 언어 모델에서 단순한 과제 분해나 수학적 논리를 넘어, 모델 내부의 기억을 밖으로 드러내고 파라메트릭 지식의 경계를 넓히는 근본적인 장치로 작동한다는 것을 보여 줍니다. 그 이면에는 두 가지 상호 보완적인 메커니즘이 있습니다. 하나는 토큰 생성이 곧 잠재 연산 시간을 벌어 주는 연산 버퍼 효과이고, 다른 하나는 관련 사실을 떠올려 정답으로 가는 의미적 다리를 놓는 사실 프라이밍입니다. 동시에, 중간 단계에서 생겨난 환각은 최종 답의 정확도를 체계적으로 떨어뜨립니다.

가장 실질적인 시사점은, 사실적으로 정확한 추론 트레이스가 더 나은 답으로 이어진다는 사실이 곧 학습 레시피를 개선할 여지를 연다는 점입니다. 사실적으로 뒷받침되는 중간 단계를 장려하는 과정 보상을 활용하면, 본질적으로 더 신뢰할 수 있고 환각에 덜 취약한 모델을 학습시킬 수 있을지도 모릅니다. 추론과 기억, 그리고 검색이 만나는 지점에 대한 탐구가 앞으로 어떻게 이어질지 지켜볼 만합니다.

Thinking to Recall: How Reasoning Unlocks Parametric Knowledge in LLMs 논문

Thinking to recall: How reasoning unlocks parametric knowledge in LLMs 소개 블로그

더 읽어보기

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다.

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~