# \#model-editing **URL:** https://discuss.pytorch.kr/tag/model-editing/8015.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [사고 패치(Thought Patching): 프롬프트를 가중치로 바꾸는 모델 편집에 대한 연구 (feat. Google)](https://discuss.pytorch.kr/t/thought-patching-feat-google/10554)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 6, 2026, 12:30오후 UTC](https://discuss.pytorch.kr/t/thought-patching-feat-google/10554 "2026-06-06T12:30:05Z")
프롬프트를 가중치로 바꾸는 사고 패치(Thought Patching) 연구 소개 시스템 프롬프트에 정성껏 적어둔 지시문은 대화가 끝나면 사라집니다. 같은 지시를 다음 요청에도 적용하려면 매번 같은 토큰을 다시 입력하고, 그만큼의 어텐션 연산 비용을 다시 지불해야 합니다. Google Research의 이번 논문 Transmuting prompts into weights 는 이 문제를 풀기 위해, 프롬프트가 모델 내부에 일으키는 효과를 사고 벡터(thought vector)와 사고 행렬(thought matrix) 이라는 토큰 독립적인 가중치 업데이트로 압축해 모델에 영구적으로 새겨 넣는 사고 패치(Thought Patching) 알고리즘을 제안합니다. 마치 연금술사가 글로 적힌 주문을 금속에 새겨진 각인으로 바꾸듯, 휘발성 텍스트를 영구적인 파라미터로 변환(transmute)하는 것입니다. 이 연구가 흥미로운 이유는 단순히 새로운 모델 편집 기법 하나를 추가해서가 아닙니다. 그동안 경험적 휴리스틱으로만 쓰여 온 활성화 스티어링(activation steering) 과 모델 편집(model editing) 이라는 두 갈래의 기법이 왜 작동하는지를 트랜스포머 아키텍처의 수학적 구조로부터 직접 유도해 보여주기 때문입니다. 저자들은 대조 프롬프트의 활성화 평균을 내는 관행이 사실 최적 사고 벡터의 최소제곱 근사와 동치이고, 저랭크(low-rank) 가중치 편집이 랭크-1 업데이트의 합으로 자연스럽게 유도된다는 것을 증명합니다. 추론 시점 모델 제어의 두 갈래와 각각의 한계 최근 대형 언어 모델(LLM)의 행동을 추가 학습 없이 추론 시점에 제어하는 연구가 활발합니다. 크게 두 가지 계열이 자리잡았습니다. 첫 번째는 활성화 스티어링 입니다. Subramani et al. 의 잠재 스티어링 벡터 추출과 Turner et al. 의 활성화 엔지니어링(activation engineering)이 대표적으로, 트랜스포머 블록의 잔차 스트림(residual strea…