# \#activation-steering **URL:** https://discuss.pytorch.kr/tag/activation-steering/8016.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [vLLM Hook: vLLM에 배포된 모델의 내부 상태를 관찰하고 제어하는 플러그인](https://discuss.pytorch.kr/t/vllm-hook-vllm/11123)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [7월 9, 2026, 6:57오전 UTC](https://discuss.pytorch.kr/t/vllm-hook-vllm/11123 "2026-07-09T06:57:56Z")
vLLM Hook 소개 대규모 언어 모델(LLM)을 서비스로 배포할 때는 보통 vLLM 같은 추론 엔진 위에 모델을 올립니다. 추론 엔진은 지연 시간과 메모리, 하드웨어 사용을 최적화하기 위해 개발 단계에서 쓰던 여러 기능을 꺼 버리는데, 그 과정에서 모델 내부 상태에 접근하고 수정하는 길도 함께 막힙니다. vLLM Hook은 이렇게 닫혀 있던 어텐션(attention)·어텐션 헤드(attention head)·활성값(activation) 같은 내부 상태를 다시 프로그래밍할 수 있게 열어 주는 vLLM 플러그인입니다. 이 접근이 중요한 이유는 최근 주목받는 여러 테스트 시점(test-time) 기법이 모델 내부 상태에 손을 대야 동작하기 때문입니다. 예를 들어 어텐션 패턴으로 프롬프트 인젝션(prompt injection)을 탐지하거나, 활성값에 방향 벡터를 더해 응답을 조정하는 활성값 스티어링(activation steering)은 배포된 vLLM 모델에서는 그대로 쓰기 어렵습니다. 저자들은 이 공백을 메우기 위해, 설정 파일 하나로 어떤 내부 상태를 다룰지 지정하면 vLLM에 자연스럽게 붙는 플러그인을 설계했습니다. vLLM Hook은 IBM Research의 Ching-Yun Ko와 Pin-Yu Chen이 만들었고, Apache 2.0 라이선스로 공개되어 있습니다. 프로젝트는 크게 두 가지 기능인 수동 프로그래밍(passive programming) 과 능동 프로그래밍(active programming) 을 제공합니다. 수동 프로그래밍은 모델 생성 결과는 그대로 둔 채 지정한 내부 상태만 관찰(probe)해 저장하고, 능동 프로그래밍은 생성 도중 내부 상태를 바꿔 출력에 개입합니다. 본 게시물에서는 이 두 기능의 동작 원리와 아키텍처, v0에서 제시한 활용 사례, 그리고 기존 방식과의 성능 비교를 정리합니다. vLLM Hook이 여는 두 가지 프로그래밍: 수동과 능동 vLLM Hook의 출발점은 입력에 설정 파일(Config)을 함께 넘긴… --- ## [사고 패치(Thought Patching): 프롬프트를 가중치로 바꾸는 모델 편집에 대한 연구 (feat. Google)](https://discuss.pytorch.kr/t/thought-patching-feat-google/10554)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [6월 6, 2026, 12:30오후 UTC](https://discuss.pytorch.kr/t/thought-patching-feat-google/10554 "2026-06-06T12:30:05Z")
프롬프트를 가중치로 바꾸는 사고 패치(Thought Patching) 연구 소개 시스템 프롬프트에 정성껏 적어둔 지시문은 대화가 끝나면 사라집니다. 같은 지시를 다음 요청에도 적용하려면 매번 같은 토큰을 다시 입력하고, 그만큼의 어텐션 연산 비용을 다시 지불해야 합니다. Google Research의 이번 논문 Transmuting prompts into weights 는 이 문제를 풀기 위해, 프롬프트가 모델 내부에 일으키는 효과를 사고 벡터(thought vector)와 사고 행렬(thought matrix) 이라는 토큰 독립적인 가중치 업데이트로 압축해 모델에 영구적으로 새겨 넣는 사고 패치(Thought Patching) 알고리즘을 제안합니다. 마치 연금술사가 글로 적힌 주문을 금속에 새겨진 각인으로 바꾸듯, 휘발성 텍스트를 영구적인 파라미터로 변환(transmute)하는 것입니다. 이 연구가 흥미로운 이유는 단순히 새로운 모델 편집 기법 하나를 추가해서가 아닙니다. 그동안 경험적 휴리스틱으로만 쓰여 온 활성화 스티어링(activation steering) 과 모델 편집(model editing) 이라는 두 갈래의 기법이 왜 작동하는지를 트랜스포머 아키텍처의 수학적 구조로부터 직접 유도해 보여주기 때문입니다. 저자들은 대조 프롬프트의 활성화 평균을 내는 관행이 사실 최적 사고 벡터의 최소제곱 근사와 동치이고, 저랭크(low-rank) 가중치 편집이 랭크-1 업데이트의 합으로 자연스럽게 유도된다는 것을 증명합니다. 추론 시점 모델 제어의 두 갈래와 각각의 한계 최근 대형 언어 모델(LLM)의 행동을 추가 학습 없이 추론 시점에 제어하는 연구가 활발합니다. 크게 두 가지 계열이 자리잡았습니다. 첫 번째는 활성화 스티어링 입니다. Subramani et al. 의 잠재 스티어링 벡터 추출과 Turner et al. 의 활성화 엔지니어링(activation engineering)이 대표적으로, 트랜스포머 블록의 잔차 스트림(residual strea…