요약
연구진은 최첨단 LLM이 신경망 가중치를 읽고 쓰는 데 있어 놀라울 정도로 뛰어난 성능을 보인다는 것을 발견했습니다. 이는 인간이나 기존 알고리즘이 보여줄 수 있는 수준을 훨씬 뛰어넘는 것입니다. 이러한 성능은 최적화와 해석 가능성 모두에 있어 매우 중요한 의미를 가질 수 있습니다.
GPT-6 Astra는 단순히 가중치만 보고도 네트워크가 어떤 작업을 수행하도록 훈련되었는지 파악할 수 있습니다. 또한 환경으로부터 아무런 피드백을 받지 않고도 PPO로 1억 스텝 훈련된 네트워크보다 뛰어난 성능을 보이는 소규모 플레이 신경망을 어렵지 않게 작성합니다.
마찬가지로, 기울기(그래디언트)를 사용하지 않고 Qwen3.5-0.8B의 수학 성능을 개선해 달라는 요청을 받자, Astra는 Qwen 자체 모델 카드에서도 경고하는 추론 반복을 일으키는 가중치상의 문제를 찾아냈고 가중치의 0.016%를 직접 수정하여 이 문제를 해결했습니다. 동일한 샘플링 설정에서 이 가중치 수정은 MATH-500 점수를 7.9%에서 48.1%로 향상시키고, 별도의 조정 없이 지시 이행에도 일반화되어 IFEval 점수를 3배로 높였습니다.
이 모든 것은 Astra가 학습 루프를 직접 작성하지 않아도 가능합니다. Astra는 추론을 통해 신경망의 각 부분이 무엇을 계산하는지, 또는 무엇을 계산해야 하는지 알아내고 그에 맞춰 가중치를 조정합니다. 연구진은 이를 가중치 공간 프로그래밍(Weight-Space Programming)이라고 부릅니다.
딥러닝의 역사 전반에 걸쳐 우리는 Adam이나 Muon처럼 작은 규모의 기호적 최적화 알고리즘에 단순한 귀납적 편향을 담아 왔습니다. 이제 이것이 바뀌고 있습니다. 머지않아 신경망의 가중치는 그 가중치에 대해 의도적으로 추론하는 LLM에 의해 직접 최적화될 것입니다.
| 작업 | 질문 또는 문제 | Astra가 하는 일 | 결과 |
|---|---|---|---|
| 읽기 | 이 신경망은 어떤 게임을 하도록 학습되었을까요? | 도구 없이 17,253개의 가중치를 읽습니다. | Breakout — 확신도 99%. |
| 고치기 | 학습된 정책은 자동차를 해당 구간 너머로 보내지 못합니다. | 한 번에 가중치의 3.5%를 수정합니다. | 성공률이 0%에서 100%로 상승합니다. |
| 개선하기 | Qwen3.5-0.8B의 수학 성능을 개선하세요. | 학습 없이 Python 커널에서 가중치를 수정합니다. | MATH-500 점수가 7.9%에서 48.1%로 상승합니다. |
바둑을 두는 신경망을 직접 만들어 달라는 요청을 받는다면 어떻게 하시겠습니까? 가공되지 않은 신경망 가중치를 건네받고 그 동작을 예측하라는 요청을 받는다면, 어디서부터 시작하시겠습니까? 거의 모든 사람에게 이것은 사실상 불가능한 일입니다.
오늘날 가중치는 최적화, 가중치를 작성하도록 특별히 학습된 신경망, 또는 형식 프로그램을 변환하는 컴파일러에 의해 만들어집니다. 이 글에서 우리는 현재 세대의 최첨단 LLM을 직접 활용하면, 제시된 목표에 맞춰 신경망 가중치를 이해하고 만드는 데 놀라울 정도로 능숙해지기 시작한다는 사실을 보여 줍니다.
가중치 공간 프로그래밍
지난 몇 년 동안 우리는 프롬프트와 그 주변에 구축된 프로그램 같은 텍스트 산출물을 최적화하는 데 LLM을 사용해 왔습니다. 최근에는 하네스 전체를 최적화하거나, 머신러닝 모델을 학습시키는 학습 코드와 하이퍼파라미터를 최적화하는 데에도 사용하기 시작했습니다.
우리는 종종 미분 가능한 신경망의 가중치를 갱신할 때와 달리, 텍스트 산출물에서 힐 클라이밍 알고리즘을 수행할 다른 원리적인 방법을 알지 못한다는 점으로 이러한 접근을 정당화했습니다. 예를 들어 인간은 코드를 직접 최적화할 수 있으므로 LLM에 같은 일을 요청하는 것이 타당했습니다. 하지만 인간은 신경망 가중치를 직접 최적화할 수 없기 때문에, 가중치 최적화는 대부분 기호적 알고리즘의 영역에 남아 있었습니다.
위 글에서는 추론에 기반한 최적화 패러다임이 이제 미분 가능한 신경망에도 적용되기 시작했다고 주장할 수 있게 해 주는 아주 초기의 결과를 공유합니다.
가중치 공간 프로그래밍에서는 범용 LLM이 작성된 명세에 맞춰 신경망의 가중치를 직접 읽고 씁니다. 즉, 최적화 알고리즘을 거치지 않으며, 특히 경사하강법을 사용하지 않습니다. 때로는 환경으로부터 아무런 피드백도 받지 않습니다.
이 페이지는 기계 번역되었습니다. 상세한 실험 내용은 이 글에서 다루지 않았습니다.