Error Diffusion 소개
우리 뇌 속의 뉴런에게는 한 가지 엄격한 규칙이 있습니다. 어떤 뉴런은 다른 뉴런을 흥분시키기만 하고, 어떤 뉴런은 억제시키기만 합니다. 한 뉴런이 상황에 따라 어떤 연결은 흥분성으로, 어떤 연결은 억제성으로 자유롭게 바꾸는 일은 일어나지 않습니다. 마치 자동차의 가속 페달과 브레이크 페달이 물리적으로 분리되어 있는 것처럼, 생물학적 신경망은 흥분과 억제라는 두 역할을 별도의 뉴런 집단으로 나누어 담당합니다. 이것이 신경과학의 오래된 원칙인 Dale의 원리(Dale's principle) 입니다.
이 논문은 Sakana AI가 발표한 연구로, "역전파(Backpropagation) 없이, 그리고 이 Dale의 원리를 엄격히 지키면서도 신경망을 제대로 학습시킬 수 있는가?" 라는 질문에 답합니다. 연구팀은 Error Diffusion(ED) 이라는 생물학적으로 타당한 학습 규칙을 이중 스트림(dual-stream) 구조로 확장하여, 지도 학습 기반 이미지 분류와 강화학습(Reinforcement Learning)이라는 두 상반된 영역에서 모두 작동함을 보였습니다. 나아가 어떤 구성 요소가 학습에 결정적인지가 과제에 따라 완전히 뒤바뀐다는 흥미로운 현상을 발견했습니다.
역전파는 왜 생물학적으로 타당하지 않은가
현대 인공 신경망(Artificial Neural Network)은 하나의 연결에 양수든 음수든 자유롭게 가중치를 부여합니다. 이 단순화 덕분에 역전파를 통한 효율적인 학습이 가능하지만, 실제 생물학적 학습과는 거리가 멉니다. 특히 역전파에는 가중치 수송 문제(weight transport problem) 라는 근본적인 생물학적 비현실성이 존재합니다.
역전파의 역방향 경로는 순방향 가중치 행렬의 정확한 전치(transpose)를 그대로 사용해야 합니다. 마치 목적지까지 가는 길에 사용한 모든 도로 지도의 완벽한 거울상 사본을 뉴런이 어딘가에 따로 보관하고 있어야 한다는 뜻인데, 실제 뇌에는 이런 대칭적인 역방향 배선이 존재한다는 증거가 없습니다. 이 문제를 피하기 위해 여러 대안이 제안되었습니다.
- Feedback Alignment(FA) 는 역방향 가중치를 고정된 무작위 행렬로 대체합니다. 그리고 Direct Feedback Alignment(DFA) 는 출력 오차를 고정된 무작위 행렬을 통해 각 은닉층(hidden layer)으로 직접 전달합니다. 하지만 이들은 가중치 수송 문제는 피하더라도, 여전히 임의의 부호를 갖는 가중치를 허용하기 때문에 Dale의 원리는 지키지 못합니다.
- 예측 부호화(Predictive Coding) 프레임워크는 국소적인 헤브 학습(Hebbian update)으로 역전파를 근사합니다. 생물학적으로 더 그럴듯하지만, 역시 부호 제약을 명시적으로 강제하지는 않습니다.
한편 Dale의 원리 자체를 인공 신경망에 이식하려는 시도도 별도로 있었습니다. Song 등(2016)은 흥분성/억제성 순환 신경망을 학습하는 프레임워크를 제시했고, Cornford 등(2021)의 Dale의 ANN(Dale's ANNs) 은 흥분성과 억제성 집단을 분리하고도 표준 신경망에 준하는 학습이 가능함을 보였습니다. 하지만 이들은 여전히 학습 자체는 역전파에 의존합니다. 결국 기존 연구는 "가중치 수송은 피하지만 Dale의 원리는 못 지키는" 쪽(FA, DFA)과 "Dale의 원리는 지키지만 역전파에 의존하는" 쪽(Dale의 ANN)으로 갈라져 있었고, 두 제약을 동시에 만족시키는 학습 규칙은 드물었습니다.
Error Diffusion(ED) 은 이 지점에서 다른 접근을 취합니다. Kaneko(2000) 이 처음 제안한 ED는 가중치 업데이트가 오직 세 가지 국소적 정보, 즉 시냅스 앞쪽(presynaptic) 활성, 시냅스 뒤쪽(postsynaptic)의 활성화 함수 미분값, 그리고 단 하나의 전역 오차 부호에만 의존하는 학습 규칙입니다. 이 국소성 덕분에 ED는 생물학적 제약과 자연스럽게 어울리지만, 기존 연구는 이진 분류나 MNIST 같은 단순한 과제에서만 그 효과를 입증했을 뿐이었습니다.
이 연구의 핵심 아이디어
연구팀이 던지는 핵심 질문은 명확합니다. "Dale의 원리를 강제하는 생물학적으로 타당한 아키텍처가, 지도 학습 분류와 강화학습을 아우르며 경쟁력 있는 성능을 낼 수 있는가? 그리고 그 구성 요소들의 과제별 중요도는 생물학적 제약하의 신용 할당(credit assignment)에 대해 무엇을 말해주는가?"
이를 위해 연구팀은 세 가지 기여를 제시합니다. 첫째, 모듈로 오차 라우팅(modulo error routing) 을 도입해 ED를 이진 분류 너머 다중 클래스 분류와 강화학습으로 확장한 이중 스트림 흥분성/억제성 아키텍처를 설계했습니다. 둘째, 분류 문제를 위한 세 가지 도메인 특화 기법을 제안하고, 이들의 과제 간 절제 실험(ablation)을 통해 학습의 병목이 과제 난이도에 따라 질적으로 이동함을 밝혔습니다. 셋째, ED를 근접 정책 최적화(Proximal Policy Optimization, PPO)와 결합한 ED-PPO 가 역전파 기반 및 DFA 기반 PPO와 견줄 만한 성능을 냄을 교차 도메인 실험으로 보였습니다.
미리 결과를 엿보자면, 이 아키텍처는 Dale의 원리를 엄격히 지키면서도 MNIST에서 96.7\%, CIFAR-10에서 61.7\% 의 정확도를 달성했습니다. 이는 ED가 합성곱 신경망(Convolutional Neural Network)에 성공적으로 적용된 최초의 사례이며, 기존에 Fujita(2026)가 평탄화된 MLP로 얻은 55.2\% 를 넘어서는 결과입니다.
핵심 방법론: 이중 스트림 Error Diffusion
흥분성/억제성 이중 스트림 아키텍처
Dale의 원리를 구조적으로 강제하기 위해, 연구팀은 각 층을 흥분성 스트림 \mathbf{p} 와 억제성 스트림 \mathbf{n} 으로 분리합니다. 층 i 의 순방향 계산은 다음과 같이 이루어집니다.
여기서 핵심은 네 개의 가중치 행렬 W_{pp}, W_{np}, W_{nn}, W_{pn} 이 모두 원소 단위로 음수가 아니라는(\geq 0) 점입니다. 억제 효과를 만드는 음의 부호는 학습되는 파라미터가 아니라 W_{np} 와 W_{pn} 앞에 구조적으로 고정(hardcoded) 되어 있습니다. 다시 말해 학습 가능한 모든 시냅스 강도는 양수로 유지되고, 흥분이냐 억제냐는 그 시냅스가 어느 스트림 사이를 잇는지, 즉 뉴런 집단의 정체성으로 결정됩니다. 이것이 바로 가속 페달과 브레이크 페달을 물리적으로 분리해 둔 것과 같은 설계입니다.
이 이중 스트림 설계는 층마다 네 개의 가중치 부분 행렬을 필요로 하므로, 같은 너비의 제약 없는 단일 스트림 신경망보다 약 4\times 많은 파라미터를 사용합니다. 예를 들어 같은 아키텍처에서 DFA가 약 $8$M 파라미터를 쓴다면 이중 스트림 ED는 약 $32$M을 사용합니다. 이 파라미터 오버헤드는 나중에 살펴볼 흥미로운 부작용으로 이어집니다.
Error Diffusion 업데이트 규칙
ED의 핵심은 역전파가 층별로 계산하던 오차를, 출력 공간의 오차 신호로 대체해 은닉 유닛에 직접 흘려보낸다는 데 있습니다. 문제는 원래의 ED가 이진 분류를 위해 고안되었다는 점입니다. 출력이 여러 개인 다중 클래스 문제에서는 어떤 은닉 유닛이 어떤 출력의 오차를 받아야 하는지가 불분명합니다.
연구팀은 이를 모듈로 오차 라우팅(modulo error routing) 으로 해결합니다. 은닉 유닛 i 에 대해 고정된 출력 채널을 r(i) = i \bmod C 로 할당하는데, 여기서 C 는 출력 차원입니다. 즉 각 은닉 유닛에게 "너는 몇 번 출력을 담당한다"고 미리 배정해 두는 방식입니다. 마치 우편물 분류소에서 각 직원에게 고정된 담당 구역을 지정해 두면, 별도의 복잡한 조정 없이도 오차 신호가 결정론적으로 제 자리를 찾아가는 것과 비슷합니다.
미니 배치에 대해 출력 오차 신호를 S \in \mathbb{R}^{B \times C}, 고정된 라우팅 행렬을 M \in \{0,1\}^{H \times C} 라 하면(r(i) = c 일 때만 M_{ic} = 1), 은닉층으로 라우팅된 오차는 다음과 같습니다.
그리고 국소적인 시냅스 뒤쪽 구동 신호는 활성화 함수의 미분값으로 게이팅됩니다.
여기서 Z_p 는 양의 스트림 사전 활성화 행렬입니다. 최종적으로 양방향(positive-to-positive) 가중치 업데이트는 시냅스 앞쪽 활성 A_p 와 이 구동 신호의 곱에 비례합니다.
각 국소 가중치 업데이트는 시냅스 앞쪽 활성과, 라우팅된 시냅스 뒤쪽 구동 신호의 곱에 비례하며, 두 스트림에는 각각 반대 부호가 적용됩니다. 이 결정론적 모듈로 라우팅은 순방향 가중치를 수송하거나 무작위 피드백 행렬에 의존하지 않고도 거친(coarse) 신용 할당을 제공합니다. DFA의 고정 피드백 행렬이 무작위인 것과 달리, ED는 은닉 유닛과 출력 차원 사이에 구조화된 대응 관계를 사용한다는 점이 결정적인 차이입니다.
그렇다면 여러 라우팅 방식 중 왜 하필 모듈로 방식일까요? 연구팀은 강화학습 학습 과정에서 각 방식이 만들어내는 업데이트 방향이 실제 역전파 그래디언트 방향과 얼마나 일치하는지를 코사인 유사도로 측정했습니다.
결정론적 모듈로 라우팅(modulo)은 Ant, Humanoid, HalfCheetah 세 환경 모두에서 가장 높고 안정적인 정렬(코사인 약 0.8)을 유지했습니다. 반면 무작위 희소 라우팅(random_sparse), 출력 오차의 합을 모든 유닛에 동일하게 뿌리는 스칼라 브로드캐스트(scalar_broadcast), DFA식 밀집 무작위 피드백(random_dense)은 모두 그보다 낮거나 학습이 진행될수록 정렬이 떨어졌습니다. 은닉 유닛과 출력을 결정론적으로 대응시키는 구조가 무작위 피드백보다 참 그래디언트에 더 가까운 학습 신호를 만들어낸다는, 모듈로 라우팅 선택의 실증적 근거입니다.
분류 문제를 위한 세 가지 혁신
Dale의 원리를 지키며 다중 클래스 분류를 수행하려 하면 몇 가지 고유한 실패 양상이 나타납니다. 연구팀은 이를 해결하기 위해 세 가지 도메인 특화 기법을 도입했습니다. 이 세 기법은 분류 설정에만 쓰이고 강화학습 확장에는 사용되지 않는다는 점을 미리 밝혀 둡니다.
첫째, 층별 시그모이드 폭(layer-specific sigmoid widths) 입니다. 분류 아키텍처는 활성화 함수로 \phi_i(z) = 1/(1 + e^{-2z/\alpha_i}) 를 쓰는데, 층 유형마다 시그모이드 폭 \alpha_i 를 다르게 둡니다. 시그모이드의 미분값이 ED에서 오차 신호를 직접 게이팅하기 때문에, 그래디언트(gradient) 소실이 특히 심각합니다. 사후 분석에 따르면 출력층에서 첫 은닉층까지 무려 25\times 의 감쇠가 발생합니다. 폭 \alpha_i 를 크게 하면 시그모이드의 미분값이 커져 조기 포화를 막을 수 있습니다. 연구팀은 CIFAR-10의 합성곱 층에는 \alpha = 3.0 을, 완전 연결(fully connected) 층에는 \alpha = 6.0 을 사용했습니다. 참고로 CIFAR-10 모델은 합성곱 층을 포함한 CNN인 반면, MNIST 모델은 완전 연결 층만으로 이루어진 MLP(\alpha = 6.0 만 사용)입니다. 앞서 언급한 "ED가 합성곱 신경망에 성공적으로 적용된 최초 사례" 란 바로 이 CIFAR-10 CNN을 가리킵니다.
둘째, 배치 중심화 클래스 오차(batch-centered class error) 입니다. 10-클래스 분류에서 각 예시는 하나의 정답 클래스와 아홉 개의 오답 클래스를 가지므로, 소박한 원-대-전체(one-vs-all) 오차 E_{b,c} = \mathbf{1}[y_b = c] - \hat{y}_{b,c} 에는 강한 클래스별 편향이 실립니다. 특히 학습 초기에 이 편향은 심각합니다. 연구팀은 클래스별로 미니 배치 평균을 빼줍니다.
이렇게 하면 모든 클래스에 대해 오차 신호가 배치 전체에서 평균 0이 되어, 원-대-전체 목표의 불균형이 야기하는 특정 클래스 채널의 지속적인 억압이나 흥분을 완화합니다.
셋째, 비대칭 E/I 초기화(asymmetric E/I initialization) 입니다. 가중치를 [0,1) 의 음수가 아닌 균등 분포에서 초기화한 뒤, 흥분성 가중치 W_{pp}, W_{nn} 은 1.5\times 로, 억제성 가중치 W_{np}, W_{pn} 은 0.5\times 로 스케일링하여 기대 E/I 비율을 3:1 로 만듭니다. 다만 출력층만은 대칭 초기화를 써서 출력 포화를 방지합니다.
강화학습으로의 확장: ED-PPO
강화학습에서는 Dale 제약을 지키는 이중 스트림 ED 아키텍처를 PPO에 통합합니다. 정책(policy) 신경망과 가치(value) 신경망 모두 양의 스트림과 음의 스트림으로 분리된 이중 스트림 MLP이며, 각 층은 흥분에서 억제를 뺀 사전 활성화를 계산하고 폭이 조정된 시그모이드 비선형성을 적용한 뒤 \hat{y} = y^+ - y^- 로 최종 스트림을 결합합니다.
여기서 흥미로운 설계 선택은 분류에서 쓰던 세 가지 혁신 대신 ReLU 활성화 함수와 RMS 정규화를 사용한다는 점입니다. PPO의 목적 함수가 출력 수준의 오차 신호를 공급하면, ED가 은닉층의 역전파를 대체합니다. 벡터 값 정책 출력에는 출력 채널별로 오차를 라우팅하고, 스칼라 가치 신경망에는 오차를 모든 은닉 유닛에 브로드캐스트합니다. 모든 가중치는 옵티마이저 업데이트 후 음수가 아니도록 클램핑됩니다.
실험 결과 및 성능 분석
분류 성능: MNIST와 CIFAR-10
연구팀은 MNIST와 CIFAR-10에서 여섯 가지 변형을 250 에폭 동안 과제당 다섯 개의 시드로 학습시켰습니다(총 60회 실행). 제안된 ED는 MNIST에서 96.7 \pm 0.1\%, CIFAR-10에서 61.7 \pm 0.7\% 를 달성했습니다. 세 가지 혁신을 모두 제거한 씨앗(seed) ED가 각각 50.4 \pm 9.8\% 와 11.6 \pm 2.2\% 에 그쳤음을 감안하면 극적인 향상입니다.
비교 기준인 DFA는 두 과제 모두에서 더 높은 정확도(97.6\% 와 69.1\%)를 기록했지만, 이는 Dale의 원리를 위반하며 약 $2.84$M개의 음수 가중치를 필요로 합니다. 주목할 점은 ED와 DFA의 정확도 격차가 MNIST에서는 약 0.9 포인트에 불과하지만 CIFAR-10에서는 7.4 포인트로 벌어진다는 사실입니다. 이는 음수가 아닌 가중치를 유지하는 비용이 과제 난이도가 높아질수록 커진다는 것을 시사합니다. CIFAR-10의 62\% 정확도가 전통적인 그래디언트 기반 방법에는 여전히 크게 못 미친다는 점은 연구팀도 솔직히 인정하고 있습니다. 그럼에도 이것은 ED가 합성곱 신경망에 성공적으로 적용된 최초의 사례라는 의의를 갖습니다.
과제에 따라 뒤집히는 Ablation 중요도
이 논문에서 가장 흥미로운 발견은 세 혁신의 중요도 순위가 과제에 따라 완전히 뒤바뀐다는 것입니다.
MNIST의 경우, 층별 시그모이드 폭을 제거하는 것이 치명적입니다. 정확도가 96.7\% 에서 25.3\% 로(\Delta = -71.4 포인트) 거의 무작위 수준까지 붕괴합니다. 반면 배치 중심화 오차를 제거해도 \Delta = -0.3 포인트에 그치고, 대칭 초기화는 측정 가능한 영향이 아예 없습니다(\Delta = +0.0 포인트). 즉 이 쉬운 과제에서는 그래디언트 흐름 조절이 유일한 병목입니다.
CIFAR-10에서는 순위가 뒤집힙니다. 이제는 배치 중심화 오차를 제거하는 것이 가장 파괴적이어서, 정확도가 61.7\% 에서 13.8\% 로(\Delta = -47.9 포인트) 떨어지며 다섯 시드 중 넷이 붕괴합니다. 균등 시그모이드 폭은 \Delta = -15.1 포인트, 대칭 초기화는 \Delta = -5.5 포인트의 손실을 냅니다. 세 혁신 모두가 기여하지만, 상대적 순서가 근본적으로 달라지는 것입니다.
| 제거한 구성 요소 | MNIST \Delta | CIFAR-10 \Delta |
|---|---|---|
| 배치 중심화 오차 | -0.3 | -47.9 |
| 층별 시그모이드 폭 | -71.4 | -15.1 |
| 비대칭 초기화 | +0.0 | -5.5 |
이 역전은 질적으로 다른 신용 할당 병목을 반영합니다. MNIST의 잘 분리된 특징들은 오차 중심화 없이도 학습을 허용하지만, 넓은 시그모이드가 없으면 미분값이 완전히 사라져 버립니다. 반면 CIFAR-10은 클래스 간 유사도가 높아 9:1의 오차 불균형이 압도적으로 작용하므로, 균등한 출력 억압을 막기 위해 배치 중심화가 필수가 됩니다. 연구팀은 이로부터 "생물학적으로 타당한 방법을 단일 벤치마크에서만 평가하면 결정적인 설계상의 트레이드오프를 놓칠 수 있다" 는 교훈을 이끌어냅니다.
강화학습: 도메인을 넘나드는 일반화
강화학습에서는 ED-PPO를 BP-PPO(표준 역전파), DFA-PPO, 진화 전략(Evolution Strategies, ES)과 비교했습니다. Brax의 세 가지 이동 제어 과제(Ant, HalfCheetah, Humanoid)와, 개방형 탐험 과제인 Craftax가 평가 무대였습니다.
ED-PPO는 HalfCheetah에서 가장 강력했습니다. 5494 \pm 691 로 BP-PPO의 3520 \pm 485 를 유의미하게 능가했고(p < 0.001), DFA-PPO의 5581 \pm 359 와는 대등한 수준이었습니다. Ant에서는 6891 \pm 835 로 두 PPO 변형과 동등했으며, Humanoid(6670 \pm 2592)와 Craftax(20.9 \pm 2.9)에서는 BP-PPO에 다소 뒤졌습니다.
특히 Craftax에서 드러난 대비가 인상적입니다. DFA-PPO는 19.8 \pm 1.5 로 가장 낮은 성능을 보였는데, 이는 BP-PPO의 27.0 은 물론 ED 계열에도 못 미치는 값입니다. 분류에서는 가장 뛰어났던 DFA가 복잡하고 개방적인 강화학습 과제에서는 가장 약해지는 것입니다. 이는 단순한 과제에서 충분히 작동하던 무작위 피드백 경로가 복잡한 환경에서는 실패함을 보여주는 강력한 증거입니다. 결국 분류에서 강하고 복잡한 강화학습에서 약한 DFA의 교차 도메인 패턴은, 방법의 구성 요소가 과제 요구에 따라 서로 다른 중요도를 갖는다는 이 논문의 큰 주제와 정확히 맞물립니다.
여기서 함께 짚을 것이 연구팀이 나란히 평가한 비-Dale(non-Dalean) 변형 입니다. 이는 ED의 오차 라우팅은 그대로 쓰되 가중치의 음수 배제 제약만 푼 버전으로, Humanoid에서 BP-PPO와 대등했고(9804 \pm 1144 대 8478 \pm 3252) Craftax에서는 DFA-PPO를 유의미하게 앞섰습니다(p = 0.010). 그런데 방향이 뒤집히는 과제도 있습니다. HalfCheetah에서는 오히려 Dale을 강제한 ED-PPO가 비-Dale 변형을 유의미하게 앞섰습니다(5494 대 3498, p = 0.028). 즉 ED의 오차 라우팅 자체는 Dale 제약과 무관하게 경쟁력이 있고, Dale의 원리는 과제에 따라 비용이 되기도 이점이 되기도 하여 어느 쪽도 일방적으로 우세하지 않습니다.
다만 ED-PPO가 BP-PPO보다 모든 환경에서 상당히 높은 분산을 보인다는 점은 한계로 남습니다. 거친 모듈로 오차 라우팅이 추가적인 확률성을 도입하여, 세밀한 시간적 신용 할당이나 안정적 수렴이 필요한 과제에서는 신뢰성이 떨어질 수 있습니다.
흥미로운 발견: 학습 역학 분석
이 연구가 단순한 성능 보고를 넘어서는 지점은, Dale의 원리라는 제약 아래에서 신경망이 실제로 어떻게 학습하는지를 사후 분석으로 파헤친 대목입니다.
깊이에 따른 그래디언트 감쇠
CIFAR-10 학습 역학을 분석하면, 국소 대리(surrogate) 그래디언트 크기가 출력층의 6.6 \times 10^{-3} 에서 첫 은닉층의 2.7 \times 10^{-4} 로 떨어지는 것을 볼 수 있습니다. 무려 25\times 의 감쇠입니다.
이 패턴은 학습 3 에폭째부터 이미 나타나므로, 시그모이드로 게이팅되는 오차 확산의 구조적 성질임을 알 수 있습니다. 이것이 바로 층별 시그모이드 폭이 필요한 이유이며, MNIST에서 이 기법을 제거했을 때 정확도가 붕괴한 근본 원인이기도 합니다.
창발적 E/I 균형
가장 아름다운 발견은 학습이 진행되면서 초기의 3:1 비대칭 초기화가 은닉층에서 거의 균형 잡힌 비율(\sim 1.0)로 저절로 수렴한다는 것입니다.
더 흥미로운 것은 깊이에 따른 기울기입니다. 합성곱 첫 층은 거의 완벽한 균형(E/I = 1.03)에 도달하고, 둘째 층은 약간 억제 우세(0.90)로, 셋째 층은 가장 강한 억제 편향(0.81)으로 발전합니다. 즉 합성곱 계층을 따라 깊어질수록 억제가 강해지는 경향이 나타납니다. 이는 흥미롭게도 억제 회로와 E/I 균형이 대뇌 피질 계층에 따라 체계적으로 변한다는 생물학적 관찰과 느슨하게 일치합니다.
이 발견은 비대칭 초기화의 과제별 중요도까지 설명해 줍니다. MNIST에서는 초기 조건과 무관하게 균형에 빠르게 도달하므로 비대칭 초기화의 효과가 없었던(\Delta = +0.0) 반면, CIFAR-10에서는 비대칭적 출발이 초기 불안정성을 막아주어 의미 있는 기여를 한 것입니다(\Delta = -5.5). 연구팀은 이를 두고, 명시적인 균형 강제 장치 없이도 Dale의 원리 제약하의 그래디언트 학습에서 생물학적 항상성(homeostasis)과 유사한 자기 조직화 과정이 창발할 수 있다고 해석합니다.
암묵적 희소성
음수가 아닌 가중치 하한은 상당한 암묵적 희소성(sparsity)을 유도합니다. 학습 후 전체 가중치의 37.3\% 가 하한값(10^{-4})에 도달합니다. 특히 억제성(교차 스트림) 완전 연결 연결이 가장 공격적으로 가지치기되어 최대 68.8\% 가 하한에 붙는 반면, 흥분성 연결은 26\% 에서 49\% 수준이고 합성곱 층은 훨씬 덜 영향받습니다(1\% 미만에서 18\%). 이 비대칭적 가지치기는 Dale 방식의 음수 배제 파라미터화가 깊은 층의 억제성 연결을 우선적으로 억누르는 구조적 용량 병목을 도입함을 시사합니다. 실제로 약 $32$M이라는 명목상 파라미터 수에도 불구하고 일반화 격차가 0.98\% 에 불과하다는 사실은, 이 모델이 과적합이 아니라 오히려 과소적합(underfitting) 상태임을 암시합니다. 다시 말해 CIFAR-10의 정확도 한계는 신용 할당의 질뿐 아니라, 가지치기로 유효 용량이 명목 파라미터 수보다 훨씬 작아진 데에서 비롯되었을 수 있습니다. 흥미롭게도 이는 하한에 한 번 붙은 가중치는 다시 회복될 수 없어, 하한 자체가 자연스러운 가지치기 장치가 되는 "공짜 모델 압축" 의 가능성을 열어줍니다.
한계점 및 향후 연구 방향
연구팀은 이 연구의 한계를 솔직하게 짚습니다. 분류를 위한 세 혁신은 분류 설정에 특화된 것이며 강화학습으로의 전이를 주장하지 않습니다. 또한 ED-PPO는 모든 환경에서 BP-PPO보다 상당히 높은 분산을 보여, 거친 오차 라우팅이 신뢰성을 제약하는 확률성을 도입함을 드러냅니다. Craftax에서 BP-PPO에 유의미하게 뒤지는 점(p = 0.002)은 ED의 모듈식 신용 할당이 세밀한 시간적 추론을 요하는 과제에는 불충분할 수 있음을 보여줍니다. 분류에서 ED와 DFA의 정확도 격차(-0.9 에서 -7.4 포인트)는 현재 Dale의 원리를 강제하는 데 드는 비용을 정량화합니다. 나아가 이중 스트림의 약 4\times 파라미터 오버헤드 자체가, 가중치의 37.3\% 가 하한으로 가지치기되는 분류에서 유효 용량을 제한할 수 있습니다.
그럼에도 향후 연구 방향은 매력적입니다. 첫째, Dale의 원리는 시냅스 가중치 자체를 음수가 아니게 제약함으로써 하드웨어 이점을 제공할 수 있습니다. 부호가 임의의 부호 가중치가 아니라 흥분성/억제성 경로 구조로 결정되므로, 물리적 시냅스 소자가 자연스럽게 음수가 아닌 양을 인코딩하는 아날로그, 광자(photonic), 뉴로모픽 기판에서 특히 유용할 수 있습니다. 둘째, 관찰된 암묵적 희소성은 Dale 준수 학습이 사실상 공짜 모델 압축을 가져올 가능성을 시사합니다. 셋째, 전용 억제 스트림이 큰 그래디언트 급변을 완화하는 구조적 장치를 제공하므로, 파국적 망각(catastrophic forgetting)이 핵심 장애물인 지속 학습과 개방형 학습 환경에 이중 스트림 구조가 특히 잘 맞을 것이라 연구팀은 추측합니다. 넷째, 흥분성 "증폭기"와 억제성 "억압기"로 계산을 분리하는 구조는 표준 신경망에는 없는 해석 가능성의 실마리를 제공합니다. 모델이 오류를 낼 때, 그 실수가 흥분성 스트림이 특징을 잘못 증폭한 탓인지, 억제성 스트림이 충분히 억누르지 못한 탓인지를 원리적으로 추적할 수 있기 때문입니다.
결론적으로 이 연구는 생물학적으로 타당한 학습 규칙이 단일하고 획일적일 필요가 없음을 보여줍니다. 공유된 아키텍처의 핵심 골격이, 적절한 도메인 특화 구성 요소로 보강될 때 분류와 강화학습이라는 상반된 과제 요구를 모두 감당할 수 있다는 것입니다. 가장 어려운 과제에서 BP-PPO 대비 존재하는 정확도 격차는 Dale의 원리를 지키는 현재의 비용을 정량화하는 동시에, 생물학적 충실도를 유지하면서 이 격차를 좁혀 나갈 후속 연구를 위한 구체적인 벤치마크를 제시합니다. 무엇보다 E/I 균형의 자기 조직화, 비대칭 경로 가지치기, 과제별 구성 요소 중요도 같은 창발적 행동들은, 생물학적으로 제약된 아키텍처가 살아있는 시스템에서 발견되는 것과 유사한 내부 조절 메커니즘을 스스로 발전시킬 수 있음을 암시합니다.
한 가지 덧붙이면, The AI Scientist로 알려진 Sakana AI답게 저자들은 감사의 글에서 이 연구 과정에 원고 편집과 코드/이미지 생성뿐 아니라 아이디어 도출, 자율적 실험 수행, 가설 정련에까지 AI를 활용했다고 밝혔습니다. 다만 모든 주장과 코드 구현, 원고 작성, 그림은 저자가 직접 만들거나 검토했다고 명시합니다.
Diffusing Blame: Task-Dependent Credit Assignment in Biologically Plausible Dual-Stream Networks 논문
Sakana AI 홈페이지
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 