Brain2Qwerty v2 소개
머릿속에 떠오른 문장을 손가락 하나 까딱하지 않고 화면에 옮길 수 있다면 어떨까요? 뇌졸중이나 사고, 근위축성 측삭경화증(ALS)으로 말하거나 움직이는 능력을 잃은 분들에게 이것은 단순한 상상이 아니라 절실한 필요입니다. 이 글에서 소개하는 Brain2Qwerty v2 는 두개골을 열지 않고, 머리 바깥에서 측정한 뇌의 자기장 신호(MEG)만으로 사람이 타이핑하려는 자연어 문장을 해독하는 딥러닝 모델입니다. Meta AI와 여러 연구 기관이 2026년 6월 공개한 이 연구는, 그동안 수술을 동반한 침습적 장치의 전유물로 여겨지던 수준의 정확도에 비침습적 방식으로 처음 근접했다는 점에서 주목할 만합니다.
침습적 BCI의 성취, 그리고 그 대가
지난 몇 년간 브레인-컴퓨터 인터페이스(Brain-Computer Interface, BCI)는 상당한 진전을 이뤘습니다. 무언증(anarthria), 감금 증후군(locked-in syndrome), ALS 등으로 언어 능력을 잃은 환자의 운동 피질(motor cortex)에 전극을 이식한 뒤, 말하려는 시도(attempted speech), 손글씨, 타이핑을 통해 언어를 복원하는 데 성공했습니다. 최근의 침습적 타이핑 인터페이스는 단어 오류율(Word Error Rate, WER)이 2\% 미만으로, 자연스러운 대화 속도에 근접하는 수준입니다.
그러나 이러한 성취에는 분명한 대가가 따릅니다. 두개골을 열고 뇌 표면에 전극을 심는 신경외과 수술은 뇌출혈, 감염 등 적지 않은 의학적 위험을 수반합니다. 또한 이식된 전극은 시간이 지나면서 신경염증 반응 때문에 안정적인 신호를 유지하기 어렵고, 넓은 환자군에게 전문적인 수술 치료를 제공하는 것은 현실적으로 큰 부담입니다. 침습적 BCI가 뛰어난 성능에도 불구하고 대규모 임상 적용으로 확장되기 어려운 이유가 여기에 있습니다.
비침습적 대안들, 그리고 각각의 한계
그렇다면 수술 없이 머리 바깥에서 뇌 신호를 측정하는 비침습적 방법은 어떨까요? 안전하지만, 저마다 뚜렷한 한계를 안고 있었습니다.
가장 널리 쓰이는 뇌전도(Electroencephalography, EEG) 는 신호 대 잡음비(signal-to-noise ratio)가 낮아, 사용자가 깜빡이는 화면에 집중하거나 오랜 시간 손발의 움직임을 상상하는 것과 같은 복잡하고 부담스러운 과제를 수행해야만 합니다. 실제로 한 공개 벤치마크에서 EEG 기반 BCI는 4개 클래스 분류 과제에서 43.3\% 정확도에 그쳤을 만큼, 실용적인 의사소통 도구로 쓰기에는 역부족이었습니다. 기능적 자기공명영상(fMRI) 은 공간 해상도는 높지만 시간 해상도가 본질적으로 낮아 실시간 의사소통에 부적합합니다.
뇌자도(Magnetoencephalography, MEG) 는 뇌 활동이 만드는 미세한 자기장 변화를 측정하는 방식으로, EEG보다 신호 대 잡음비가 높아 유망한 대안으로 꼽혀 왔습니다. 이 연구팀은 앞선 연구인 Brain2Qwerty v1(Lévy et al., Nature Neuroscience)에서 MEG로 타이핑한 텍스트를 문자 오류율(Character Error Rate, CER) 32\% 수준으로 해독하는 데 성공했습니다. 하지만 v1에는 세 가지 근본적인 한계가 있었습니다.
첫째, v1은 각 키 입력의 정확한 타이밍을 미리 알아야만 동작하는 동기식(synchronous) 방식이었습니다. 키를 누른 순간에 시간을 맞춰 뇌 신호 구간을 잘라내고 그 안의 문자를 분류하는 방식이라, 실시간 사용이 어렵습니다. 둘째, 개별 키 입력을 분류하는 것과 온전한 문장을 복원하는 것은 별개의 문제입니다. 문자 하나만 잘못 분류돼도 전체 출력이 알아보기 힘든 문장이 되어버립니다. 셋째, v1은 참가자 한 명당 단 1 시간 분량의 데이터로 학습되었습니다. 침습적 BCI가 보통 10 시간에서 40 시간에 걸쳐 수천 개의 문장을 활용하는 것과 비교하면 턱없이 부족한 규모였습니다.
Brain2Qwerty v2의 발상 전환
Brain2Qwerty v2는 이 세 가지 한계를 정면으로 겨냥합니다. 연구팀은 건강한 지원자 9 명을 대상으로 각각 10 시간씩, 총 90 회의 세션에 걸쳐 약 22,000개의 문장(참가자당 v1의 10 배)을 녹음한 대규모 EnglishBCBL 데이터셋을 새로 구축했습니다. 실험은 지연 타이핑(delayed-typing) 과제로, 참가자가 헤드폰으로 문장을 듣고 잠시 기다린 뒤 화면에 글자가 표시되지 않는 상태에서 들은 문장을 타이핑하는 방식이었습니다. 연구는 이 타이핑, 즉 언어 산출(language production) 단계의 뇌 활동에 집중합니다.
그리고 이 데이터 위에서 AI를 세 가지 방식으로 활용해 문제를 풉니다. 첫째, CTC(Connectionist Temporal Classification) 목적 함수로 키 입력 타이밍 없이 연속 신호에서 문자열을 정렬해 실시간 제약을 해소합니다. 둘째, 대규모 언어 모델(Large Language Model, LLM)을 미세조정(fine-tuning) 하여 의미가 통하는 문장을 생성하도록 만듭니다. 셋째, AI 코딩 에이전트('Auto Research')를 투입해 디코딩 파이프라인을 최적화하는 코드를 자율적으로 작성하게 합니다.
그 결과 Brain2Qwerty v2는 평균 WER 39\%, 가장 우수한 참가자의 경우 WER 22\%(단어 정확도 78\%)를 달성했습니다. 최고 참가자는 테스트 문장의 절반가량을 단어 오류 하나 이하로 정확히 해독했습니다. 특히 중요한 점은, 디코딩 정확도가 데이터 양에 따라 로그-선형(log-linear)으로 계속 개선되며 아직 포화(plateau)의 조짐이 없다는 것입니다. 이는 데이터를 더 모으는 것만으로도 침습적 방식과의 격차를 상당 부분 좁힐 수 있음을 시사합니다.
데이터의 규모와 다양성이 비동기 디코딩을 여는 열쇠
22,000개의 문장은 어떻게 모았나
방법론으로 들어가기 전에, 이 연구의 토대가 된 데이터셋부터 살펴보겠습니다. 실험은 스페인 바스크 인지뇌언어센터(Basque Center on Cognition, Brain and Language, BCBL)에서 건강한 성인 지원자 9 명(남녀 각 50\%, 평균 연령 34.6 세)을 대상으로 진행되었습니다. 참가자는 모두 오른손잡이이자 타이핑 정확도 80\% 이상의 능숙한 영어 원어민이었습니다. 각자 약 1 시간짜리 세션을 10 회씩 수행해, 참가자당 10 시간의 MEG를 기록했습니다.
각 시행은 세 단계로 이뤄집니다. 먼저 MEG 호환 헤드폰으로 문장 오디오를 들려주고, 화면에 고정 십자를 1.5 초간 표시한 뒤, 십자가 사라지면 타이핑을 시작합니다. 이때 화면에는 어떤 글자도 표시되지 않으며, 참가자는 백스페이스 없이 들은 문장을 최대한 정확히 입력합니다. 특히 읽기처럼 시선이 좌에서 우로 움직여 뇌 신호에 언어적 내용이 섞이는 것을 막기 위해, 화면 중앙의 작은 사각형이 키를 누를 때마다 시계 방향으로 10 도씩 회전하는 최소한의 시각 피드백만 제공했습니다.
문장 자체도 흥미롭습니다. 연구팀은 Llama 4 모델로 생성한 20,000 개의 간단한 영어 문장 풀에서 특수문자와 축약형(예: don't → do not)을 걸러낸 뒤, 2,560 개의 고유 문장을 무작위로 골라 참가자들이 공유하도록 했습니다(최종 분석에는 파일럿 세션을 포함해 2,724 개의 고유 문장이 쓰였습니다). 뇌 활동은 306 개 채널(102 개 자력계와 204 개 평면 경사계)을 가진 Megin MEG 시스템으로 1 kHz에서 측정했고, 자기장에 간섭을 주지 않도록 비자성 스프링으로 개조한 MR 호환 QWERTY 키보드를 사용했습니다. 데이터는 고유 문장 텍스트 단위로 80/10/10 비율로 나누어, 학습, 검증, 테스트 세트 사이에 동일 문장이 새어 나가지 않도록 했습니다.
이제 이 데이터가 던진 근본적인 질문 하나를 짚고 넘어가겠습니다. 바로 "키 입력 타이밍이라는 목발을 버리고, 연속된 뇌 신호만으로 문장을 해독할 수 있는가?"입니다.
v1의 동기식(synchronous) 방식은 각 키 입력에 시간을 맞춰 신호를 잘라냈지만, v2가 목표로 하는 비동기식(asynchronous) 방식 은 연속된 응답 구간 전체에서 예측 시퀀스를 출력합니다(Figure 1B). 실시간 적용이 가능해지는 대신, 문제의 난이도는 훨씬 높아집니다. 신호의 어느 지점이 어떤 문자에 해당하는지 알려주는 정보가 없기 때문입니다. 연구팀은 이 정렬 문제를 음성 인식에서 널리 쓰이는 CTC 목적 함수로 해결합니다. CTC는 가변 길이의 MEG 녹음을 키 입력 시퀀스에 자동으로 정렬해, 각 키의 시작 시점을 몰라도 학습할 수 있게 해줍니다.
문제는 이렇게 어려운 비동기 디코딩이 과연 동기식 성능을 따라잡을 수 있느냐입니다. 여기서 데이터의 힘이 드러납니다. 연구팀은 동기식 인코더와 비동기식 인코더를, 데이터가 적은 SpanishBCBL(v1 데이터셋)과 새로 만든 대규모 EnglishBCBL에서 각각 비교했습니다(Figure 1D, E). 데이터가 적을 때는 동기식(CER 0.39)이 비동기식(CER 0.59)을 크게 앞섰지만, 대규모 EnglishBCBL에서는 동기식이 0.23, 비동기식이 0.25 로 그 격차가 단 2\% 로 좁혀졌습니다. 데이터 규모가 비동기 디코딩을 동기식 성능의 한계선까지 끌어올리는 결정적 요인 이라는 것을 보여준 결과입니다.
성능은 데이터 양에 로그-선형으로 비례한다
더 흥미로운 것은 데이터를 늘릴수록 성능이 어디까지 올라가느냐입니다. 연구팀이 EnglishBCBL의 하위 집합을 점점 키워가며 비동기 인코더를 재학습한 결과, CER은 녹음 시간이 늘어남에 따라 일관되게 감소했고, 현재의 데이터 상한인 참가자당 약 90 시간에서도 포화의 기미가 전혀 보이지 않았습니다(Figure 1F). 이 관계는 뚜렷한 로그-선형 추세를 따르는데, \log_{10}(\text{시간}) 과 평균 CER 사이의 Pearson 상관계수는 r = -0.99(p = 1.1 \times 10^{-3}, R^2 = 0.98), 기울기는 10 배 데이터당 CER -0.39 였습니다. 저자들은 이 스케일링 법칙(scaling law)이 "추가적인 데이터 수집만으로도 성능 향상이 가능하다"는 것을 시사한다고 강조합니다.
문장의 다양성 또한 독립적인 데이터 품질의 축이다
데이터에서 중요한 것은 양뿐만이 아니었습니다. 연구팀은 총 문장 수와 피험자 수(n=9)를 똑같이 맞추되, 고유 문장의 다양성만 다르게 한 두 조건을 비교했습니다. 하나는 128 개의 고유 문장을 각 2 회 반복(SpanishBCBL 방식), 다른 하나는 256 개의 고유 문장을 각 1 회씩(EnglishBCBL 방식) 타이핑한 것입니다. 그 결과 반복 없이 다양한 문장으로 학습한 인코더의 CER(0.45)이 반복 학습(0.65)보다 유의미하게 낮았습니다(p < 0.001, Figure 1G). 즉 문장의 다양성은 단순한 표본 수와는 구별되는, 독립적인 데이터 품질의 축 이라는 것입니다. 언어 모델의 도움 없이도 학습 문장의 양과 다양성 모두가 비침습적 브레인-투-텍스트 디코딩 성능을 좌우하는 핵심 요인임을 보여줍니다.
참고로 이 실험에서 뇌 활동의 출처를 추적하는 소스 복원(source reconstruction) 분석을 수행한 결과, 예상대로 키를 누르는 순간 일차 운동 피질(M1)과 보조 운동 영역(SMA)이 양측성으로 활성화되었고, 오른손잡이 집단답게 우반구에서 더 넓게 나타났습니다. 여기에 더해 좌측 배외측(dorso-lateral) 및 하전두이랑, 측두두정 접합부(temporo-parietal junction)에서도 잔여 활동이 관찰되었는데, 이는 언어 네트워크(language network)와 일치하는 패턴입니다. MEG가 운동 피질을 중심으로 타이핑에 관여하는 뇌 활동을 잘 포착한다는 것을 확인해 주는 결과입니다.
Brain2Qwerty v2의 3단계 아키텍처
이제 이 글의 핵심인 모델 구조를 살펴보겠습니다. 앞서의 비동기 키 입력 디코더는 문자 수준의 신호 표현을 추출하는 데는 유용하지만, 두 가지가 부족합니다. 하나는 신경 신호에 담긴 더 높은 수준의 의미(semantic) 정보 를 뽑아내지 못한다는 것이고, 다른 하나는 자연어에 내재된 통계적 규칙성, 즉 LLM이 학습한 언어 지식을 제대로 활용하지 못한다는 것입니다.
이를 해결하기 위해 Brain2Qwerty v2는 문자, 단어, 문장 수준의 정보를 동시에 추출하도록 설계된 3단계 아키텍처(Figure 2)를 도입합니다. 마치 사람이 받아쓰기를 할 때 먼저 개별 소리(문자)를 알아듣고, 그것들을 단어로 묶고, 다시 문맥 속에서 말이 되는 문장으로 완성하는 과정과 닮았습니다. 각 단계는 서로 다른 손실 함수로 학습되지만 하나의 파이프라인으로 함께 최적화됩니다.
문자 수준: CTC 인코더와 Conformer
첫 번째 모듈인 Encoder 는 CTC 손실로 학습되어 뇌 활동에서 문자 수준 표현을 추출하고, MEG 임베딩과 문자 시퀀스를 함께 출력합니다. 인코더 내부는 두 단계로 구성됩니다.
먼저 BrainModule 은 3차원 공간에 흩어져 있고 세션마다 활성 채널 수가 달라지는 MEG 센서 신호를, 고정된 차원의 공간 표현으로 투영합니다. 센서 좌표를 2차원 푸리에 특징(Fourier feature)으로 인코딩한 뒤 학습 가능한 모듈을 통해 시간 단계마다 270 개의 가상 채널로 매핑하고, 피험자 인덱스에 조건화된 아핀 계층으로 개인별 센서 배치 특성까지 반영합니다. 이렇게 하면 명시적인 센서 좌표 정합 없이도 개인차를 흡수할 수 있습니다. 이어서 4 층 확장 합성곱 신경망(dilated convolutional network)이 공간적으로 융합된 표현을 처리하고, 스트라이드 합성곱으로 시간 해상도를 4 배 낮춰 약 40 ms당 한 프레임으로 압축합니다.
그다음이 이 인코더의 핵심인 Conformer(Gulati et al., 2020)입니다. Conformer는 합성곱과 어텐션(attention)을 번갈아 배치한 구조로, 원래 음성 인식을 위해 제안되었습니다. 여기서는 4 층, 모델 차원 1024, 어텐션 헤드 4 개로 구성됩니다. Conformer의 출력은 선형 헤드를 거쳐 28 개 클래스(CTC 공백 토큰, 소문자 26 자, 스페이스)로 분류되고 CTC 손실로 학습됩니다. 이때 합성곱 인코더 직후에 보조 CTC 헤드를 하나 더 붙여 \mathcal{L} = (1-\alpha)\mathcal{L}^{\text{final}}_{\text{CTC}} + \alpha \mathcal{L}^{\text{aux}}_{\text{CTC}} (\alpha = 0.7) 형태의 복합 손실로 학습하는데, 학습 초기에 보조 분기에 더 큰 기울기 신호를 실어 표현 학습을 돕는 장치입니다.
논문의 부가 분석(Figure S5)에 따르면, Conformer를 표준 트랜스포머로 교체하면 CER이 0.25 에서 0.28 로 나빠지고, BrainModule까지 단순한 시간 패치(patch) 방식으로 바꾸면 0.37 까지 악화됩니다. 이는 Conformer의 합성곱-어텐션 결합 구조가 MEG 신호의 국소적 시간 구조에, BrainModule이 낮은 신호 대 잡음비에 각각 중요한 귀납적 편향(inductive bias)을 제공함을 보여줍니다. 저자들은 "최종 문장 디코딩 성능이 상위 인코더의 CER과 선형적으로 강하게 상관(\text{WER} 에 대해 Pearson 0.78)"한다고 밝히며, 인코더 품질이 전체 파이프라인의 병목임을 강조합니다.
단어 수준: Aligner와 CTC 토크나이저
두 번째 모듈 Aligner 는 처리된 뇌 신호를 단어와 연결하는 역할을 합니다. 여기서 가장 어려운 문제는, 인코더가 내놓는 연속적인 MEG 임베딩을 LLM이 기대하는 단어 단위 토큰(token)으로 어떻게 이어붙이느냐입니다. 연구팀은 이를 위해 CTC 토크나이저 라는 영리한 장치를 설계했습니다.
핵심 아이디어는 CTC 예측에서 '스페이스(space)' 키가 나타나는 위치를 기준으로 연속 임베딩을 잘라내는 것입니다. 스페이스는 전체 문자의 19\% 를 차지할 만큼 자주 등장하고 예측이 안정적이어서, 이 분할이 상당히 정확합니다. 실제로 예측된 단어 수의 86\% 가 실제 단어 수와 \pm 1 개 이내로 맞아떨어졌습니다. 스페이스 사이의 임베딩들을 하나의 MEG 단어 청크(word-chunk)로 지정하고, 이를 평균 낸 뒤 작은 MLP로 LLM의 단어 임베딩 공간에 매핑합니다.
이 매핑을 학습시키는 방식이 흥미롭습니다. CTC 기반 분할은 목표 문장의 단어 수와 다른 개수의 토큰을 만들어낼 수 있으므로, 문장 내 정렬 단계가 먼저 필요합니다. 각 문장마다 신경 단어 임베딩과 목표 단어 임베딩 사이의 코사인 거리 행렬을 계산한 뒤, 동적 시간 왜곡(Dynamic Time Warping, DTW) 으로 단조로운 정렬 경로를 찾아 일대일 대응 쌍을 추출합니다. 이렇게 짝지어진 쌍에 SigLIP 손실(Zhai et al., 2023)이라는 대조 학습(contrastive learning) 기법을 적용해, 뇌에서 유도한 단어 표현이 올바른 단어 표현과 직접 정렬되도록 훈련합니다.
연구팀은 이 CTC 토크나이저를 두 가지 대안과 비교했습니다. 하나는 문장 전체를 임베딩 하나로 표현하는 방식, 다른 하나는 비전 트랜스포머에서 영감을 받아 문장을 일정 개수의 등간격 청크로 나누는 패치(patch) 방식입니다. CTC 토크나이저는 WER 0.39 로, 문장 정렬(0.46)이나 패치 토큰화(0.49)보다 유의미하게 우수했습니다(p < 0.005, Figure 4A). 단어 검색으로 검증했을 때도 전형적인 문장에서 9 개 단어 중 8 개가 뇌 신호로부터 정확히 1 순위로 복원되었습니다. 저자들은 이 CTC 토크나이저가 "모든 CTC 기반 파이프라인에 적용 가능한 범용 기법"이라고 평가합니다.
문장 수준: 뇌 신호를 읽는 언어 모델(NeuroLLM)
마지막 모듈은 얼어붙은(frozen) CTC 인코더와 결합된 인과적 언어 모델(causal language model), 구체적으로 Qwen3-4B 입니다. 이 LLM은 LoRA(Low-Rank Adaptation)(Hu et al., 2021)로 미세조정되며(랭크 128, \alpha = 256), 모든 선형 투영 행렬에 적용됩니다.
LLM의 입력은 다음과 같이 구성됩니다: [CTC: ∥ CTC로 디코딩한 텍스트 토큰 ∥ MEG: ∥ MEG 토큰 임베딩 ∥ Output:]. 즉 인코더가 뽑아낸 문자열과 뇌에서 유도한 단어 임베딩(연구팀은 이를 'Neuro Token'이라 부릅니다)을 함께 넣어주고, LLM이 교차 엔트로피(cross-entropy) 손실과 자기회귀(autoregressive) 방식으로 올바른 문장을 생성하도록 학습합니다. 학습 중에는 모달리티 드롭아웃(modality dropout) 을 적용해 MEG 토큰과 CTC 텍스트의 일부를 무작위로 0 으로 만들어, 어느 한쪽 정보만으로도 견고하게 동작하도록 유도합니다. 추론 시에는 빔 크기(beam size) 16 의 빔 서치(beam search)로 문장을 생성합니다.
여기서 핵심적인 설계 하나가 모델 수프(Model Soup)(Wortsman et al., 2022)입니다. 모든 피험자를 하나로 묶어 단일 LLM을 학습하는 대신, 피험자마다 별도의 LoRA 어댑터를 독립적으로 학습한 뒤 그 가중치들을 균일하게 평균 내어 하나의 어댑터로 합칩니다. 그 직관은 "각 피험자의 MEG 신호 특성을 서로 다른 과제(task)로 취급"하는 것입니다. 우리가 다룬 데이터는 고유 문장이 약 2,700 개뿐인 작은 규모라 과적합(overfitting) 위험이 큽니다. 실제로 모든 피험자를 합쳐 학습하는 방식(Joint LoRA)은 작은 랭크(r=2, WER 0.43)에서는 이기지만, 랭크가 커지면 제한된 문장 풀을 외워버려 성능이 나빠졌습니다. 반면 모델 수프는 랭크가 커져도 과적합 구간에 진입하지 않고 r=128 에서 WER 0.43 으로 가장 좋았으며, LLM 크기를 0.6\text{B} \to 1.7\text{B} \to 4\text{B} 로 키울 때마다 계속 개선되었습니다(Figure 4E). 저자들은 이것이 "LLM을 브레인-투-텍스트 파이프라인에 꽂아 넣는 재사용 가능한 레시피"라고 말합니다.
학습에 앞서 MEG 신호는 0.5~45 Hz 대역 통과 필터와 50 Hz 노치 필터를 거쳐 100 Hz로 다운샘플링되고, 녹음별 중앙값과 사분위 범위를 이용한 RobustScaler로 정규화됩니다. 학습 중에는 SpecAugment에서 착안한 시간축과 센서축 마스킹, 시행 길이를 0.8~1.2 배로 조절하는 시간 신축, 느린 드리프트 잡음을 모사하는 채널별 오프셋 등 확률적 데이터 증강을 적용해 과적합을 억제합니다. 전체 파이프라인은 연구팀이 함께 공개한 neuralset과 neuraltrain 라이브러리 위에서, AdamW 옵티마이저(학습률 8 \times 10^{-4})와 BF16 혼합 정밀도로 학습됩니다. CTC, 대조 정렬, LLM 세 부분을 단계적으로 함께 학습하는 종단간(end-to-end) 방식은 8 개의 A100 80 GB GPU에서 275 에폭, 약 19.5 시간이 걸렸습니다. 다만 인코더와 단어 투영기를 얼려 둔 채 LoRA만 미세조정하는 경량 방식으로도 최고 성능에 도달할 수 있어, LoRA 설정과 모델 수프 실험을 빠르게 반복할 수 있었습니다.
실험 결과: 단어와 의미 수준의 해독
Brain2Qwerty v2를 두 가지 베이스라인과 비교했습니다. 하나는 언어 모델 보정 없이 CTC 출력에서 가장 확률 높은 문자를 고르는 인코더 단독 방식, 다른 하나는 v1에서 쓰던 것처럼 인코더 출력을 WikiText-103 코퍼스로 학습한 6-gram 문자 언어 모델로 보정하는 인코더 + N-gram 방식입니다. 평가는 세 가지 지표로 진행했습니다. 문자 오류율(CER)과 단어 오류율(WER)은 각각 문자, 단어 수준의 편집 거리(Levenshtein distance)이고, 의미 오류율(Semantic Error Rate, SemER) 은 얼어붙은 RoBERTa-large 모델로 예측 문장과 정답 문장의 은닉 표현을 뽑아 그 \ell_2 거리로 의미적 근접도를 잰 값입니다. 앞의 두 지표가 표면적인 글자, 단어 일치를 본다면 SemER은 문장의 뜻이 얼마나 통하는지를 봅니다.
의사소통에 가장 중요한 지표인 WER과 SemER에서 Brain2Qwerty v2는 두 베이스라인을 크게 앞섰습니다. WER은 0.39 로 인코더 단독(0.55)이나 N-gram(0.43)보다 낮았고(p < 0.005), SemER은 0.059 로 인코더 단독(0.096), N-gram(0.085)을 모두 능가했습니다(Figure 3A-C). 이는 LLM이 잡음 섞인 신경 입력에서 전역적으로 일관된 문장 구조를 복원하는 능력을 반영합니다. Figure 3F의 예시를 보면, 인코더와 N-gram 출력이 "WAS THE DISH THAT YOU NIGHTY IN THE LP BUT" 처럼 파편화되고 뜻이 통하지 않는 문장을 내놓을 때, Brain2Qwerty v2는 "WAS THE FISH THAT YOU CAUGHT IN THE LAKE BIG"(정답)를 정확히 복원해냅니다. 참고로 비침습적 fMRI에서 지각된 음성을 해독한 Tang et al. (2023)의 WER이 0.92 에서 0.94 였던 것과 비교하면, 정확한 단어를 해독한다는 점에서 큰 진전입니다.
한 가지 흥미로운 트레이드오프가 있습니다. Brain2Qwerty v2는 오히려 CER(0.31)에서는 인코더 단독(0.28)이나 N-gram(0.26)보다 나쁩니다. 이는 자기회귀 방식으로 문장을 생성하는 LLM이, 인코더 출력과 MEG 신호 품질이 충분치 않을 때도 유창한 문장을 만들어내려 하기 때문입니다. 그 결과 최저 참가자에게서는 목표 문장(cars are not allowed on this road)과 전혀 다른, 그러나 문법적으로는 완결된 문장(had she not fallen down the stairs)을 생성해 문자 수준에서 큰 페널티를 받기도 합니다. 반면 N-gram은 국소적인 문자 오류를 꾸준히 교정해 CER은 낮지만, 어휘적으로 올바른 문장을 만들지는 못합니다. 저자들은 "성공적인 의사소통은 엄밀한 문자 일치가 아니라 의미에 달려 있기 때문에", WER과 SemER에서의 견고한 개선이 이 모델의 진정한 가치를 보여준다고 정리합니다. 다만 이 문자 대 의미의 트레이드오프는 상황에 따라 다르게 다뤄져야 합니다. 예컨대 비밀번호를 입력할 때는 글자 하나까지 정확해야 하지만 대화에 응답할 때는 의미 전달이 우선이므로, 실제 활용에서는 사용자의 필요에 맞게 디코딩 목표를 조정할 필요가 있다고 저자들은 짚습니다.
이 LLM은 정말 뇌 신호를 '읽는' 것일까?
여기서 자연스럽게 떠오르는 질문이 있습니다. LLM이 실제로 신경 신호를 읽는 것일까요, 아니면 그저 자신의 언어 사전 지식으로 인코더의 문자 예측을 다듬는 '교정기'에 불과한 것일까요? 이를 가리기 위해 연구팀은 LLM에게 MEG 토큰(Neuro Token)을 빼고 인코더의 CTC 출력만 주는 절제(ablation) 실험을 수행했습니다.
결과는 명확했습니다. MEG 토큰을 제거하자 모든 지표가 나빠졌습니다(CER 0.38, WER 0.49, SemER 0.067; 세 지표 모두 p \approx 0.004). 특히 WER은 0.43 에서 0.49 로 절대값 5.6 포인트나 악화되어, MEG 토큰이 CTC 텍스트만으로는 얻을 수 없는 단어 수준 정보를 실어 나른다는 것을 입증했습니다. 두 입력 스트림은 상호 보완적인 역할을 합니다. CTC 텍스트는 LLM을 그럴듯한 언어적 사전(prior)에 붙들어 두고, MEG 토큰은 그 사전을 넘어서게 만드는 잔여 신경 정보를 공급합니다. 저자들은 이로써 "Brain2Qwerty v2가 뇌 활동에 의존해 예측을 개선하도록 학습된, 사실상 미세조정된 LLM"임이 확립된다고 봅니다. 더구나 이 적응이 약 2,700 개의 고유 문장(90 시간의 MEG)이라는, 언어 모델 미세조정에 보통 쓰이는 양보다 몇 자릿수 작은 코퍼스로 이뤄졌다는 점도 주목할 만합니다.
얼마나 완벽하게 문장을 복원하는가
최고 참가자의 경우 테스트 문장의 28\% 가 단어 오류 없이 완벽하게 해독되었고, 47\% 는 단어 오류 하나 이내로 해독되었습니다(Figure 3D). 완벽 해독 비율은 중앙값 참가자에서 15\%, 최저 참가자에서 4\% 로 떨어지지만, 전형적인 오류 유형은 문장 전체가 무너지는 것이 아니라 단어 하나가 치환되거나 빠지는 정도에 머뭅니다. 개별 단어를 잘못 예측하더라도 최고, 중앙값 참가자에서는 문장의 의미가 대체로 보존되고, 출력은 문법적으로 잘 형성된 영어 문장으로 남습니다.
더 깊이 들여다보기: 인코더는 무엇을 학습했나
인코더는 키보드의 물리적 배치를 스스로 학습한다
인코더가 실제로 무엇을 배우는지 들여다보기 위해, 연구팀은 키 입력 표현을 tSNE로 시각화했습니다(Figure S2). 여기서 흥미로운 패턴이 드러납니다. 인코더의 앞 단계인 BrainModule을 통과한 표현은 어떤 키를 눌렀는지와 무관하게 피험자별로 뚜렷하게 뭉칩니다. 개인마다 다른 뇌 신호의 지문이 아직 강하게 남아 있다는 뜻입니다. 그런데 뒤 단계인 Conformer를 통과하고 나면, 같은 표현이 이번에는 키 종류별로 뭉치는데, 그 군집 구조가 위 그림의 키보드 색상 지도(상단열, 중간열, 하단열)와 정확히 대응합니다.
더 결정적인 것은, 이 구조가 학습을 통해 만들어진다 는 점입니다. 학습되지 않은 Conformer의 표현은 여전히 피험자별로 뭉쳐 있기 때문입니다. 즉 Conformer는 학습 과정에서 개인차라는 잡음을 걷어내고, "지금 눌린 키가 무엇인가"라는 과제에 맞게 표현을 재조직하는 법을 배웁니다. 마치 여러 사람의 손글씨를 읽는 훈련을 할 때, 처음에는 "누구의 글씨인가"가 먼저 눈에 들어오지만 숙달될수록 필체와 무관하게 "어떤 글자인가"에 집중하게 되는 것과 닮았습니다.
여러 피험자를 함께 학습하면 개인차를 넘어선다
그렇다면 개인마다 다른 뇌 신호는 학습 데이터를 어떻게 구성해야 가장 잘 극복할 수 있을까요? 연구팀은 전체 파이프라인을 세 가지 방식으로 학습해 최고, 중앙값, 최저 참가자에서 비교했습니다(Table 1). 개인별(Per-subject) 은 대상 피험자 한 명의 데이터만으로 처음부터 학습하는 방식, LOO+미세조정 은 나머지 8 명으로 사전학습한 뒤 Conformer를 얼린 채 대상 피험자에게 미세조정하는 방식, 공동 학습(Joint) 은 9 명 전체로 처음부터 함께 학습하는 방식(이 논문이 채택한 방식)입니다.
| 학습 방식 | 최고 참가자 (CER / WER) | 중앙값 참가자 (CER / WER) | 최저 참가자 (CER / WER) |
|---|---|---|---|
| 개인별 | 0.312 / 0.383 | 0.530 / 0.665 | 0.707 / 0.906 |
| LOO + 미세조정 | 0.252 / 0.328 | 0.475 / 0.586 | 0.566 / 0.683 |
| 공동 학습 | 0.170 / 0.226 | 0.368 / 0.478 | 0.482 / 0.614 |
세 참가자 모두에서 순서가 일관됩니다. 개인별이 가장 나쁘고, 공동 학습이 가장 좋습니다. 최고 참가자의 WER은 개인별 38.3\% 에서 공동 학습 22.6\% 로 크게 낮아집니다. 주목할 점은, 같은 연산량을 주더라도 한 명의 데이터만으로 학습하는 것이 일관되게 가장 약하다는 것입니다. 여러 피험자의 뇌 신호를 함께 보는 것이 오히려 개인의 디코딩 성능을 끌어올린다는, 다소 역설적으로 보이는 결과입니다.
다만 공동 학습이 반드시 필요한 것은 아닙니다. 나머지 8 명으로 사전학습한 뒤 새 피험자에게 미세조정 한 번만 거치는 LOO+미세조정만으로도 성능 격차의 대부분을 메울 수 있었습니다. 이는 기본 파이프라인을 처음부터 다시 학습하지 않고도 새로운 사용자를 추가할 수 있음 을 시사하는데, 향후 임상 배포 시나리오에서 중요한 성질입니다.
AI 에이전트가 파이프라인을 스스로 개선하다
이 연구에서 가장 독특한 부분은, AI를 특징 추출(인코더)과 언어 모델링(LLM)뿐 아니라 코드 개발 자체 에도 활용했다는 점입니다. 연구팀은 Andrej Karpathy의 autoresearch에서 영감을 받아, Cursor에 탑재된 Claude Opus 4.6을 기반으로 한 세 개의 독립적인 AI 에이전트에게 검증 WER을 최소화하는 과제를 맡겼습니다.
각 에이전트는 학습률, 가중치 감쇠, LoRA 랭크, 배치 크기라는 단 4 개의 하이퍼파라미터만 명시된, 의도적으로 벌거벗겨진 설정에서 출발합니다. 그리고 자신에게 할당된 격리된 git 워크트리(worktree)에서 코드베이스를 직접 수정하고 그리드 서치를 돌리며 새로운 아이디어를 탐색합니다. 에이전트에게 주어진 프롬프트는 "알려진 파라미터를 다듬기보다 새로운(NOVEL) 아이디어를 우선하라. 훌륭한 라운드란 성능을 끌어올리는 진정으로 새로운 개념을 도입하는 것이다"라는 지침을 담고 있었습니다. 비교 대상으로는 동일한 4 개 파라미터 공간에서 동일한 연산 예산으로 Optuna의 트리 구조 파젠 추정(TPE) 탐색을 실행했습니다.
에이전트는 고전적 최적화가 닿지 못하는 곳에 도달했다
결과는 인상적이었습니다. 기본 설정의 검증 WER은 Subject 01에서 0.45 였습니다. Optuna는 0.41(8.6\% 상대 개선)에서 빠르게 정체되어, 4 개 파라미터의 최적점을 더 밀어붙이지 못했습니다. 반면 세 AI 에이전트는 10 라운드 내내 꾸준히 개선하며 각각 WER 0.38, 0.36, 0.37(상대 개선 16.1\%, 19.8\%, 17.7\%)에 도달했습니다(Figure 5A). 에이전트들이 Optuna로서는 구조적으로 접근할 수 없는 파라미터를 스스로 코딩하고 시험했기 때문입니다.
더 중요한 것은 일반화였습니다. 이 개선이 Subject 01에만 과적합된 것인지 확인하기 위해 각 최종 설정을 9 명 전체로 학습했더니, Optuna의 단일 피험자 이득은 교차 피험자 평가에서 완전히 사라졌습니다(테스트 WER 0.493, 기본 설정 대비 p = 0.88). 반면 세 에이전트 설정은 모두 베이스라인과 Optuna 대비 유의미한 개선을 유지했습니다(모두 p < 10^{-6}). 즉 에이전트가 발견한 혁신은 단일 피험자 튜닝의 부산물이 아니라 넓은 집단에 걸쳐 실질적으로 유효했다는 뜻입니다. 세 에이전트가 독립적으로 수렴한 핵심 전략은 다음과 같습니다.
- 라벨 스무딩(label smoothing): 세 에이전트 모두 1~2 라운드에서 발견했으며, 단일 라운드 최대 WER 감소(에이전트 1의 경우 -0.04)를 제공했습니다.
- 모달리티 드롭아웃(modality dropout): 학습 중 CTC 토큰을 떨어뜨려 LLM이 잡음 섞인 CTC 예측 대신 신경 단어 임베딩에 더 의존하도록 강제했고, 5~9 라운드에서 꾸준히 큰 이득을 냈습니다.
- LLM 출력의 빔 서치 디코딩: 테스트 시점의 다중 가설 디코딩을 가능하게 했습니다.
- 문장 수준 대조 정렬 손실: 단어 수준 정렬을 보완하는 CLIP 방식의 보조 손실을 활성화했습니다.
- 최소 프롬프트(minimal prompts): 장황한 과제 설명 대신 지시 프롬프트를
CTC:,MEG:,Output:이라는 최소한으로 줄였습니다.
그러나 열린 문제에서는 실패했다
이 성과는 어디까지나 의도적으로 제한된 탐색 공간 안에서 얻은 것임을 저자들은 분명히 합니다. 모델 아키텍처, 데이터 파이프라인, 손실 정식화, 허용 실행 시간은 연구자가 고정했고, 에이전트에게는 일부 학습 시점 하이퍼파라미터만 노출되었습니다. 반대로 같은 에이전트에게 Brain2Qwerty v1 코드베이스에서 출발해 v2 파이프라인의 성능을 맞추라는 열린 목표(open-ended objective) 를 주자, 이들은 일관되게 실패했습니다. 크고 뒤엉킨 코드 수정이 대부분의 후속 SLURM 작업을 유효한 지표를 내기도 전에 중단시켰고, 드물게 성공적으로 실행된 경우에도 에이전트는 반복적으로 개선하기보다 그냥 멈춰 있는 경향을 보였습니다.
저자들은 이로부터 "AI 에이전트가 강력한 힘의 증폭기(force multiplier)가 될 수 있지만, 인간 연구는 지금으로서는 여전히 과학적 과정의 핵심적인 부분으로 남아 있다"고 결론짓습니다. AI가 연구자를 대체하는 것이 아니라, 잘 정의된 문제 안에서 인간의 탐색을 가속하는 협력자로 기능한다는 균형 잡힌 시각입니다.
한계점과 향후 방향
Brain2Qwerty v2는 비침습적 방식으로 인상적인 진전을 이뤘지만, 임상 적용까지는 넘어야 할 벽이 여럿 남아 있습니다. 저자들은 이를 솔직하게 짚습니다.
첫째, 피험자 간 편차(inter-subject variability) 가 큽니다. N-gram 기준 CER이 17.1\% 에서 41.0\% 까지 벌어집니다. 최종 성능이 상위 인코더 품질과 강하게 상관하는 만큼(앞서 본 것처럼 인코더 CER과 최종 WER의 Pearson 상관이 0.78), 교차 피험자 전이나 자기 지도 사전학습(self-supervised pretraining)으로 인코더를 개선하는 것이 우선 과제입니다. 앞의 다피험자 학습 분석에서 보았듯 여러 피험자를 함께 학습하거나 새 피험자에게 미세조정하는 전략이 이 편차를 줄이는 실마리가 됩니다.
둘째, 이 연구는 건강한 지원자가 실제 키보드로 타이핑하는 상황에서 수행되었습니다. 실제 키 입력이 없는 환자에게, 그것도 추론뿐 아니라 학습과 미세조정 단계에서까지 이 방식을 안정적으로 적용할 수 있음을 입증하는 것이 남은 핵심 과제입니다.
셋째, 실시간 지연(latency) 문제입니다. 현재 Brain2Qwerty v2는 인과적(causal) 아키텍처가 아니라 문장 전체를 한꺼번에 처리하므로, 사용자가 문장이 끝나기 전에는 자신이 타이핑한 단어를 볼 수 없습니다. 다만 표면 근전도(EMG)에서 저지연 인과적 Conformer로 손글씨를 해독한 유망한 결과가 있어, 완전한 실시간 저지연 구현이 향후 과제로 제시됩니다.
넷째, 하드웨어 문제입니다. 이 연구는 306 개 센서의 극저온 냉각 MEG 장비에 기반하는데, 이는 임상 환경에 곧바로 적용하기 어렵습니다. 다만 저자들은 낙관적입니다. 센서 절제 실험(Table 2)에서 센서를 150 개 수준으로 줄여도 WER 손실이 약 5.7 포인트에 불과할 만큼 견고했기 때문입니다. 상온에서 착용 가능한 광펌핑 자력계(Optically Pumped Magnetometer, OPM) 센서가 계속 발전하고 있어, 실험실의 개념 증명을 임상용 안전 통신 장치로 옮길 길이 열리고 있습니다.
가장 중요한 전망은 스케일링 법칙 입니다. 최첨단 침습적 BCI가 타이핑에서 WER 2\% 미만을 달성하는 것과 비교하면 여전히 상당한 격차가 있지만, 90 시간 데이터에서도 성능 곡선이 포화되지 않았다는 사실은 데이터 수집이 성능 향상의 단순하고 강력한 지렛대가 될 수 있음을 시사합니다. 저자들은 "비침습적 MEG 데이터에 대한 확장된 학습이 언젠가 신경외과 수술의 필요성을 없앨 수 있다면, 이는 환자 치료에 있어 근본적인 전환이 될 것"이라고 전망합니다.
Brain2Qwerty v2는 비침습적 브레인-투-텍스트 디코딩이, 그동안 수술적 이식의 전유물로 여겨지던 정확도 수준에서 작동하기 시작했음을 보여주는 이정표입니다. 안전하고 확장 가능한 방식으로 언어와 운동 능력을 잃은 이들의 의사소통을 복원하려는 여정에서, 이 연구는 데이터와 AI가 그 격차를 메워갈 수 있다는 구체적인 근거를 제시합니다.
Brain2Qwerty v2: Accurate Decoding of Natural Sentences from Non-Invasive Brain Recordings 논문
Brain2Qwerty v1: Noninvasive decoding of typed sentences from human brain activity (Nature Neuroscience) 논문
https://www.nature.com/articles/s41593-026-02303-2
Brain2Qwerty 프로젝트 홈페이지
Brain2Qwerty GitHub 저장소
SpanishBCBL 데이터셋 (Hugging Face)
더 읽어보기
- Meta AI 블로그: Brain2Qwerty v1 소개 - https://ai.meta.com/blog/brain-ai-research-human-communication/
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 