강화학습 기반 양자 오류 정정 제어 연구 소개
오케스트라가 연주 도중 몇 마디마다 멈춰 악기를 다시 조율해야 한다면 어떤 공연이 될까요. 오늘날 양자 컴퓨터를 운용하는 방식이 이와 비슷합니다. Google Quantum AI와 Google DeepMind가 Nature에 발표한 Reinforcement learning control of quantum error correction 논문은, 이 조율 문제를 계산을 멈추지 않고 푸는 강화학습(Reinforcement Learning, RL) 프레임워크를 제안합니다. 양자 오류 정정(Quantum Error Correction, QEC) 과정에서 이미 쏟아져 나오는 오류 검출 신호를 디코더에만 넘기지 않고, 에이전트의 학습 신호로 함께 사용하는 것이 핵심 아이디어입니다.
이 연구는 Google의 플래그십 초전도 프로세서인 Willow 에서 실제로 검증되었고, 2026년 7월 8일 Nature에 온라인 공개된 뒤 Vol 655에 실렸습니다. 저자는 Volodymyr Sivak, Alexis Morvan을 교신저자로 하는 Google Quantum AI 및 Google DeepMind의 대규모 공동 연구진입니다. ML 연구자 입장에서 이 논문이 흥미로운 이유는 결과 자체보다도 문제 설정에 있습니다. 보상이 시스템 운영 과정에서 공짜로 쏟아지고, 환경은 비정상적(non-stationary)이며, 탐험(exploration)의 비용이 실제 하드웨어 성능으로 즉시 청구되는 강화학습 환경입니다.
양자 컴퓨터는 왜 끊임없이 다시 조율해야 하는가
양자 컴퓨터는 근본적으로 아날로그 기계입니다. 큐비트를 조작하는 것은 마이크로파 신호의 주파수, 진폭, 위상 같은 연속적인 물리량이고, 이 값들은 온도 요동이나 소자 근처의 물질 결함 같은 원인으로 시간에 따라 서서히 어긋납니다. 논문과 블로그가 공통으로 쓰는 표현인 드리프트(drift) 가 바로 이 현상입니다.
그런데 양자 시스템에서는 오류가 났는지 확인하는 일 자체가 간단하지 않습니다. 큐비트를 측정하는 행위가 중첩 상태를 붕괴시키기 때문에, 상태를 직접 들여다보는 방식으로는 오류를 잡아낼 수 없습니다. QEC는 이 문제를 우회합니다. 여러 물리 큐비트를 묶어 하나의 논리 큐비트를 만드는 중복성을 활용하고, 논리 상태를 읽는 대신 물리 큐비트들 사이의 패리티만 반복해서 측정합니다.
이 패리티 측정이 오류를 디지털화 합니다. 회로 안에 반복적인 오류 검출을 심어 두면, 연속적으로 번져 나가던 아날로그 잡음이 오류 있음 또는 오류 없음 이라는 이진 사건의 나열로 분기됩니다. 이 이진 신호를 디코딩하면 논리 양자 상태를 정정할 수 있고, 실용적인 응용에 필요한 낮은 논리 오류율(Logical Error Rate, LER)에 도달할 수 있습니다.
문제는 디지털화만으로는 충분하지 않다는 점입니다. QEC는 물리 게이트 오류율이 임계값보다 충분히 낮게 유지될 때만 효과가 있고, 그 임계값은 대략 10^{-3} 에서 10^{-2} 사이입니다. 이 조건을 맞추려고 제어 파라미터를 정밀하게 맞추는 과정이 보정(calibration) 입니다. 결국 과제는 임계값 아래로 한 번 내려가는 것에서, 드리프트가 계속되는 환경에서 그 성능을 유지하는 것 으로 확장됩니다.
여기서 오류의 성격을 구분해 둘 필요가 있습니다. 일부 오류는 양자 시스템이 주변 환경과 상호작용하면서 생기는 결어긋남(decoherence) 에서 옵니다. 거시적인 양자 중첩을 무너뜨려 양자 컴퓨터를 사실상 고전 컴퓨터로 되돌리는 과정입니다. 우리에게 익숙한 고전적 실재가 양자 법칙 위에서 떠오르는 것도 이 현상 때문일 만큼 근본적이라, 완전히 막을 방법이 없습니다. 반면 나머지 상당수는 부정확한 제어 보정과 하드웨어 드리프트가 겉으로 드러난 결과이고, 이쪽은 사람이 손댈 수 있는 영역입니다. 이 논문의 RL이 겨냥하는 것은 후자뿐입니다. 뒤에서 볼 확장 시뮬레이션에서 학습이 어느 지점에 도달하면 더 내려가지 못하고 멈추는 이유도 여기에 있습니다.
기존 접근법과 각각의 한계
지금까지 드리프트 문제를 다뤄 온 방식은 크게 3가지입니다.
첫 번째는 현재 표준인 중단 후 재보정 입니다. QEC 과정 전체를 종료하고 시스템을 다시 보정한 뒤 계산을 재개합니다. 확실하지만 계산과 보정이 완전히 분리되어 있어서, 며칠에서 몇 달까지 연속 실행이 필요한 미래의 유용한 알고리즘에는 근본적인 병목이 됩니다. 실제로 2,048비트 RSA 정수를 백만 개 미만의 잡음 큐비트로 인수분해하는 방법 같은 자원 추정 연구들이 상정하는 실행 시간이 이 규모입니다.
두 번째는 논리 SWAP이나 코드 변형(code deformation) 으로 계산과 보정을 화해시키려는 이론적 제안입니다. CaliQEC 처럼 표면 코드 위에서 큐비트를 현장 보정하는 구조가 여기 해당합니다. 다만 회로 실행 시간, 칩 면적, 운영 복잡도 모두에서 큰 오버헤드를 감수해야 합니다.
세 번째는 오류 검출에서 물리 제어로 직접 피드백 루프를 거는 방식 입니다. Kelly 등이 2016년에 반복적 오류 검출 중의 확장 가능한 현장 큐비트 보정 에서 선구적으로 시도했지만, 휴리스틱에 기반한 접근이라 규모를 키우기 어려웠습니다.
여기에 더해, 전통적인 보정 스택 자체의 한계도 짚어야 합니다. 전통적 접근의 핵심 발상은 정확한 물리 모델을 이용해 제어 파라미터 공간을 직교화한 뒤, 한 번에 몇 개의 파라미터만 겨냥하는 전용 보정 실험을 설계하는 것입니다. 큐비트의 XY 회전용 마이크로파 펄스 주파수는 분광법으로 맞추고, 그 펄스의 진폭은 Rabi 진동으로 맞추는 식입니다. 여러 파라미터를 한꺼번에 미세조정해야 할 때는 무작위 벤치마킹(randomized benchmarking) 이나 교차 엔트로피 벤치마킹(cross-entropy benchmarking) 처럼 게이트의 종합 성능 지표를 재는 보정 실험을 씁니다. 이 방식은 유향 비순환 그래프(DAG) 순회에 기반한 자동 보정 프레임워크 로 집대성되어 큐비트 100개 규모의 실험들을 성공시켰습니다.
그럼에도 인간이 손으로 만든 모델은 어느 지점에서 성능 천장에 부딪힙니다. 게이트 오류율이 QEC 임계값 아래로 더 깊이 내려갈수록, 성능은 점점 더 많은 저확률 오류 채널에 의해 제한됩니다. 이 채널들은 표준 보정이 쓰는 시스템 모델의 단순화 가정과 근사에서 비롯되거나, 아직 알려지지 않은 소자 물리에서 옵니다. 저자들은 이런 깊은 임계값 아래 영역에서는 "계측과 표적 보정만으로 최적 성능을 달성하고 유지하는 일이 실현 불가능해질 것" 이라고 전망합니다. 그리고 그 빈자리를 "QEC 시스템 전체를 아우르는 모델 없는 문맥 내 미세조정(holistic model-free in-context fine-tuning)" 이 채워야 한다고 덧붙입니다. 오류 검출 이벤트에서 배우는 RL이 그 역할을 맡을 수 있다는 것이 이 논문의 답입니다.
이 연구의 발상 전환: 검출 이벤트에 두 번째 역할을 주다
이 논문의 출발점은 단순한 관찰입니다. 보정이 부정확해서 생기는 오류도 다른 모든 오류와 똑같이 검출 가능한 신드롬을 남긴다는 것입니다. 그렇다면 QEC가 이미 만들어 내고 있는 검출 이벤트 스트림에는 "왜 이 오류들이 애초에 발생했는가" 에 대한 정보가 들어 있는 셈입니다. 디코더는 이 데이터를 받아 논리 상태를 정정하지만, 그 질문에는 답하지 않습니다.
연구진은 같은 데이터를 에이전트에게도 흘려보냅니다. 검출 이벤트는 정정용 입력인 동시에 능동적인 학습 신호 가 되고, 계산이 진행되는 동안 RL 에이전트는 이 데이터를 모니터링하며 제어 파라미터를 동적으로 조정해 드리프트를 상쇄합니다. 별도의 보정 실험도, 계산 중단도 없습니다.
방법으로 RL을 고른 것 자체는 갑작스러운 선택이 아닙니다. 논문은 RL이 바둑 과 아타리 게임 에서 초인적 성능을 냈고, 로보틱스에서 상당한 진전을 이끌었으며, 최근에는 사람 피드백으로 언어 모델의 행동을 다듬는 과정 의 핵심이 되었다는 계보를 먼저 짚습니다. 양자 제어 분야에서도 RL은 여러 문제에 이론적으로 적용되어 왔고, 개별 게이트의 성능 개선과 보손 부호에서는 이미 실험적으로 쓰였습니다. 이 논문의 새로움은 게이트 하나가 아니라 오류 정정이 걸린 대규모 프로세서 전체를 보정하고 추종 제어하는 시스템 수준의 문제에 RL을 적용했다는 데 있습니다.
위 그림이 전체 구조입니다. 왼쪽의 양자 시스템은 표면 코드 격자 위에서 QEC를 수행하고, 가운데의 고전 컨트롤러가 아날로그 파형을 만들어 내려보냅니다. 측정 비트열은 오른쪽 QEC 디코더로 흘러가 논리 정정에 쓰이는데, 같은 비트열이 아래쪽 학습 에이전트로도 분기되어 컨트롤러 메모리 안의 제어 파라미터를 갱신합니다.
실험 결과를 미리 말하면, 인위적으로 드리프트를 주입한 조건에서 RL 조정은 표면 코드의 논리적 안정성을 3.5\times 개선했고(초록이 내세운 이 수치는 디코더까지 함께 조정했을 때의 값이며, 컨트롤러만 조정하면 2.4\times 입니다), 사람 전문가가 손으로 다 맞춰 놓은 프로세서에서도 LER을 20\% 추가로 억제했습니다.
오류에서 배우는 학습 구조
검출자와 검출 영역: 학습 신호가 만들어지는 자리
결함 허용 QEC 회로를 설계하는 지침은 오류가 안정자(stabilizer) 측정 결과에 반드시 검출 가능한 흔적을 남기게 만드는 것입니다. 이 흔적을 다루기 편하게 표현한 개념이 검출자(detector) 로, 오류가 없을 때 총 패리티가 결정론적으로 정해지는 측정들의 집합을 뜻합니다. 패리티가 뒤집히면 그것이 검출 이벤트(detection event) 이고, 회로의 특정 시공간 영역에서 오류가 일어났다는 신호가 됩니다. 그 영역을 검출 영역(detecting region) 이라고 부릅니다.
검출 영역은 대체로 여러 종류의 오류에 동시에 민감하기 때문에, 주어진 검출 이벤트 패턴에서 실제 오류 패턴을 추론하려면 디코더가 필요합니다. 논문의 실험에서는 신경망 디코더인 AlphaQubit 의 후속 모델인 AlphaQubit2 와 탐색 기반 알고리즘 디코더 Tesseract 를 사용합니다.
RL을 위해 이 과정에 한 가지가 추가됩니다. 학습 중에는 계산을 진행하면서 모든 제어 파라미터에 작고 동시적인 섭동을 의도적으로 가합니다. 이 섭동은 검출 이벤트의 통계에 미묘한 변화를 만들어 내고, 학습 알고리즘이 할 일은 이 원인과 결과를 분리해 내는 것입니다.
무엇을 학습하는가: 제어 파라미터의 정체
에이전트가 다루는 대상을 조금 더 구체적으로 볼 필요가 있습니다. 추상적인 QEC 논리 회로는 그대로 하드웨어에서 돌지 않습니다. 게이트의 파라미터가 고전 컨트롤러의 메모리에 저장되어 있고, 펄스 컴파일러가 이 값들을 참조해 추상 회로를 실제 아날로그 파형으로 번역합니다. RL 에이전트가 조종하는 것이 바로 이 메모리 안의 숫자들입니다.
논문의 Figure 2c 범례에 등장하는 파라미터 종류를 보면 성격이 분명해집니다. XY 펄스의 진폭과 주파수, CZ 게이트의 결합 강도와 post-phase, 그리고 전달 함수(transfer function)입니다. 모두 물리학자가 개별 보정 실험으로 하나씩 맞춰 온 값들이고, 각각이 어느 게이트의 어느 시점에 해당하는지가 정해져 있습니다. 확장 시뮬레이션에서는 단일 큐비트 게이트와 CZ 게이트마다 30개씩을 학습 대상으로 둡니다.
규모는 코드 거리에 따라 달라집니다. 논문은 RL 에이전트가 1,000개가 넘는 제어 파라미터를 관리한다고 밝히고, 거리 7 실험에서는 그 수가 2,000개를 넘는다고 적고 있습니다. 신경망 학습에 익숙한 관점에서 보면 파라미터 수천 개는 작아 보이지만, 여기서는 한 번의 그래디언트 추정에 실제 양자 프로세서를 돌려 데이터를 수집해야 하고 그 관측값이 이진 검출자 값의 평균이라는 점이 결정적으로 다릅니다.
논리 오류율을 직접 최적화할 수 없는 3가지 이유
가장 관심 있는 성능 지표는 당연히 LER인 \varepsilon_L 입니다. 그런데 저자들은 이것을 최적화 목적 함수로 직접 쓸 수 없다고 판단하고, 3가지 이유를 제시합니다.
첫째, LER은 코드 거리 d 에 따라 \varepsilon_L \propto \Lambda^{-d/2} 로 억제됩니다. 여기서 오류 억제 계수 \Lambda 는 이미 초전도 회로와 중성 원자 실험 모두에서 \Lambda > 2 가 실증된 값입니다. 코드가 커질수록 LER이 지수적으로 작아지므로, 그 값을 통계적으로 분해하려면 지수적으로 많은 QEC 사이클이 필요해집니다.
둘째, 파라미터 수가 방대합니다. 거리 7 실험에서 이미 2,000개를 넘고 O(d^2) 로 증가하는데, 스칼라 지표 하나만 보고 이만한 차원의 전역 최적화를 수행하는 것은 현실적이지 않습니다.
셋째, LER은 실시간 보정에 쓸 수 없습니다. 계산 도중에는 논리 상태가 일반적으로 알려져 있지 않으므로, 논리 오류가 났는지 여부 자체를 판정할 수가 없습니다.
다만 저자들은 LER 직접 최적화가 언제나 불가능하다고 말하지는 않습니다. 소형 보손 부호(bosonic code)처럼 특정한 맥락에서는 이미 효과적으로 쓰였고, 실제로 이 논문의 제1저자가 실시간 양자 오류 정정으로 손익분기점을 넘긴 연구 에서 그 방식을 사용했습니다. 위 3가지는 표면 코드 같은 대규모 다중 큐비트 안정자 부호에서 불거지는 문제이고, 그래서 이 규모에서는 다른 접근이 필요해집니다.
대리 목적 함수: 검출 이벤트 발생률
그래서 연구진은 LER을 효율적으로 계산 가능한 국소적 대리 지표로 바꿉니다. 대리 목적 함수 C 는 회로 안 모든 검출자의 평균 오류 검출 이벤트 발생률입니다.
여기서 D 는 회로 내 전체 검출자를 가리키고, 경험적 기댓값은 충분한 수의 QEC 사이클에 걸쳐 계산됩니다. 이 정의는 표면 코드의 단순한 스케일링 모델 \varepsilon_L \propto \Lambda^{-d/2} 에서 착안한 것입니다. \Lambda = \varepsilon_{th} / \varepsilon 이 물리 오류율 \varepsilon 을 QEC 임계값 \varepsilon_{th} 대비 얼마나 억제했는지를 나타내고, C \propto \varepsilon 이므로 두 목적 함수의 그래디언트는 다음처럼 단순한 비례 관계로 이어집니다.
이 관계가 실제 실험에서도 성립하는지는 직접 확인했습니다. 고차원 제어 공간에서 가우시안 섭동을 무작위 방향으로 샘플링해 유한차분 편미분을 측정한 결과, 섭동이 작은 영역에서 위 비례 관계가 잘 맞았습니다. 몬테카를로 그래디언트 추정에 의존하는 RL 접근에는 이 정도면 충분합니다.
대리 목적 함수는 앞서 짚은 3가지 한계 중 두 가지를 곧바로 해소합니다. 논리 상태를 몰라도 계산할 수 있으니 세 번째 한계가 사라지고, C 를 일정한 상대 정확도로 분해하는 데 필요한 QEC 사이클 수가 O(\varepsilon^{-1}) 이며 코드 거리와 무관 하므로 첫 번째 한계도 사라집니다.
팩터 그래프의 희소성이 확장성을 만든다
남은 것은 두 번째 한계인 고차원 문제입니다. 여기서 이 논문의 가장 중요한 구조적 통찰이 나옵니다. QEC 회로에서 검출자는 국소적이므로, C 를 구성하는 각 항은 자신의 검출 영역 안에 있는 게이트의 제어 파라미터에만 의존합니다. 즉 목적 함수가 희소한 의존 구조를 갖습니다.
이 관계는 팩터 그래프(factor graph) 라는 이분 그래프로 표현됩니다. 팩터 노드는 검출자에, 변수 노드는 시스템 제어 파라미터에 대응합니다. 거리 5 표면 코드 실험 기준으로 각 검출자 노드는 평균 302개의 파라미터 노드와 연결되고, 각 파라미터 노드는 18개의 검출자 노드와 연결됩니다(그래프 구성의 세부는 보충 자료 II절에 있습니다).
위 그림의 네 패널이 지금까지의 설명을 그대로 담고 있습니다. 패널 a는 반복 부호 QEC 회로의 시공간 조각에서 겹치는 두 검출 영역을 청록색과 주황색으로 강조한 것이고, 패널 b는 한 번의 학습 반복을 도식화한 것입니다. 패널 c는 앞서 설명한 그래디언트 비례 관계를 실험적으로 검증한 산점도로, 검은 직선의 기울기가 (d+1)/2 입니다. 마지막 패널 d가 팩터 그래프이며, 위쪽 검출자 노드와 아래쪽 제어 파라미터 노드가 국소성에 따라 성기게 연결된 모습입니다.
정책 그래디언트 알고리즘의 구성
목적 함수 C 는 표준적인 최적화 도구로 직접 다루기 어렵습니다. 유한한(그리고 가급적 적은) 수의 QEC 사이클에서 이진 검출자 값을 평균 내어 얻으므로 확률적 요동이 크고, 시스템 드리프트 때문에 비정상적이며, 한 번 평가하는 데 고전 컨트롤러 갱신과 데이터 수집이 필요해 비쌉니다. 게다가 미래에는 계산 도중 실시간으로 최적화해야 하므로, 논리 알고리즘에 치명적일 수 있는 큰 파라미터 점프보다는 매끄럽고 점진적인 개선이 바람직합니다.
이런 성질들을 고려해 연구진은 다목적 정책 그래디언트(multi-objective policy-gradient) 방식을 채택했습니다. C 를 구성하는 각 검출자 신호가 동시에 최적화되는 여러 개의 목적이 되는 구조입니다. 기반이 되는 알고리즘은 parameter-exploring policy gradients(PEPG) 로, 제어 정책 전체를 한 덩어리로 샘플링하기 때문에 고전 컨트롤러와의 인터페이스가 깔끔하게 맞아떨어집니다.
정책 분포로는 대각 공분산을 갖는 인수분해된 다변량 가우시안을 사용합니다. 신경망을 쓰지 않은 이유가 흥미로운데, 현재의 데이터 획득 속도로는 신경망 같은 복잡한 정책 분포를 학습하기 어렵기 때문입니다. 분포의 평균 \mu(t) 는 학습 에포크 t 시점에서 추정한 최적 제어 정책이고, 대각 공분산 \sigma(t)^2 는 제어 공간을 얼마나 탐험할지를 결정합니다. 학습이 진행되면 \sigma(t)^2 는 보통 줄어들면서 해를 좁혀 나갑니다.
확률적이고 비정상적인 환경에서 견고하게 동작하도록 아래 기법들이 통합되었습니다.
| 기법 | 역할 |
|---|---|
| Proximal Policy Optimization(PPO) | 정책 갱신의 안정성 확보 |
| 엔트로피 정규화(entropy regularization) | 정책 분포가 결정론적으로 굳지 않게 유지해 탐험 지속 |
| 리플레이 버퍼(replay buffer) | 샘플 효율 개선 |
| 그래디언트 마스킹(gradient masking) | 팩터 그래프의 희소 구조를 이용해 몬테카를로 그래디언트 추정기의 분산 감소 |
위 표에서 논문이 특히 강조하는 것은 그래디언트 마스킹입니다. 이 기법은 디코더 사전 확률 최적화 연구 의 부록 G에서 다중 에이전트 학습 관점으로 유도된 것을 가져온 것이며, 뒤에서 볼 크기 독립적 수렴 속도가 여기서 나옵니다.
한 번의 학습 에포크는 다음 순서로 진행됩니다. 정책 분포에서 정책 후보 배치를 샘플링하고, 각 후보로 정해진 수의 QEC 사이클을 실행합니다. 수집된 QEC 데이터에서 검출자별 오류 검출률을 추정해 보상을 계산하고, 후보들의 상대적 성능 정보를 학습 알고리즘이 정책 분포에 대한 작은 그래디언트 스텝으로 변환합니다. 그런 다음 새 배치를 샘플링하고 같은 과정을 반복합니다.
비정상 환경에서는 이 확률적 그래디언트가 시스템 드리프트를 따라가도록 제어 파라미터를 밀어냅니다. \mu(t) 는 시간에 따라 최적 정책을 추적하는 법을 배우고, \sigma(t)^2 는 유한한 퍼짐을 유지해 탐험을 결코 멈추지 않습니다.
실험 설계: 양자 메모리 벤치마크
실험 결과를 보기 전에 무엇을 측정했는지 정리하고 넘어가겠습니다.
모든 실험은 양자 메모리(quantum memory) 알고리즘 위에서 이뤄집니다. 논리 상태를 만들어 둔 뒤 QEC 사이클을 반복 적용해 그 상태를 시간에 걸쳐 보존하는 것으로, 논리 연산을 수행하지 않고 오직 "얼마나 오래 버티는가" 만 보는 가장 기본적인 QEC 벤치마크입니다. 사이클을 거듭할수록 논리 관측량이 지수적으로 감쇠하고, 그 감쇠 기울기가 사이클당 논리 오류율이 됩니다.
대상 코드는 3가지입니다. 거리 5와 거리 7의 표면 코드, 그리고 거리 5의 컬러 코드입니다. 표면 코드는 정사각 격자 배치로 오랫동안 QEC의 표준 역할을 해 왔고, 컬러 코드는 삼각형 배치로 논리 연산에서 자원 효율이 좋은 대신 디코딩이 까다로운 코드입니다. 성격이 다른 두 계열에서 같은 프레임워크가 작동하는지를 함께 확인한 셈입니다.
하드웨어는 Willow 초전도 프로세서이고, 비교 대상은 언제나 동일한 하드웨어에서 전통적 보정만 마친 상태 입니다. 즉 이 논문의 개선 수치는 다른 팀이나 다른 칩과의 비교가 아니라, 같은 칩에서 사람이 할 수 있는 데까지 맞춰 놓은 기준선 위에 RL을 얹었을 때의 증분입니다.
기준선이 느슨하게 잡힌 것이 아니라는 점도 짚어 둘 만합니다. 논문의 저자 기여 명세를 보면 프로세서를 전통적 방식으로 보정하고 전문가 튜닝까지 수행한 사람이 이 논문의 공저자들입니다. RL이 넘어선 것은 남의 허술한 설정이 아니라 같은 팀이 손으로 도달한 최선입니다.
실험 1: 사람 전문가가 끝낸 자리에서 20% 더
첫 번째 실험은 RL이 전통적 보정 스택과 사람 전문가 튜닝의 한계를 넘어설 수 있는지를 확인합니다.
연구진은 먼저 표면 코드 임계값 아래 QEC 실험 이나 초전도 프로세서에서의 컬러 코드 확장 연구 와 동일한 방식으로 Willow 프로세서를 표면 코드와 컬러 코드용으로 보정합니다. 여기에는 자동화하기 어려운 예외 상황을 물리적 직관으로 해결하는 사람 개입 과정이 포함됩니다. 이렇게 남김없이 맞춰 놓은 상태에서 RL 미세조정을 추가로 적용했습니다.
거리 5의 두 코드에 대해 각각 5회씩 독립 실행한 결과, RL 미세조정은 일관되게 LER을 약 20\% 추가로 억제했습니다. 위 그림의 패널 a를 보면 초반 100 에포크에서 개선율이 15\% 부근까지 빠르게 오른 뒤 완만하게 상승해, 400 에포크 시점에서 평균 23\% 안팎에 도달합니다. 곡선이 아직 포화하지 않은 모양이라는 점도 눈에 띕니다.
이 실험에서 나온 절대 성능은 지금까지 어떤 물리 큐비트 방식에서도 보고된 적 없는 수치입니다.
| 코드 | 디코더 | 사이클당 논리 오류율 |
|---|---|---|
| 거리 7 표면 코드 | AlphaQubit2 | \varepsilon_L = 7.72(9) \times 10^{-4} |
| 거리 5 컬러 코드 | Tesseract | \varepsilon_L = 8.19(14) \times 10^{-3} |
위 표의 수치는 X 와 Z 논리 기저에 대해 평균 낸 값입니다. 표면 코드는 QEC 사이클 1,000회당 논리 오류가 1회 미만, 컬러 코드는 100회당 1회 미만이라는 뜻입니다. 그림 패널 b의 감쇠 곡선에서 파란 선(RL 미세조정)이 빨간 선(보정만)보다 완만한 기울기를 보이는 것이 이 차이입니다.
RL 미세조정 기법은 최근의 매직 상태 배양(magic state cultivation) 실험 에도 적용되었는데, 표면 코드와 컬러 코드 QEC 요소를 결합한 이 실험에서 배양 오류와 후선택률 모두에서 자릿수 규모의 개선을 제공했습니다. 또한 보충 자료 IV절에서는 제어 정책을 인위적으로 무작위화해 논리 관측량을 완전히 뒤섞어 놓은 뒤에도 RL이 성능을 회복해 내는 것을 보입니다. 전통적 보정 스택의 일부를 보완하거나 대체할 가능성을 시사하는 결과입니다.
실험 2: 주입된 드리프트를 따라가는 RL 추종 제어
두 번째 실험의 질문은 다릅니다. RL이 성능을 끌어올릴 뿐 아니라, 드리프트가 진행되는 동안 제어 정책을 따라가며 조정 할 수 있는가입니다. 논문은 이것을 추종 제어(steering)라고 부릅니다.
이를 가능하게 하는 것이 엔트로피 정규화입니다. 정책 분포가 결코 결정론적으로 수렴하지 않게 만들어, 에이전트가 비정상 환경의 변화에 계속 적응하도록 유지합니다. 효과를 체계적으로 확인하려고 연구진은 여러 제어 파라미터에 인위적인 드리프트를 동시에 주입했습니다. 시간 프로파일은 계단형, 사인형, 스트로보스코픽(stroboscopic) 3가지를 골랐고, 대상 파라미터는 CZ 결합 강도, XY 펄스 진폭, XY 펄스 주파수를, 드리프트하는 게이트의 위치는 큐비트 격자 위 서로 다른 지점을 택했습니다.
위 그림의 패널 a는 거리 5 표면 코드 배치를 그대로 따라 각 측정 큐비트의 정규화된 오류 검출률 시계열을 배열한 것입니다. 붉은 도형으로 표시된 게이트에 드리프트를 주입했고, 색이 깔린 타일이 그 영향으로 검출 신호가 올라간 자리입니다. 여기서 중요한 확인이 하나 이뤄집니다. 신호가 올라간 위치가 앞서 구성한 팩터 그래프가 예측한 바로 그 검출자들과 일치한다는 점입니다.
각 타일에서 고정 제어 정책(적갈색)은 시간이 갈수록 성능이 나빠집니다. 파라미터 값이 "낡아 가면서" 추가 오류를 만들기 때문입니다. 반면 RL 추종 제어(파란색)는 드리프트가 지나치게 빠른 짧은 순간을 빼면 검출 이벤트 발생률을 초기 수준(흰 선) 아래로 계속 유지합니다.
패널 b는 학습된 제어 파라미터의 변화를 보여줍니다. XY 펄스 진폭에 걸린 계단형 드리프트에서 회복하는 과정을 지수 함수로 적합하면 추종 과정의 특성 응답 시간이 약 130 에포크로 나옵니다. 이 값은 XY 펄스 주파수처럼 느리고 연속적인 드리프트에서 정책이 얼마나 뒤처지는지를 결정하는 시간 척도이기도 합니다.
검출 이벤트가 줄어든 것이 실제로 오류가 줄어서인지, 아니면 검출 능력 자체가 무뎌져서인지는 따로 확인해야 합니다. 그래서 패널 c에서 논리 성능을 주기적으로 평가했습니다. 고정 정책과 비교했을 때 RL 추종 제어는 평균적으로 LER을 24\% 줄였고, 안정성(LER 분포의 표준편차로 정량화)을 2.4\times 개선했습니다. 여기에 디코더 파라미터까지 함께 조정하면 각각 31\% 와 3.5\times 로 더 좋아집니다.
디코더 추종 제어는 같은 RL 프레임워크 안에서 매칭 그래프를 재가중하는 방식으로 이뤄집니다. 다만 한 가지 비대칭이 있습니다. 고전 컨트롤러 조정은 오류 검출 확률만 사용하는 대리 목적 함수 C 에 의존하지만, 디코더 조정은 LER 추정에 의존하므로 실시간 환경으로 곧바로 확장하기 어렵습니다.
인위적으로 주입한 드리프트가 아니라 자연 드리프트에 대해서도 분석했습니다. 자연 드리프트는 초전도 큐비트의 에너지 완화 시간 요동 을 일으키는 소자 근처 물질 결함부터 고전 제어 장비의 온도 변화까지 원인이 다양하고, 단순한 시간 의존성을 갖는 경우가 드뭅니다. 여러 실험 실행에 대한 푸리에 분석 결과, 추종 제어의 효과는 이런 자연적 원인에서 오는 저주파 LER 요동을 약 4\ \text{dB} 억제하는 필터로 이해할 수 있었습니다(보충 자료 III절).
실시간 제어의 조건: 탐험과 활용의 트레이드오프
여기까지는 정책 분포의 평균 \mu(t) 가 드리프트를 추적하는 법을 배운다는 이야기였습니다. 그런데 학습은 파라미터 공간의 탐험을 필요로 하므로, 알고리즘은 필연적으로 \mu(t) 보다 성능이 나쁜 정책 후보들도 샘플링합니다. 이 탐험 잡음(exploration noise) 이 문제가 됩니다.
현재의 실험 설정에서는 무해합니다. RL 추종 제어가 짧은 논리 알고리즘을 반복 실행하는 방식이고 매 샷마다 양자 상태를 독립적으로 다시 준비하기 때문입니다. 하지만 미래에는 긴 논리 알고리즘을 단일 샷으로 실행하는 도중에 실시간으로 조정해야 하고, 그때는 학습에 필요한 탐험 잡음이 논리 알고리즘의 성능을 직접 훼손하게 됩니다. 탐험과 활용(exploitation)의 균형은 RL의 오래된 중심 과제인데, 여기서는 그 대가를 논리 알고리즘의 정확도로 치릅니다. 트레이드오프가 유리하게 풀린다는 것은, \mu(t) 보다 나쁜 후보들까지 포함한 전체 샘플의 총합 성능 이 RL 추종 제어를 하지 않은 경우보다 여전히 낫다는 뜻입니다.
이 트레이드오프를 살펴보려고 거리 3 표면 코드가 서로 다른 주파수의 사인형 파라미터 드리프트를 겪는 상황을 수치 시뮬레이션했습니다(보충 자료 VIA절). 1.8 \times 10^9 사이클 창에서 발생한 오류 검출 이벤트 총 개수를 세고, 레벨 1이 최적 정책(시뮬레이션이라 알고 있음)의 성능, 레벨 0이 t=0 에서 최적이었던 고정 정책의 성능이 되도록 정규화했습니다. 탐험과 활용의 균형은 엔트로피 정규화의 강도로 조절했습니다.
위 그림의 패널 a가 그 결과입니다. 임계 드리프트 주파수는 약 1/150 에포크이고, 이보다 느린 드리프트에서는 시스템이 실시간으로 제어 가능해집니다. 즉 탐험 잡음을 감수하고도 고정 정책보다 나은 성능이 나옵니다. 이 임계 주파수가 실험에서 관측한 응답 시간 130 에포크와 일치한다는 점이 이 결과의 신뢰도를 높입니다.
동시에 이 패널은 실패 경계 를 그린 그림이기도 합니다. 드리프트가 너무 빠르면 실시간 추종 제어가 따라가지 못하고, 탐험이 과한 영역과 겹치면 오히려 고정 정책보다 나빠집니다. 특히 초전도 소자에서 드물게 발생하는 고에너지 입자 충돌이 유발하는 상관 드리프트는 훨씬 짧은 시간 척도에서 평형에 도달하므로, 현재 구현으로는 실시간 추종이 불가능하고 하드웨어 수준에서 완화해야 합니다.
확장성: 거리 15, 파라미터 40,000개 시뮬레이션
마지막으로 연구진은 거리 15 표면 코드까지 확장한 시뮬레이션으로 확장성을 보입니다. 단일 큐비트 게이트와 CZ 게이트의 파라미터를 게이트당 30개씩 학습하며, 거리 15 코드에서는 총 약 40,000개가 됩니다. Google 블로그는 같은 실험을 큐비트 17개에서 449개까지 늘린 관점으로 소개합니다.
앞 그림의 패널 b에서 학습이 진행될수록 LER 곡선이 아래로 내려가다가, 제어와 무관한 물리 오류율이 정하는 바닥(빨간 막대)에 도달해 멈춥니다. 이 바닥이 최적 오류 억제 계수 \Lambda^* 로 특징지어집니다. RL이 만들어 내는 이득이 무한하지 않고 하드웨어가 정한 한계까지라는 사실을 명확히 보여주는 부분입니다.
그리고 패널 c가 이 논문의 확장성 논거의 핵심입니다. 각 코드 거리와 학습 에포크에서 순간 오류 억제 계수 \Lambda 의 점 추정치를 뽑아 보면, 최적점에 접근하는 속도 \partial_t \Lambda / \Lambda^* 가 최적점까지의 거리 1 - \Lambda / \Lambda^* 에 비례합니다. 이 경험적 결과는 국소 최적점 근방에서 그래디언트 하강 계열 알고리즘이 갖는 지수적 수렴 법칙으로 이어집니다.
수렴률 \gamma 는 검출 영역당 게이트 수나 게이트당 제어 파라미터 수 같은 성질에 의존합니다. 그림의 3개 빔이 게이트당 파라미터 1개, 10개, 30개에 각각 대응합니다. 결정적인 것은 이 수렴률이 시스템 크기와 무관 하다는 점이며, 이는 알고리즘이 제어 문제의 팩터 그래프 표현이 가진 희소성을 효과적으로 활용한 직접적인 결과입니다. 코드 거리를 키워도 학습에 필요한 에포크 수가 늘지 않는다는 뜻입니다.
같은 이유로, 이 접근은 전통적 보정과 코드 변형을 합성하는 방식보다 유리합니다. RL 추종 제어는 자원 오버헤드를 전혀 추가하지 않기 때문입니다.
확장성과 별개로 저자들이 강조하는 것이 일반성입니다. 이 프레임워크가 요구하는 것은 오류 검출 신호와 조정 가능한 제어 파라미터 두 가지뿐입니다. 논문의 실증은 초전도 회로 위에 구현한 평면 QEC 코드로 이뤄졌지만, 저자들은 이 접근이 물리 큐비트 구현 방식과 QEC 아키텍처를 가리지 않고 적용 가능하다고 적고 있습니다. 여기에는 높은 임계값과 낮은 오버헤드를 갖는 결함 허용 양자 메모리 처럼 공간적으로 비국소적인 연결성을 쓰는 부호도 포함됩니다. 앞서 \Lambda > 2 가 중성 원자에서도 실증되었다고 언급한 것처럼, 검출 이벤트를 뽑아낼 수 있고 제어 파라미터를 건드릴 수 있는 시스템이면 같은 구조를 얹을 수 있다는 뜻입니다.
한계점 및 향후 연구 방향
이 연구가 남긴 한계는 논문 본문에 비교적 솔직하게 적혀 있습니다.
코드가 공개되지 않았습니다. 이 연구에 사용된 커스텀 코드는 Google의 독점 자산이며 공개할 수 없다고 명시되어 있습니다. 대신 데이터는 Zenodo 에 공개되었고, RL 알고리즘의 상세한 수학적 기술이 보충 자료 VIII절에 제공되어 독립적인 재현이 가능하도록 했습니다. 오픈소스 구현을 기대하고 접근하는 독자에게는 아쉬운 지점입니다. 여기에 더해, 저자 소속 기관들이 QEC 디코더와 양자 컴퓨터 제어 파라미터의 RL 보정에 관해 미국 및 국제 특허를 출원했다고 이해관계 고지에 적혀 있습니다(US18/680,288, US19/345,222). 알고리즘은 논문으로 공개하되 구현과 권리는 붙들어 두는 형태입니다.
정책이 단순한 가우시안 분포입니다. 앞서 설명했듯 데이터 획득 속도의 제약 때문이며, 심층 신경망 정책이 줄 수 있는 표현력을 아직 쓰지 못하고 있습니다. 저자들은 향후 방향으로 신경망 정책과 함께, 정책 분포를 환경 관측값(검출 이벤트의 적절한 통계량 등)에 조건화하는 방식을 제시합니다.
실시간 제어는 아직 시뮬레이션 단계입니다. 하드웨어에서 실증된 것은 반복 실행 환경에서의 추종 제어이고, 단일 샷 논리 알고리즘 실행 중의 실시간 조정은 수치 시뮬레이션으로만 검증되었습니다. 확장성 논거를 뒷받침하는 거리 15 결과도 마찬가지로 시뮬레이션입니다. 실측과 시뮬레이션을 구분해서 읽어야 하는 부분입니다.
드리프트 속도에 상한이 있습니다. 앞서 본 임계 주파수보다 빠른 드리프트는 현재 프레임워크가 따라잡을 수 없고, 하드웨어 수준의 대응이 필요합니다. 블로그는 에이전트와 양자 프로세서 사이의 통신 사이클을 빠르게 만드는 것이 이 프레임워크의 잠재력을 완전히 끌어내는 조건이라고 밝히고 있습니다.
디코더 조정의 비대칭 도 남아 있습니다. 컨트롤러 조정과 달리 디코더 조정은 LER 추정에 의존해 실시간 확장이 어렵습니다. 다만 이 한계를 원리적으로 겪지 않는 대안적 접근들이 이미 제안되어 있다고 저자들은 덧붙입니다.
향후 방향으로는 정책과 함께 시스템 모델을 학습하는 방식도 언급됩니다. 샘플 효율을 높이고, 데이터에서 예상치 못한 상관관계를 발견해 해의 품질을 개선할 수 있다는 기대입니다. 저자들이 그리는 최종 그림은 다음과 같습니다. 학습 프레임워크가 충분히 발전하면, 양자 프로세서를 전통적 보정 패러다임이나 사람 전문가에 전혀 의존하지 않고 처음부터 끝까지 RL만으로 QEC용 보정을 마치는 것도 생각해 볼 수 있다는 것입니다.
ML 연구자 관점에서 눈여겨볼 지점
이 논문은 양자 컴퓨팅 논문이지만, 강화학습을 실제 물리 시스템에 적용하는 사례로서도 참고할 점이 여럿 있습니다.
첫 번째는 보상 설계 입니다. 대부분의 실세계 RL 응용에서 보상 신호를 얻는 비용은 만만치 않은데, 이 연구는 시스템이 정상 동작을 위해 어차피 생성하고 있던 데이터를 그대로 보상으로 전환했습니다. 진짜 목표(LER)를 직접 쓸 수 없을 때 측정 가능하고 국소적이면서 그래디언트가 진짜 목표와 비례하는 대리 지표를 설계하고, 그 비례 관계를 실험적으로 검증까지 한 과정은 다른 도메인에도 그대로 옮길 수 있는 절차입니다.
두 번째는 목적 함수의 구조를 알고리즘에 반영한 것 입니다. 여기서 팩터 그래프 희소성은 단순한 설명 도구가 아니라 그래디언트 마스킹을 통한 분산 감소의 근거이고, 그 결과가 시스템 크기와 무관한 수렴 속도입니다. 파라미터 40,000개짜리 최적화가 파라미터 1,000개짜리와 같은 에포크 수로 수렴한다는 결과는 문제 구조를 알고리즘에 심었을 때 얻을 수 있는 이득의 좋은 예시입니다.
세 번째는 비정상 환경에서의 엔트로피 정규화 입니다. 정지된 환경에서 엔트로피 정규화는 국소 최적점 탈출을 돕는 보조 장치에 가깝지만, 여기서는 드리프트를 추적하기 위한 필수 요소입니다. \sigma(t)^2 가 유한한 퍼짐을 유지하지 않으면 추종 제어 자체가 성립하지 않습니다.
네 번째는 탐험 비용이 실제로 청구되는 환경 이라는 점입니다. 시뮬레이터에서라면 탐험 잡음은 그냥 학습 비용이지만, 긴 논리 알고리즘을 실행하는 양자 프로세서에서는 그 잡음이 계산 결과를 직접 훼손합니다. 이 논문이 임계 드리프트 주파수라는 형태로 실시간 제어의 작동 조건을 정량화한 것은, 탐험과 활용의 트레이드오프를 추상적 논의가 아니라 물리적 경계선으로 그려 낸 사례입니다.
컴퓨터 비전이 엄격한 기하 규칙에 의존하다 정체했고, 로보틱스가 접촉 역학과 마찰의 지저분한 현실을 운동학 방정식에 담아내지 못해 지금도 고전하며, 단백질 접힘 예측이 전통적 물리 모델로 오래 난공불락이었다가 AlphaFold 같은 딥러닝 시스템으로 돌파구를 찾았듯이, 양자 제어에서도 데이터에서 직접 배우는 쪽으로 전환이 일어나고 있습니다. 이미 AlphaQubit이 가장 강력한 알고리즘 QEC 디코더의 정확도를 넘어섰고, 이번 연구는 그 흐름을 디코딩에서 제어로 한 단계 더 밀어 올린 결과입니다. 저자들의 마지막 문장은 이 지점을 간명하게 정리합니다. "결함 허용으로 가는 길은 더 나은 하드웨어만이 아니라 더 지능적인 제어 위에 놓일 것" 이라는 전망입니다.
Reinforcement learning control of quantum error correction 논문
https://www.nature.com/articles/s41586-026-10759-2
Towards a quantum computer that learns from its errors 소개 블로그
Reinforcement learning control of quantum error correction 데이터셋 (Zenodo)
Quantum error correction below the surface code threshold 논문
https://www.nature.com/articles/s41586-024-08449-y
Scaling and logic in the colour code on a superconducting quantum processor 논문
https://www.nature.com/articles/s41586-025-09061-4
Tesseract: A Search-Based Decoder for Quantum Error Correction 논문
Google Quantum AI 홈페이지
더 읽어보기
-
Google Research at I/O 2026: 과학적 발견부터 양자 컴퓨팅까지 에이전트 시대의 연구 하이라이트
-
[Deep Research] 강화학습의 개념과 주요 기법 분석, LLM에서의 활용 및 발전 방향에 대한 보고서
-
[2024/11/18 ~ 11/24] 이번 주의 주요 ML 논문 (Top ML Papers of the Week)
이 글은 GPT 모델로 정리한 초안을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 댓글로 알려주시기를 부탁드립니다. 
논문의 주장이나 벤치마크에 대한 의견, 직접 재현해보신 결과가 있다면 
파이토치 한국 사용자 모임
회원들을 위해 댓글로 공유해주세요! 