Google, 머신 언러닝 감사를 위한 정규화된 f-발산 커널 검정에 대한 연구 (feat. AISTATS 2026)

9bow · 6월 18, 2026, 7:30오전

머신 언러닝 감사라는 새로운 숙제 소개

거대한 데이터로 학습한 인공지능 모델에게 "이 데이터는 학습하지 않은 것으로 해줘" 라고 요구할 수 있을까요? 이것이 바로 머신 언러닝(Machine Unlearning) 이 다루는 문제입니다. 머신 언러닝은 모델을 처음부터 다시 학습시키는 막대한 비용을 들이지 않고도, 학습 데이터의 특정 부분을 모델이 "잊도록" 만드는 기술입니다. 단순한 학문적 호기심이 아니라, GDPR의 잊힐 권리(Right to be Forgotten)와 같은 규제 준수, AI 안전성, 그리고 모델 품질 관리를 위해 점점 더 중요해지고 있습니다.

문제는 "잊었다"는 것을 어떻게 증명하느냐입니다. 모델이 다루는 데이터셋이 거대하고 민감해질수록, 머신 언러닝의 검증은 이론적 이상에서 엄격한 요구사항으로 바뀌었습니다. 개발자는 이제 "이 데이터의 흔적이 모델에 남아 있지 않다" 는 것을 수학적으로 증명해야 합니다. 그런데 모델을 감사(auditing)하는 외부 감사자는 보통 모델의 내부 가중치나 원본 학습 데이터에 접근할 수 없습니다. 오직 모델에 질의(query)를 던지고 그 출력 샘플을 분석하는 방식으로만 시스템을 검증해야 하는 것입니다.

Google Research는 이 까다로운 문제를 풀기 위한 새로운 통계적 프레임워크인 정규화된 f-발산 커널 검정(Regularized f-Divergence Kernel Tests) 을 AISTATS 2026에서 발표했습니다. 이 글에서는 기존의 통계 검정 도구가 왜 머신 언러닝 감사 앞에서 무너지는지, 그리고 새 프레임워크가 어떤 아이디어로 이 한계를 넘어서는지를 차근차근 살펴봅니다. 차등 프라이버시(Differential Privacy)나 모델 프라이버시 감사에 관심 있는 분들에게는, 이 글이 "왜 단순 비교만으로는 안 되는가" 라는 근본적인 질문을 다시 생각하게 해줄 것입니다.

출력만 보고 검증하기: 두 표본 검정과 그 한계

감사자가 모델 내부를 들여다볼 수 없을 때, 의지할 수 있는 대표적인 방법이 두 표본 검정(Two-Sample Test) 입니다. 두 표본 가설 검정은 두 데이터 관측 집합이 서로 다른 분포에서 나온 것인지를 판단하는 통계 기법입니다. 머신 언러닝 검증에 적용하면 이렇게 동작합니다. 특정 레코드를 한 번도 본 적 없는 모델의 출력과, 그 레코드를 학습했다가 "잊었다"고 주장하는 모델의 출력을 비교하는 것이죠. 만약 두 출력이 정해진 임계값 이상으로 통계적으로 다르다면, 언러닝은 실패한 것으로 판정됩니다.

그러나 모델의 크기와 복잡도가 커질수록 두 표본 검정을 비롯한 통계 도구들은 구현 자체가 어려워지고 통계적 검정력(statistical power) 을 잃어버립니다. 대규모 모델에 내재한 무작위 잡음(random noise) 속에서 진짜 위반을 충분한 통계적 유의성과 함께 식별해 내려면, 감사자는 엄청나게 많은 샘플을 추출해야 합니다. 결국 실제 환경에서 이뤄지는 검증은 계산 비용이 감당하기 어려운 수준으로 치솟습니다.

문제는 검정력만이 아닙니다. 두 표본 검정은 머신 언러닝 검증에 쓰일 때 근본적인 결함을 드러냅니다. 똑같은 데이터로 처음부터(from scratch) 학습시킨 두 모델조차 서로 다른 분포를 만들어 낼 수 있기 때문입니다.

위 그림이 그 함정을 잘 보여줍니다. 파란색 분포는 문제가 된 데이터 없이 안전하게 재학습한 모델의 분포이고, 초록색은 기준이 되는 골든 스탠다드(Golden Standard) 모델의 분포입니다. 두 모델 모두 민감한 데이터를 보지 않았으니 "안전한" 모델이어야 합니다. 그런데도 단지 배치 크기(batch size)를 다르게 두고 재학습했다는 이유만으로 분포가 달라졌습니다. 두 표본 검정은 이 무해한 변동(harmless variance)을 "위반" 으로 잘못 플래그하며, 안전한 모델을 "안전하지 않다" 고 오판하는 거짓 양성(False Positive) 을 만들어 냅니다.

더 깊은 차원의 문제도 있습니다. 최근 연구에 따르면, AI 모델은 현재 설정을 미세하게 조정하는 것만으로는 데이터를 결코 완벽하게 "잊을" 수 없습니다. 원래 학습 과정의 모든 단계를 다시 거슬러 올라가지 않는 한, 삭제했어야 할 정보의 영구적인 발자국(footprint)이 항상 남기 때문입니다. 따라서 완벽한 "재학습 등가성(Retrain Equivalence)" 은 표준적인 국소(local) 언러닝 알고리즘에게는 원리적으로 불가능합니다. 그 결과, 전통적인 두 표본 검정은 언제나 잊어야 할 데이터 집합(forget set)에 대한 의존성을 찾아내고 맙니다. 즉, 어떤 언러닝 알고리즘도 두 표본 검정의 잣대로는 영원히 통과할 수 없는 셈입니다.

표준 도구가 부족한 이유: 전역 변화와 국소 변화

모델의 안전성을 평가하는 일은 본질적으로 두 복잡한 데이터 집합 사이의 거리, 즉 발산(Divergence) 을 측정하는 문제로 귀결됩니다. 그런데 응용 분야마다 필요로 하는 "거리"의 개념이 다릅니다. 널리 쓰이는 표준 도구인 최대 평균 불일치(Maximum Mean Discrepancy, MMD)는 데이터 전반에 걸친 넓고 전역적인 변화를 잘 잡아냅니다. 예를 들어 한 모델이 다른 모델보다 체계적으로 더 밝은 이미지를 생성하는 식의 차이를 감지하는 데 강합니다.

하지만 위 그림의 가운데와 오른쪽처럼 국소적인(localized) 이상을 포착하는 데에는 MMD가 종종 무력합니다. 만약 특정 인물의 데이터가 추가되면서, 아주 정확한 방식으로 프롬프트했을 때만 모델이 매우 특이한 이상치 출력을 생성하고, 다른 모든 샘플에 대해서는 동일한 분포를 유지한다고 가정해 봅시다. 이런 국소적 변화(local shift)는 전통적인 MMD 검정이 통째로 놓쳐 버리기 쉽습니다.

게다가 기존 검정 프레임워크 대부분은 연구자에게 오류를 유발하기 쉬운 수동 선택을 강요합니다. 전역 변화에 적합한 통계량을 쓸지 국소 변화에 적합한 것을 쓸지 직접 골라야 하고, 커널 대역폭(Kernel Bandwidth)이나 정규화(Regularization) 파라미터처럼 복잡한 설정도 일일이 조율해야 합니다. 위 그림의 오른쪽 패널은 대역폭을 3.0으로 설정했을 때 같은 데이터가 어떻게 다르게 보이는지를 보여주는데, 이런 선택 하나하나가 검정 결과를 좌우합니다.

정규화된 f-발산 커널 검정 프레임워크

연구진은 이 난제를 상대 거리 검정(Relative Distance Test) 이라는 발상으로 풀어냅니다. 핵심 질문을 "언러닝된 모델이 원본과 다른가?" 에서 "언러닝된 모델이 안전하게 재학습된 모델에 더 가까운가, 아니면 원래의 문제 있는 모델에 더 가까운가?" 로 바꾸는 것입니다.

위 그림이 이 아이디어를 직관적으로 보여줍니다. 문제가 된(Compromised) 모델과 검사 대상(Tested) 모델의 분포가 높은 중첩(high overlap)을 보이면, 검사 대상 모델이 여전히 민감한 데이터를 기억하고 있다는 증거이므로 "검정 실패(불충분한 언러닝)" 로 판정합니다. 반대로 검사 대상 모델의 분포가 골든 스탠다드 쪽에 가까우면 안전하다고 볼 수 있습니다. 절대적인 차이의 유무가 아니라, 어느 쪽에 더 가까운가 라는 상대적 비교가 판정의 기준이 되는 것입니다.

다양한 데이터 변화를 잡아내는 f-발산 도구함

이 검정은 f-발산(f-Divergence)을 활용하여, 감사자가 매우 구체적인 유형의 데이터 변화를 정밀하게 짚어낼 수 있는 적응형 통계 도구함처럼 작동합니다. f-발산은 두 확률 분포 P, Q 사이의 거리를 볼록 함수(convex function) f 를 통해 일반화한 측도로, 다음과 같이 정의됩니다.

D_f(P \| Q) = \int f\left(\frac{dP}{dQ}\right) dQ

함수 f 를 어떻게 고르느냐에 따라 서로 다른 성질의 "차이 탐지기"가 되는데, 프레임워크는 다음과 같은 발산들을 활용합니다.

카이제곱(Chi-squared) 및 쿨백-라이블러(Kullback-Leibler, KL) 발산: 데이터의 부드럽고 국소적인 차이, 예컨대 물리 모델에서 나타나는 이상치를 식별하는 데 매우 효과적입니다. 카이제곱 분포와 KL 발산은 각각 통계학과 정보이론에서 오랫동안 검증된 측도입니다.

하키 스틱(Hockey-stick) 발산: 프라이버시와 언러닝의 정의를 특별히 잘 포착하는 발산입니다. 하키 스틱 발산은 통계적 구별 불가능성(statistical indistinguishability)의 정도를 제어하는 파라미터 \gamma 와 함께 동작합니다.

E_\gamma(P \| Q) = \int \max\left(0,\ dP - \gamma\, dQ\right)

이 발산은 안전 예산(safety budget) 이하의 사소한 차이는 무시하고, 의미 있는 프라이버시 침해가 발생할 때에만 경보를 울리는 허용 임계값을 효과적으로 설정합니다. 차등 프라이버시의 수학적 정의와 직접 맞닿아 있다는 점이 핵심입니다.

고차원 데이터를 다루는 효율적 추정

고차원의 실제 데이터에서 이런 발산들을 계산하는 일은 악명 높을 만큼 어렵습니다. 연구진은 막대한 연산 자원을 들이지 않고도 이 복잡한 최적화 문제를 다룰 수 있도록 커널 정규화 기법(Kernel Regularization Methods)을 사용하여 차이를 효율적으로 추정합니다. 그리고 이들의 적응형 검정(adaptive testing) 접근법은 검정의 신뢰도를 극대화하기 위해 최적의 발산과 최적의 하이퍼파라미터 구성을 자동으로 선택합니다. 이로써 데이터를 학습용과 검정용으로 쪼개야 하는 표본 분할(sample splitting)의 필요성을 완전히 제거했습니다.

이 프레임워크는 이론적으로도 탄탄한 보장을 제공합니다. 연구진은 자신들의 검정이 어떤 표본 크기에서든 거짓 양성을 자연스럽게 통제하며, 사용 가능한 데이터 샘플 수가 늘어남에 따라 거짓 음성(False Negative)의 위험이 0으로 신뢰성 있게 수렴함을 이론적으로 증명했습니다.

f-발산 커널 검정 더 알아보기

Regularized f-Divergence Kernel Tests - AISTATS 2026 발표 논문
https://arxiv.org/pdf/2601.19755

Efficient Aggregated Kernel Tests using Incomplete U-statistics - 커널 정규화 기법 관련 연구
https://arxiv.org/pdf/2409.14980

A Hockey-Stick Divergence perspective on differential privacy - 하키 스틱 발산과 프라이버시

실험: 입자물리학에서 프라이버시 감사까지

제안된 검정이 범용적이기 때문에 연구진은 매우 다양한 문제에서 실험을 진행했습니다. 먼저 합성된 두 표본 벤치마크인 교란된 균등 분포(Perturbed Uniforms)와, 물리 데이터셋 내의 Expo1D 이상치 탐지 과제에서 프레임워크를 평가했습니다. 후자는 표준 모형(Standard Model) 너머의 새로운 물리 현상을 머신러닝으로 탐색하는 특수한 분야입니다. 연구진이 고에너지 물리 데이터를 사용한 이유는 인상적입니다. 이 분야는 세계에서 가장 정밀한 "차이 탐지기"를 요구하는데, 물리 법칙을 거스르는 희귀 입자를 찾아낼 수 있는 프레임워크라면 AI 모델 속의 미세한 프라이버시 누출도 잡아낼 수 있다 는 발상입니다.

이어서 연구진은 현실적으로 가장 중요한 두 가지 응용, 즉 차등 프라이버시 감사와 머신 언러닝 평가로 초점을 옮겼습니다.

프라이버시 감사(Privacy auditing): 차등 프라이버시(Differential Privacy)는 보정된 잡음(calibrated noise)을 주입하여 어떤 개인 한 명의 영향력을 제한함으로써 사용자 데이터를 보호하는 프레임워크입니다. 연구진은 단 하나의 레코드만 다른 두 개의 모의 데이터셋에서 출력을 샘플링하여 여러 비공개(non-private) 메커니즘을 검사했습니다. 진정으로 프라이빗한 메커니즘이라면 두 결과 샘플은 구별 불가능해야 하고, 결함이 있다면 검정이 위반을 플래그해야 합니다.

머신 언러닝 평가(Machine unlearning evaluation): 처음부터 재학습한 골든 스탠다드 모델과 언러닝된 모델을 단순 비교하는 결함 있는 방식 대신, 연구진은 세 표본 상대 검정(Three-Sample Relative Test) 을 활용했습니다. 선택적 시냅스 감쇠(Selective Synaptic Dampening, SSD), 가지치기(Pruning), 무작위 레이블(Random Label) 기법 등 여러 확립된 언러닝 알고리즘에 이를 적용했습니다. 검정은 언러닝된 모델의 분포가 안전한 골든 스탠다드 모델에 더 가까운지, 아니면 민감한 데이터를 적극적으로 암기한 원래의 완전 학습 모델에 더 가까운지를 평가했습니다.

결과: 더 적은 샘플로 더 정확하게

실험 결과, 이 프레임워크는 훨씬 적은 수동 튜닝만으로 기존의 모든 베이스라인 방법을 회복하거나 능가했습니다. 흥미롭게도, 모든 시나리오에서 일관되게 다른 검정을 압도하는 단 하나의 만능 검정은 존재하지 않았습니다. 대신 서로 다른 f-발산들이 각기 다른 유형의 국소 데이터 변화에 대해 "불이 켜지는" 전문화된 센서처럼 작동했습니다. 다양한 통계량을 가로질러 집계(aggregate)하는 접근법 덕분에, 프레임워크는 표준 검정이 완전히 놓친 미묘한 오류와 이상을 성공적으로 잡아냈습니다.

프라이버시 감사에서는 하키 스틱 발산 검정이 강력하고 효과적인 도구임이 입증되었습니다. 순수 차등 프라이버시의 수학적 토대와 직접 정렬되기 때문에, 감사자가 허용 가능한 데이터 변화의 정도를 정밀하게 통제할 수 있게 해줍니다. 위 그래프에서 보듯, 적응형 검정 프레임워크(초록색, Hockey-stick tester)는 이전 베이스라인 검정기보다 훨씬 적은 데이터 샘플과 훨씬 적은 하이퍼파라미터 튜닝만으로 프라이버시 위반을 잡아냈습니다.

특히 주목할 만한 사례가 있습니다. 프레임워크는 특정 희소 벡터 기법(Sparse Vector Technique) 메커니즘(SVT3)의 위반을 단 수천 개의 샘플만으로 탐지했습니다. 반면 DP-Auditorium과 같은 기존 기법은 동일한 위반 탐지율에 근접하기 위해 수백만 개의 샘플을 필요로 했습니다. 샘플 효율에서 자릿수 단위의 격차를 보인 것입니다.

머신 언러닝 평가의 재정의

연구의 발견은 머신 언러닝을 평가하는 방식 자체를 다시 정의할 것을 시사합니다. 아래 표에서 보듯, 연구진이 평가한 근사적(approximate) 언러닝 방법 중 어느 것도 엄격한 표준 두 표본 언러닝 정의를 만족하지 못했습니다. 두 표본 검정은 어떤 분포적 차이든 무조건 찾아내기 때문에, 완벽하게 안전한 재학습 모델조차 언러닝 실패로 잘못 플래그했습니다.

반면 제안된 상대 세 표본 검정은 이 결함을 성공적으로 극복했습니다. 안전하게 재학습된 모델(Retrained-less, Retrained-batch)을 일관되게 "안전(Passed)" 으로 정확히 식별한 것입니다. 두 표본 검정이 이들을 "거짓 양성(False Positive)" 으로 플래그한 것과 대조됩니다. 근사적 언러닝 알고리즘을 평가했을 때, 새 검정을 통과한 것은 무작위 레이블(Random-label) 기법뿐이었습니다.

미세조정(Finetune), 가지치기(Pruning), 선택적 시냅스 감쇠(SSD)처럼 널리 쓰이는 다른 방법들은 표적 데이터를 진정으로 잊는 데 효과적이지 못한 것으로 나타났습니다. 다만 연구진은 이 실험의 주된 목표가 언러닝 알고리즘 자체를 설계하는 것이 아니라 평가 방법론을 검증하는 데 있었음을 강조합니다. 따라서 이들 언러닝 절차는 단순화된 구현을 사용했으며, 실제 프로덕션 환경에서 언러닝 방법의 우열을 가리려면 더 엄밀한 설정이 필요합니다.

시사점과 향후 전망

이번에 제안된 프레임워크는 머신러닝 모델의 행동을 들여다보는 훨씬 더 정밀하고, 적응적이며, 수학적으로 탄탄한 렌즈를 제공합니다. 정규화된 f-발산 커널 검정을 활용하면, 연구자와 감사자는 광범위한 문제와 복잡한 분포 변화에 걸쳐 모델이 안전하지 않게 행동하는지 혹은 데이터를 누출하는지를 통계적으로 증명할 수 있습니다.

특히 "단순히 다른가?" 를 묻는 두 표본 검정에서 "안전한 쪽에 더 가까운가?" 를 묻는 상대 검정으로 옮겨간 것은, 완벽한 망각이 원리적으로 불가능한 현실에서 언러닝을 어떻게 평가해야 하는가에 대한 실용적인 해답을 제시합니다. 이는 VaultGemma처럼 프라이버시를 설계 단계에서부터 보장하려는 모델 개발 흐름과도 자연스럽게 맞물립니다.

연구진은 향후 과제로 두 가지를 꼽습니다. 첫째, 어떤 발산이 어떤 새로운 과제에 최적인지를 정확히 특성화하기 위해 경험적 관찰을 이론적으로 뒷받침하는 일입니다. 둘째, 더 타이트한 표본 복잡도 경계(sample complexity bound)를 확립하여 감사를 한층 더 효율적으로 만드는 일입니다. 이 연구는 Antonin Schrab와 Arthur Gretton과 공동으로 수행되었습니다.

New framework for auditing machine unlearning 소개 블로그

더 읽어보기

이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다.

파이토치 한국 사용자 모임이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일로 보내드립니다!
텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다.

아래쪽에 좋아요를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~