AI 가치 정렬 논문 94편 중 79%는 가치를 정의하지 않는다: 정렬 연구의 암묵적 가치 이론 분석

9bow · 8월 15, 2026, 9:00오전

AI 가치 정렬(Value Alignment) 연구는 '가치'를 무엇으로 다루는가

모델을 후처리하고 나서 "인간의 가치에 정렬했다"고 적을 때, 그 문장의 '가치'가 무엇을 가리키는지 따로 정의해 둔 문서는 드뭅니다. Google Research와 Google DeepMind, UCLA, OECD, Trinity College Dublin 소속 연구자 6명이 쓴 Toward a Theory of Value in AI Alignment 는 바로 그 빈칸을 조사한 논문입니다. 많이 인용된 AI 가치 정렬 논문 94편을 저자들이 직접 읽고 13개 문항의 채점 기준으로 주석을 달아, 이 분야가 명시하지 않은 채로 쓰고 있는 가치 이론(theory of value) 을 역추적했습니다.

조사 결과는 짧게 요약됩니다. 표본의 79\% 는 가치가 무엇인지 정의하거나 서술하지 않았고, 82\% 는 선호(preference)를 가치의 대용물로 썼으며, 87\% 는 효용 극대화(utility maximization)를 정렬의 기술적 틀로 채택했습니다. 저자들은 여기서 "정렬 연구가 틀렸다"로 넘어가지 않고, 이 분야가 암묵적으로 합의한 인간관이 무엇인지, 그것을 명시했을 때 어떤 대안이 보이는지를 논의합니다.

논문이 던지는 질문은 세 가지입니다. AI 가치 정렬 분야는 인간의 가치를 어떻게 개념화하는가, 그 개념은 기술적으로 어떻게 조작화되고 평가되는가, 거기서 드러나는 가치 이론은 AI의 미래에 무엇을 뜻하는가입니다.

정렬이라는 말이 실제로 가리키는 범위

언어 모델의 학습 목표는 이어질 텍스트를 맞히는 것이고, 이 목표를 잘 달성했다는 사실만으로는 임의의 다운스트림 작업에서 쓸 만하다거나 안전하다는 보장이 생기지 않습니다. 그래서 사람이 판단한 선호 쌍을 모아 보상 모델을 학습시키고, 그 보상을 최대화하도록 정책을 미세조정하는 절차가 표준 후처리로 자리 잡았습니다. 인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback, RLHF), 역강화학습(Inverse Reinforcement Learning, IRL), 직접 선호 최적화(Direct Preference Optimization, DPO), Bradley-Terry 계열 보상 모델링이 모두 이 계보에 있습니다.

이 절차가 하는 일을 수식으로 적으면 무엇이 가정되었는지가 드러납니다. Bradley-Terry 모델은 두 응답 사이의 선호를 보상 차이의 시그모이드로 놓고

P(y_1 \succ y_2 \mid x) = \sigma\big(r(x, y_1) - r(x, y_2)\big)

정책 학습은 그 보상의 기대값을 최대화하는 문제, 곧 \operatorname{argmax}_\pi \mathbb{E}_{y \sim \pi}[r(x,y)] 를 푸는 문제가 됩니다. 이 식이 성립하려면 사람의 가치가 하나의 스칼라 보상으로 환원되고, 그 보상이 관찰된 선택에서 복원 가능해야 합니다. 논문이 겨냥하는 것은 알고리즘의 성능이 아니라 이 전제입니다.

정렬 연구가 내거는 판돈은 큽니다. AI 안전 연구자들은 공개 담론에서 비정렬 모델이 승인되지 않은 금융 거래부터 전력망 장악까지 일으킬 수 있다고 말하고, 실존적 위험(existential risk, x-risk)이라 부르는 최악의 시나리오에서는 통제를 벗어난 언어 모델이 인류 대부분을 죽이거나 인류를 멸종에 이르게 할 수 있다고 봅니다. 같은 사람들이 반대편에서는 정렬에 성공하면 사람이 더 이상 일하지 않아도 되는 유토피아가 온다고 말합니다. 저자들이 겨누는 것은 이 대비입니다. 판돈을 그만큼 높게 잡으면서도, 가치 정렬 연구는 가치가 무엇인지 정의하려는 시도를 좀처럼 하지 않고, 이미 존재하는 인간의 가치를 분석의 중심에 놓는 일은 더더욱 하지 않습니다.

정렬이 학계 안의 논쟁으로만 남아 있지 않다는 점도 짚습니다. 유럽의회는 자체 아카이브 접근 서비스에 Anthropic의 모델을 도입했고, 그 선택의 근거 중 하나가 Constitutional AI가 가치에 정렬되어 있다는 회사의 설명이었습니다. 저자들은 독립적인 검증 없이 정렬 주장이 법적 적합성의 근거로 받아들여졌다는 지적을 인용합니다. 영국 AI Security Institute는 Alignment Project에 1,500만 파운드를 배정했습니다. 정의되지 않은 단어가 조달과 규제의 판단 근거로 쓰이고 있는 상황입니다.

기술 문제로 다뤄지는 사회기술적 전제

가치 정렬의 전제는 사회기술적인데 실제 연구는 기술 분야에 머물러 있다는 것이 저자들의 관찰입니다. 파운데이션 모델은 계산적 설계 안에 지식에 관한 규범적 모형을 심는 인식 기술(epistemic technology)이면서, 동시에 그것을 만든 사회와 문화의 산물입니다. 그런데 표본의 논문들은 목적 함수와 보상 함수의 수학적 정식화를 중심에 두고, 어떤 값이 왜 그 함수에 들어갔는지는 다루지 않습니다. 저자들은 신경망의 작동을 알 수 없다는 태도 자체를 신비주의로 규정한 Guest의 지적을 인용해, 설계자는 자기가 설계한 구조를 알고 있다는 사실부터 확인합니다.

이 전제 차이는 사고를 해석하는 방식에서 드러납니다. 정렬 연구에서 흔히 가정하는 것과 달리, 사고로 인한 피해와 실패는 예측하지 못한 창발적 행동이 아니라 기본적인 설계 결정, 데이터와 컴퓨팅 자원 요구, 개발자의 API 제공 방식 결정이 낳은 부산물이라는 시스템 안전(system safety) 계열의 논의가 있습니다. AI 시스템이 기술 산물과 인간 행위자, 제도로 이루어진 사회기술적 시스템이라면, 안전을 다루려면 시스템이 실제로 어떻게 쓰이고 다른 행위자와 어떻게 상호작용하는지까지 봐야 합니다. 비정렬 AI를 통제하지 않으면 인류 생존을 위협한다는 틀이 오히려 개발과 배포 주체가 책임을 피하는 데 쓰인다는 비판도 함께 인용됩니다.

기업 연구가 분야의 방향을 정하는 구조도 짚습니다. 주요 AI 기업들은 사내 정렬 전문가와 팀, 블로그를 두고 있고, 정렬의 목표를 인류에 대한 기여로 홍보하면서 인간 경험의 다양성은 다루지 않습니다. Dai는 정렬의 인공성을 논한 글에서 "재정적 인센티브가 존재한다는 사실은 정렬 작업이 장기적 피해를 완화하는 실질적 진전이 아니라 위장된 제품 개발로 바뀌는 경우가 많다는 뜻"이라고 적었습니다. AI 안전 분야의 인식 문화를 조사한 연구도 "지금까지 이 공동체에서 나온 연구와 정책 제안은 자신의 이념적, 분과적 경계 밖의 작업과 교류하지 않는 좁은 기술적 해법으로 수렴했다"고 정리합니다.

기존 비판의 세 갈래와 각각이 닿지 못한 지점

가치 정렬을 향한 비판은 이미 여러 갈래로 나와 있습니다. 첫 번째 갈래는 방법론 내부의 한계를 짚습니다. RLHF의 열린 문제들을 정리한 연구는 보상 모델링과 피드백 수집 각 단계의 결함을 나열하고, Lindström 등은 무해성(harmlessness)처럼 핵심 목표로 내세운 개념조차 내부적으로 일관되지 않게 조작화된다고 지적합니다. 다만 이 갈래는 파이프라인의 개선 과제를 제시하는 쪽이어서, 파이프라인 자체가 전제한 인간관은 건드리지 않습니다.

두 번째 갈래는 용어의 공허함을 지적합니다. Kirk 등은 정렬이 "열망하는 개념에 대한 수사적 자리표시자"로 기능하는 빈 기표(empty signifier)라고 부르고, Khlaaf는 정합성 없는 사용이 안전 속성과 시스템 요건을 뒤섞는 결과로 이어졌다고 봅니다. Arvan은 더 나아가 신뢰할 수 있는 정렬이 원리적으로 불가능하다고 논증합니다. 유한한 관측 데이터에 부합하는 '비정렬' 함수가 무한히 많으므로, 정렬된 것처럼 보이던 모델이 나중에 이탈할 경험적 확률이 언제나 더 크다는 것입니다. 이 갈래는 개념을 문제 삼지만, 분야가 실제로 어떤 가치 이론을 쓰고 있는지는 측정하지 않습니다.

세 번째 갈래는 대안을 제시합니다. Beyond Preferences in AI Alignment는 지금의 지배적 패러다임을 선호주의(preferentist)라 이름 붙이고 세 가정을 분리해 냈습니다. 선호가 인간 가치의 적절한 표현이라는 가정, 합리성이 선호 만족의 극대화라는 가정, 그 선호 데이터에 모델을 맞추는 것이 AI를 안전하게 만드는 타당한 기법이라는 가정입니다. 다원주의적 정렬 로드맵처럼 다양한 관점을 수용하려는 흐름도 나왔습니다.

이 논문은 앞의 세 갈래와 다른 길을 택했습니다. 개별 논문을 논증으로 반박하는 대신, 분야를 데이터로 취급해 읽는 쪽을 택했습니다. 많이 인용된 논문 94편에 사회과학과 철학에서 가져온 문항을 적용해 채점하면, 개별 저자가 명시하지 않은 공통 전제가 분포로 드러납니다. 저자들은 이 작업을 정렬 하위 분야의 규범과 관행이 굳어지기 전에 필요한 비판적 개입으로 규정합니다.

이 방식에는 선례가 있습니다. 공저자 한 명이 참여한 The Values Encoded in Machine Learning Research 는 인용수가 높은 머신러닝 논문 100편을 같은 방식으로 주석 분석해, 연구 관행에 부호화된 가치를 뽑아낸 연구입니다. 이번 논문은 그 방법을 가치 정렬 하위 분야에 겨눈 셈입니다.

연구 방법: 94편을 고르고 13개 문항으로 채점하기

시드 논문 4편과 눈덩이 표집

출발점은 인용수 1,000회를 넘고 기술적 정렬 분야를 정의하다시피 한 시드 논문 4편입니다.

Deep Reinforcement Learning from Human Preferences (Christiano et al., 2017)
A General Language Assistant as a Laboratory for Alignment (Askell et al., 2021)
Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Bai et al., 2022)
Training language models to follow instructions with human feedback (Ouyang et al., 2022)

Semantic Scholar API로 이 4편을 인용한 2016년부터 2024년까지의 논문을 모아 576편의 초기 코퍼스를 만들고, Google Scholar 인용수 내림차순으로 정렬했습니다. 인용수는 품질과 영향력의 약한 대리 지표로만 썼다고 밝힙니다. 주석 과정에서 '가치 정렬'을 곁가지로만 언급한 논문은 제외했고, 어떤 논문이 가치 정렬을 다루는지 합의한 결과 94편이 남았습니다. 표본 크기는 자원 제약도 함께 반영합니다. Google Scholar 인용수 조회와 논문 정독 모두 시간이 많이 드는 작업이라, 사회과학의 정성적 텍스트 분석 관행에서 수용 가능한 규모로 정했다는 설명입니다. 자동화된 평가 도구는 쓰지 않았습니다.

13개 문항 채점 기준은 어디서 왔는가

채점 기준은 정렬 연구가 참조하지 않은 철학, 사회학, 인류학 문헌에서 끌어왔습니다. 가장 근본적인 구분은 일원론(monism)과 다원론(pluralism)입니다. 일원론은 모든 것의 가치를 설명하는 단일 가치가 있고 그것을 기수적 척도나 목적의 위계로 정렬할 수 있다고 보며, 공리주의와 경제학의 효용, 합리적 선택 이론이 이 쪽에 있습니다. 다원론은 사랑, 지식, 정의처럼 그 자체로 좋은 것이 여러 개이고 이들이 하나의 척도로 납작해지지 않는다고 봅니다.

인류학에서는 얇음(thin)과 두터움(thick)의 구분을 가져왔습니다. 두터운 서술은 가치를 추상적 실체가 아니라 문화적, 사회적 맥락 속의 의도와 목적이 담긴 활동으로 다룹니다. Geertz의 두터운 기술(thick description) 개념이 출처입니다. 여기에 가치의 정량화 가능성, 그리고 정렬의 틀이 효용 이론에 뿌리를 두고 있는지를 묻는 문항이 붙었습니다.

기준 개발은 반복적이었습니다. 처음에는 가치 정렬을 다루는 논문이라면 당연히 인간의 가치를 다룰 것으로 보고 "가치를 정의하는가"라는 문항 자체를 넣지 않았는데, 1차 주석에서 그 기대를 충족하는 논문이 너무 적어 문항을 추가했습니다. 사람 대신 자동 평가자(autorater)를 쓴 논문이 많다는 사실을 발견한 뒤에는 실제 사람에게 가치를 물었는지를 묻는 문항도 넣었습니다. 최종 13개 문항은 아래와 같고, 모든 문항은 두 갈래 중 하나 또는 판단 불가(정보 미기재)를 답으로 갖는 삼항 문항입니다.

문항	두 갈래
가치를 정의하거나 서술하는가	예 / 아니오
가치 이론이 일원론인가 다원론인가	일원론 / 다원론
가치를 측정 가능하다고 보는가	측정 가능 / 측정 불가
가치를 드러난 선호로 보는가 규정된 원칙으로 보는가	선호 / 원칙
가치에 대한 접근이 추상적인가 구체적인가	추상 / 구체
가치가 개별 상호작용에서 나타나는가 집합에서 형성되는가	개별 / 집합
가치가 동적인가 정적인가	동적 / 정적
가치의 성격 규정이 얇은가 두터운가	얇음 / 두터움
모델 안에서 가치가 자율적으로 생길 수 있다고 보는가	예 / 아니오
AI가 인간의 가치를 따라야 한다는 입장인가	예 / 아니오
누구의 가치에 정렬하는지 밝히는가	예 / 아니오
인간 평가자를 썼다면 평가자 규모를 밝히는가	예 / 아니오
효용 극대화를 정렬 방법으로 쓰는가	예 / 아니오

문항 4번의 구분이 이 조사의 축입니다. 드러난 선호는 행동상의 선택에서 측정되며 선호하는 행동이나 결과의 순위를 매기는 절차를 포함하고, 원칙 기반 가치는 아름다움, 진실, 지식, 인권 선언처럼 추상적 이상이나 기준에 대응합니다. 같은 단어를 쓰면서도 두 갈래는 데이터를 모으는 방식부터 갈립니다.

한 가지 짚어 둘 점은, 뒤에 나오는 그림과 표에 등장하는 '가치를 정하는 출처' 항목이 위 13개 목록에는 없다는 것입니다. 신뢰도를 보고한 표 1은 15개 항목을 담고 있고, 여기에는 '가치를 정하는 출처'와 함께 누구의 가치인지를 묻는 문항이 두 줄로 나뉘어 들어가 있습니다. 채점 기준을 주석 과정에서 반복적으로 고쳤다는 설명과 맞물리는 대목이라, 실제 주석 양식이 논문에 정리된 최종 목록보다 넓었다고 읽는 편이 자연스럽습니다.

채점 절차와 평가자 간 일치도

논문 한 편은 공저자 6명 가운데 주석에 참여한 5명 중 2명이 각각 읽고 채점했고, 주석자 한 사람이 맡은 분량은 약 50편입니다. 채점은 Google 설문 양식에 기록했고, 정성 분석용으로 각 논문에서 가치를 비수학적 언어로 다룬 인용문을 함께 수집했습니다. 1차 통과 후 불일치를 골라내 논의하고 합의했지만, 모든 불일치를 해소하지는 않았다고 밝힙니다.

표 1은 평가자 간 신뢰도이고, 문항마다 평가자 쌍 4개를 기준으로 계산했습니다. 본문은 전체 평균 일치도를 85\% 내외로 서술하지만, 문항별 수치의 폭은 상당히 넓습니다.

문항	평균 \kappa	평균 PABAK	Krippendorff \alpha	원 일치도
가치를 측정 가능하다고 보는가	0.541	0.775	0.269	88.8\%
드러난 선호인가 규정된 원칙인가	0.467	0.710	0.373	85.5\%
효용 극대화를 쓰는가	0.365	0.685	0.428	84.2\%
가치를 정하는 출처	0.411	0.167	0.023	58.3\%
얇은가 두터운가	0.239	0.056	0.073	52.8\%
일원론인가 다원론인가	0.218	0.079	0.349	54.0\%
가치가 정적인가 동적인가	0.133	0.021	0.204	51.0\%
AI가 인간 가치를 따라야 하는가	0.090	0.138	-0.015	56.9\%

위 표를 통해 2가지를 알아볼 수 있습니다. 이진 예/아니오 문항에서는 일치도가 85\% 를 넘지만, 범주형 문항으로 갈수록 50\% 대로 내려간다는 점이 첫째입니다. PABAK는 2 \times \text{Agreement} - 1 로 계산해 분포가 치우친 경우를 보정하고, Krippendorff \alpha 는 모든 평가자를 동시에 고려하며 결측을 처리합니다. 그 \alpha 가 0 에 가깝거나 음수인 문항이 있다는 것이 둘째입니다. 저자들도 표 주석에서 이 점을 인정하고, 객관적 설문을 개발했다고 주장하지 않는다고 명시합니다. 평가자가 연구 대상이 아니고 서로 교체 가능하지도 않다는 점, 즉 평가자 간 신뢰도 지표가 전제하는 조건이 이 설계에 맞지 않는다는 점도 함께 적었습니다.

조사 결과: 분야가 실제로 쓰고 있는 가치 이론

79%는 가치를 정의하지 않는다

가장 먼저 나오는 수치가 가장 단순합니다. 표본의 79\% 가 가치를 정렬하겠다고 하면서 그 가치가 무엇인지 정의하거나 서술하지 않았습니다. 정의한 논문은 21\% 입니다. 많은 논문에서 가치는 선호, 의도(intention)와 혼용되었고, 이념(ideology)과 바꿔 쓴 사례도 한 건 있었습니다. 중국의 법률과 도덕 교재로 코퍼스를 구축해 모델을 학습시킨 논문처럼 가치의 출처를 구체적으로 밝힌 경우는 드물었습니다.

정의하지 않는 것과 측정하지 않는 것은 별개입니다. 90\% 의 논문은 가치를 측정 가능한 대상으로 다뤘습니다. 전형적인 절차는 프롬프트 하나에 두 응답을 생성시키고, 사람 평가자나 다른 언어 모델 또는 둘의 혼합이 연구자가 고른 정렬 기준에 어느 쪽이 더 부합하는지 판정하게 하는 방식입니다. 한쪽은 선택(chosen), 다른 쪽은 기각(rejected)으로 표시됩니다. 정의되지 않은 개념이 곧바로 이진 라벨이 되는 지점입니다.

무엇을 최적화 대상으로 삼는지도 논문마다 다릅니다. 한 논문은 최적화하려는 선호로 "간결함, 유머러스함, 철학적임, 아첨함(sycophantic), 유익함, 창의성, 격식, 전문성, 유쾌함, 고양감"을 나열했습니다. 모델 평가에서 대표적인 실패 양상으로 꼽히는 아첨(sycophancy)이 유익함이나 창의성과 같은 층위의 선호 차원으로 목록에 들어가 있습니다. 가치를 정의하지 않은 자리에 무엇이 들어오는지 보여 주는 사례입니다.

규범적 문항의 결과는 거의 만장일치입니다. AI가 인간의 가치를 따라야 한다는 입장을 취한 논문이 99\% 였습니다. 무엇인지 정의하지 않은 것을 따라야 한다는 데는 이견이 없었던 셈입니다.

선호가 가치의 자리를 대신했다

문항 4번의 결과가 이 논문이 겨냥하는 핵심 지점입니다. 82\% 가 선호를 가치의 대용물로 다뤘고, 원칙을 가치의 근거로 삼은 논문은 9\% 에 그쳤습니다. 나머지 9\% 는 판단할 정보가 없었습니다. 원칙 쪽으로 분류된 소수는 사회적 선택 이론(social choice theory)을 끌어오는 경우가 많았습니다.

선호를 쓴다면 누구의 선호인지가 이어지는 질문입니다. 인간 평가자에게 응답 쌍을 평가받아 선호 데이터셋을 만든 논문 중에서 평가자 풀의 인원 수를 밝힌 것은 94편 중 29편이었습니다. 밝힌 경우 평가자는 대개 100명 미만이었고, 예외는 13,000명 규모를 쓴 OpenAssistant Conversations 한 편입니다. 인간 평가자를 쓴 논문만 따로 보면 77\% 가 규모를 적지 않았습니다. 그리고 91\% 는 어떤 집단의 가치를 따라야 하는지 특정하지 않았습니다.

이 두 수치는 하나의 분모로 맞아떨어지지 않습니다. 인간 평가자를 쓴 논문 중 23\% 가 규모를 밝혔고 그 수가 29편이라면 인간 평가자를 쓴 논문이 126편이어야 하는데, 표본 전체가 94편입니다. 두 수치가 서로 다른 분모를 쓰고 있다고 보는 편이 맞고, 확실한 것은 평가자 규모를 밝힌 논문이 소수였다는 사실입니다.

저자들이 뽑은 인용문들이 이 상태를 잘 보여줍니다. Leike 등은 "설명한 접근은 충분한 피드백을 공급할 수 있다면 윤리적 패러다임, 사용자의 선호, 법적 또는 사회적 틀에 대해 불가지론적이다"라고 적었습니다. 약한 감독에서 강한 능력을 끌어내는 연구는 "인간 가치를 해결할 필요가 없다. 초인적 연구자 모델을 심각하게 파국적인 결과를 피할 정도로 잘 정렬하기 전에 인간 가치와 가치 집계의 어려운 철학적 질문을 해결해야 한다고 보지 않는다"고 명시했습니다. 반대로 InstructGPT 논문은 "이 절차는 GPT-3의 행동을 넓은 의미의 인간 가치가 아니라 특정 집단, 대부분 우리 라벨러와 연구자의 명시된 선호에 정렬한다"고 스스로의 범위를 좁게 밝혔습니다.

표본 안에서 같은 문제를 정면으로 지적한 논문도 있습니다. 사용자별 선호를 반영하는 개인화 RLHF 연구는 이렇게 적었습니다. "현재의 RLHF 접근은 소수의 AI 연구자가 선별한 규정적 가치 집합에 의존한다. 게다가 모든 최종 사용자가 같은 가치 집합을 공유한다고 가정한다. AI 분야의 다양성 부족을 생각하면, 이 접근이 인간 집단의 선호를 형성하는 사회적, 도덕적, 정치적 가치의 범위를 감당할 수 없다는 것은 분명하다"는 문장입니다.

얇고 추상적이고 개별적이고 정적인 가치

범주형 문항의 분포는 한 방향으로 쏠려 있습니다. 접근이 추상적인 논문이 81\%, 구체적인 논문이 7\% 입니다. 일원론이 68\%, 다원론이 25\% 입니다. 얇은 서술이 66\% 인 반면 두터운 서술은 3\% 로, 가치를 실천하는 사람들의 생활 맥락에서 떼어내기 어려운 관계적 서술은 사실상 부재합니다. 가치가 개별 상호작용에서 나타난다고 본 논문이 65\%, 집합에서 형성된다고 본 논문이 4\% 입니다. 사회나 국가에서 이미 실천되는 가치를 고르는 대신 개별 사용자와 모델의 상호작용, 또는 모델과 모델의 상호작용에 의존한 결과이고, 집합을 다룬 사례에서도 규모는 4명에서 5명 수준이었습니다.

시간 축도 비슷합니다. 53\% 가 가치를 정적인 것으로 다뤘고, 가치가 변한다는 사실을 인정하면서도 정적으로 처리한 경우가 포함됩니다. 동적으로 다룬 논문은 9\% 이고 38\% 는 판단할 정보가 없었습니다. 다원주의를 언급하는 논문이 늘어나는 흐름과 별개로, 실제 구현에서는 균질하고 고정된 선호를 가정하는 관행이 유지된다는 뜻입니다.

한 논문은 "사람마다 가치가 다르지만, 개인의 선호를 위해 새 대형 언어 모델을 처음부터 학습시키는 것은 거의 불가능하다"고 적었습니다. 다원성을 인정하면서도 그것을 구현할 방법이 없어 개별 상호작용으로 되돌아가는 구도입니다.

이 분포가 왜 문제가 되는지는 사회철학 쪽 논의와 겹쳐 보면 분명해집니다. 최근 사회철학은 사회를 스스로를 재생산하는 복잡계, 또는 상호작용하는 시스템의 다발로 봅니다. 위계와 문화, 구조가 그 안에서 함께 재생산되고 끊임없이 변합니다. 개별 상호작용에서 관찰한 고정된 선호를 가치의 대용물로 쓰는 설계는 이 층위를 처음부터 시야에서 지웁니다.

여기서 판단 불가 비율이 특히 높다는 점을 함께 봐야 합니다. 얇음과 두터움에서 31\%, 개별과 집합에서 31\%, 정적과 동적에서 38\% 가 정보 미기재입니다. 정렬 논문 3편 중 1편은 자기가 다루는 가치가 어떤 성격인지 판단할 근거를 독자에게 주지 않습니다.

사람이 빠져나가는 정렬

가치의 출처를 묻는 문항에서 나온 분포가 이 논문의 가장 날카로운 발견입니다. 기존 벤치마크가 76\%, 언어 모델이 18\%, 인간 평가자(위 그림의 H.A.)가 5\% 입니다.

가치가 무엇인지 따지는 논의를 미루게 만드는 압력은, 정렬을 인공 초지능(artificial superintelligence)에 이르는 한 단계로 또는 파국적이고 실존적인 위험을 막는 필수 요소로 다루는 논문들에서 특히 두드러집니다. 저자들은 그 결과로 나타난 흐름을 사람 없는 정렬(alignment without humans)이라 부릅니다. 사람은 자기 선호에 대한 신뢰할 수 없는 정보원으로, 또는 너무 비싸고 시간이 오래 걸리는 수단으로 취급되고, 그 자리를 합성 데이터와 자동 평가자가 채웁니다. 정렬 기준을 정하는 단계에서 사람의 입력이 전혀 없는 연구, 모의 인간(simulated human)에 의존하는 연구도 표본에 있었습니다.

Anthropic의 유익함, 무해함, 정직함(Helpful, Harmless, Honest, HHH) 틀이 기성품 가치로 널리 채택된 것도 같은 맥락입니다. HH-RLHF 데이터셋을 학습이나 평가에 그대로 쓴 논문부터 HHH를 지침 원칙으로 이름만 올린 논문까지, 이 틀은 표본 전체에 퍼져 있습니다. 정렬하려는 가치가 무엇인지 각자 정의하는 대신 이미 데이터셋과 벤치마크에 붙어 있는 값을 가져다 쓰는 관행입니다. 기성품 목록이 HHH 하나인 것도 아닙니다. 견고성과 해석 가능성, 제어 가능성, 윤리성을 원칙으로 내세운 연구가 있고, 안전성과 품질, 근거성을 기준으로 삼은 대화 모델 연구도 있습니다. 어느 쪽이든 목록은 학습 데이터셋과 벤치마크에 딸려 오며, 그 값이 실제로 모델에 구현되었는지는 거의 검증되지 않습니다.

다만 이 발견은 신뢰도가 가장 낮은 문항에서 나왔다는 점을 함께 기억할 필요가 있습니다. 가치의 출처 문항은 원 일치도 58.3\%, Krippendorff \alpha 0.023 으로 표 1에서 하위권입니다. 분포의 방향은 정성 분석의 인용문들과 일관되지만, 76\% 대 5\% 라는 정확한 간격을 그대로 인용하기보다 "출처가 기존 벤치마크와 자동 평가자로 이동했다"는 서술로 받아들이는 편이 안전합니다.

모델이 스스로 가치를 갖는다는 서술

마지막 이진 문항은 모델 안에서 가치가 자율적으로 생길 수 있다고 보는지를 묻습니다. 그렇다고 본 논문이 13\% 입니다. 딥러닝 관점에서 정렬 문제를 정리한 연구는 모델이 자체 가치 체계를 발전시킬 수 있다고 서술하고, 다른 연구는 내부 메타 목표(internal meta-objective)라는 표현을 씁니다. 자기 정렬(self-alignment)이라는 용어도 등장합니다. 한 논문은 "외부 자원과 무관하게 정렬되지 않은 LLM을 사회 규범을 따르는 모델로 변환하며, LLM이 스스로 가치 정렬을 달성하는 새로운 패러다임이 등장한다"고 적었습니다.

왜 선호인가: 정렬에 스며든 경제학

드러난 선호 이론과 합리적 선택 이론

저자들이 지목하는 뿌리는 경제학입니다. 가치를 선호로 대체하는 선택은 드러난 선호 이론(revealed preference theory)에 기대고 있습니다. 행동을 관찰하면 그 행위자의 가치나 목표를 추론할 수 있다는 이론이고, 협력적 역강화학습 계열의 연구가 이 가정을 명시적으로 채택했습니다. DPO처럼 보상 모델을 없앤 방법도 선호 데이터셋은 그대로 씁니다. AI 피드백 기반 강화학습(Reinforcement Learning from AI Feedback, RLAIF)도 선호를 표시하는 주체가 사람에서 모델로 바뀔 뿐 같은 이론 위에 서 있습니다.

문제는 이 이론이 실제 인간을 설명하는지입니다. 효용 극대화는 모든 인간 행동을 안정적인 선호 집합에서 나오는 기대 효용의 극대화로 취급하고, 선호가 시간에 따라 크게 변하지 않으며 사회경제적 계층이나 문화에 따라 크게 다르지 않다고 가정합니다. 저자들은 합리적 선택 이론과 사회적 선택 이론이 실제 인간이나 문화의 가치와 행동을 서술하는 것이 아니라 고도로 추상화되고 이상화된 가상 행위자의 행동만 서술한다는 비판을 인용합니다. 저자들은 인류학자 David Graeber가 다양한 문화에 경제 이론을 적용하는 관행을 비판한 문장이 AI 가치 정렬에도 그대로 적용된다고 봅니다. "[경제학은] 인간 본성에 대한 극히 단순한 모형과 비전문가가 좀처럼 이해하기 어렵고 비판하기는 더 어려운 극히 복잡한 수식을 결합한다는 이점도 있다"는 문장입니다.

여기서 질문의 방향이 바뀌는 것이 핵심입니다. 합리적 선택 이론은 "사람은 실제로 무엇을 중요하게 여기는가"를 묻지 않고, "효용을 극대화하는 결정을 내리려면 사람은 무엇을 해야 하는가"를 물으며 그 답이 규범적으로 정해져 있다고 전제합니다.

87%가 효용 극대화를 쓴다

채점 결과 87\% 의 논문이 명시적으로든 암묵적으로든 효용 극대화를 정렬의 기술적 틀의 일부로 사용했습니다. 저자들은 이 수치를 놀라운 발견으로 제시하지 않습니다. 효용 극대화는 RLHF와 보상 모델링에 내재해 있으므로 당연한 결과이고, 오히려 그 당연함이 논점입니다. 가치를 정의하지 않은 논문들도 선호 최적화의 틀을 채택하는 순간 인간의 가치에 대한 일련의 신념에 이미 서약한 상태가 됩니다. 최소한 가치가 개별적이고 합리적이며 일원론적이고 정적이며 효용 함수를 극대화하고 추상적이라는 신념입니다.

정렬을 경제학의 주인과 대리인(principal-agent) 문제로 정식화하는 틀도 여기에 얹힙니다. 소수의 논문은 이 틀의 한계를 인식합니다. 단일한 효용 함수를 인공 행위자에게 부과하는 대신 정보 비대칭을 줄이고 외부 인센티브로 이해관계를 맞추자는 제안, 숨은 사용자 맥락 때문에 인간의 선호가 단일 효용 함수에서 도출되지 않는다는 관찰이 그런 예입니다.

효용 이론으로 모델을 측정하는 순환

저자들이 짚는 순환 하나가 흥미롭습니다. Utility Engineering 연구는 최신 언어 모델이 구조적으로 정합적인 넓은 가치 체계를 갖고, 능력이 올라갈수록 그 체계가 효용 이론의 공리에 더 부합해 효용 함수를 극대화하는 것으로 서술할 수 있다고 보고했습니다. 이 논문의 응답은 한 문장입니다. 모델이 합리적 선택 이론의 공리에 따라 학습되고 미세조정되었는데, 모델이 효용 이론에 따라 행동한다는 것이 놀랄 일인가.

이 지적은 정렬 연구의 평가 설계 전반에 적용됩니다. 선호 쌍으로 학습한 모델을 선호 쌍으로 평가하고, 효용 극대화로 정렬한 모델에서 효용 함수를 발견하는 절차는 가정을 검증하지 않고 재생산합니다. 저자들은 Zhi-Xuan 등의 물음을 그대로 인용합니다. 이 문제를 진지하게 받아들인 정렬 연구라면 "인간의 의사결정에 대한 순진한 합리적 선택 모형에서 벗어나, 우리가 제한된 합리성 안에서 가치를 평가하고 견주고 실행하는 방식을 포함하는 더 풍부한 모형으로 이동할 것"이라고 적은 대목입니다.

대안적 가치 이론: 심리학과 인류학

표본 안에 이미 있던 이탈의 신호

대안을 밖에서 들여오기 전에, 저자들은 표본 안에서 효용 이론을 벗어난 시도들을 먼저 꼽습니다. 어떤 논문은 "우리는 가치를 추상적 실체가 아니라, 시스템이 가능한 출력의 공간을 어떻게 탐색하는지에 영향을 주는 운영상의 우선순위로 본다"고 적었습니다. 가치를 측정 대상이 아니라 작동 중의 우선순위로 두는 관점입니다. 다만 이런 사례는 소수이고, 저자들은 최근의 다원주의적 정렬 연구조차 여전히 정통 경제학의 틀에 뿌리를 두고 있다고 판단합니다.

정렬 방법이 얕은 층에만 작용한다는 지적도 인용됩니다. Millière는 기존 정렬 기법이 언어 모델에 규범적 숙고(normative deliberation)의 능력을 부여하는 것이 아니라 얕은 행동 성향을 강화할 뿐이라고 봅니다. 규범이 서로 충돌하는 상황에서 모델이 무엇을 우선할지 판단하는 능력과, 그런 상황에서 특정 응답을 회피하도록 학습된 성향은 다릅니다. 저자들은 여기서 한 걸음 더 나아가, 정렬이 인간 가치를 서술하기 위해 세운 추상화와 이상화가 실제 현상으로 오인되는 지점을 문제로 지목합니다.

저자들은 대안을 다루는 절을 Alondra Nelson의 FAccT 2023 기조 강연에서 가져온 한 문장으로 엽니다. "가치는 끝까지 가치다(It's values all the way down)"라는 문장으로, 무엇이 가치인지 정하는 층 아래에 또 다른 가치 판단이 있고 그 아래에도 있다는 뜻입니다. 무엇을 정렬 기준으로 삼을지, 그 기준을 누가 정할지, 그 판정을 사람이 할지 모델이 할지를 고르는 모든 층이 가치 판단이라면, 이 가운데 어느 층도 기술적 기본값으로 처리할 수 없습니다.

Schwartz의 기본 가치 이론과 그 한계

표본의 일부 논문은 주류 심리학에서 인정받는 가치 이론을 참조했습니다. 대표적으로 Schwartz의 기본 가치 이론입니다. Schwartz는 가치를 감정과 밀접히 연결된 신념의 집합으로 보고 그것이 행동 선택을 안내한다고 봅니다. 문화를 가로질러 보편적이며 성인 개인 안에서는 시간이 지나도 고정되는 기본 가치의 집합이 있고, 이 가치들은 서로 충돌할 수 있지만 결국 중요도의 위계로 해소된다고 주장합니다.

저자들은 이 이론을 정렬의 대안으로 곧바로 쓰기 어렵다고 봅니다. 충돌이 위계로 해소된다는 구조 때문에 결국 일원론으로 귀결되고, 개인주의적 가치관을 전제하기 때문입니다. 가치를 훨씬 복잡하고 상황적이며 전체적이고 동적인 것으로 보여 주는 경험적 심리학과 민족지 연구가 이 관점을 반박해 왔습니다. 그러면서도 이 분야 역시 복잡하다는 점을 인정하고, 문화 간 가치 연구에서 진행 중인 논쟁과 교류할 것을 권합니다. 심리학 이론을 그대로 정렬 기준으로 옮기는 것이 아니라 그 논쟁까지 함께 읽어야 한다는 뜻입니다.

인류학의 상황적 가치

인간의 가치에 관해 가장 많은 이론과 경험 데이터를 가진 분야인 인류학은 정렬 연구에서 사실상 참조되지 않았습니다. Graeber는 가치를 "사람들이 자기 행위의 중요성을 사회적으로 인정된 어떤 형식에 비추어 스스로에게 표상하는 방식"으로 정리하고, 사회과학이 가치를 이론화한 세 갈래를 구분합니다.

사회학적 의미의 가치: 인간 삶에서 궁극적으로 좋고 온당하며 바람직한 것에 대한 관념
경제학적 의미의 가치: 대상이 얼마나 욕구되는지, 특히 타인이 그것을 얻기 위해 무엇을 포기할 의사가 있는지로 측정되는 정도
언어학적 의미의 가치: 단어 용법의 차이에서 의미가 파생되는 방식

정렬 연구가 쓰는 것은 두 번째 갈래뿐입니다. 경제 인류학은 화폐적 표상과 효용 이론으로 표현되는 경제적 가치와 도덕적 용어로 표현되는 윤리적 가치가 떼어낼 수 없이 연결되어 있다고 봅니다. 저자들은 두 가지를 들어 경제학적 인간관이 특정 사회의 산물이라고 봅니다. 시장은 규모가 큰 사회에서 자연히 생기는 현상이 아니라 재산권과 강제, 법치를 부과하는 국가의 집행을 필요로 한다는 논의, 그리고 인류 역사의 99\% 동안 사람들이 시장 경제에 살지 않았다는 사실입니다.

대안의 방향은 상황적 가치입니다. 가치는 상황 속에서 의미를 획득하므로 구체적 해석과 실현 방식, 위계가 사람과 상황에 따라 달라집니다. 저자들은 이를 감정의 구성주의 이론과 나란히 둡니다. 감정이 보편적 기본 범주가 아니라 사회적, 문화적으로 유의미한 상황에서 발생하는 매우 가변적인 사례들의 범주라면, 인간의 가치도 특정 문화적 상황에 묶인 가변적 사례들의 범주로 볼 수 있습니다.

한계점과 실무에 남는 것

저자들이 밝힌 한계

표본 94편은 이 주제의 논문 총량에 비해 작습니다. 심사를 거치지 않고 arXiv에 빠르게 올라오는 관행 때문에 대표성 확보가 더 어렵다는 점도 인정합니다. 저자들은 정량, 정성 지표로 표본의 상대적 영향력을 추정해 보정하려 했다고 밝히면서도, 표집의 완결성이나 포괄성은 주장하지 않습니다.

채점 기준 자체의 한계도 명시합니다. 문항들이 미묘한 판단을 요구해 이항이나 삼항 답으로 압축하기 어렵고, 다점 리커트 척도를 검토했지만 상대적 척도의 보정 문제로 결국 포기했습니다. 앞서 본 낮은 \alpha 값이 이 어려움의 결과입니다. 이 글이 기준으로 삼은 2026년 8월 10일 공개본(v1)에는 표기가 어긋난 대목도 있습니다. 기여 절에서는 시드 논문 4편에서 눈덩이 표집한 100편을 대상으로 했다고 적었지만, 방법 절과 결과는 일관되게 94편을 씁니다.

향후 과제로는 인류학과 심리학의 개념을 정렬에 조작화하는 작업, 그리고 선호 학습 데이터셋의 프롬프트와 응답 쌍의 내용 자체를 검토하는 작업을 제안합니다. 저자들은 이 데이터셋의 상당 부분이 의미가 잘 통하지 않는 대화이고, 두 개의 비현실적 예시 중 덜 황당한 쪽을 고르는 일이 많다고 지적합니다. 정렬의 토대가 흔들린다는 사실을 정책 결정자와 대중에게 전하는 것도 목표로 둡니다.

정렬 파이프라인을 운영하는 입장에서

이 논문은 특정 기법을 제안하지 않으므로 코드로 옮길 결과물은 없습니다. 대신 정렬 실험이나 모델 후처리를 문서화할 때 비워 두기 쉬운 칸을 정확히 지목합니다. 조사 결과를 그대로 뒤집으면 점검 목록이 됩니다.

정렬하려는 가치를 문장으로 적었는가. 아니면 데이터셋 이름으로 대체했는가. 표본의 79\% 가 이 칸을 비웠습니다.
누구의 선호인가. 평가자를 어떻게 모집했고 몇 명인가. 밝힌 논문은 94편 중 29편입니다.
사람 판정과 자동 평가자 판정의 비율은 얼마인가. 자동 평가자가 사람 대신 들어간 구간이 어디인가.
가치가 시간에 따라 변한다고 가정하는가. 재학습 주기가 그 가정과 맞는가.
정렬 기준끼리 충돌할 때 무엇을 우선하는지 정해 두었는가. 단일 척도로 합산하고 있다면 그것이 일원론적 선택임을 인지하는가.

이 항목들은 벤치마크 점수를 올려 주지 않지만, 모델 카드나 시스템 카드를 읽는 외부자가 정렬 주장의 범위를 판단할 근거가 됩니다. 유럽의회 사례가 보여 준 문제가 정확히 그 근거의 부재였습니다.

정의를 미루는 비용

이 연구가 겨냥하는 것은 정렬 연구자의 성실성이 아니라 분야의 기본값입니다. 가치가 무엇이고 어떻게 책임 있게 표상될 수 있는지에 대한 탐색을 계속 미루면, 특정한 설계와 배포, 평가 관행이 굳어집니다. 최악의 경우 좁은 가치 개념으로 학습된 시스템의 광범위한 사용이 정상이 되고, 이것이 분야가 내놓을 수 있는 최선이라고 주장하게 됩니다.

논문의 마지막 논지는 선택의 문제로 정리됩니다. 저자들은 Lisa Feldman Barrett을 인용해 "순수하게 데이터에 의해 움직인다고 믿는 과학자조차 철학을 하고 있다"고 적습니다. 학습 데이터를 고르고 모델 구조를 정하고 RLHF 실험을 돌리는 일상적 결정이 이미 가치 이론을 실행하고 있으므로, 그 이론을 명시하면 비판과 개선의 대상이 된다는 것입니다. 흥미롭게도 이 논문은 생성 AI를 연구와 집필에 사용하지 않았다고 별도 절에서 밝히고 있습니다. 자동 평가자가 사람의 판단을 대체하는 흐름을 다루는 논문으로서는 일관된 선택입니다.

Toward a Theory of Value in AI Alignment 논문

Beyond Preferences in AI Alignment 논문

A Roadmap to Pluralistic Alignment 논문

The Values Encoded in Machine Learning Research 논문

더 읽어보기

이 글은 GPT 모델로 정리한 초안을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 댓글로 알려주시기를 부탁드립니다.

논문의 주장이나 벤치마크에 대한 의견, 직접 재현해보신 결과가 있다면 파이토치 한국 사용자 모임 회원들을 위해 댓글로 공유해주세요!