# \#preference-learning **URL:** https://discuss.pytorch.kr/tag/preference-learning/8824.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [AI 가치 정렬 논문 94편 중 79%는 가치를 정의하지 않는다: 정렬 연구의 암묵적 가치 이론 분석](https://discuss.pytorch.kr/t/ai-94-79/11612)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 15, 2026, 9:00오전 UTC](https://discuss.pytorch.kr/t/ai-94-79/11612 "2026-08-15T09:00:19Z")
AI 가치 정렬(Value Alignment) 연구는 '가치'를 무엇으로 다루는가 모델을 후처리하고 나서 "인간의 가치에 정렬했다"고 적을 때, 그 문장의 '가치'가 무엇을 가리키는지 따로 정의해 둔 문서는 드뭅니다. Google Research와 Google DeepMind, UCLA, OECD, Trinity College Dublin 소속 연구자 6명이 쓴 Toward a Theory of Value in AI Alignment 는 바로 그 빈칸을 조사한 논문입니다. 많이 인용된 AI 가치 정렬 논문 94편을 저자들이 직접 읽고 13개 문항의 채점 기준으로 주석을 달아, 이 분야가 명시하지 않은 채로 쓰고 있는 가치 이론(theory of value) 을 역추적했습니다. 조사 결과는 짧게 요약됩니다. 표본의 79\\% 는 가치가 무엇인지 정의하거나 서술하지 않았고, 82\\% 는 선호(preference)를 가치의 대용물로 썼으며, 87\\% 는 효용 극대화(utility maximization)를 정렬의 기술적 틀로 채택했습니다. 저자들은 여기서 "정렬 연구가 틀렸다"로 넘어가지 않고, 이 분야가 암묵적으로 합의한 인간관이 무엇인지, 그것을 명시했을 때 어떤 대안이 보이는지를 논의합니다. 논문이 던지는 질문은 세 가지입니다. AI 가치 정렬 분야는 인간의 가치를 어떻게 개념화하는가, 그 개념은 기술적으로 어떻게 조작화되고 평가되는가, 거기서 드러나는 가치 이론은 AI의 미래에 무엇을 뜻하는가입니다. 정렬이라는 말이 실제로 가리키는 범위 언어 모델의 학습 목표는 이어질 텍스트를 맞히는 것이고, 이 목표를 잘 달성했다는 사실만으로는 임의의 다운스트림 작업에서 쓸 만하다거나 안전하다는 보장이 생기지 않습니다. 그래서 사람이 판단한 선호 쌍을 모아 보상 모델을 학습시키고, 그 보상을 최대화하도록 정책을 미세조정하는 절차가 표준 후처리로 자리 잡았습니다. 인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback…