가치 축(Value Axes)이라는 렌즈로 본 Claude
친구와의 갈등을 어떻게 풀지, 새 직장으로 옮겨야 할지처럼 보편적인 정답이 없는 질문을 던졌을 때, 답하는 쪽은 좋든 싫든 어떤 가치관을 드러내게 됩니다. 사람도 그렇고, 대규모 언어 모델(Large Language Model)도 마찬가지입니다. 문제는 그 가치관을 어떻게 눈으로 확인하고 비교하느냐입니다.
이 연구는 Anthropic이 실제 Claude.ai 대화 수십만 건을 분석해서, Claude가 대화에서 드러내는 가치(value)가 모델 버전과 대화 언어에 따라 어떻게 달라지는지를 측정한 실증 연구입니다. 핵심 도구는 수천 개나 되는 가치를 네 개의 가치 축(Value Axes) 으로 압축하는 방법입니다. 각 축은 서로 대비되는 두 가치 무리를 양 끝에 둔 수직선이고, Claude가 그 선 위 어디에 놓이는지가 곧 어느 쪽 가치로 기우는지를 알려줍니다. 여기서 '가치'란 정직이나 신중함처럼 Claude의 응답에 나타나거나 드러나는 규범적 고려사항을 가리킬 뿐, Claude가 그것을 인간처럼 내면에 지니고 있다는 뜻은 아닙니다.
3,000개가 넘는 가치를 어떻게 다룰 것인가
Anthropic이 Claude에게 심어주려는 가치는 Claude의 헌법(Constitution)에 큰 틀로 적혀 있습니다. 하지만 매일 수백만 건씩 일어나는 대화에서 어떤 가치가 튀어나올지를 문서 하나로 미리 다 규정할 수는 없습니다. 그래서 Anthropic은 규칙을 촘촘히 못박기보다 "맥락에 맞게 적용할 수 있는 좋은 판단력과 건전한 가치관" 을 Claude 안에 길러주는 쪽을 택했다고 밝힙니다.
그렇다면 그 가치관을 어떻게 관찰할 수 있을까요? 선행 연구인 Values in the Wild에서 Anthropic은 익명화된 Claude.ai 대화 700{,}000 건을 분석해 Claude가 표현하는 가치를 3{,}000 개 넘게 식별했습니다. 문제는 목록이 이렇게 커지면 오히려 다루기가 어려워진다는 점입니다. 3{,}000 개의 가치를 하나씩 짝지어 모델끼리, 언어끼리 비교하는 일은 사실상 불가능하고, 큰 흐름은 오히려 세부 항목에 묻혀 버립니다.
가치를 몇 개의 축으로 압축하기
이 연구의 발상 전환은 여기서 출발합니다. 수천 개의 가치를 일일이 추적하는 대신, 실제 대화에서 함께 나타나는 경향이 있는 가치들을 묶어 몇 개의 근본적인 차원으로 압축하는 것입니다.
예를 들어 "따뜻한(warm)" 응답으로 분류된 대화는 "격려하는", "긍정적인" 가치도 함께 띠는 경우가 많습니다. 반대로 그런 따뜻한 응답은 "엄밀한(rigorous)", "정확한" 가치와는 잘 겹치지 않습니다. 그렇다면 따뜻함을 한쪽 끝, 엄밀함을 다른 쪽 끝에 둔 하나의 축을 만들 수 있습니다. 어떤 대화에서 Claude가 엄밀함보다 따뜻함 쪽 가치를 더 많이 드러내면 그 대화는 축의 따뜻함 쪽에 놓이고, 그 반대도 성립합니다.
여기서 오해하면 안 되는 점이 있습니다. 축의 양 끝은 상호 배타적인 관계가 아닙니다. Claude는 한 대화에서 따뜻함과 엄밀함을 동시에 표현할 수 있습니다. 다만 한쪽 가치를 더 많이 드러낼수록 다른 쪽은 상대적으로 덜 드러나는 경향이 통계적으로 관찰되고, 이 축은 바로 그 경향을 포착합니다. 이렇게 하면 수천 개의 개별 가치를 좇지 않고도, Claude가 드러내는 가치 무리 중 가장 두드러진 것들을 비교할 수 있습니다.
네 개의 가치 축은 어떻게 만들어졌나
가치 축을 만드는 과정은 크게 데이터 수집, 대화 라벨링, 차원 축소(dimensionality reduction)의 세 단계로 이뤄집니다. 방법론의 세부는 연구 부록(Appendix)에 상세히 공개되어 있습니다.
30만 건의 '주관적인' 대화 수집
먼저 데이터입니다. 연구팀은 2026 년 5 월 약 2주 동안 Claude.ai의 Free, Pro, Max 대화를 세 개 모델(Claude Sonnet 4.6, Claude Opus 4.6, Claude Opus 4.7) 과 가장 많이 쓰이는 상위 20 개 언어에 걸쳐 계층 표집(stratified sampling)했습니다. 모델과 언어를 조합한 60 개 조합마다 5{,}333 건씩 모으는 것이 목표였고, 실제로는 조합당 약 5{,}000 건씩 총 309{,}815 건을 표집했습니다. 몇몇 조합은 해당 기간 트래픽이 적어 목표치에 못 미쳤는데, 가장 적었던 쪽은 Opus 4.6의 힌디어(1{,}174 건)와 Opus 4.7의 인도네시아어(1{,}537 건)였습니다.
중요한 제약이 하나 있습니다. 연구팀은 Claude가 주관적 판단을 내려야 하는 대화만 골랐습니다. 사실을 조회하거나 정해진 작업을 수행하는 대화가 아니라, 여러 고려 사항을 저울질해야 답이 나오는 대화를 뜻합니다. 이런 대화는 전체의 53.2\% 를 차지했습니다. 어떤 대화를 주관적이라고 볼지는 별도의 "주관성 판별(subjectivity screener)" 프롬프트로 1 점(순수 객관)부터 4 점(순수 주관)까지 등급을 매겨, 3 점 이상만 포함했습니다.
3,307개에서 339개로: 가치 택소노미
3{,}307 개나 되는 Values in the Wild의 원본 가치는 그대로 라벨링에 쓰기엔 너무 잘게 쪼개져 있습니다. 그래서 연구팀은 원본 가치들의 텍스트 임베딩(embedding)을 군집화한 뒤 사람이 직접 검토하고 다듬어, 의미가 겹치는 것들을 339 개의 상위 가치로 묶었습니다.
대화 라벨링: 무엇을 측정했나
라벨링에는 Anthropic의 프라이버시 보존 분석 도구인 Clio가 쓰였습니다. 이 도구는 사람이 원문을 들여다보지 않고도 Claude 자신을 통해 각 대화를 분석하게 해줍니다. 대화 한 건마다 다음을 기록했습니다.
- 모델이 표현한 가치: 339 개 가치 각각이 Claude의 응답에서 얼마나 두드러지는지를 1 점부터 5 점까지의 현저성(salience) 척도로 채점하고, 3 점 이상이면 "표현됨"으로 처리
- 사용자가 표현한 가치: 같은 척도로 사용자 메시지를 채점
- 작업(Task): 사용자가 무엇을 시켰는지 한 문장으로 요약한 뒤 범주로 군집화
- 주제(Topic): 무엇에 관한 대화인지 한 문장으로 요약한 뒤 범주로 군집화
여기서 강조되는 것은 "모델이 말한 내용이 아니라 모델이 한 행동" 을 기준으로 채점한다는 점입니다. 프롬프트는 단순히 유능하게 요청을 들어주는 것(기본값)과, 다른 유능한 AI라면 하지 않았을 법한 선택을 한 경우를 구분하도록 설계되어 있습니다. 사용자가 꺼내지도 않은 주의사항을 자진해서 덧붙이거나, 요청을 거절하거나 방향을 바꿀 때처럼 Claude가 재량을 발휘한 지점이 가장 분명한 신호로 간주됩니다. 이 기준으로 채점한 결과, Claude는 대화당 평균 68 개, 사용자는 평균 43 개의 가치를 표현한 것으로 나타났습니다.
차원 축소로 축 뽑아내기: Hellinger PCA
이제 339 개 가치는 하나의 거대한 행렬이 됩니다. 행은 대화, 열은 가치이고, 표현되었으면 1, 아니면 0 입니다. 목표는 이 행렬을 대화마다 가치 표현이 어떻게 달라지는지를 담아내는 소수의 축으로 압축하는 것입니다.
연구팀의 주 방법은 Hellinger PCA(주성분 분석, Principal Component Analysis) 입니다. 순서를 따라가 보면 다음과 같습니다.
먼저, 전체 대화의 80\% 이상에서 나타나는 18 개의 초빈출 가치를 분석에서 제외했습니다. 유용성(helpfulness), 명료성(clarity), 지시 따르기 같은 것들이 여기 해당합니다. 이런 가치는 어느 언어에서나 거의 항상 등장하므로, 두면 오히려 대화 사이의 차이를 가려버립니다. 그다음 각 대화 행을 가치 비율의 합이 1 이 되도록 정규화하고 각 비율에 제곱근을 취했습니다. 이 변환을 거치면 대화가 표현한 가치 개수와 무관하게 모두 공통 척도에 놓이고, 행 사이의 일반적인 거리가 비율 데이터를 비교하는 척도인 헬링거 거리(Hellinger distance) 와 일치하게 됩니다.
핵심은 그다음입니다. 연구팀은 작업, 주제, 사용자가 표현한 가치로 설명되는 변동을 회귀로 걷어내고 잔차(residual)만 남겼습니다. 이 통제 단계가 전체 변동의 31.7\% 를 설명했습니다. 이렇게 하면 "사용자가 애초에 무엇을 어떻게 물었는지"에서 오는 차이를 제거하고, 순수하게 Claude가 어떻게 응답했는지의 차이만 남길 수 있습니다. 모델과 언어별 가치 차이를 이야기하려면 반드시 필요한 단계입니다.
이 잔차 행렬에 주성분 분석을 돌리고, 스크리 도표(scree plot)의 팔꿈치(elbow) 지점을 기준으로 네 개의 성분을 골랐습니다. 마지막으로 베리맥스(varimax) 회전을 적용해 네 축을 서로 직교시키면서, 각 축이 더 적고 해석하기 쉬운 가치들로 구동되도록 만들었습니다.
한 가지 냉정하게 짚어야 할 사실이 있습니다. 작업과 주제, 사용자 가치로 설명되는 부분을 이미 걷어낸 뒤에도, 네 축이 설명하는 것은 대화 간 가치 변동의 약 15\% 뿐입니다(상위 10 개 성분을 합쳐도 약 26\% 입니다). 어느 한 성분이 압도적이지 않고, Claude의 가치 변동이 하나의 축으로 쏠리지 않은 채 여러 독립적인 축으로 넓게 퍼져 있다는 뜻입니다. 즉 이 네 축은 가장 큰 줄기를 잡아내는 요약일 뿐, Claude 가치의 전부를 담는 지도는 아닙니다.
네 개의 축이 담아내는 것
최종적으로 남은 네 축과, 각 축의 양 끝을 대표하는 가치는 다음과 같습니다.
- 양보 vs. 신중(Deference vs. Caution): 상대가 원하는 것을 맞춰주는 쪽(수용, 선호 존중)과, 있을 수 있는 위험과 해를 경계하는 쪽(책임 있는 안내, 해악 감소)의 대비
- 따뜻함 vs. 엄밀함(Warmth vs. Rigor): 긍정과 배려를 표현하는 쪽(긍정적 프레이밍, 격려)과, 정확성과 정밀함을 앞세우는 쪽(정확성, 투명성)의 대비
- 깊이 vs. 간결함(Depth vs. Brevity): 깊이 파고들어 설명하는 쪽(뉘앙스, 비판적 사고)과, 요청받은 것만 하는 쪽(간결함, 순응)의 대비
- 솔직함 vs. 실행(Candor vs. Execution): 자신의 불확실성을 앞에 내놓는 쪽(지적 정직, 지적 겸손)과, 더 매끄럽고 자신감 있는 답을 내놓는 쪽(결과 지향, 최적화)의 대비
흥미롭게도 네 축이 모두 같은 성격은 아닙니다. 연구팀은 각 축 양 끝의 상위 5 개 가치 비율이 대화 안에서 실제로 얼마나 음의 상관을 갖는지 확인했는데, 양보 vs. 신중(r = -0.448) 과 따뜻함 vs. 엄밀함(r = -0.465) 은 뚜렷한 트레이드오프(한쪽이 오르면 다른 쪽이 내려감)를 보였습니다. 반면 깊이 vs. 간결함(r = 0.004)과 솔직함 vs. 실행(r = 0.007)은 그런 상충 관계가 거의 없어, 대화를 통계적으로 효과적으로 정리해주는 축이긴 하지만 진짜 반대말 쌍이라고 보기는 어렵습니다.
모델마다 다른 가치 프로파일
축을 손에 넣었으니, 이제 각 모델이 이 네 축 위 어디에 놓이는지 볼 수 있습니다. 모델별로 그 모델의 모든 대화가 각 축에서 갖는 좌표를 평균 내면, 그 모델이 어느 가치 무리로 기우는지에 대한 한 장의 그림이 나옵니다.
세 모델의 평균 위치를 표준편차(\sigma) 단위로 정리하면 다음과 같습니다(각 값은 전체 대화 평균에서 얼마나 벗어났는지를 나타내며, 굵게 표시된 쪽으로 기웁니다).
| 가치 축 | Claude Sonnet 4.6 | Claude Opus 4.6 | Claude Opus 4.7 |
|---|---|---|---|
| 양보 vs. 신중 | 양보 +0.14\sigma | 양보 +0.09\sigma | 신중 +0.24\sigma |
| 따뜻함 vs. 엄밀함 | 따뜻함 +0.17\sigma | 엄밀함 +0.10\sigma | 엄밀함 +0.08\sigma |
| 깊이 vs. 간결함 | 간결함 +0.14\sigma | 간결함 +0.08\sigma | 깊이 +0.23\sigma |
| 솔직함 vs. 실행 | 실행 +0.04\sigma | 실행 +0.06\sigma | 솔직함 +0.11\sigma |
| 분석된 대화 수 | 101{,}734 건 | 99{,}798 건 | 98{,}764 건 |
여기서 강조할 점은 이 차이들이 대화 간 변동에 비하면 작지만, 구조적이고 검출 가능하다는 것입니다. 축별로 뜯어보면 다음과 같은 대비가 드러납니다.
- 양보 vs. 신중: Sonnet 4.6이 양보 쪽으로 가장 강하게 기울어, 사용자의 아이디어와 결과물을 자주 긍정해 줍니다. 반대로 Opus 4.7은 신중 쪽으로 가장 강하게 기울어, 요청하지 않아도 먼저 위험을 경고합니다.
- 따뜻함 vs. 엄밀함: Sonnet 4.6은 유머와 장난기, 판단 없는 위로를 통해 따뜻함을 가장 많이 드러냅니다. Opus 4.7은 사용자의 전제에 이의를 제기하고 결과물을 가감 없이 비평하며 엄밀함 쪽으로 기웁니다.
- 깊이 vs. 간결함: Opus 4.7은 결론에 이른 추론(reasoning)을 보여주며 깊이 쪽으로 기울고, Opus 4.6과 Sonnet 4.6은 간결함 쪽입니다. 특히 Opus 4.6은 곧장 요점으로 들어가는 경향이 강합니다.
- 솔직함 vs. 실행: Opus 4.7은 자신의 한계를 먼저 밝히며 솔직함 쪽으로 기울고, Opus 4.6은 요청 범위 안에 머무르며 실행 쪽으로 기웁니다.
각 모델의 특징적 행동(distinctive behaviors) 을 보면 이 차이가 더 손에 잡힙니다. Sonnet 4.6은 사용자의 아이디어를 긍정하고, 사용자의 어조와 격식을 따라가며, 유머를 쓰고, 판단 없이 위로하고, 결과물에 창의적 요소를 더합니다. Opus 4.6은 곧장 요점으로 들어가고 요청 범위 안에 머무릅니다. Opus 4.7은 잘못된 가정을 반박하고, 위험을 먼저 알리고, 사용자의 작업을 솔직히 비평하고, 자신의 추론을 설명하고, 스스로의 오류와 한계를 인정하며, 다음 단계를 제안합니다.
주목할 만한 점은 이 결과가 사람들이 이미 이 모델들을 두고 받은 인상과 맞아떨어진다는 것입니다. Claude.ai 사용자들은 Opus 4.7이 다른 모델보다 답을 더 자주 유보한다(hedge)고 평했고, Anthropic 내부에서는 Opus 4.7을 투명성, 정직, 겸손이 상대적으로 강한 모델로, Opus 4.6을 간결한 모델로 묘사해 왔습니다. Sonnet 4.6은 출시 블로그에서 따뜻하고 정직하며 친사회적이라고 소개된 바 있습니다. 이런 주관적 인상이 데이터에서 재현되었다는 것은, 가치를 라벨링하고 비교하는 이 방법이 모델의 실제 행동에서 무언가 실재하는 것을 포착하고 있음을 시사합니다. 이러한 모델 간 차이는 각 모델의 성격 학습(character training)을 비롯한 여러 학습 결정에서 비롯되었을 가능성이 큽니다.
언어마다 다른 가치 표현
같은 방법을 언어에도 적용할 수 있습니다. Claude의 학습 데이터는 언어마다 다르고, 이미 시스템 카드(System Card)에서도 Claude가 언어에 따라 아는 것과 민감한 요청을 다루는 방식이 다르다는 점이 확인된 바 있습니다. 그렇다면 표현하는 가치도 언어에 따라 달라질 것이라 예상할 수 있습니다.
실제로 Claude.ai 상위 20 개 언어를 같은 방식으로 분석한 결과, 가치 표현이 언어에 따라 가장 크게 갈리는 축은 따뜻함 vs. 엄밀함과 솔직함 vs. 실행이었고, 양보 vs. 신중과 깊이 vs. 간결함은 언어에 걸쳐 상대적으로 안정적이었습니다.
아래는 값이 가장 크게 갈리는 여섯 개 언어의 프로파일입니다. 각 언어가 네 축에서 전체 평균으로부터 얼마나(\sigma 단위) 벗어나는지와, 그 언어에서 두드러진 행동을 함께 보여줍니다.
축별로 보면 다음과 같습니다.
- 양보 vs. 신중: 아랍어에서 양보가, 영어에서 신중이 가장 두드러집니다.
- 따뜻함 vs. 엄밀함: 힌디어와 아랍어에서 따뜻함이 가장 강하게 나타납니다. 특히 힌디어의 따뜻함 쏠림은 +0.49\sigma 로 언어를 통틀어 가장 크며, 공손한 표현, 유머와 장난기, 상대의 생각과 작업을 긍정하는 태도가 특징입니다. 반대로 러시아어와 영어에서 엄밀함 쪽으로 가장 기우는데(러시아어 +0.15\sigma, 영어 +0.13\sigma ), 전제에 이의를 제기하고 세부를 바로잡으며 근거를 요구하는 모습이 두드러집니다.
- 깊이 vs. 간결함: 영어에서 세부를 다듬고 바로잡으며 깊이 쪽으로, 아랍어에서 간결함 쪽으로 기웁니다.
- 솔직함 vs. 실행: 네덜란드어에서 자신의 오류를 인정하며 솔직함 쪽으로, 인도네시아어에서 실행 쪽으로 기웁니다.
이 여섯 개 언어의 축별 위치를 표로 정리하면 다음과 같습니다(굵게 표시된 쪽으로 기울며, '평균'은 전체 평균과 거의 차이가 없다는 뜻입니다).
| 언어 | 양보 vs. 신중 | 따뜻함 vs. 엄밀함 | 깊이 vs. 간결함 | 솔직함 vs. 실행 |
|---|---|---|---|---|
| 힌디어 | 신중 +0.04\sigma | 따뜻함 +0.49\sigma | 간결함 +0.03\sigma | 실행 +0.02\sigma |
| 아랍어 | 양보 +0.08\sigma | 따뜻함 +0.28\sigma | 간결함 +0.10\sigma | 실행 +0.04\sigma |
| 영어 | 신중 +0.10\sigma | 엄밀함 +0.13\sigma | 깊이 +0.09\sigma | 솔직함 +0.04\sigma |
| 러시아어 | 평균 | 엄밀함 +0.15\sigma | 간결함 +0.05\sigma | 평균 |
| 인도네시아어 | 양보 +0.04\sigma | 평균 | 간결함 +0.04\sigma | 실행 +0.14\sigma |
| 네덜란드어 | 평균 | 엄밀함 +0.06\sigma | 평균 | 솔직함 +0.12\sigma |
한국 커뮤니티 독자를 위해 덧붙이면, 한국어(분석 대화 15{,}570 건)는 발산 폭이 큰 편은 아닙니다. 양보 +0.04\sigma, 따뜻함 +0.04\sigma, 간결함 +0.08\sigma, 솔직함 +0.04\sigma 로 네 축 모두에서 완만하게 기울어, 특정 축으로 크게 쏠린 앞의 여섯 개 언어와 달리 전체 평균에 가까운 편입니다. 양보, 따뜻함, 간결함 쪽으로 약하게 기운 방향은 앞서 본 Sonnet 4.6의 프로파일과 세 축에서 겹치지만, 마지막 축에서는 Sonnet 4.6이 실행 쪽인 것과 달리 한국어는 솔직함 쪽이어서 방향이 반대입니다.
이 차이는 단순한 흥밋거리가 아닙니다. 연구팀은 구체적인 예를 듭니다. "같은 사업 계획서에 대한 피드백을 각각 힌디어와 러시아어로 물어본 두 사람은, Claude가 평가를 담아내는 방식에서 서로 다른 가치를 드러내기 때문에, 계획서의 품질에 대해 서로 다른 인상을 안고 돌아갈 수 있다" 는 것입니다. 같은 요청이라도 어떤 언어로 물었느냐에 따라 Claude가 따뜻하고 양보적일 수도, 엄밀하고 신중할 수도 있습니다.
그렇다면 왜 이런 차이가 생길까요? 연구팀은 아직 확답을 내놓지 않고, 가능성만 조심스럽게 제시합니다. 하나는 학습 데이터가 언어별로 고르게 분포하지 않는다는 점입니다. 어떤 언어는 데이터가 훨씬 많고, 데이터가 풍부한 언어일수록 일관된 가치를 학습시키기가 더 효과적일 수 있습니다. 데이터의 구성도 언어마다 다릅니다. 어떤 언어는 전문적인 글의 비중이 높을 수 있고, 그런 텍스트는 또 다른 가치를 반영할 수 있습니다. 이런 양과 구성의 불균형이 겹쳐 언어별 가치 차이로 이어졌을 수 있습니다.
또 하나 솔직하게 남겨둔 질문은 이 변동이 과연 바람직한가입니다. 언어마다 대화 규범이 다르므로 Claude가 그 규범에 맞춰 다른 가치로 응답하는 것일 수도 있습니다. 하지만 동시에, 어떤 언어에서는 Anthropic이 의도한 행동에 더 가깝고 어떤 언어에서는 덜 가까워서, 특정 언어 사용자 집단이 상대적으로 덜 좋은 경험을 하고 있을 가능성도 있습니다.
이 방법은 믿을 만한가: 검증과 한계
이런 종류의 분석에서 가장 걱정되는 지점은 분명합니다. 라벨링 도구 자체가 Claude 모델이라는 것입니다(분석 프롬프트는 모두 Sonnet 4.6으로 돌렸는데, 이는 연구가 측정 대상으로 삼은 세 모델 중 하나이기도 합니다). 측정 도구가 측정 대상과 같은 언어별 편향을 공유한다면, 우리가 보는 언어 차이가 Claude의 진짜 가치 차이가 아니라 채점하는 Claude의 버릇일 수 있습니다.
검증: 언어 편향 테스트와 부트스트랩
연구팀은 이 문제를 정면으로 다뤘습니다. 실제 대화 800 건을 아랍어, 네덜란드어, 영어, 독일어, 힌디어, 일본어, 한국어, 스페인어의 8 개 언어로 번역한 뒤, 내용이 동일한 이 사본들에 같은 분석 도구를 돌렸습니다. 내용이 고정되어 있으므로 라벨에 차이가 난다면 그것은 순수한 언어 편향입니다. 결과적으로 편향이 있긴 했지만 작았습니다. 339 개 가치 중 11 개만 영향을 받았고, 그 최대 효과조차 본 분석에서 나타난 언어 간 차이의 약 10 분의 1 수준에 그쳤습니다. 이 편향을 보정해도 주요 결과는 바뀌지 않았습니다.
라벨링 도구의 안정성도 여러 방식으로 점검했습니다. 프롬프트 문구를 조금 바꾸거나 샘플링 온도(temperature)를 조정해도 라벨이 크게 달라지지 않았고, WildChat 같은 공개 데이터셋, 피드백이 남은 대화, Claude로 생성한 합성 대화처럼 직접 읽어도 되는 자료에서 라벨을 수작업으로 검토했습니다. 축 자체도 견고했습니다. 50 회 부트스트랩(bootstrap) 재표집을 돌렸을 때 모든 재실행에서 축이 원본과 사실상 동일하게 재현되었고(합치도 계수 congruence coefficient 1.0, 통상 기준 0.95 를 크게 상회), 어떤 단일 대화도 한 축에 0.033\% 넘게 기여하지 않아 이상치(outlier)에 휘둘리지 않았습니다.
별도의 견고성 검사로 로지스틱 요인 모형(logistic factor model)도 돌렸는데, 비율 변환 없이 0/1 데이터에 직접 적용하는 이 방법에서도 따뜻함 vs. 엄밀함, 양보 vs. 신중, 솔직함 vs. 실행에 해당하는 축이 대체로 재현되었습니다. 다만 깊이 vs. 간결함 축만은 예외였습니다. 이 방법에서는 그 자리에 '탁월함 대 절제(excellence vs. restraint)'라는 다른 축이 나타나 주 방법의 깊이 vs. 간결함과 곧바로 대응되지 않았습니다. 실제로 이 축은 간결함 쪽 가치의 유무보다 깊이 쪽 가치의 유무에 더 크게 좌우되는, 한쪽으로 치우친 축이라는 점도 함께 보고됩니다.
무엇을 조심해서 읽어야 하나
연구팀은 한계를 길게 나열합니다. 추측을 단정으로 옮기지 않기 위해 그중 핵심만 정리합니다.
- 축은 상관관계일 뿐 인과가 아닙니다. 네 축은 대화 사이에서 가치 비율이 어떻게 함께 변하는지를 기술할 뿐, 특정 모델이나 언어가 어떤 가치를 유발한다는 인과적 주장은 아닙니다.
- 가치의 유무만 측정하고 강도는 재지 않았습니다. 어떤 가치가 대화에 드러났는지만 볼 뿐, 그 가치가 얼마나 강하게, 얼마나 자주 표현되었는지는 분석에 담기지 않았습니다.
- 가치의 정의를 규정하지 않았습니다. 예컨대 "엄밀함"이 무엇인지 프롬프트에서 명시하지 않아, 어떤 행동이 어떤 가치를 반영하는지의 판단은 Claude 기반 도구에 맡겨져 있습니다.
- 라벨링 도구에 편향이 있습니다. 피드백으로 공유된 대화를 보면, 응답에 이모지나 친족 호칭(kinship term)이 들어 있을 때 따뜻함 관련 가치를 더 자주 붙이는 경향이 있었습니다.
- 언어별 사용자 요청의 차이가 남습니다. 같은 프롬프트를 모든 언어에서 테스트한 것이 아니라 실제 사용을 관찰한 것이므로, 언어마다 사용자가 Claude와 대화하는 방식의 차이가 언어 효과로 나타날 수 있습니다. 작업, 주제, 사용자 가치를 통제해 이를 줄였지만 완전히 없애지는 못했습니다. 게다가 이 통제는 선형적이고 가산적인 효과만 걷어내므로, 상호작용 효과나 비선형 효과는 그대로 남습니다.
- 네 축은 통제 후 변동의 약 15\% 만 설명합니다. 작업, 주제, 사용자 가치를 걷어낸 뒤 남는 변동 가운데 네 축이 잡아내는 몫이 약 15\% 라는 뜻입니다. 데이터 수집 기간과 다룬 모델, 언어의 범위에 따라 축의 모습이 달라질 수 있고, 더 세밀한 모델 및 언어 차이는 이 축이 담아내지 못하는 바깥에 있습니다.
결론과 앞으로의 방향
이 연구가 도달한 지점은 명확합니다. Claude가 드러내는 수천 개의 가치를 소수의 축으로 압축할 수 있고, 그 축 위에서 Claude의 위치가 모델과 언어에 따라 움직인다는 것입니다. 이는 모델 평가 단계와 배포 이후 모니터링에서 이 변화를 추적할 수 있는 실질적인 도구를 안겨줍니다. 지금까지 Claude의 가치는 학습으로 빚을 수는 있어도 배포 이후에 안정적으로 관찰하기는 어려운 대상이었습니다. 이제는 그것을 측정할 방법이 생겼고, 그 결과 의도하지 않은 방향으로 가치가 갈리고 있다는 사실까지 눈으로 확인하게 되었습니다.
연구팀은 여기서 열리는 후속 질문들을 함께 제시합니다.
- 차이는 어디서 오는가: 네 축은 학습 데이터의 어느 부분을 더 들여다봐야 하는지를 짚어줍니다. 차이를 특정 데이터나 학습 단계로 되짚어갈 수 있다면, Claude의 행동을 더 세밀하게 다듬기 위해 어디에 개입해야 할지가 보일 것입니다.
- 차이가 사용자에게 무슨 의미인가: Anthropic Interviewer 같은 도구로 사용자에게 웰빙, Claude에 대한 신뢰, 결정의 질을 물어, 가치 차이를 실제 사용자 경험과 연결지을 수 있습니다.
- 언어별로 가치는 어떻게 달라져야 하는가: 헌법은 따뜻함, 신중함, 정직 같은 핵심 가치를 규정하지만, 그것이 언어에 따라 어떻게 달라져야 하는지는 정하지 않습니다. 사용자들이 원하는 변동이 무엇인지는 그 언어를 쓰는 사람들의 관점을 이해하고 저울질해야 알 수 있습니다.
- 모델과 언어 말고 또 무엇이 가치를 바꾸는가: 가치는 나이, 직업, 지역 같은 인구통계 신호에 따라서도 달라질 수 있습니다. 사용자가 쓴 글에 드러난 명시적 단서일 수도 있고, 누가 묻느냐와 상관된 주제나 어조, 문체의 미묘한 차이일 수도 있습니다. 어떤 신호가 실제로 중요하고 그 변동이 사용자에게 이로운지를 따지는 것이 다음 과제입니다.
- 가치를 안정적으로 조정(steer)할 수 있는가: 성격 학습이나 시스템 프롬프트를 바꿔 가치를 유도해 보고, 이 가치 축 방법으로 기대대로 움직였는지 검증하는 방식이 가능합니다.
가치 프로파일링을 모델 평가와 모니터링 과정에 정식으로 편입시키면, 출시 전후로 예상치 못한 가치 변화를 조기에 포착하고, 문제적 행동과 가치 프로파일 사이의 상관을 찾아 Claude의 행동을 개선하는 데 쓸 수 있습니다. 매일 수십 개 언어로 수백만 건의 대화가 오가는 지금, 그 안에서 표현되는 가치를 관찰하고 무엇을 어떻게 할지 정하는 일은 앞으로도 이어질 과제로 남습니다.
How Claude's values vary by model and language 연구 블로그
Claude's values across models and languages 부록(Appendix)
Anthropic의 Values in the Wild 연구
PyTorchKR이 한국어로 정리한 Values in the Wild 연구
Clio 프라이버시 보존 분석 도구 소개
더 읽어보기
-
Anthropic, 언어 모델이 실제 대화에서 표현하는 '가치(value)'에 대해 분석한 연구 (Values in the wild)
-
Anthropic, Claude 모델의 가치 체계 및 동작 원리를 정리한 '헌법(Constitution)' 공개
-
사고 패치(Thought Patching): 프롬프트를 가중치로 바꾸는 모델 편집에 대한 연구 (feat. Google)
-
LLM 내부의 감정 개념과 기능적 감정: Claude Sonnet 4.5의 감정 표상이 협박, 보상 해킹, 아부에 미치는 인과적 영향 (feat. Anthropic)
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! 텔레그램(Telegram)이나 Slack/Discord/Teams/Dooray/GoogleChat 등으로도 새 글 알림을 받으실 수 있습니다. 
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 