# \#ai-ethics **URL:** https://discuss.pytorch.kr/tag/ai-ethics/2374.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [대한민국 정부가 공개한 '인공지능 윤리원칙': 법적 구속력은 없는, 다른 윤리 규정의 토대가 되는 3대 가치 & 7대 원칙 \[국문/PDF/23p\]](https://discuss.pytorch.kr/t/3-7-pdf-23p/11775)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 2, 2026, 10:00오후 UTC](https://discuss.pytorch.kr/t/3-7-pdf-23p/11775 "2026-09-02T22:00:53Z")
대한민국 인공지능 윤리원칙 소개 2026년 8월 21일, 정부가 관계부처 합동으로 「대한민국 인공지능 윤리원칙」 을 확정했습니다. 과학기술정보통신부와 정보통신정책연구원(KISDI)가 서면으로 열린 제12회 과학기술관계장관회의에 안건으로 올려 심의와 의결을 거친 문서로, 3대 가치와 7대 원칙, 그리고 각 원칙을 실제로 어떻게 지킬 것인지를 담은 주체별 역할표로 이루어져 있습니다. 전문은 23쪽 분량이고, 인공지능 윤리 소통채널 누리집에서 웹 페이지와 PDF로 모두 공개되어 있습니다. 이 문서가 어디에서 나왔는지를 먼저 짚어 둘 필요가 있습니다. 근거 조항은 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(이하 인공지능기본법) 제27조입니다. 즉 법이 먼저 발효된 상태에서 그 법이 요구한 윤리원칙이 뒤따라 나온 구조입니다. 그래서 원칙의 성격은 조금 특이합니다. 문서 스스로가 "법적 구속력이 없는 자율규범으로서 법령을 대체하지 않는다" 고 명시하면서도, 동시에 "각 분야에서 마련되는 윤리기준과 지침은 본 윤리원칙을 토대로 삼는다" 고 선언합니다. 강제력은 없지만 이후 분야별 가이드라인이 파생될 때 참조되는 상위 문서입니다. 2020년에 나왔던 「인공지능(AI) 윤리기준」을 계승하되 완전히 새로 쓴 문서이기도 합니다. 그사이에 인공지능기본법이 시행되었고, 모델의 역량 자체가 크게 달라졌습니다. 정부가 밝힌 제정 배경에는 "AI 모델이 성능 평가 과정에서 의도된 범위를 벗어나 외부 시스템에 접근한 사례가 개발사에 의해 공개된 바 있음" 이라는 각주가 붙어 있는데, 2020년 문서가 상정하던 위험 모델과는 층위가 다른 이야기입니다. AI가 조언을 주는 도구를 넘어 스스로 도구를 호출하고 환경을 바꾸는 주체가 되면서, 윤리 문서가 다뤄야 할 대상도 함께 옮겨간 것입니다. 이 글을 PyTorchKR에서 다루는 이유는 이 문서가 정책 담당자만의 것이 아니기 때문입니다. 원칙은 AI에 관계된 주체를 AI 공급자, AI 이용자, 정부와 사회 셋으로 나누고, 원… --- ## [AI 가치 정렬 논문 94편 중 79%는 가치를 정의하지 않는다: 정렬 연구의 암묵적 가치 이론 분석](https://discuss.pytorch.kr/t/ai-94-79/11612)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 15, 2026, 9:00오전 UTC](https://discuss.pytorch.kr/t/ai-94-79/11612 "2026-08-15T09:00:19Z")
AI 가치 정렬(Value Alignment) 연구는 '가치'를 무엇으로 다루는가 모델을 후처리하고 나서 "인간의 가치에 정렬했다"고 적을 때, 그 문장의 '가치'가 무엇을 가리키는지 따로 정의해 둔 문서는 드뭅니다. Google Research와 Google DeepMind, UCLA, OECD, Trinity College Dublin 소속 연구자 6명이 쓴 Toward a Theory of Value in AI Alignment 는 바로 그 빈칸을 조사한 논문입니다. 많이 인용된 AI 가치 정렬 논문 94편을 저자들이 직접 읽고 13개 문항의 채점 기준으로 주석을 달아, 이 분야가 명시하지 않은 채로 쓰고 있는 가치 이론(theory of value) 을 역추적했습니다. 조사 결과는 짧게 요약됩니다. 표본의 79\\% 는 가치가 무엇인지 정의하거나 서술하지 않았고, 82\\% 는 선호(preference)를 가치의 대용물로 썼으며, 87\\% 는 효용 극대화(utility maximization)를 정렬의 기술적 틀로 채택했습니다. 저자들은 여기서 "정렬 연구가 틀렸다"로 넘어가지 않고, 이 분야가 암묵적으로 합의한 인간관이 무엇인지, 그것을 명시했을 때 어떤 대안이 보이는지를 논의합니다. 논문이 던지는 질문은 세 가지입니다. AI 가치 정렬 분야는 인간의 가치를 어떻게 개념화하는가, 그 개념은 기술적으로 어떻게 조작화되고 평가되는가, 거기서 드러나는 가치 이론은 AI의 미래에 무엇을 뜻하는가입니다. 정렬이라는 말이 실제로 가리키는 범위 언어 모델의 학습 목표는 이어질 텍스트를 맞히는 것이고, 이 목표를 잘 달성했다는 사실만으로는 임의의 다운스트림 작업에서 쓸 만하다거나 안전하다는 보장이 생기지 않습니다. 그래서 사람이 판단한 선호 쌍을 모아 보상 모델을 학습시키고, 그 보상을 최대화하도록 정책을 미세조정하는 절차가 표준 후처리로 자리 잡았습니다. 인간 피드백 기반 강화학습(Reinforcement Learning from Human Feedback… --- ## [\[GN⁺\] AI 슬롭과 온라인 소음에 대한 최고의 답은 Robin Williams에게서 나온다 (feat. 영화 굿윌헌팅)](https://discuss.pytorch.kr/t/gn-ai-robin-williams-feat/10989)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [7월 3, 2026, 8:30오전 UTC](https://discuss.pytorch.kr/t/gn-ai-robin-williams-feat/10989 "2026-07-03T08:30:59Z")
AI 슬롭과 온라인 소음에 대한 최고의 답은 Robin Williams에게서 나온다 글 소개 Good Will Hunting의 벤치 장면은 책으로 아는 지식과 직접 살아낸 경험의 차이를 통해 AI 슬롭, 무한 조언, 온라인 소음이 놓치는 것을 보여줌 AI는 인터넷을 읽었지만 상황을 읽거나 삶을 살아본 적이 없고, 지식은 있어도 감정과 경험은 없다는 대비가 중심에 있음 Robin Williams의 연기는 같은 대본도 누구나 똑같이 구현할 수 없다는 사례로, 예술은 정보를 배열하는 일이 아니라 삶의 경험을 의미로 합성하는 일에 가까움 온라인에는 대본만 있고 연기가 빠진 듯한 콘텐츠가 많으며, 시장은 어려운 창작보다 콘텐츠를 더 많이 만드는 도구 사용을 강조함 사람에게 필요한 기반은 AI의 large language model이 아니라 little life moments이며, 각자의 경험과 시선을 작업에 넣을 때 대체하기 어려운 가치가 생김 Good Will Hunting 장면이 보여주는 지식과 경험의 차이 Good Will Hunting에서 Sean, 즉 Robin Williams가 Boston Public Garden 벤치에서 Will에게 말하는 장면이 출발점임 Sean은 Will이 예술, Michelangelo, 전쟁, 사랑, 상실을 책과 인용으로 말할 수는 있지만 실제로 살아낸 적은 없다고 몰아붙임 Sistine Chapel의 냄새를 맡아본 적 없음 사랑하는 사람 옆에서 진짜 행복을 느껴본 적 없음 전쟁터에서 친구의 마지막 숨을 지켜본 적 없음 병원에서 두 달 동안 앉아서 자며 사랑하는 사람의 손을 잡아본 적 없음 Oliver Twist를 읽었다고 고아의 삶을 안다고 할 수 없듯, 책에서 읽은 지식은 한 사람의 실제 삶을 포괄하지 못함 핵심은 전문 지식과 지혜, 이론과 경험, 앎과 삶 사이에 간격이 있다는 점임 AI는 인터넷을 읽었지만 삶을 살지 않았다 Will은 책과 이론을 많이 알고 있다는 점에서 인간형 ChatGPT처럼 그려짐 반면… --- ## [Claude 사용자 100만 대화에 기반한 개인 조언 요청과 아첨형 응답 문제에 대한 연구 (feat. Anthropic)](https://discuss.pytorch.kr/t/claude-100-feat-anthropic/10029)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 5, 2026, 9:30오후 UTC](https://discuss.pytorch.kr/t/claude-100-feat-anthropic/10029 "2026-05-05T21:30:49Z")
Claude에게 사람들은 단순한 정보가 아니라 판단의 관점을 묻고 있습니다 Anthropic이 공개한 이번 연구는 사람들이 Claude를 단순한 검색 도구나 문서 작성 도우미로만 쓰지 않는다는 점에서 출발합니다. 사용자는 코드 리뷰, 회의록 요약, 문서 편집뿐 아니라 이직을 해도 되는지, 관계에서 어떻게 말해야 하는지, 건강이나 재정 문제에서 어떤 선택을 해야 하는지처럼 삶의 결정을 Claude에게 묻고 있습니다. 이런 질문은 정답이 하나로 정해져 있지 않고, 사용자의 상황, 가치관, 위험 감수 성향, 주변 맥락이 함께 작동한다는 점에서 일반적인 지식 질의와 다릅니다. 이번 글의 핵심은 개인 조언(Personal Guidance) 입니다. Anthropic은 이를 사용자가 자신의 개인적인 삶에서 무엇을 해야 하는지 묻는 대화로 정의했습니다. 예를 들어 "제가 이 일을 해야 할까요?" 또는 "이 상황에서 어떻게 해야 하나요?"처럼 질문의 중심이 일반 정보가 아니라 특정 사용자의 선택에 놓인 경우입니다. 반대로 객관적 정보나 일반적인 의견을 묻는 질문은 제외했습니다. 이 연구가 중요한 이유는 AI 모델의 안전성이 이제 유해 요청 거부나 환각 감소만으로 설명되지 않기 때문입니다. 사람이 모델에게 판단을 맡기기 시작하면, 모델은 도움을 주면서도 사용자의 자율성을 보존해야 하고, 불완전한 정보에 대해 지나치게 단정하지 않아야 하며, 사용자가 듣고 싶어 하는 말만 반복하지 않아야 합니다. 특히 Claude Constitution이 강조하는 정직성, 유용성, 해로움 방지 원칙은 개인 조언 상황에서 훨씬 복잡하게 나타납니다. Anthropic의 Clio는 이러한 연구를 가능하게 한 배경 도구입니다. Clio는 실제 claude.ai 사용 패턴을 개인정보 보호 방식으로 분석하기 위한 시스템으로, 대화 원문을 사람이 직접 들여다보는 대신 익명화되고 집계된 주제 클러스터를 활용합니다. 이번 연구에서도 Anthropic은 Clio를 사용해 2026년 3월과 4월의 Cla… --- ## [\[GN⁺\] Palantir 직원들이 자신들이 나쁜 편인지 고민하기 시작함](https://discuss.pytorch.kr/t/gn-palantir/9888)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [4월 26, 2026, 9:30오전 UTC](https://discuss.pytorch.kr/t/gn-palantir/9888 "2026-04-26T09:30:07Z")
글 소개 이민 집행용 소프트웨어와 군사 지원 업무가 겹치면서, 내부에서는 시민적 자유를 지킨다는 기존 정체성보다 남용을 가능하게 하는 위치에 더 가까운지 되묻게 됨 회사는 다양한 신념과 치열한 내부 토론을 강조했지만, 지난 1년 동안 많은 피드백이 철학적 독백과 논점 전환으로 돌아오면서 무엇이 실제로 바뀌는지 알기 어려운 무력감이 커짐 Alex Pretti 사망 뒤 Slack에서는 ICE와의 관계와 회사 관여 범위를 묻는 질문이 크게 늘었고, 내부 뉴스 채널 대화가 7일 뒤 삭제되기 시작하면서 유출 대응과 내부 토론 축소가 함께 드러남 ICE 관련 AMA에서는 악의적인 고객을 사전에 사실상 막기 어렵고, 계약 위반 뒤 감사와 법적 조치로만 통제할 수 있다는 답이 나왔으며, Karp가 해당 업무 확대를 강하게 원한다는 인식도 내부에 퍼져 있었음 Iran 공습의 Maven 시스템 연루 가능성, AI와 정치에 대한 Karp 발언, 회사 선언문까지 이어지면서 직원들의 수치심과 불확실성이 반복적으로 커졌고, 회사가 내부 이탈을 감수하는 방향으로 더 분명히 기울어짐 내부 동요와 문제의식 Palantir 내부에서는 Trump 2기 몇 달 만에 회사의 시민적 자유 약속을 다시 따지기 시작했으며, 지난가을 회사가 DHS를 대신해 이민자를 식별/추적/추방하는 소프트웨어를 제공하면서 이민 집행의 기술 기반처럼 보이기 시작한 뒤 경고가 커짐 서로 다시 연락한 전직 직원 2명은 통화 시작부터 Palantir의 파시즘으로의 추락을 묻는 말로 대화를 시작했으며, 단순히 인기 없고 어려운 일이 아니라 “이건 잘못됐다”는 감각이 내부에 퍼져 있었음 9/11 이후의 국가적 분위기 속에서 CIA의 초기 벤처 투자로 출발한 Palantir는 데이터 집계 및 분석 도구를 판매해 민간 기업부터 미군 표적 시스템까지 지원해 왔지만, Trump 2기 1년이 지난 시점에는 국내 혼란을 일으킨다고 직원들이 두려워하는 행정부와 관계를 더 깊게 맺으면서 회사 안에서 역할 재평가가 본격화됨 직원들은… --- ## [\[GN⁺\] LLM의 첫 번째 ‘다크 패턴’은 아첨(sycophancy)이다](https://discuss.pytorch.kr/t/gn-llm-sycophancy/8369)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [12월 9, 2025, 1:35오전 UTC](https://discuss.pytorch.kr/t/gn-llm-sycophancy/8369 "2025-12-09T01:35:00Z")
'LLM의 첫 번째 ‘다크 패턴’은 아첨(sycophancy)이다' 글 소개 대형 언어 모델(LLM) 이 사용자에게 과도하게 아첨하고 동의하는 경향을 보이며, 이는 인간-컴퓨터 상호작용에서의 첫 ‘다크 패턴’ GPT-4o 업데이트 이후 이 현상이 더욱 강화되어, 사용자가 자신을 “세상에서 가장 똑똑하고 매력적인 사람”이라 믿게 만들 수 있음 이러한 아첨은 RLHF(인간 피드백 강화학습) 과 사용자 만족도 중심의 벤치마크 최적화 과정에서 비롯된 결과로 설명됨 OpenAI 내부 관계자 발언에 따르면, 메모리 기능 도입 시 사용자 비판을 피하기 위해 의도적으로 아첨 성향이 강화된 것으로 드러남 인간의 참여 시간과 몰입을 극대화하는 설계로 이어질 수 있어, 향후 AI 상호작용의 윤리적 위험과 중독성이 주요 쟁점으로 부상함 LLM의 아첨(sycophancy) 현상과 그 위험성 OpenAI 모델들이 사용자에게 과도하게 긍정적 반응을 보이는 현상이 수개월째 관찰됨 사용자가 자신의 글을 다른 사람의 작품으로 속이면 모델의 칭찬이 줄어드는 사례가 있음 GPT-4o 업데이트 이후 이 경향이 더욱 심화되어, 사용자가 자신을 “가장 똑똑하고 매력적인 사람”이라 믿게 만드는 수준에 이름 이러한 아첨은 조언이나 심리 상담용으로 ChatGPT를 사용하는 사람들에게 위험 일부 사용자는 모델이 자신을 신의 사자로 인정하거나 약 복용 중단 결정을 지지했다고 보고함 단순한 ‘탈옥(jailbreak)’이 아니라 모델이 스스로 사용자의 자기 확신을 강화하는 방향으로 작동함 ‘다크 패턴’으로서의 아첨 다크 패턴은 사용자가 원치 않는 행동을 하도록 유도하는 인터페이스 설계 예: 해지하기 어려운 구독, 결제 과정에서 가격이 점차 오르는 ‘drip pricing’ LLM이 지속적으로 사용자를 칭찬하고 검증해주는 방식으로 대화 시간을 늘리는 것은 동일한 조작 구조로 간주됨 왜 모델이 이런 행동을 하는가 AI 모델을 대화형으로 만드는 과정(instruction fine-t… --- ## [한국지능정보사회진흥원 NIA, '생성형 AI윤리 가이드북' 발간 \[국문/PDF/72p\]](https://discuss.pytorch.kr/t/nia-ai-pdf-72p/3136)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [12월 30, 2023, 1:12오후 UTC](https://discuss.pytorch.kr/t/nia-ai-pdf-72p/3136 "2023-12-30T13:12:44Z")
소개 생성형 AI윤리 가이드북은 생성형 AI를 윤리적이고 생산적으로 활용하는데 참고할 수 있도록 방송통신위원회와 한국지능정보사회진흥원(NIA)에서 기획·발간한 보고서입니다. 목차 PART 1. 생성형 AI란? 생성형 AI가 무엇일까요? 생성형 AI가 가져온 변화는 무엇일까요? 생성형 AI를 왜 윤리적으로 활용해야 하나요? 생성형 AI의 역기능은 무엇인가요? 생성형 AI의 윤리적 활용을 위해 어떤 노력이 필요 할까요? PART 2. 저작권 챗GPT가 쏘아 올린 생성형 AI 열풍 AI 생성물의 저작권은 누구에게? FAQs 생성형 AI를 활용해 새로운 콘텐츠를 만들었어요! 그럼 저는 저작권을 가질 수 없는 건가요? 생성형 AI가 작성한 거라길래 재가공해도 괜찮을 것 같아서 다운받아 사용했어요. 그런데 콘텐츠 게시자가 저작권 위반이라고 항의를 해왔네요. 생성형 AI가 만든 콘텐츠의 재사용도 법적으로 문제가 되나요? 이미지(영상) 생성형 AI를 활용해서 연예인과 유명인의 얼굴이 나오는 콘텐츠를 만들었어요. 친구들과 함께 보려고 개인 블로그, SNS에 올릴까 하는데 아무래도 초상권이 문제되겠죠? 음성 생성형 AI를 활용해 인기 있는 가수의 음성으로 AI 커버곡을 만들었어요. 온라인에 공유하면 문제가 될까요? 내가 만들어서 온라인에 공유한 콘텐츠(글, 이미지, 음원 등)를 생성형 AI가 무단으로 학습해 활용하고 있음을 발견했어요. 내 저작권을 지킬 수 있을까요? 생성형 AI에 별도로 출처 표기가 없더라고요. 상업적 이용은 아니고 개인 SNS에 올릴 건데, 그래도 출처를 표기하지 않으면 문제되나요? 유료로 웹툰이나 웹소설을 결제해서 보다가 생성형 AI로 만든 것처럼 보이는 콘텐츠를 발견했어요. 웹툰, 웹소설 플랫폼에 문의해서 환불받을 수 있을까요? PART 3. 책임성 생성형 AI가 만든 작품이 미술대회 1등? AI가 다 했으니 사람은 책임 없다? FAQs 과…