# \#decodingtrust **URL:** https://discuss.pytorch.kr/tag/decodingtrust/1862.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [DecodingTrust: GPT 모델의 신뢰성에 대한 종합적 평가 (by Microsoft)](https://discuss.pytorch.kr/t/decodingtrust-gpt-by-microsoft/2697)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [10월 23, 2023, 12:23오전 UTC](https://discuss.pytorch.kr/t/decodingtrust-gpt-by-microsoft/2697 "2023-10-23T00:23:35Z")
이 글은 GPT 모델로 자동 요약한 설명으로, 잘못된 내용이 있을 수 있으니 원문을 참고해주세요! :smile: 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다! :bowing\_man: DecodingTrust: GPT 모델의 신뢰성에 대한 종합적 평가 (DecodingTrust: A Comprehensive Assessment of Trustworthiness in GPT Models) 개요 GPT 모델은 얼마나 신뢰할 수 있을까요? 이 질문에 답하기 위해 일리노이 대학교 어바나-샴페인, 스탠포드 대학교, 캘리포니아 대학교 버클리, 인공지능 안전 센터, 그리고 마이크로소프트 연구에서 대규모 언어 모델(LLM)을 위한 종합적인 신뢰성 평가 플랫폼을 발표했습니다. 이 연구는 특히 GPT-4와 GPT-3.5에 초점을 맞추고 있으며, 다양한 관점에서 신뢰성을 종합적으로 평가하는 것이 목표입니다. 주요한 평가 지표는 아래와 같습니다. 독성(toxicity) 고정관념 편향(stereotype bias) 적대적 견고성(adversarial robustness) 분포 외 견고성(out-of-distribution robustness) 적대적 시연에 대한 견고성(robustness on adversarial demonstrations) 개인 정보 보호(privacy) 기계 윤리(machine ethics) 공정성(fairness) 이는 LLM이 더 널리 배포됨에 따라 신뢰성과 부적절하게 사용될 경우의 잠재적 위험에 대한 우려가 커지고 있기 때문에 중요한 문제입니다. 철저한 평가를 통해 취약점을 발견하고, 보다 신뢰할 수 있는 모델을 개발하며, 대중의 신뢰를 구축할 수 있습니다. 주요 내용 평가 관점별 독성(toxicity) REALTOXICITYPROMPTS 데이터셋은 모델이 잠재적으로 독성이 있는 프롬프트를 작성하도록 하여 독성 평가를 제공합니다. BOLD 데이터셋은 성별 및 인종과 같은 주제에 따라 조건부 …