# \#llm-in-work **URL:** https://discuss.pytorch.kr/tag/llm-in-work/5586.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [GDPval: OpenAI가 공개한, 실무 중심의 AI 성능 평가를 위한 프레임워크](https://discuss.pytorch.kr/t/gdpval-openai-ai/7848)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [9월 28, 2025, 1:30오전 UTC](https://discuss.pytorch.kr/t/gdpval-openai-ai/7848 "2025-09-28T01:30:51Z")
GDPval 소개 OpenAI는 인공지능이 인류 전체에 이롭게 작동하도록 한다는 목표를 가지고 있으며, 그 과정에서 모델들이 실제 사회와 경제에서 얼마나 효과적으로 기여할 수 있는지를 투명하게 공개하고자 합니다. 그 일환으로 발표된 GDPval은 AI 모델의 성능을 경제적으로 가치 있는 실무 과제를 중심으로 측정하는 새로운 평가 체계입니다. GDPval이라는 이름은 국내총생산(GDP, Gross Domestic Product) 에서 영감을 받았습니다. GDP가 국가 경제 활동의 가치를 보여주는 지표이듯, GDPval은 경제적 가치를 창출하는 직업군에서 실제로 수행되는 업무를 기준으로 AI 성능을 평가합니다. 즉, 단순한 텍스트 답변이 아니라 법률 문서, 엔지니어링 도면, 고객 상담 기록, 간호 계획서와 같은 구체적 산출물을 대상으로 모델의 실질적인 기여 가능성을 검증합니다. 이는 AI의 잠재적 영향을 단순히 “미래에는 이럴 것이다”라는 추측에 머무르지 않고, 지금 당장 모델이 무엇을 잘할 수 있는가를 실증적으로 보여줍니다. 과거 인터넷이나 스마트폰 같은 혁신 기술이 대중적으로 확산되기까지 10년 이상의 시간이 필요했듯, GDPval은 AI가 사회와 산업에서 차지할 위치를 데이터로 추적하는 첫 시도라 할 수 있습니다. 기존의 AI 성능 평가는 주로 학문적 시험 문제나 제한된 범주의 과제에 국한되었습니다. 대표적으로 다음과 같은 벤치마크들을 주로 사용하였습니다: MMLU: 다양한 학문 분야의 시험 문제 풀이 SWE-Bench: 소프트웨어 버그 수정 문제 MLE-Bench: 머신러닝 엔지니어링 관련 분석 및 모델 학습 과제 Paper-Bench: 연구 논문 비평 및 과학적 추론 평가 SWE-Lancer: 실제 프리랜서 소프트웨어 엔지니어링 프로젝트 기반 평가 이러한 벤치마크들은 모델의 추론 능력을 크게 발전시키는 데 기여했지만, 여전히 현실의 직무 요구사항을 충분히 반영하지는 못했습니다. 반면 GDPval은 실제 전문가들이 작성하고 검증한 과제를 …