# \#data-diversity **URL:** https://discuss.pytorch.kr/tag/data-diversity/3375.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [초월성(Transcendence): 생성 모델이 학습한 전문가보다 나은 성능을 보일 수 있는지에 대한 연구](https://discuss.pytorch.kr/t/transcendence/4747)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 1\ **마지막 업데이트:** [7월 10, 2024, 7:11오전 UTC](https://discuss.pytorch.kr/t/transcendence/4747 "2024-07-10T07:11:24Z")
논문 소개 생성 모델은 데이터로부터 유도된 조건부 확률 분포를 모방하는 단순한 목표로 학습됩니다. 따라서 모델이 생성한 데이터(synthetic data)로 학습하는 경우, 최종 모델이 데이터를 생성한 원래 모델보다 나은 성능을 보일 것이라고 기대하기 어렵습니다. 이 논문에서는 생성 모델이 데이터를 생성하는 전문가의 능력을 능가하는 현상(초월성, transcendence)에 대해 살펴봅니다. 여기에서는 체스 게임의 경기 기록을 바탕으로 Autoregressive Transformer (자기회귀 트랜스포머) 모델을 학습하는 방식으로 이 초월성을 입증하고 있으며, 학습된 모델이 때때로 데이터셋의 모든 플레이어보다 더 나은 성능을 보일 수 있음을 보여줍니다. 초월성(transcendence)에 대한 정의 초월성(transcendence)은 학습된 예측 모델이 데이터를 생성하는 전문가(또는 모델) 중 최고의 성능을 능가할 때를 설명합니다. 이상적인 설정에서 무한한 데이터를 사용할 수 있고 임의의 함수를 선택할 수 있다고 가정할 때도, 추가적인 변경없이는 초월성을 달성하는 것이 불가능할 수 있습니다. 저자들은 데이터를 라벨링하는 k명의 전문가를 가정하고, 이들로부터 샘플링된 데이터에 대한 평균 보상을 통해 초월성을 정의합니다. 초월성이 달성되기 위해서는 예측 모델이 각 전문가의 편향과 오류를 제거하고, 다수의 전문가로부터 학습한 지식을 통합하여 더 나은 예측을 할 수 있어야 합니다. 저자들은 이러한 초월성에 대한 정의를 바탕으로 체스 도메인에서 모델의 성능을 평가했습니다. 각 전문가의 성능을 측정하고, 모델이 이들의 성능을 얼마나 초과하는지 분석했습니다. 연구 결과, 특정 조건에서 모델이 데이터셋의 최고 전문가를 능가할 수 있음을 확인했습니다. 이러한 결과는 모델이 단순히 데이터를 모방하는 것을 넘어서, 데이터를 통해 학습한 지식을 기반으로 더 나은 성능을 발휘할 수 있음을 시사합니다. 연구 소개 생성 모델(GM, Generative Models)은 일반적…