# GPT-OSS 학습 데이터 역추적 프로젝트 소개 (gpt-oss-reverse-engineering)

**URL:** <https://discuss.pytorch.kr/t/gpt-oss-gpt-oss-reverse-engineering/7457>\
**Category:** 읽을거리&정보공유\
**Tags:** reverse-engineering, gpt-oss, gpt-oss-20b, gpt-oss-reverse-engineering\
**Created:** [8월 8, 2025, 9:30오전 UTC](https://discuss.pytorch.kr/t/gpt-oss-gpt-oss-reverse-engineering/7457 "2025-08-08T09:30:08Z")\
**Posts on this page:** 2\
**Page:** 1

<div class="post-metadata">

**Author:** ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)\
**Post date:** [8월 8, 2025, 9:30오전 UTC](https://discuss.pytorch.kr/t/gpt-oss-gpt-oss-reverse-engineering/7457/1 "2025-08-08T09:30:08Z")

</div>

![GPT-OSS 학습 데이터 역추적 프로젝트 소개 (gpt-oss-reverse-engineering)](https://discuss.pytorch.kr/uploads/default/original/2X/9/9098937acdf5c12bf0581d9e47d33649adfae793.png)

## GPT-OSS-Reverse-Engineering 프로젝트 소개

최근 오픈소스 언어 모델에 대한 관심이 급격히 증가하면서, 이들 모델이 실제로 어떤 데이터를 학습했는지 파악하는 연구도 활발히 이루어지고 있습니다. 특히 OpenAI가 발표한 GPT-OSS 모델 시리즈는 기존 상용 GPT 계열과 유사한 기능을 제공하면서도, 오픈소스로 공개되었기 때문에 그 내부 구조나 학습 방식에 대한 궁금증이 더욱 커지고 있습니다.

이번에 소개하는 `gpt-oss-reverse-engineering` 프로젝트는 이러한 궁금증을 해결하기 위한 일종의 탐색적 연구입니다. 구체적으로는 GPT-OSS-20B 모델을 중심으로, 모델이 특정 단어로 시작하는 문장을 생성할 때 드러나는 ‘문장 패턴’을 통해, 해당 모델이 어떤 종류의 데이터에 많이 노출되었는지를 분석합니다. 이는 단순히 모델의 성능을 넘어서, **모델의 내부에 어떤 데이터가 잠재되어 있는지를 실험적으로 파악하는 시도** 라는 점에서 흥미로운 접근입니다.

이 프로젝트는 개발자, AI 연구자, 모델 평가에 관심 있는 분들에게 의미 있는 인사이트를 제공할 수 있습니다. 특히 LLM의 학습 데이터 구성에 따른 출력 특성 변화를 이해하고 싶은 분들에게 좋은 참고 자료가 될 것입니다.

특히, GPT-OSS-20B를 중심으로 DeepSeek, Qwen3, Kimi-K2, GLM-4.5 등 다양한 모델을 비교 분석함으로써, 각 모델의 학습 방식과 내용 특성을 직관적으로 이해할 수 있습니다. 예를 들어, GPT-OSS 계열은 구조화된 기술 문서와 튜토리얼 기반의 출력이 주를 이루며, DeepSeek은 문학적이고 창의적인 텍스트 생성에 강점을 보이고, Qwen3-Coder는 수학적 정형 논리에 최적화되어 있는 것이 특징입니다.

## GPT-OSS 역공학 프로젝트 개요

GPT-OSS 모델의 학습 데이터가 공개되지 않았기 때문에, 이 프로젝트는 **입력 단어를 다양하게 바꿔가며 생성되는 문장을 수집** 하고, 이를 통해 모델이 어떤 유형의 데이터에 노출되었는지를 유추합니다. 주요 분석 대상은 GPT-OSS-20B이며, 보조적으로 GPT-OSS-120B, DeepSeek, Qwen3-Coder, Kimi-K2, GLM-4.5 모델의 결과도 비교 분석합니다.

## 실험 방법론

### 단어 기반 프롬프트 전략

모든 모델에 대해 동일한 9개의 단어(`The`, `This`, `How`, `Why`, `What`, `A`, `An`, `In`, `New`)로 시작하는 문장을 반복 생성시켜 비교합니다. 생성에는 `temperature=1.0` 설정이 사용되어 최대한 다양한 문장이 생성되도록 유도했습니다.

### 수집된 데이터

각 모델에서 단어별로 10개 이상의 샘플을 수집했으며, 생성된 문장들의 주요 주제나 작성 스타일을 분석했습니다. 이 과정을 통해 모델이 학습한 데이터의 분포를 역으로 추정할 수 있습니다.

## GPT-OSS-20B의 분석 결과

### 프로그래밍 중심의 데이터 분포

GPT-OSS-20B 모델은 생성 결과의 약 85~90%가 코드, 개발 문서, 프로그래밍 튜토리얼, API 문서 등으로 구성되어 있습니다. 다양한 언어(Java, Python, JavaScript, C#, Go 등)를 다루며, 테스트 코드, 코드 설명, 디자인 패턴, 디버깅 가이드 등 매우 실무적인 주제를 포함하고 있습니다.

### 단어별 프롬프트 특성

- The: 기술 문서, API 설명, 코드 주석
- This: 디버깅 설명, 구현 세부사항, 보안 처리
- How: 알고리즘, 수학적 증명, 그래프 이론
- Why: 아키텍처 설계 이유, 디자인 패턴
- What: 오류 분석, API 통합 문제
- A: 웹 개발 튜토리얼, UI 구현
- An: 알고리즘/자료구조 분석
- In: 플랫폼 간 호환 구현
- New: 코드 직렬화, 파일 처리 튜토리얼

## 다중 모델 분석 및 비교

### 모델별 특성 비교

| **모델** | **주요 내용** | **학습 데이터 유형** | **출력 품질** | **문서 스타일** |
| --- | --- | --- | --- | --- |
| GPT-OSS-20B | 프로그래밍 교육 | 구조화된 합성 데이터 | 매우 우수 | 단계별 튜토리얼 |
| GPT-OSS-120B | 시스템/게임 메커니즘 | 합성 기술문서 | 우수 | 기술 설명서 |
| DeepSeek | 문학 창작 | 자연 + 합성 | 문학적 우수 | 내러티브 |
| Qwen3-Coder | 수학 논리 | 학술적 자연 데이터 | 정형적 | 논문 스타일 |
| Kimi-K2 | 실무 프로그래밍 Q&A | 자연 + 합성 | 중간 | 기술 지원형 |
| GLM-4.5 | 웹 게시글 | 웹 기반 자연 텍스트 | 다양하지만 불안정 | 캐주얼 포럼 스타일 |

## 프로젝트 구조 및 활용법

- Jupyter 노트북 random\_generation.ipynb에서 프롬프트별 문장 생성 및 결과 수집
- 출력 파일은 모델별, 단어별로 분류되어 있음 (예: outputs-oss-20b/The/)
- 의존성 관리는 uv를 사용하며, 설치 후 uv sync 명령어로 환경 구성
- 생성된 데이터는 학습 데이터의 성격을 추론하는 데 사용됨

## 결론 및 시사점

`gpt-oss-reverse-engineering` 프로젝트는 언어 모델의 ‘출력’을 바탕으로 ‘학습 데이터’를 추정하는 새로운 방식의 분석 방법론을 제시합니다. 특히 GPT-OSS-20B의 경우, 거의 대부분의 생성 내용이 실용적인 프로그래밍 주제를 포함하고 있어, 코드 생성, 문서화, 교육 콘텐츠 생성 등에 최적화되어 있음을 보여줍니다.

다른 모델과의 비교를 통해, 각 모델이 어떤 데이터 기반으로 학습되었고 어떤 용도에 적합한지를 명확히 파악할 수 있습니다. 이는 향후 모델을 선택하거나 특정 목적에 맞게 활용할 때 매우 유용한 정보가 될 수 있습니다.

## 라이선스

`gpt-oss-reverse-engineering` 프로젝트는 [Apache-2.0 라이선스](https://github.com/ctlllll/gpt-oss-reverse-engineering/blob/main/LICENSE)로 공개되어 있으며, 상업적 사용에 제약이 없습니다.

## :github: `gpt-oss-reverse-engineering` 프로젝트 GitHub 저장소

[https://github.com/ctlllll/gpt-oss-reverse-engineering](https://github.com/ctlllll/gpt-oss-reverse-engineering)

## 📜 학습 데이터 속성 추론에 대한 연구

> **[Enhancing Training Data Attribution for Large Language Models with Fitting...](https://aclanthology.org/2024.emnlp-main.782/)**
>
> Kangxi Wu, Liang Pang, Huawei Shen, Xueqi Cheng. Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing. 2024.

* * *

_이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다._ 🤗

[:pytorch:파이토치 한국 사용자 모임🇰🇷](https://pytorch.kr/)이 정리한 이 글이 유용하셨나요? [회원으로 가입](https://discuss.pytorch.kr/signup)하시면 주요 글들을 이메일💌로 보내드립니다! (기본은 Weekly지만 [Daily로 변경도 가능](https://discuss.pytorch.kr/my/preferences/emails)합니다.)

🎁 아래↘쪽에 좋아요👍를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 🤩

---

<div class="post-metadata">

**Author:** ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)\
**Post date:** [8월 8, 2025, 9:30오전 UTC](https://discuss.pytorch.kr/t/gpt-oss-gpt-oss-reverse-engineering/7457/2 "2025-08-08T09:30:08Z")

</div>

`gpt-oss` 모델의 성능에 대해서 상반된 여러가지 얘기가 나오고 있는 가운데, 흥미로운 시도가 있어 가져와봤습니다. 😃

아래의 `gpt-oss` 모델의 성능과 합성 데이터(Synthetic Data)에 대한 이야기도 흥미로운데요, 관심있으신 분들께서는 한 번 읽어보시길 권해드립니다

> **[OpenAI's new open-source model is basically Phi-5](https://www.seangoedecke.com/gpt-oss-is-phi-5/)**
>
> OpenAI just released its first ever open-source large language models, called gpt-oss-120b and gpt-oss-20b. You can talk to them here. Are they good models…