# Open Thoughts: 추론(reasoning) 모델을 위한 양질의 데이터셋 및 모델 프로젝트 (feat. Bespoke Labs & DataComp)

**URL:** https://discuss.pytorch.kr/t/open-thoughts-reasoning-feat-bespoke-labs-datacomp/6002
**Category:** 읽을거리&정보공유
**Tags:** bespoke-stratos-17k, llm-reasoning, open-thoughts, bespoke-labs, datacomp, openthoughts-114k, openthinker-7b, bespoke-stratos-32b, bespoke-stratos-7b, reasoning-dataset
**Created:** [1월 29, 2025, 11:00오후 UTC](https://discuss.pytorch.kr/t/open-thoughts-reasoning-feat-bespoke-labs-datacomp/6002 "2025-01-29T23:00:26Z")
**Posts on this page:** 1
**Page:** 1

<div class="post-metadata">

### Author: ![9bow](https://discuss.pytorch.kr/user_avatar/discuss.pytorch.kr/9bow/32/16301_2.png) [@9bow](https://discuss.pytorch.kr/u/9bow)
#### Post date: [1월 29, 2025, 11:00오후 UTC](https://discuss.pytorch.kr/t/open-thoughts-reasoning-feat-bespoke-labs-datacomp/6002/1 "2025-01-29T23:00:26Z")

</div>

![Open Thoughts: 추론(reasoning) 모델을 위한 양질의 데이터셋 및 모델 프로젝트 (feat. Bespoke Labs & DataComp)](https://discuss.pytorch.kr/uploads/default/original/2X/d/dd00f59933d94fb67ab7e148f95844428b69d9b5.png)

## Open Thoughts 프로젝트 소개

Open Thoughts는 Bespoke Labs와 DataComp 커뮤니티(Stanford, UC Berkeley, UT Austin, UCLA, UNC, LAION 등)가 주도하는 오픈소스 추론 데이터셋 구축 프로젝트입니다. 최근 DeepSeek-R1, SkyT1, STILL-2 등의 모델이 복잡한 문제를 해결하는 추론(reasoning) 능력은 데이터 품질에 크게 좌우되며, 수십만 개의 추론 데이터만으로도 놀라운 성능 향상을 이룰 수 있음을 보여주었습니다. 하지만 이러한 데이터셋은 대부분 비공개이며, 공개된 데이터 생성 전략도 많지 않습니다.

Open Thoughts 프로젝트는 이 문제를 해결하기 위해 출발했으며, 최고 수준의 오픈소스 추론 데이터셋을 구축하고 공개하는 것을 목표로 합니다. 추론 능력이 강한 AI 모델을 연구하거나, 자체적인 데이터셋을 구축하려는 개발자라면 이 프로젝트를 주목할 필요가 있습니다.

이 프로젝트의 주요 목표는 다음과 같습니다:

- 고품질의 오픈소스 추론 데이터셋 구축
- 데이터 생성 전략을 공개 및 공유
- 추론 능력이 뛰어난 소형 AI 모델 개발

## Open Thoughts 프로젝트의 데이터셋 📖

Open Thoughts 프로젝트의 첫 번째 목표는 추론 데이터 세트를 선정 및 생성하는 것입니다. 여기에는 수학(Math), 코드(Code), 과학(Science), 퍼즐(Puzzle)의 4가지 도메인이 포함되어 있습니다. 현재까지 [Bespoke-Stratos-17k](https://huggingface.co/datasets/bespokelabs/Bespoke-Stratos-17k) 데이터셋 및 이를 더 큰 규모로 확장한 [Open-Thoughts-114k](https://huggingface.co/datasets/open-thoughts/OpenThoughts-114k) 데이터셋이 공개되었습니다. 확장 시에는 DeepSeek-R1 모델을 기반으로 합성 데이터(synthetic data)를 대규모 생성하여 만들어졌습니다.

 ![Open Thoughts 프로젝트 데이터셋: 생성 레시피](https://discuss.pytorch.kr/uploads/default/original/2X/1/136d299ae742bf000b3a4319d844672429b5b9a4.png)

각 데이터셋은 다음에서 확인할 수 있습니다:

> **[bespokelabs/Bespoke-Stratos-17k · Datasets at Hugging Face](https://huggingface.co/datasets/bespokelabs/Bespoke-Stratos-17k)**
>
> We’re on a journey to advance and democratize artificial intelligence through open source and open science.

> **[open-thoughts/OpenThoughts-114k · Datasets at Hugging Face](https://huggingface.co/datasets/open-thoughts/OpenThoughts-114k)**
>
> We’re on a journey to advance and democratize artificial intelligence through open source and open science.

## Open Thoughts 프로젝트의 공개 모델 📦

Open Thoughts 프로젝트의 주요 목표 중 하나는 수학 및 코드 추론 벤치마크에서 DeepSeek-R1-Distill-Qwen-32B 및 DeepSeek-R1-Distill-Qwen-7B를 능가하는 최첨단 소규모 추론 모델을 학습하는 것입니다.

이를 위해 [Bespoke-Stratos-17k 데이터셋](https://huggingface.co/datasets/bespokelabs/Bespoke-Stratos-17k)으로 학습한 [Bespoke-Stratos-32B model](https://huggingface.co/bespokelabs/Bespoke-Stratos-32B) 모델과 [OpenThoughts-114k 데이터셋](https://huggingface.co/datasets/open-thoughts/OpenThoughts-114k)으로 학습한 [OpenThinker-7B model](https://huggingface.co/open-thoughts/OpenThinker-7B) 모델이 공개되었습니다. 이 모델들의 성능을 최신 평가 도구인 [Evalchemy](https://github.com/mlfoundations/Evalchemy)를 통해 검증한 결과는 다음과 같습니다:

| 모델 | AIME24 | MATH500 | GPQA-Diamond | LCBv2 Easy | LCBv2 Medium | LCBv2 Hard | LCBv2 All |
| --- | --- | --- | --- | --- | --- | --- | --- |
| OpenThinker-7B | 43.3 | 83.0 | 42.4 | 75.3 | 28.6 | 6.5 | 39.9 |
| Bespoke-Stratos-7B | 16.6 | 79.6 | 38.9 | 71.4 | 25.2 | 0.8 | 35.8 |
| DeepSeek-R1-Distill-Qwen-7B | 60 | 88.2 | 46.9 | 79.7 | 45.1 | 14.6 | 50.1 |
| gpt-4o-0513 | 10 | 75.8 | 46.5 | 87.4 | 42.7 | 8.9 | 50.5 |
| o1-mini | 63 | 85.6 | 60 | 92.8 | 74.7 | 39.8 | 72.8 |

Open-Thinker-7B는 특히 MATH500과 LCB Easy 같은 특정 벤치마크에서 우수한 성능을 기록하며, 특정 영역에서는 DeepSeek-R1-Distill-Qwen-7B와 경쟁할 수 있는 모델임을 보여주고 있습니다.

## 오픈소스

Open Thoughts 프로젝트는 단순한 데이터셋 공개를 넘어, AI 연구자들이 자유롭게 활용할 수 있는 고품질 데이터와 데이터 생성 전략을 공유하는 것을 목표로 합니다.

현재 대부분의 고품질 AI 학습 데이터는 대형 기업이 독점하고 있으며, 오픈소스 커뮤니티에서 활용할 수 있는 데이터는 제한적입니다. Open Thoughts는 이러한 장벽을 허물고, 누구나 고성능 AI 모델을 개발할 수 있도록 지원하는 것이 핵심 가치입니다.

| | Open Weights | Open Data | Open Code |
| --- | --- | --- | --- |
| OpenThinker-7B | ✅ | ✅ | ✅ |
| Bespoke-Stratos-7B | ✅ | ✅ | ✅ |
| DeepSeek-R1-Distill-Qwen-7B | ✅ | ❌ | ❌ |
| gpt-4o-0513 | ❌ | ❌ | ❌ |
| o1-mini | ❌ | ❌ | ❌ |

## **라이선스**

Open Thoughts 프로젝트는 [Apache-2.0 라이선스](https://github.com/open-thoughts/open-thoughts/blob/main/LICENSE)로 공개되었습니다.

## 🏠 Open Thoughts 홈페이지

> **[OpenThoughts](https://www.open-thoughts.ai/)**
>
> OpenThoughts is building the best open source reasoning datasets.

## :github: Open Thoughts GitHub 저장소

[https://github.com/open-thoughts/open-thoughts?tab=readme-ov-file](https://github.com/open-thoughts/open-thoughts?tab=readme-ov-file)

## 🤗 OpenThoughts-114k 데이터셋 및 OpenThinker-7B 모델

> **[open-thoughts/OpenThoughts-114k · Datasets at Hugging Face](https://huggingface.co/datasets/open-thoughts/OpenThoughts-114k)**
>
> We’re on a journey to advance and democratize artificial intelligence through open source and open science.

> **[open-thoughts/OpenThinker-7B · Hugging Face](https://huggingface.co/open-thoughts/OpenThinker-7B)**
>
> We’re on a journey to advance and democratize artificial intelligence through open source and open science.

## 🤗 Bespoke-Stratos-17k 데이터셋 및 Bespoke-Stratos 모델군

> **[bespokelabs/Bespoke-Stratos-17k · Datasets at Hugging Face](https://huggingface.co/datasets/bespokelabs/Bespoke-Stratos-17k)**
>
> We’re on a journey to advance and democratize artificial intelligence through open source and open science.

> **[bespokelabs/Bespoke-Stratos-32B · Hugging Face](https://huggingface.co/bespokelabs/Bespoke-Stratos-32B)**
>
> We’re on a journey to advance and democratize artificial intelligence through open source and open science.

> **[bespokelabs/Bespoke-Stratos-7B · Hugging Face](https://huggingface.co/bespokelabs/Bespoke-Stratos-7B)**
>
> We’re on a journey to advance and democratize artificial intelligence through open source and open science.

* * *

_이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다._ 🤗

[:pytorch:파이토치 한국 사용자 모임🇰🇷](https://pytorch.kr/)이 정리한 이 글이 유용하셨나요? [회원으로 가입](https://discuss.pytorch.kr/signup)하시면 주요 글들을 이메일💌로 보내드립니다! (기본은 Weekly지만 [Daily로 변경도 가능](https://discuss.pytorch.kr/my/preferences/emails)합니다.)

🎁 아래↘쪽에 좋아요👍를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 🤩