Frames of Mind 프로젝트 소개
Frames of Mind는 R1 모델의 '사고 과정'을 시각적으로 표현하려고 시도하는 프로젝트입니다. OpenAI의 임베딩 API와 t-SNE를 활용해 R1 모델이 문제를 해결하는 과정을 단계별로 시각화할 수 있습니다. 특히, 연속된 사고 간의 이동 거리(cosine similarity)를 측정하고 이를 그래픽으로 나타내는 점이 흥미롭습니다. AI의 의사결정 과정을 깊이 이해하고 싶은 분들에게 유용할 것입니다.
Frames of Mind 프로젝트가 모델의 사고 과정을 시각화하는 방식은 다음과 같습니다:
- 사고 과정(Chain-of-Thought, CoT) 저장: 모델의 단계별 사고를 텍스트로 저장합니다.
- 텍스트 임베딩 변환: OpenAI API를 이용해 저장된 텍스트를 벡터 임베딩으로 변환합니다.
- 임베딩 시각화: - t-SNE 알고리즘을 사용해 임베딩을 2D 공간에서 시각화합니다.
이 과정이 진행되면 AI가 특정 질문에 대해 어떤 식으로 사고하는지를 애니메이션으로 확인할 수 있습니다. 예를 들어, “자전거가 어떻게 작동하는가(Describe how a bicycle works)“라는 질문에 대한 사고 과정은 아래와 같이 표현됩니다:
현재까지는 모델의 출력을 텍스트로만 읽어보며 사고 과정을 확인할 수 있었던 반면, Frames of Mind 프로젝트는 이를 애니메이션과 그래프를 통해 직관적으로 이해할 수 있도록 설계되었습니다. 또한, 사고 단계 간의 거리(예: 연속된 사고 사이의 cosine similarity)를 측정하여 사고의 흐름이 어떻게 변화하는지도 분석할 수 있습니다.
위 예시와 같이 한 단계의 사고(Thought i)에서 다음 단계(Thought i+1)로 넘어갈 때 변화의 크기(거리, Consecutive Distance)를 측정하고 시각화 할 수도 있습니다.
Frames of Mind GitHub 저장소
이 글은 GPT 모델로 정리한 글을 바탕으로 한 것으로, 원문의 내용 또는 의도와 다르게 정리된 내용이 있을 수 있습니다. 관심있는 내용이시라면 원문도 함께 참고해주세요! 읽으시면서 어색하거나 잘못된 내용을 발견하시면 덧글로 알려주시기를 부탁드립니다. 
파이토치 한국 사용자 모임
이 정리한 이 글이 유용하셨나요? 회원으로 가입하시면 주요 글들을 이메일
로 보내드립니다! (기본은 Weekly지만 Daily로 변경도 가능합니다.)
아래
쪽에 좋아요
를 눌러주시면 새로운 소식들을 정리하고 공유하는데 힘이 됩니다~ 