# \#psyche **URL:** https://discuss.pytorch.kr/tag/psyche/4901.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [Psyche: 누구나 LLM 학습에 참여할 수 있는 분산 AI 네트워크 (feat. Nous Research)](https://discuss.pytorch.kr/t/psyche-llm-ai-feat-nous-research/6965)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 19, 2025, 10:00오후 UTC](https://discuss.pytorch.kr/t/psyche-llm-ai-feat-nous-research/6965 "2025-05-19T22:00:09Z")
Psyche 소개 Nous Research가 공개한 Psyche는 대규모 언어 모델(LLM) 훈련을 기존의 중앙 집중형 방식에서 벗어나 누구나 참여할 수 있는 분산형으로 전환할 수 있는 시스템입니다. Idle 상태인 전 세계의 GPU를 모아 LLM을 효율적으로 훈련시키기 위한 Psyche 프로젝트는 “AI 개발의 민주화”를 목표로 하고 있습니다. 기존의 LLM은 수천 개의 GPU가 한 곳에 모여 있는 데이터 센터에서 학습됩니다. 이 방식은 막대한 자본과 인프라를 요구해 대기업 중심의 개발 구조를 고착화시키는 결과를 낳았습니다. Psyche는 이 흐름을 거스르며 전 세계에 분산된 GPU 자원을 활용하여 모두가 AI 개발에 참여할 수 있는 구조를 제안합니다. 핵심은 훈련을 “네트워크로 나누는 방식”에 있습니다. 하나의 거대한 모델을 각 노드가 일부씩 훈련하며 서로의 업데이트를 공유하고 검증하는 구조입니다. 여기에는 DeMo(Decoupled Momentum Optimization)와 DisTrO(Distributed Training Optimization)라는 새로운 최적화 방법론이 적용됩니다. JPEG 압축처럼 필요한 정보만 뽑아 통신 비용을 줄이는 방식이 인상적입니다. Psyche의 주요 특징 DisTrO: 훈련 중 통신되는 정보를 DCT(이산 코사인 변환)로 압축, 필요한 정보만 전달 Overlapped Training: 통신과 훈련을 동시에 진행하여 GPU 효율 극대화 Quantized Communication: DCT의 부호만 전송하여 3배 이상 압축 효과 P2P 인프라: Iroh와 UDP Hole-punching을 활용한 NAT 넘기 지원 훈련 검증: Witness 및 Bloom Filter를 통한 사기 방지 메커니즘 도입 Epoch 구조: 짧은 단위로 나누어 참여자의 유연한 입퇴장을 지원 Psyche의 동작 개요 Psyche는 Rust 기반의 클라이언트와 스마트 컨트랙트 기반의 Coordinator, 데이터 제공자(…