# \#maxtext **URL:** https://discuss.pytorch.kr/tag/maxtext/3089.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [MaxText, Jax와 Python으로 구현한 오픈소스 LLM 학습 프레임워크 (feat. Google)](https://discuss.pytorch.kr/t/maxtext-jax-python-llm-feat-google/4283)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [5월 6, 2024, 3:11오후 UTC](https://discuss.pytorch.kr/t/maxtext-jax-python-llm-feat-google/4283 "2024-05-06T15:11:11Z")
MaxText, Google이 Jax와 Python으로 구현하여 공개한 오픈소스 LLM 학습 프레임워크 소개 Google이 이전에 공개한 대규모 언어 모델(LLM) 학습을 위한 오픈소스 프레임워크인 MaxText를 뒤늦게 발견하여 줏어왔습니다. Jax와 Python으로 구현되어 있으며, Google Cloud TPU와 GPU에서 최적화된 학습과 추론이 가능하다고 하는데요. 과연 어떤 특징들이 있는지, 다른 프레임워크들과는 어떻게 다른지 함께 살펴보시죠! MaxText는 Google에서 개발한 오픈소스 LLM 프레임워크로, 순수 Python과 Jax로 작성되었습니다. Google Cloud TPU와 GPU에서 고성능 학습과 추론을 지원하는 것이 주요 특징인데요. Jax와 XLA 컴파일러 덕분에 간단하면서도 최적화가 잘 된 코드를 작성할 수 있다고 합니다. MaxText는 연구와 프로덕션 모두에서 활용할 수 있는 야심찬 LLM 프로젝트의 출발점이 되는 것을 목표로 하고 있습니다. 사용자들은 바로 MaxText를 실험해 보고, 필요에 따라 포크해서 수정하는 것이 권장됩니다. Google은 MaxText로 int8에서의 고성능 학습을 시연하고, 51K개 칩 규모로 학습을 확장한 바 있습니다. 유사 프로젝트와의 비교 MaxText는 PyTorch로 작성된 Nvidia GPU용 독립형 GPT 구현체인 MinGPT/NanoGPT에서 많은 영감을 받았습니다. MaxText는 더 많은 모델을 지원하고 대규모로 확장 가능하다는 점에서 더 복잡합니다. 최종적으로는 NanoGPT에서 언급된 17% MFU보다 3배 이상 높은 MFU를 달성하고, 효율적인 autoregressive 디코딩을 위한 key-value cache를 구현했습니다. Nvidia Megatron-LM은 Nvidia GPU를 대상으로 잘 튜닝된 LLM 구현체인데, MaxText와 유사한 면이 있습니다. 두 구현체 모두 비슷한 MFU를 달성하지만, 프로그래밍 전략에서 차이를 보입니다. MaxText는 …