# \#flashattention

**URL:** https://discuss.pytorch.kr/tag/flashattention/3124.md

[최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md)

---

## [Tokamax: JAX와 Pallas 기반의 커스텀 가속 커널 라이브러리](https://discuss.pytorch.kr/t/tokamax-jax-pallas/7801)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [9월 20, 2025, 3:30오전 UTC](https://discuss.pytorch.kr/t/tokamax-jax-pallas/7801 "2025-09-20T03:30:13Z")

</div>

Tokamax 소개 Tokamax는 NVIDIA GPU와 Google TPU에서 동작하는 커스텀 가속 커널(custom accelerator kernels)을 제공하는 Python 라이브러리입니다. 이 프로젝트는 최신 JAX와 Pallas를 기반으로 만들어졌으며, 딥러닝 모델에서 중요한 연산을 최적화된 커널로 교체해 성능을 크게 끌어올릴 수 있도록 설계되었습니다. 단순히 제공된 커널만 사용하는 것이 아니라, 사용자가 직접 자신만의 커널을 작성하고 자동 튜닝(autotuning) 기능을 통해 최적화할 수 있다는 점이 핵심적인 특징입니다. 현재 Tokamax는 개발 초기 단계에 있으며, API 변경 가능성이 크고 일부 기능은 완전하지 않습니다. 하지만 제공되는 커널은 최신 연구 성과를 반영하고 있어, 연구자와 엔지니어가 GPU 및 TPU 환경에서 고성능 실험을 진행할 때 유용합니다. 예를 들어, Transformer 모델의 핵심 연산인 tokamax.dot\_product\_attention(FlashAttention 기반), tokamax.gated\_linear\_unit(Gated linear units (SwiGLU 등)), tokamax.layer\_norm(Layer Normalization과 RMSNorm) 같은 고성능 커널을 지원합니다. Tokamax의 또 다른 장점은 GPU와 TPU 모두에서 동작하는 ragged\_dot 연산을 지원한다는 점입니다. 이는 Mixture of Experts(MoE) 아키텍처에서 중요한 연산으로, 대규모 모델의 효율적 학습과 추론을 가능하게 합니다. 따라서 Tokamax는 최신 LLM과 딥러닝 연구에 적합한 라이브러리라 할 수 있습니다. Tokamax는 단순히 커널을 제공하는 라이브러리가 아니라, 여러 구현체를 선택하거나 자동으로 최적화된 커널을 고르는 기능을 제공합니다. 예를 들어 implementation=None 옵션을 주면 Tokamax가 커널의 입력 크기와 실행 환경에 따라 최적의 구현체를 자동 선택합니다. …

---

## [FlashMLA: Hopper GPU를 위한 고성능 MLA 디코딩 커널 (feat. DeepSeek)](https://discuss.pytorch.kr/t/flashmla-hopper-gpu-mla-feat-deepseek/6199)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [2월 24, 2025, 4:00오전 UTC](https://discuss.pytorch.kr/t/flashmla-hopper-gpu-mla-feat-deepseek/6199 "2025-02-24T04:00:33Z")

</div>

들어가며 :pytorch::kr: DeepSeek에서 이번 주, 하루에 하나씩, 인프라와 관련한 GitHub 저장소를 공개하기로 하였습니다. FlashMLA는 그 첫번째 저장소로, Hopper Architecture에 최적화된 MLA(Muli-Head Latent Attention) 디코딩을 위한 FlashMLA 저장소를 공개했습니다. 매일 하나씩 살펴보겠습니다. :smiley: FlashMLA 소개 DeepSeek AI에서 공개한 FlashMLA는 Hopper GPU에 최적화된 MLA(Multi-Head Latent Attention) 디코딩을 위해 설계된 커널입니다. 일반적인 MLA 연산은 메모리 및 연산 성능을 극대화해야 하는데, FlashMLA는 이를 최적화하여 메모리 바운드 구성에서 3000 GB/s의 대역폭과 연산 바운드 구성에서 580 TFLOPs의 성능을 제공합니다. FlashMLA는 가변 길이 시퀀스 처리에 강점을 가지며, BF16 연산과 Paged KVCache를 지원합니다. 높은 메모리 대역폭과 연산 성능을 요구하는 환경에서 최적의 성능을 보이는 것으로 알려져 있습니다. 특히, 가변 길이 시퀀스를 처리할 때 최적의 성능을 제공하도록 설계되었습니다. 기존 MLA 기법은 주로 고정 길이 시퀀스에서 성능을 극대화하는 반면, FlashMLA는 유연한 처리 방식을 채택하여 실시간 응용 환경에서 더 강점을 보입니다. FlashMLA의 주요 특징들은 다음과 같습니다: BF16(BFloat16) 지원: 반정밀도 연산을 통해 성능과 메모리 사용량을 균형 있게 조정. Paged KVCache 지원: 64 블록 단위로 관리되는 효율적인 키-값 캐시 구조. CUDA 12.3 이상 및 PyTorch 2.0 이상 필요: 최신 GPU 소프트웨어 환경에서 동작. 설치 및 사용 방법 FlashMLA는 GitHub 저장소를 복제(clone)하여 설치 스크립트를 실행하여 설치합니다: python setup.py install FlashMLA는 PyTorc…

---

## [\[2024/05/06 ~ 05/12\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week)](https://discuss.pytorch.kr/t/2024-05-06-05-12-ml-top-ml-papers-of-the-week/4339)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 1\
**마지막 업데이트:** [9월 16, 2024, 7:06오전 UTC](https://discuss.pytorch.kr/t/2024-05-06-05-12-ml-top-ml-papers-of-the-week/4339 "2024-09-16T07:06:45Z")

</div>

\[2024/05/06 ~ 05/12\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week) PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 이번 주 선정된 논문들을 살펴보면, 두 가지 주요 경향이 나타납니다. 첫 번째로는 자연어 처리(NLP)와 관련된 연구가 다수 포함되어 있습니다. 예를 들어, "Is Flash Attention Stable?"와 "Consistency LLMs"는 모두 최근 NLP 분야에서 중요한 주제인 언어 모델의 성능과 안정성에 초점을 맞춘 연구입니다. 두 번째로, 알고리즘 개선 및 새로운 프레임워크 개발에 관한 연구도 두드러집니다. "xLSTM", "AlphaFold 3", "DeepSeek-V2"와 같은 논문들은 기존 모델과 알고리즘을 넘어서 새롭게 발전시키려는 시도를 보여줍니다. 이러한 경향은 몇 가지 이유에서 중요합니다. 우선, NLP 분야는 현재 기계 학습과 인공 지능 연구에서 가장 활발히 발전하고 있는 영역 중 하나입니다. 언어 이해와 생성 능력은 사용자와의 상호작용, 정보 검색, 자동 번역 등 다양한 응용 분야에서 핵심적인 역할을 합니다. 따라서, 언어 모델의 성능과 안정성을 보장하는 것은 매우 중요하며, 이번 주에 선정된 논문들은 이러한 중요한 이슈에 대한 최신 연구 동향을 잘 반영합니다. 또한, 기존 모델과 알고리즘의 한계를 극복하고 새로운 가능성을 모색하는 연구의 증가는 AI 기술의 지속적인 발전을 위해 필수적입니다. 예를 들어, "AlphaFold 3"은 단백질 구조 예측 분야에서 큰 진전을 이룬 사례로, 복잡한 생물학적 문제를 해결하는 데 AI가 얼마나 중요한 역할을 할 수 있는지 보여줍니다. 이처럼, 알고리즘과 프레임워크에 대한 지속적인 연구와 개선은 다양한 분야에서 AI 응용의 효율성과 범위를 넓히는 데 크게 기여할 것입니다. AlphaFold 3로 생체 분자 상호작용의 정확한 구조 예측 / Accurate s…

---

## [FlashAttention-3, NVIDIA Hopper 아키텍처에 최적화된 어텐션 가속화 구현](https://discuss.pytorch.kr/t/flashattention-3-nvidia-hopper/4857)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [7월 16, 2024, 11:11오후 UTC](https://discuss.pytorch.kr/t/flashattention-3-nvidia-hopper/4857 "2024-07-16T23:11:00Z")

</div>

FlashAttention 돌아보기 어텐션(Attention) 연산은 트랜스포머(Transformer) 구조의 핵심 계층입니다. 하지만 대규모 언어 모델(LLM)을 비롯하여 긴 문맥(long-context)을 활용하는 트랜스포머 구조의 경우, 어텐션 연산 과정은 병목 현상을 일으키는 주요 원인 중 하나입니다. FlashAttention은 어텐션 계산 시 메모리 내에서의 재정렬을 통한 타일링 및 재계산을 활용하여 크게 가속하고 메모리 사용량을 시퀀스 길이에 따라 선형으로 줄이는 알고리즘입니다. 타일링을 사용하여 GPU의 주요 메모리인 HBM에 있는 입력 블록을 더 빠른 캐시로 활용하는 SRAM 영역으로 불러오고, 해당 입력 블록과 관련한 어텐션 연산을 수행하고, 출력을 HBM에 업데이트하는 방식으로 동작합니다. 이러한 어텐션 연산 중간 과정에서 발생하는 큰 어텐션 행렬을 HBM에 저장하지 않음으로써 메모리 읽기/쓰기 양을 줄여 2-4배의 실시간 속도 향상을 가져오는 것이 핵심입니다. 특히, 타일링 및 소프트맥스 재스케일링을 통해 블록 단위로 작업하여 HBM에서 읽기/쓰기 작업을 줄임으로써 전체 연산 시간을 줄이면서도 결과값은 정확하게 일치하는 (= 근사치가 아닌) 출력을 얻을 수 있습니다. H100 GPU에 최적화한 FlashAttention-3 소개 FlashAttention-3는 이전 버전인 FlashAttention-2에 비해 1.5배에서 2배 더 빠른 성능을 자랑하며, 특히 FP16 모드에서 최대 740 TFLOPS, FP8 모드에서는 1.2 PFLOPS의 성능을 달성합니다. 이러한 성능 향상은 NVIDIA의 Hopper GPU, 특히 H100 GPU의 새로운 기능들을 활용하여 이룬 것입니다. FlashAttention-3는 기존보다 더욱 긴 문맥을 처리할 수 있으며, 이는 복잡한 자연어 처리 작업에서 매우 유용합니다. 또한, FlashAttention-3를 사용하는 경우, 대규모 언어 모델의 학습 및 추론 시간 단축에 큰 도움을 줍니다. …

---

## [\[2024/07/08 ~ 07/14\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week)](https://discuss.pytorch.kr/t/2024-07-08-07-14-ml-top-ml-papers-of-the-week/4828)

<div class="topic-metadata">

**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\
**댓글:** 0\
**마지막 업데이트:** [7월 14, 2024, 9:00오후 UTC](https://discuss.pytorch.kr/t/2024-07-08-07-14-ml-top-ml-papers-of-the-week/4828 "2024-07-14T21:00:00Z")

</div>

\[2024/07/08 ~ 07/14\] 이번 주의 주요 ML 논문 (Top ML Papers of the Week) PyTorchKR​:fire::south\_korea: :thinking::speech\_balloon: 이번 주에 선정된 논문들을 살펴보면, 크게 두 가지 추세를 발견할 수 있습니다. 첫 번째로, 주목할 만한 경향은 대규모 언어 모델(LLMs)의 효율성, 추론 및 오류 수정에 초점을 맞춘 연구들이 많다는 것입니다. 논문 제목인 "Reasoning in LLMs: A Geometric Perspective", "Contextual Hallucinations Mitigation in LLMs", 그리고 "RouteLLM"은 이러한 주제를 탐구하는 연구의 예시입니다. 이는 최근 몇 년 동안 대규모 언어 모델의 개발과 적용이 급속도로 증가함에 따라, 이러한 모델들의 성능 최적화와 정확도 향상이 중요한 이슈로 떠오르고 있음을 반영합니다. 두 번째 주요 추세는 전문가 모음체(Mixture of Experts, MoE) 모델에 관한 연구의 증가입니다. "Mixture of A Million Experts"와 "A Survey on Mixture of Experts"는 이 분야에서 주목할만한 논문입니다. MoE 모델은 여러 전문가 네트워크를 조합하여 더 나은 성능을 달성하려는 시도로, 특히 대규모 모델에서 계산 효율성과 성능을 동시에 고려할 때 유용합니다. 이러한 모델의 연구 증가는 AI 분야가 모델의 성능 향상뿐만 아니라, 에너지 소비와 계산 비용을 줄이는 방향으로도 관심을 확장하고 있음을 나타냅니다. 이러한 추세는 AI 연구의 현재 방향성을 잘 보여줍니다. 대규모 언어 모델은 NLP 분야뿐만 아니라 다양한 분야에서 중요한 역할을 하고 있으며, 이로 인해 성능 최적화 및 오류 최소화에 대한 중요성이 점점 더 강조되고 있습니다. 반면, MoE 모델에 대한 연구 증가는 모델의 효율성과 확장성 측면에서 지속 가능한 AI 발전을 추구하는 연구 커뮤니티의 …
