# \#gpu-optimization **URL:** https://discuss.pytorch.kr/tag/gpu-optimization/1460.md [최신](https://discuss.pytorch.kr/latest.md) · [카테고리](https://discuss.pytorch.kr/categories.md) · [태그](https://discuss.pytorch.kr/tags.md) --- ## [AutoKernel: AI 에이전트가 GPU 커널을 자동으로 최적화하는 프로젝트 (= GPU 커널용 Auto Research)](https://discuss.pytorch.kr/t/autokernel-ai-gpu-gpu-auto-research/9200)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [3월 12, 2026, 9:30오후 UTC](https://discuss.pytorch.kr/t/autokernel-ai-gpu-gpu-auto-research/9200 "2026-03-12T21:30:06Z")
AutoKernel 소개 현대의 딥러닝 모델, 특히 대규모 언어 모델(LLM)을 학습하거나 추론할 때 GPU 연산의 병목 현상을 해결하는 것은 매우 중요합니다. 이를 위해 CUDA나 Triton과 같은 저수준 언어로 하드웨어에 맞게 GPU 커널을 최적화하는 작업이 필수적이지만, 이는 고도의 전문 지식과 끝없는 디버깅 시간을 요구하는 까다로운 영역입니다. 이러한 문제를 해결하기 위해 등장한 오픈소스 프레임워크가 바로 AutoKernel입니다. 이 프로젝트는 유명 AI 연구자 안드레이 카파시(Andrej Karpathy)가 선보였던 LLM 학습을 위한 자율 AI 연구 에이전트인 Auto Research 프로젝트에서 직접적인 영감을 받아 탄생했습니다. 일반적으로 GPU 커널 최적화는 사람이 직접 프로파일러를 보며 코드를 한 줄 한 줄 수정하고 컴파일하여 성능을 테스트하는 지루한 반복 작업(Manual Iteration)을 거칩니다. 반면, AutoKernel은 Auto Research의 자율 연구 철학을 GPU 커널 최적화 영역으로 가져왔습니다. 개발자가 PyTorch 모델을 제공하고 코딩 에이전트(Claude, Codex 등)를 실행해두면, 에이전트가 단일 커널 파일을 수정하고 벤치마크를 실행한 뒤 결과를 평가하여 코드를 유지할지 되돌릴지 끝없이 반복합니다. 즉, 개발자가 잠든 사이 AI가 병목 지점을 찾아내고 스스로 코드를 깎아내어 최적화된 Triton 커널을 완성해 내는 혁신적인 도구입니다. 기존에는 수작업으로 인해 병목이 큰 몇 개의 커널에만 최적화 시도가 국한되었다면, AutoKernel은 1회 실험에 약 90초만을 소모하며, 밤새 320회 이상의 실험을 모든 병목 커널에 걸쳐 지치지 않고 자동으로 수행할 수 있다는 점에서 압도적인 생산성 차이를 보여줍니다. AutoKernel의 구조 및 동작 파이프라인 AutoKernel은 여러 단계의 스크립트를 통해 모델 분석부터 최종 검증까지의 전체 과정을 매끄럽게 연결합니다: prof… --- ## [Cactus: 스마트폰, 웨어러블 기기 등에서의 On-Device AI를 위한 고성능 추론 엔진 및 커널 라이브러리](https://discuss.pytorch.kr/t/cactus-on-device-ai/8720)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [1월 16, 2026, 9:30오전 UTC](https://discuss.pytorch.kr/t/cactus-on-device-ai/8720 "2026-01-16T09:30:09Z")
Cactus 소개 Cactus는 모바일 및 엣지(Edge) 디바이스 환경에 최적화된 고성능 AI 추론 엔진(Inference Engine)이자, 하드웨어 성능을 극한으로 끌어내기 위한 커널(Kernel) 라이브러리입니다. 클라우드 서버가 아닌 스마트폰, 웨어러블 기기, Raspberry Pi와 같은 저전력 로컬 디바이스에서 대규모 언어 모델(LLM), 시각 언어 모델(VLM), 음성 인식 모델(Whisper) 등을 직접 구동할 수 있도록 설계되었습니다. 최근 AI 모델의 크기가 거대해짐에 따라, 데이터 프라이버시 보호와 서버 비용 절감, 그리고 지연 시간(Latency) 없는 즉각적인 반응을 위해 온디바이스 AI(On-device AI) 에 대한 수요가 폭발적으로 증가하고 있습니다. 그러나 기존의 범용 딥러닝 프레임워크들은 모바일의 제한된 배터리와 메모리 대역폭 환경에서 최적의 성능을 내는 데 한계가 있었습니다. Cactus는 이러한 병목 현상을 해결하기 위해 ARM 아키텍처에 특화된 SIMD 커널과 메모리 복사를 최소화하는 제로 카피(Zero-copy) 연산 그래프를 도입했습니다. 이를 통해 개발자들은 인터넷 연결 없이도 강력한 AI 기능을 자신의 앱에 통합할 수 있습니다. Cactus의 프로젝트의 핵심 철학은 모바일 퍼스트(Mobile-First) 입니다. 기존의 많은 AI 프레임워크가 데스크탑이나 서버용 GPU를 기준으로 설계된 후 모바일로 경량화(Porting)된 것과 달리, Cactus는 태생부터 모바일 하드웨어(특히 ARM CPU와 NPU)의 특성을 고려하여 설계되었습니다. 개발진은 이를 두고 모바일 하드웨어를 위한 CUDA 또는 \*\*"모바일 환경을 위한 PyTorch/NumPy"\*\*라고 비유합니다. 이는 단순히 모델을 실행하는 것을 넘어, 하드웨어 레벨의 최적화를 통해 에너지 효율성과 처리 속도(Throughput)를 동시에 극대화했음을 의미합니다. Cactus vs. 기존 모바일 AI 런타임 Cactus는 TFLite(TensorFlo… --- ## [Torch Memory Saver: PyTorch에서 효율적으로 GPU 메모리를 관리할 수 있도록 돕는 경량 라이브러리](https://discuss.pytorch.kr/t/torch-memory-saver-pytorch-gpu/7663)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 2\ **마지막 업데이트:** [9월 9, 2025, 11:58오후 UTC](https://discuss.pytorch.kr/t/torch-memory-saver-pytorch-gpu/7663 "2025-09-09T23:58:19Z")
Torch Memory Saver 소개 Torch Memory Saver는 PyTorch에서 GPU 메모리를 효율적으로 관리하기 위해 개발된 경량 유틸리티 라이브러리입니다. GPU 메모리 부족은 대규모 모델 학습 및 추론 시 흔히 발생하는 문제로, 불필요한 텐서가 오랫동안 메모리를 점유하면 자원 활용도가 떨어집니다. Torch Memory Saver는 특정 시점에 텐서의 물리적 메모리를 해제하고 필요할 때 다시 복구할 수 있는 기능을 제공합니다. 이 과정에서 중요한 점은 물리적 메모리를 해제하더라도 가상 주소는 그대로 유지된다는 것입니다. 따라서 CUDA Graph와 같은 구조에서도 오류 없이 재할당이 가능하며, 강화학습(RL) 환경처럼 반복적인 메모리 사용이 많은 경우에도 효과적으로 동작합니다. 기존의 Gradient Checkpointing이 계산량을 늘리는 방식이라면, Torch Memory Saver는 단순히 메모리 점유 상태를 조절하는 방식이어서 보다 직관적입니다. 특히 개발자가 직접 CUDA 메모리 관리 방식을 실험할 수 있도록 LD\_PRELOAD 기반의 빠른 해킹(hacky experiment)도 지원합니다. 이를 통해 cudaMalloc 호출을 가로채어 메모리 해제를 직접 구현할 수 있으며, GPU 메모리 사용량을 눈에 띄게 줄일 수 있음을 확인했습니다. Gradient Checkpointing과의 차이 Gradient Checkpointing은 역전파 과정에서 중간 값을 저장하지 않고 필요할 때 다시 계산하는 방식으로 메모리를 절약합니다. 반면 Torch Memory Saver는 이미 계산된 텐서를 GPU 메모리에서 해제하고, 필요 시 같은 주소로 다시 복구하는 방식입니다. 따라서 계산량이 늘지 않으며, CUDA Graph 같은 최적화된 실행 환경에서도 안전하게 사용할 수 있다는 장점이 있습니다. DeepSpeed, Megatron-LM 같은 프레임워크가 전체 학습 파이프라인 최적화에 집중하는 반면, Torch Memory Save… --- ## [RightNowAI의 rightnow‑cli: AI 기반의 CUDA 커널 자동 최적화 CLI 도구](https://discuss.pytorch.kr/t/rightnowai-rightnow-cli-ai-cuda-cli/7498)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [8월 17, 2025, 10:30오전 UTC](https://discuss.pytorch.kr/t/rightnowai-rightnow-cli-ai-cuda-cli/7498 "2025-08-17T10:30:21Z")
rightnow‑cli 소개 RightNow‑AI가 개발한 rightnow‑cli는 개발자가 GPU의 CUDA 커널을 손쉽게 개선할 수 있도록 돕는 명령줄(CLI) 도구입니다. 이 도구는 AI 기술을 활용하여 최소한의 수작업으로도 CUDA 커널의 성능을 비약적으로 향상시키도록 설계되었습니다. 특히 GPU 아키텍처에 대한 전문 지식이 부족한 사용자도 자연어 기반으로 최적화 요구를 전달하기만 하면 즉각적인 결과를 얻을 수 있는 것이 특징입니다. CUDA 최적화는 일반적으로 많은 시간과 노력이 필요한 고난도 작업입니다. 하지만 rightnow‑cli는 이를 기존 워크플로우에 자연스럽게 통합할 수 있는 방식으로 단순화하여, 개발자의 생산성과 코드 성능을 동시에 끌어올리는 접근을 제공합니다. 수작업 없이(no manual effort)도 코드 성능을 20~50배, 때로는 100배 이상까지 향상시킬 수 있다고 소개하고 있습니다 . 이 CLI는 명령만 실행하면 AI가 CUDA 코드를 분석하고, 병목 현상을 찾아내 최적화된 코드를 생성해 줍니다. 즉, 사용자는 CUDA에 대한 깊은 전문 지식 없이도 자연어 기반 프롬프트로 고성능 커널을 얻을 수 있습니다. CUDA 최적화라는 복잡하고 시간이 많이 소요되는 작업을 AI가 자동으로 수행해 준다는 점에서, GPU 개발자에게 혁신적인 워크플로우를 제공한다고 볼 수 있습니다. rightnow-cli의 구조 및 특징 AI 기반 자동 최적화 rightnow‑cli는 CUDA 커널 코드를 입력받고, AI가 이를 분석한 뒤 병목을 탐지하고 최적화된 코드로 리팩토링 합니다 . 사용자는 “optimize this kernel for A100”처럼 자연어 프롬프트를 작성하면 됩니다 . 서버리스 GPU 프로파일링 로컬 GPU가 없어도, 서버 상의 GPU 환경에서 커널 실행 및 프로파일링이 가능해 성능 병목 현상을 확인할 수 있습니다 . 주요 성능 향상 사례 2–4배의 즉각적 개선 일부 경우 20배 이상 향상 성능을 기록했다… --- ## [PyTorchKR이 정리한 오늘의 주요 AI/ML 소식들 @ 2023-12-12: StripedHyena-7B, Zephyr-3B, FollowMe 등](https://discuss.pytorch.kr/t/pytorchkr-ai-ml-2023-12-12-stripedhyena-7b-zephyr-3b-followme/3027)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 0\ **마지막 업데이트:** [12월 12, 2023, 4:55오전 UTC](https://discuss.pytorch.kr/t/pytorchkr-ai-ml-2023-12-12-stripedhyena-7b-zephyr-3b-followme/3027 "2023-12-12T04:55:22Z")
파이토치 한국 사용자 모임이 한땀한땀 정리한 오늘의 주요 AI/ML 소식들을 전해드립니다. StripedHyena-7B: TogetherAI에서 출시한 최신 AI 모델 RedPajama 등의 모델을 공개했던 TogetherAI에서는 긴 컨텍스트에서 잘 동작하는 새로운 모델을 공개했습니다. 이 모델은 Transformer 구조가 아닌 신호 처리에서 영감을 받은 시퀀스 모델에 기반한 새로운 구조를 적용한 것이 특징입니다. 이번에 공개한 모델은 Base 모델인 StripedHyena-Hessian-7B (SH 7B)과 Chat 모델인 StripedHyena-Nous-7B (SH-N 7B)의 2종류입니다. 더 읽어보기 출시 공지: Paving the way to efficient architectures: StripedHyena-7B, open source models offering a glimpse into a world beyond Transformers 새 모델 사용해보기(로그인 필요): https://api.together.xyz/playground/chat/togethercomputer/StripedHyena-Nous-7B 관련 태그: together hyena redpajama 100배 속도 향상을 목표로, 트랜스포머의 추론 최적화 기법 소개 트랜스포머 구조에서의 추론을 최적화하기 위해 전체적인 기술 스택에 대해서 다루고 있습니다: NVIDIA의 A100 메모리 계층 구조와 같은 GPU 하드웨어 사양부터 FlashAttention, vLLM 같은 MLSys 방법론, 모델 아키텍처(Mixture of Experts), 디코딩 알고리즘(Speculative Decoding 및 그 변형) 등에서의 최적화를 통해 트랜스포머 추론의 규모를 확장하고 속도를 높일 수 있습니다. 더 읽어보기 Notion 관련 태그: gpu-optimization llm-in-production transformer howto optimizing … --- ## [속도와 파이썬, 두 마리 토끼 잡기: 딥러닝 시 빠른 파이썬 코드 실행을 위한 CUDA 그래프 사용법 (Speed, Python: Pick Two. How CUDA Graphs Enable Fast Python Code for Deep Learning)](https://discuss.pytorch.kr/t/cuda-speed-python-pick-two-how-cuda-graphs-enable-fast-python-code-for-deep-learning/2441)
**Author:** [@9bow](https://discuss.pytorch.kr/u/9bow)\ **댓글:** 2\ **마지막 업데이트:** [9월 14, 2023, 11:44오전 UTC](https://discuss.pytorch.kr/t/cuda-speed-python-pick-two-how-cuda-graphs-enable-fast-python-code-for-deep-learning/2441 "2023-09-14T11:44:57Z")
생성형 AI 플랫폼 개발/서비스 기업 Fireworks.ai의 글을 허락 하에 번역하여 공유합니다. Fireworks.ai에서 작성한 원문은 아래 링크를 눌러 보실 수 있습니다. :warning: 이 글에는 Firework Platform에 대한 사용 사례 및 홍보가 포함되어 있습니다. 작성: 제임스 K 리드 (James K Reed), 드미트로 줄가코프(Dmytro Dzhulgakov) 이번 포스팅은 고성능의 Fireworks Gen AI 플랫폼에서 최적화를 위해 사용하는 방법에 대한 기술 블로그 시리즈 중 두 번째 글입니다. 다중 쿼리 어텐션에 대한 이전 포스팅도 참고해보세요. This is the second in a series of technical blog posts about the techniques we use for optimization of the high-performance Fireworks Gen AI Platform. See also the previous post about Multi-Query Attention. 이 글에서는 지난 몇 년 동안 GPU 속도가 폭발적으로 증가하면서 딥러닝 워크로드에 대한 성능 최적화의 환경이 어떻게 변화했는지를 살펴봅니다. 이러한 추세로 인해 호스트 CPU가 어쩌다 병목(bottleneck)이 되었는지를 살펴보고, 이를 완화하기 위한 몇 가지 기법들을 알아봅니다. 특히, 성능과 사용성을 모두 갖춘 CUDA 그래프(CUDA graphs) 를 중점적으로 살펴봅니다. 대규모 언어 모델(LLM) 추론 시에 CUDA 그래프의 효과를 살펴보고, LLaMAv2-7B 추론 시 2.3배의 속도 향상을 보여드립니다. 또한, Fireworks Inference Platform에서 동급 최고의 속동와 효율을 제공하기 위해 CUDA 그래프와 기타 공격적인 머신 및 서비스 최적화를 사용함을 보입니다. This post explores how the explosion in GPU speed over t…